監視カメラおよび監視システム
【課題】監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高める。
【解決手段】監視システムは、監視カメラ（１）と監視端末（２）とを備えている。監視カメラ（１）は、監視対象を撮像する撮像部（１１）と、撮像部（１１）から出力された映像を非可逆圧縮によって符号化する映像符号化部（１２）と、映像符号化部（１２）によって符号化された映像を復号する映像復号化部（１３）と、撮像部（１１）から出力された第１の映像および映像復号化部（１３）から出力された第２の映像を受け、それぞれの映像における特徴量を抽出する特徴量抽出部（１４）と、第１の映像から抽出された特徴量と第２の映像から抽出された特徴量との変化分を検出する特徴変化検出部（１５）と、検出された特徴量の変化分に基づいて映像符号化部（１２）の制御パラメータを変更する符号化制御部（１６）とを備えている。
【解決手段】監視システムは、監視カメラ（１）と監視端末（２）とを備えている。監視カメラ（１）は、監視対象を撮像する撮像部（１１）と、撮像部（１１）から出力された映像を非可逆圧縮によって符号化する映像符号化部（１２）と、映像符号化部（１２）によって符号化された映像を復号する映像復号化部（１３）と、撮像部（１１）から出力された第１の映像および映像復号化部（１３）から出力された第２の映像を受け、それぞれの映像における特徴量を抽出する特徴量抽出部（１４）と、第１の映像から抽出された特徴量と第２の映像から抽出された特徴量との変化分を検出する特徴変化検出部（１５）と、検出された特徴量の変化分に基づいて映像符号化部（１２）の制御パラメータを変更する符号化制御部（１６）とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラおよび監視カメラと端末をネットワーク等で結んだ監視システムに関するものであり、特に人物認識技術等を使って監視の自動化を行う監視システムに関する。
【背景技術】
【０００２】
近年、監視カメラの映像をＩＰネットワーク等で伝送し、それを監視端末で受信して広域を効率的に監視する監視システムが発展してきている。図６は従来の監視システムの構成を示している。監視システムは監視カメラ１００と監視端末２００から構成される。監視カメラ１００は、レンズ１０１、イメージセンサ１０２、およびカメラ信号処理１０３からなる撮像部１０４と、映像符号化部１０５、映像送信部１０６から構成される。監視端末２００は、映像受信部２０１、映像記録部２０２、映像復号化部２０３、および映像表示部６１２から構成される。
【０００３】
レンズ１０１は監視対象の光学像をイメージセンサ１０２に結像させる。イメージセンサ１０２は光学像を電気信号に変換する。カメラ信号処理部１０３はイメージセンサ１０２の信号を輝度と色のデジタルデータに変換する。映像符号化部１０５は映像を圧縮符号化する。ネットワークの帯域は限られており、圧縮率を高めるために非可逆圧縮が採用される。映像送信部１０６は監視端末２００に符号化された映像を送信する。例えばＩＰネットワークで送信する場合には、映像送信部１０６はＩＰヘッダ処理や再送・輻輳制御等の送信制御を行う。
【０００４】
監視端末２００では、映像受信部２０１が監視カメラ１００からの符号化された映像を受信する。映像記録部２０２は受信された映像を記録する。映像復号化部２０３は符号化された映像を復号し映像データを再現する。ただし、監視カメラ１００から送信される映像は非可逆圧縮されているので、監視端末２００側では監視カメラ１００で取得した映像と完全に同じ映像にはならず必ず劣化が発生する。映像表示部２０４は監視カメラ１００の映像を表示する。
【０００５】
映像監視において重要な要件は、民生用カメラで重要な美しさ等ではなく、重要な情報が欠落していないことである。例えば不審人物を特定するためには人物顔が非常に重要となる。またネットワークの帯域は通常限られており、また記録も常時記録となるため可能な限り高い圧縮率の映像圧縮が求められている。そこで、監視カメラ１００に映像の中から人物画像の領域を関心領域として検出する関心領域検出部１０７を設け、映像符号化部１０５は関心領域の圧縮率を他の領域よりも相対的に下げることで、高画質化を図りつつ重要情報の欠落を防いでいる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１４５１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記従来技術によると、関心領域の画質は、他の領域との相対的な関係において向上させることができるが、どの程度向上すべきかといった絶対的な尺度を以て制御することは困難である。そのため、ネットワーク帯域がより厳しくなり関心領域の画質さえある程度低下させざる得ない場合、どの程度まで低下させてもよいか判断できないおそれがある。また、それゆえ、十分な性能を確保した上でネットワーク帯域や映像記録部の容量を低減することによるコストパフォーマンスの向上を論理的かつ定量的に実施することが困難である。
【０００８】
かかる問題に鑑み、本発明は、監視システムにおいて監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高めることを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明によって次のような手段を講じた。すなわち、監視カメラは、監視対象を撮像する撮像部と、前記撮像部から出力された映像を非可逆圧縮によって符号化する映像符号化部と、前記映像符号化部によって符号化された映像を復号する映像復号化部と、前記撮像部から出力された第１の映像および前記映像復号化部から出力された第２の映像を受け、それぞれの映像における特徴量を抽出する特徴量抽出部と、前記第１の映像から抽出された特徴量と前記第２の映像から抽出された特徴量との変化分を検出する特徴変化検出部と、前記検出された特徴量の変化分に基づいて前記映像符号化部の制御パラメータを変更する符号化制御部とを備えているものとする。また、監視システムは、前記監視カメラと、前記監視カメラと通信回線を通じて接続される監視端末とを備えているものとする。
【００１０】
これによると、映像監視の最終的な目的である映像の識別・認識に必要な特徴量の変化、すなわち劣化度合いに基づいて映像符号化に係る制御パラメータが変更される。したがって、映像全体を絶対的な尺度を以て適切に圧縮符号化することができる。
【００１１】
好ましくは、前記監視端末は、前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部と、前記監視カメラから受信した映像の認識難度を評価する認識難度評価部とを有し、前記認識難度を前記監視カメラに送信するものであり、前記監視カメラにおける前記符号化制御部は、前記監視カメラから送信された認識難度を加味して前記映像符号化部の制御パラメータを変更する。これによると、監視端末からフィードバックされた監視対象の認識難度に基づいて映像符号化に係る制御パラメータが適応的に変更される。
【００１２】
また、好ましくは、前記特徴量抽出部は、抽出した特徴量を特徴ベクトルとして出力するものであり、前記特徴変化検出部は、前記第１の映像に係る特徴ベクトルと前記第２の映像に係る特徴ベクトルとの差ベクトルを算出し、当該差ベクトルの各要素に重み付けをしたものを特徴差分ベクトルとして出力する。このように差ベクトルの各要素に重み付けをすることで認識性能を正確に反映する特徴量の変化を検出することができる。
【００１３】
より好ましくは、前記監視端末は、前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部を有し、当該認識に係るアルゴリズムを前記監視カメラに送信するものであり、前記監視カメラにおける前記特徴変化検出部は、前記監視カメラから送信された認識アルゴリズムを加味して前記特徴差分ベクトルの各要素に重み付けをする。これによると、監視端末からフィードバックされた認識アルゴリズムに基づいて監視カメラにおける特徴量の重み付けが適応的に制御される。
【発明の効果】
【００１４】
本発明によると、監視システムにおいて監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高めることができる。これにより、ネットワーク帯域や映像記録部の効率的利用による監視システム全体のコストパフォーマンスを高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施形態に係る監視システムの構成図である。
【図２】図２は、特徴抽出部の構成図である。
【図３】図３は、誤差検出部の構成図である。
【図４】図４は、符号化制御部の構成図である。
【図５】図５は、監視端末の主要部の構成図である。
【図６】図６は、従来の監視システムの構成図である。
【発明を実施するための形態】
【００１６】
図１は本発明の一実施形態に係る監視システムの構成を示している。本実施形態に係る監視システムは監視カメラ１と監視端末２で構成される。監視カメラ１は、レンズ１１１、イメージセンサ１１２、カメラ信号処理部１１３からなる撮像部１１と、映像符号化部１２、映像復号化部１３、特徴量抽出部１４、特徴変化検出部１５、符号化制御部１６、映像送信部１７、認識難度受信部１８、および認識アルゴリズム受信部１９を備えている。監視端末２は、映像受信部２１、映像記録部２２、映像復号化部２３、映像表示部２４、監視対象認識部２５、認識難度評価部２６、認識難度送信部２７、および認識アルゴリズム送信部２８を備えている。
【００１７】
レンズ１１１は監視対象の光学像をイメージセンサ１１２に結像させる。イメージセンサ１１２は光学像を電気信号に変換する。カメラ信号処理部１１３はイメージセンサ１１２の信号を輝度と色のデジタルデータに変換する。映像符号化部１２は映像を圧縮符号化する。映像復号化部１３は符号化された映像を復号する。特徴量抽出部１４は監視端末２で実施される認識処理に必要な監視対象の特徴を映像から抽出する。特徴変化検出部１５は撮像部１１から出力された映像の特徴量と映像復号化部１３から出力された映像の特徴量との変化分を検出する。すなわち、特徴変化検出部１５は符号化前後の特徴量の変化を検出する。符号化制御部１６は、特徴変化検出部１５の検出結果に基づき映像符号化部１２の制御パラメータを変更する。映像送信部１７は映像符号化部１２で符号化された映像を監視端末２へ送信する。
【００１８】
なお、Ｈ．２６４やＭＰＥＧ等の動画圧縮方式では既に復号された画像を参照してフレーム間予測符号化を行うため、実際には映像符号化部１２と映像復号化部１３は一体であるが、ここでは説明の便宜上、映像符号化部１２と映像復号化部１３を区別して表示している。したがって、映像符号化部１２と映像復号化部１３とが個別に存在しても特に追加コストとなるわけではない。
【００１９】
映像受信部２１は監視カメラ１からの符号化された映像を受信する。映像記録部２２は受信された映像を記録する。映像復号化部２３は受信された映像もしくは映像記録部２２に記録された映像を復号する。映像表示部２４は復号された映像を表示する。監視対象認識部２５は映像から監視対象の認識、例えば人の個人認識を行う。認識難度評価部２６は監視対象認識部２５における認識処理の困難度合いを評価する。認識難度送信部２７は認識難度評価部２６から出力された認識難度を監視カメラ１に送信する。認識アルゴリズム送信部２８は監視端末２で行う認識処理のアルゴリズムを監視カメラ１に送信する。
【００２０】
認識難度受信部１８は認識難度を受信する。符号化制御部１６は認識難度を受け、認識難度が高い場合には特徴変化検出部１５で検出される特徴量変化がより少なくなるように映像符号化部１２を制御する。認識アルゴリズム受信部１９は認識アルゴリズムを受信する。特徴変化検出部１５は認識アルゴリズムを受け、その認識アルゴリズムに合わせて特徴量変化の検出に係るパラメータを変更する。
【００２１】
次に監視カメラ１の各部について詳細に説明する。図２は特徴量抽出部１４の構成を示している。特徴量抽出部１４は、セレクタ１４１、顔検出部１４２、顔特徴抽出部１４３から構成されている。顔検出部１４３は、複数の特定顔向き検出部１４４と結合器１４５で構成されている。特定顔向き検出部１４４は複数の弱識別器１４６で構成されている。顔特徴抽出部１４３は、顔部品位置検出部１４７と顔部品形状検出部１４８から構成されている。顔部品形状検出部１４８は複数のガボールフィルタ１４９から構成されている。
【００２２】
セレクタ１４１は撮像部１１および映像復号化部１３からの映像のいずれか一方を選択する。顔検出部１４２は選択された映像の中から人物顔を検出する。顔検出部１４２において、映像の濃淡パタンに基づき顔らしさを識別する弱識別器１４６がカスケードに組み合わされた、いわゆるブースティング学習器が構成されている。また、顔検出部１４２において、特定の顔向きを区別するためと向き毎の最適化のために特定の顔向き毎に個別の学習を行った特定顔向き検出部１４４が構成されている。
【００２３】
各特定顔向き検出部１４４による顔らしさ判定は結合器１４５で結合され、最終的に人物顔かどうかの判定が行われる。顔検出部１４２で人物顔と判定された領域では顔特徴抽出部１４３により人物顔の特徴が抽出される。まず顔部品位置検出部１４７で人物顔を特徴付ける重要な顔部品である眼、鼻、口等の位置が検出される。ここでは顔検出部１４２と同様の濃淡パタンから識別を行う弱識別器１４６を顔部品に特化して学習させたものを使用して、各顔部品位置を探索する。顔部品位置検出部１４７で検出された顔部品は顔部品形状検出部１４８でその形状情報が抽出される。顔部品形状検出部１４８は顔部品の形状情報となる傾きを含めたエッジ情報を検出するための複数のガボールフィルタ１４９を備えている。顔部品位置情報および顔部品形状情報は後段の特徴変化検出部１５に送られる。
【００２４】
図３は特徴変化検出部１５の構成を示している。特徴量は複数あるため、これらを特徴ベクトル１５１として一括りにする。特徴変化検出部１５は、特徴ベクトルメモリ１５２、特徴差分ベクトル演算部１５３、特徴差分ベクトル空間変換部１５４、特徴差分ベクトル空間決定部１５５から構成される。特徴ベクトルメモリ１５２は撮像部１１から出力された映像に係る特徴ベクトルを記憶するメモリ１５２ａと映像復号化部１３から出力された映像に係る特徴ベクトルを記憶するメモリ１５２ｂを備えている。特徴差分ベクトル演算部１５３は撮像部１１から出力された映像に係る特徴ベクトルと映像復号化部１３から出力された映像に係る特徴ベクトルとの誤差である特徴差分ベクトルを算出する。特徴差分ベクトル空間変換部１５４は特徴差分ベクトルの空間、すなわち個々の特徴量の差分値を所定のルールで変換する。これは特徴量毎に異なる重み付けをしていることになる。監視端末２で実施する認識アルゴリズムにより、特徴量の重み付けが異なるためである。この処理を正確に行うため、特徴差分ベクトル空間決定部１５５は認識アルゴリズム受信部１９から受けた認識アルゴリズムに基づき変換ルールを決定する。
【００２５】
図４は符号化制御部１６の構成を示している。符号化制御部１６は、特徴差分ベクトル大きさ評価値演算部１６１、特徴差分ベクトル閾値比較部１６２、特徴差分ベクトル閾値決定部１６３、量子化パラメータ制御部１６４、顔部品位置差評価値演算部１６５、予測モード制御部１６６から構成される。
【００２６】
特徴差分ベクトル大きさ評価値演算部１６１は特徴変化検出部１５から出力された特徴差分ベクトルの大きさを示す総合的な指標を計算する。例えばベクトルの絶対値である。これにより特徴量の差異は一つの評価値に集約される。特徴差分ベクトル閾値比較部１６２は監視端末２における所望の認識性能を確保するためにあるべき特徴差分ベクトルの閾値と評価指標との比較を行う。特徴差分ベクトル閾値決定部１６３は特徴差分ベクトルの閾値の決定を行う。
【００２７】
所望の認識性能の確保をより正確に行うため、特徴差分ベクトルの閾値は認識難度受信部１８から送られる認識難度に基づき更新される。例えば認識難度が高い場合は閾値を下げる処理を行う。量子化パラメータ制御部１６４は特徴差分ベクトル閾値比較部１６２の出力に基づき映像符号化部１２の量子化パラメータを制御する。量子化を粗くすると量子化に起因するノイズが増え特徴差分ベクトルが増大する。閾値を超えた場合、所望の認識性能が確保できないため、量子化を細かくする方向に制御を行う。
【００２８】
量子化ノイズを低減しても特徴差分ベクトルが閾値内に収まらない場合もあり、それはフレーム間予測の誤差に起因する顔部品位置のズレが主要な原因となる。これに対処するため、顔部品位置差評価値演算部１６５は顔部品位置の誤差を評価し予測モード制御部１６６にその情報を送る。予測モード制御部１６６は顔部品位置差評価値演算部１６５からの顔部品位置誤差情報に基づき誤差が大きい場合はフレーム間予測を禁止するなどの処置を行う。なお、量子化を細かくすることやフレーム間予測の禁止は顔領域の符号量増大をもたらすが、顔以外の領域の符号量を低減することで補う。
【００２９】
なお、映像符号化部１６はＨ．２６４等のＭＰＥＧ系動画符号化方式を採用しており、既存技術であるため簡単な解説にとどめる。ＭＰＥＧ系動画符号化方式は、フレーム間予測符号化とフレーム内符号化の組み合わせであり、フレーム内符号化では直交変換で周波数成分に変換した後、視覚特性上目立たない部分を量子化する。このため元の情報は再現できず非可逆圧縮となる。その後エントロピー符号化によりさらに圧縮を行うが、この部分は可逆圧縮である。フレーム間予測符号化のためには予測の元となる参照画像が必要なので、局所復号化によりそれを得る。エントロピー符号化は可逆圧縮なのでその前の量子化までされたデータを逆量子化、逆直交変換、フレーム間復号化と逆の手順で復号を実施し参照画像を得る。逆量子化、逆直交変換、フレーム間復号化はＭＰＥＧ系動画符号化方式では映像符号化部１２に含まれるが、説明の便宜上、映像復号化部１３を敢えて個別に表示している。
【００３０】
次に監視端末２の主要部の詳細説明を行う。図５は監視端末２の主要部の構成を示している。監視対象認識部２５は、顔検出部２５１、顔特徴抽出部２５２、特徴空間変換部２５３、個人差情報抽出部２５４、個人特徴情報データベース２５５、および個人識別部２５６から構成される。認識難度評価部２６は、外乱ノイズ抽出部２６１および個人差情報対外乱ノイズ比較評価部２６２から構成される。顔検出部２５１および顔特徴抽出部２５２はそれぞれ基本的には監視カメラ１の特徴抽出部１４における顔検出部１４２および顔特徴抽出部１４３と同じものである（図２参照）。特徴空間変換部２５３は、次段の個人差情報抽出部２５４での個人差情報の抽出を容易にするために、外乱ノイズの影響を受けやすい特徴量の重みを下げ、個人差をより的確に反映する特徴量の重みを増大させるように特徴空間の変換を行う。この情報が認識アルゴリズム送信部２８より監視カメラ１に送信され、特徴差分ベクトル空間の変換、すなわち特徴量差の重み付けに用いられる。
【００３１】
個人差情報抽出部２５４は個人差を的確に反映する評価量を特徴量から生成する。個人特徴情報データベース２５５は個人の顔の特徴量を記憶しているデータベースである。個人識別部２５６は個人特徴情報データベース２５５内の特定の個人の特徴量と個人差情報抽出部２５４より抽出された映像中の顔の特徴を比較し、映像中の顔が特定の個人の顔かどうかを識別する。
【００３２】
認識難度評価部２６における外乱ノイズ抽出部２６１は特徴量の中から照明等の外乱の影響を受けやすい特徴量を抽出する。個人差情報対外乱ノイズ比較評価部２６２は個人差を的確に反映する評価量と外乱の影響を受けやすい特徴量との大きさを比較し、認識の難度を反映した評価量を生成する。認識の難度を反映した評価量は認識難度送信部２７を通じて監視カメラ１に送信され、符号化制御部１６での符号化制御をより適切に行うために使用される。
【００３３】
なお、本発明は本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で様々な実施形態を取り得る。例えば、本実施形態では人物顔の認識を目的にしているが、顔以外の認識技術に対しても同様の考え方の適用で認識性能とネットワーク帯域効率化との両立を実現することができる。
【産業上の利用可能性】
【００３４】
本発明に係る監視システムは、監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高めることができるため、ネットワーク帯域や映像記録部の効率的利用が要求される監視システムとして有用である。
【符号の説明】
【００３５】
１ 監視カメラ
１１ 撮像部
１２ 映像符号化部
１３ 映像復号化部
１４ 特徴量抽出部
１４２ 顔検出部
１４３ 顔特徴抽出部
１５ 特徴変化検出部
１６ 符号化制御部
２ 監視端末
２５ 監視対象認識部
２６ 認識難度評価部
【技術分野】
【０００１】
本発明は、監視カメラおよび監視カメラと端末をネットワーク等で結んだ監視システムに関するものであり、特に人物認識技術等を使って監視の自動化を行う監視システムに関する。
【背景技術】
【０００２】
近年、監視カメラの映像をＩＰネットワーク等で伝送し、それを監視端末で受信して広域を効率的に監視する監視システムが発展してきている。図６は従来の監視システムの構成を示している。監視システムは監視カメラ１００と監視端末２００から構成される。監視カメラ１００は、レンズ１０１、イメージセンサ１０２、およびカメラ信号処理１０３からなる撮像部１０４と、映像符号化部１０５、映像送信部１０６から構成される。監視端末２００は、映像受信部２０１、映像記録部２０２、映像復号化部２０３、および映像表示部６１２から構成される。
【０００３】
レンズ１０１は監視対象の光学像をイメージセンサ１０２に結像させる。イメージセンサ１０２は光学像を電気信号に変換する。カメラ信号処理部１０３はイメージセンサ１０２の信号を輝度と色のデジタルデータに変換する。映像符号化部１０５は映像を圧縮符号化する。ネットワークの帯域は限られており、圧縮率を高めるために非可逆圧縮が採用される。映像送信部１０６は監視端末２００に符号化された映像を送信する。例えばＩＰネットワークで送信する場合には、映像送信部１０６はＩＰヘッダ処理や再送・輻輳制御等の送信制御を行う。
【０００４】
監視端末２００では、映像受信部２０１が監視カメラ１００からの符号化された映像を受信する。映像記録部２０２は受信された映像を記録する。映像復号化部２０３は符号化された映像を復号し映像データを再現する。ただし、監視カメラ１００から送信される映像は非可逆圧縮されているので、監視端末２００側では監視カメラ１００で取得した映像と完全に同じ映像にはならず必ず劣化が発生する。映像表示部２０４は監視カメラ１００の映像を表示する。
【０００５】
映像監視において重要な要件は、民生用カメラで重要な美しさ等ではなく、重要な情報が欠落していないことである。例えば不審人物を特定するためには人物顔が非常に重要となる。またネットワークの帯域は通常限られており、また記録も常時記録となるため可能な限り高い圧縮率の映像圧縮が求められている。そこで、監視カメラ１００に映像の中から人物画像の領域を関心領域として検出する関心領域検出部１０７を設け、映像符号化部１０５は関心領域の圧縮率を他の領域よりも相対的に下げることで、高画質化を図りつつ重要情報の欠落を防いでいる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１４５１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記従来技術によると、関心領域の画質は、他の領域との相対的な関係において向上させることができるが、どの程度向上すべきかといった絶対的な尺度を以て制御することは困難である。そのため、ネットワーク帯域がより厳しくなり関心領域の画質さえある程度低下させざる得ない場合、どの程度まで低下させてもよいか判断できないおそれがある。また、それゆえ、十分な性能を確保した上でネットワーク帯域や映像記録部の容量を低減することによるコストパフォーマンスの向上を論理的かつ定量的に実施することが困難である。
【０００８】
かかる問題に鑑み、本発明は、監視システムにおいて監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高めることを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明によって次のような手段を講じた。すなわち、監視カメラは、監視対象を撮像する撮像部と、前記撮像部から出力された映像を非可逆圧縮によって符号化する映像符号化部と、前記映像符号化部によって符号化された映像を復号する映像復号化部と、前記撮像部から出力された第１の映像および前記映像復号化部から出力された第２の映像を受け、それぞれの映像における特徴量を抽出する特徴量抽出部と、前記第１の映像から抽出された特徴量と前記第２の映像から抽出された特徴量との変化分を検出する特徴変化検出部と、前記検出された特徴量の変化分に基づいて前記映像符号化部の制御パラメータを変更する符号化制御部とを備えているものとする。また、監視システムは、前記監視カメラと、前記監視カメラと通信回線を通じて接続される監視端末とを備えているものとする。
【００１０】
これによると、映像監視の最終的な目的である映像の識別・認識に必要な特徴量の変化、すなわち劣化度合いに基づいて映像符号化に係る制御パラメータが変更される。したがって、映像全体を絶対的な尺度を以て適切に圧縮符号化することができる。
【００１１】
好ましくは、前記監視端末は、前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部と、前記監視カメラから受信した映像の認識難度を評価する認識難度評価部とを有し、前記認識難度を前記監視カメラに送信するものであり、前記監視カメラにおける前記符号化制御部は、前記監視カメラから送信された認識難度を加味して前記映像符号化部の制御パラメータを変更する。これによると、監視端末からフィードバックされた監視対象の認識難度に基づいて映像符号化に係る制御パラメータが適応的に変更される。
【００１２】
また、好ましくは、前記特徴量抽出部は、抽出した特徴量を特徴ベクトルとして出力するものであり、前記特徴変化検出部は、前記第１の映像に係る特徴ベクトルと前記第２の映像に係る特徴ベクトルとの差ベクトルを算出し、当該差ベクトルの各要素に重み付けをしたものを特徴差分ベクトルとして出力する。このように差ベクトルの各要素に重み付けをすることで認識性能を正確に反映する特徴量の変化を検出することができる。
【００１３】
より好ましくは、前記監視端末は、前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部を有し、当該認識に係るアルゴリズムを前記監視カメラに送信するものであり、前記監視カメラにおける前記特徴変化検出部は、前記監視カメラから送信された認識アルゴリズムを加味して前記特徴差分ベクトルの各要素に重み付けをする。これによると、監視端末からフィードバックされた認識アルゴリズムに基づいて監視カメラにおける特徴量の重み付けが適応的に制御される。
【発明の効果】
【００１４】
本発明によると、監視システムにおいて監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高めることができる。これにより、ネットワーク帯域や映像記録部の効率的利用による監視システム全体のコストパフォーマンスを高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施形態に係る監視システムの構成図である。
【図２】図２は、特徴抽出部の構成図である。
【図３】図３は、誤差検出部の構成図である。
【図４】図４は、符号化制御部の構成図である。
【図５】図５は、監視端末の主要部の構成図である。
【図６】図６は、従来の監視システムの構成図である。
【発明を実施するための形態】
【００１６】
図１は本発明の一実施形態に係る監視システムの構成を示している。本実施形態に係る監視システムは監視カメラ１と監視端末２で構成される。監視カメラ１は、レンズ１１１、イメージセンサ１１２、カメラ信号処理部１１３からなる撮像部１１と、映像符号化部１２、映像復号化部１３、特徴量抽出部１４、特徴変化検出部１５、符号化制御部１６、映像送信部１７、認識難度受信部１８、および認識アルゴリズム受信部１９を備えている。監視端末２は、映像受信部２１、映像記録部２２、映像復号化部２３、映像表示部２４、監視対象認識部２５、認識難度評価部２６、認識難度送信部２７、および認識アルゴリズム送信部２８を備えている。
【００１７】
レンズ１１１は監視対象の光学像をイメージセンサ１１２に結像させる。イメージセンサ１１２は光学像を電気信号に変換する。カメラ信号処理部１１３はイメージセンサ１１２の信号を輝度と色のデジタルデータに変換する。映像符号化部１２は映像を圧縮符号化する。映像復号化部１３は符号化された映像を復号する。特徴量抽出部１４は監視端末２で実施される認識処理に必要な監視対象の特徴を映像から抽出する。特徴変化検出部１５は撮像部１１から出力された映像の特徴量と映像復号化部１３から出力された映像の特徴量との変化分を検出する。すなわち、特徴変化検出部１５は符号化前後の特徴量の変化を検出する。符号化制御部１６は、特徴変化検出部１５の検出結果に基づき映像符号化部１２の制御パラメータを変更する。映像送信部１７は映像符号化部１２で符号化された映像を監視端末２へ送信する。
【００１８】
なお、Ｈ．２６４やＭＰＥＧ等の動画圧縮方式では既に復号された画像を参照してフレーム間予測符号化を行うため、実際には映像符号化部１２と映像復号化部１３は一体であるが、ここでは説明の便宜上、映像符号化部１２と映像復号化部１３を区別して表示している。したがって、映像符号化部１２と映像復号化部１３とが個別に存在しても特に追加コストとなるわけではない。
【００１９】
映像受信部２１は監視カメラ１からの符号化された映像を受信する。映像記録部２２は受信された映像を記録する。映像復号化部２３は受信された映像もしくは映像記録部２２に記録された映像を復号する。映像表示部２４は復号された映像を表示する。監視対象認識部２５は映像から監視対象の認識、例えば人の個人認識を行う。認識難度評価部２６は監視対象認識部２５における認識処理の困難度合いを評価する。認識難度送信部２７は認識難度評価部２６から出力された認識難度を監視カメラ１に送信する。認識アルゴリズム送信部２８は監視端末２で行う認識処理のアルゴリズムを監視カメラ１に送信する。
【００２０】
認識難度受信部１８は認識難度を受信する。符号化制御部１６は認識難度を受け、認識難度が高い場合には特徴変化検出部１５で検出される特徴量変化がより少なくなるように映像符号化部１２を制御する。認識アルゴリズム受信部１９は認識アルゴリズムを受信する。特徴変化検出部１５は認識アルゴリズムを受け、その認識アルゴリズムに合わせて特徴量変化の検出に係るパラメータを変更する。
【００２１】
次に監視カメラ１の各部について詳細に説明する。図２は特徴量抽出部１４の構成を示している。特徴量抽出部１４は、セレクタ１４１、顔検出部１４２、顔特徴抽出部１４３から構成されている。顔検出部１４３は、複数の特定顔向き検出部１４４と結合器１４５で構成されている。特定顔向き検出部１４４は複数の弱識別器１４６で構成されている。顔特徴抽出部１４３は、顔部品位置検出部１４７と顔部品形状検出部１４８から構成されている。顔部品形状検出部１４８は複数のガボールフィルタ１４９から構成されている。
【００２２】
セレクタ１４１は撮像部１１および映像復号化部１３からの映像のいずれか一方を選択する。顔検出部１４２は選択された映像の中から人物顔を検出する。顔検出部１４２において、映像の濃淡パタンに基づき顔らしさを識別する弱識別器１４６がカスケードに組み合わされた、いわゆるブースティング学習器が構成されている。また、顔検出部１４２において、特定の顔向きを区別するためと向き毎の最適化のために特定の顔向き毎に個別の学習を行った特定顔向き検出部１４４が構成されている。
【００２３】
各特定顔向き検出部１４４による顔らしさ判定は結合器１４５で結合され、最終的に人物顔かどうかの判定が行われる。顔検出部１４２で人物顔と判定された領域では顔特徴抽出部１４３により人物顔の特徴が抽出される。まず顔部品位置検出部１４７で人物顔を特徴付ける重要な顔部品である眼、鼻、口等の位置が検出される。ここでは顔検出部１４２と同様の濃淡パタンから識別を行う弱識別器１４６を顔部品に特化して学習させたものを使用して、各顔部品位置を探索する。顔部品位置検出部１４７で検出された顔部品は顔部品形状検出部１４８でその形状情報が抽出される。顔部品形状検出部１４８は顔部品の形状情報となる傾きを含めたエッジ情報を検出するための複数のガボールフィルタ１４９を備えている。顔部品位置情報および顔部品形状情報は後段の特徴変化検出部１５に送られる。
【００２４】
図３は特徴変化検出部１５の構成を示している。特徴量は複数あるため、これらを特徴ベクトル１５１として一括りにする。特徴変化検出部１５は、特徴ベクトルメモリ１５２、特徴差分ベクトル演算部１５３、特徴差分ベクトル空間変換部１５４、特徴差分ベクトル空間決定部１５５から構成される。特徴ベクトルメモリ１５２は撮像部１１から出力された映像に係る特徴ベクトルを記憶するメモリ１５２ａと映像復号化部１３から出力された映像に係る特徴ベクトルを記憶するメモリ１５２ｂを備えている。特徴差分ベクトル演算部１５３は撮像部１１から出力された映像に係る特徴ベクトルと映像復号化部１３から出力された映像に係る特徴ベクトルとの誤差である特徴差分ベクトルを算出する。特徴差分ベクトル空間変換部１５４は特徴差分ベクトルの空間、すなわち個々の特徴量の差分値を所定のルールで変換する。これは特徴量毎に異なる重み付けをしていることになる。監視端末２で実施する認識アルゴリズムにより、特徴量の重み付けが異なるためである。この処理を正確に行うため、特徴差分ベクトル空間決定部１５５は認識アルゴリズム受信部１９から受けた認識アルゴリズムに基づき変換ルールを決定する。
【００２５】
図４は符号化制御部１６の構成を示している。符号化制御部１６は、特徴差分ベクトル大きさ評価値演算部１６１、特徴差分ベクトル閾値比較部１６２、特徴差分ベクトル閾値決定部１６３、量子化パラメータ制御部１６４、顔部品位置差評価値演算部１６５、予測モード制御部１６６から構成される。
【００２６】
特徴差分ベクトル大きさ評価値演算部１６１は特徴変化検出部１５から出力された特徴差分ベクトルの大きさを示す総合的な指標を計算する。例えばベクトルの絶対値である。これにより特徴量の差異は一つの評価値に集約される。特徴差分ベクトル閾値比較部１６２は監視端末２における所望の認識性能を確保するためにあるべき特徴差分ベクトルの閾値と評価指標との比較を行う。特徴差分ベクトル閾値決定部１６３は特徴差分ベクトルの閾値の決定を行う。
【００２７】
所望の認識性能の確保をより正確に行うため、特徴差分ベクトルの閾値は認識難度受信部１８から送られる認識難度に基づき更新される。例えば認識難度が高い場合は閾値を下げる処理を行う。量子化パラメータ制御部１６４は特徴差分ベクトル閾値比較部１６２の出力に基づき映像符号化部１２の量子化パラメータを制御する。量子化を粗くすると量子化に起因するノイズが増え特徴差分ベクトルが増大する。閾値を超えた場合、所望の認識性能が確保できないため、量子化を細かくする方向に制御を行う。
【００２８】
量子化ノイズを低減しても特徴差分ベクトルが閾値内に収まらない場合もあり、それはフレーム間予測の誤差に起因する顔部品位置のズレが主要な原因となる。これに対処するため、顔部品位置差評価値演算部１６５は顔部品位置の誤差を評価し予測モード制御部１６６にその情報を送る。予測モード制御部１６６は顔部品位置差評価値演算部１６５からの顔部品位置誤差情報に基づき誤差が大きい場合はフレーム間予測を禁止するなどの処置を行う。なお、量子化を細かくすることやフレーム間予測の禁止は顔領域の符号量増大をもたらすが、顔以外の領域の符号量を低減することで補う。
【００２９】
なお、映像符号化部１６はＨ．２６４等のＭＰＥＧ系動画符号化方式を採用しており、既存技術であるため簡単な解説にとどめる。ＭＰＥＧ系動画符号化方式は、フレーム間予測符号化とフレーム内符号化の組み合わせであり、フレーム内符号化では直交変換で周波数成分に変換した後、視覚特性上目立たない部分を量子化する。このため元の情報は再現できず非可逆圧縮となる。その後エントロピー符号化によりさらに圧縮を行うが、この部分は可逆圧縮である。フレーム間予測符号化のためには予測の元となる参照画像が必要なので、局所復号化によりそれを得る。エントロピー符号化は可逆圧縮なのでその前の量子化までされたデータを逆量子化、逆直交変換、フレーム間復号化と逆の手順で復号を実施し参照画像を得る。逆量子化、逆直交変換、フレーム間復号化はＭＰＥＧ系動画符号化方式では映像符号化部１２に含まれるが、説明の便宜上、映像復号化部１３を敢えて個別に表示している。
【００３０】
次に監視端末２の主要部の詳細説明を行う。図５は監視端末２の主要部の構成を示している。監視対象認識部２５は、顔検出部２５１、顔特徴抽出部２５２、特徴空間変換部２５３、個人差情報抽出部２５４、個人特徴情報データベース２５５、および個人識別部２５６から構成される。認識難度評価部２６は、外乱ノイズ抽出部２６１および個人差情報対外乱ノイズ比較評価部２６２から構成される。顔検出部２５１および顔特徴抽出部２５２はそれぞれ基本的には監視カメラ１の特徴抽出部１４における顔検出部１４２および顔特徴抽出部１４３と同じものである（図２参照）。特徴空間変換部２５３は、次段の個人差情報抽出部２５４での個人差情報の抽出を容易にするために、外乱ノイズの影響を受けやすい特徴量の重みを下げ、個人差をより的確に反映する特徴量の重みを増大させるように特徴空間の変換を行う。この情報が認識アルゴリズム送信部２８より監視カメラ１に送信され、特徴差分ベクトル空間の変換、すなわち特徴量差の重み付けに用いられる。
【００３１】
個人差情報抽出部２５４は個人差を的確に反映する評価量を特徴量から生成する。個人特徴情報データベース２５５は個人の顔の特徴量を記憶しているデータベースである。個人識別部２５６は個人特徴情報データベース２５５内の特定の個人の特徴量と個人差情報抽出部２５４より抽出された映像中の顔の特徴を比較し、映像中の顔が特定の個人の顔かどうかを識別する。
【００３２】
認識難度評価部２６における外乱ノイズ抽出部２６１は特徴量の中から照明等の外乱の影響を受けやすい特徴量を抽出する。個人差情報対外乱ノイズ比較評価部２６２は個人差を的確に反映する評価量と外乱の影響を受けやすい特徴量との大きさを比較し、認識の難度を反映した評価量を生成する。認識の難度を反映した評価量は認識難度送信部２７を通じて監視カメラ１に送信され、符号化制御部１６での符号化制御をより適切に行うために使用される。
【００３３】
なお、本発明は本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で様々な実施形態を取り得る。例えば、本実施形態では人物顔の認識を目的にしているが、顔以外の認識技術に対しても同様の考え方の適用で認識性能とネットワーク帯域効率化との両立を実現することができる。
【産業上の利用可能性】
【００３４】
本発明に係る監視システムは、監視対象の認識性能を十分に確保しつつ映像全体の圧縮率を高めることができるため、ネットワーク帯域や映像記録部の効率的利用が要求される監視システムとして有用である。
【符号の説明】
【００３５】
１ 監視カメラ
１１ 撮像部
１２ 映像符号化部
１３ 映像復号化部
１４ 特徴量抽出部
１４２ 顔検出部
１４３ 顔特徴抽出部
１５ 特徴変化検出部
１６ 符号化制御部
２ 監視端末
２５ 監視対象認識部
２６ 認識難度評価部
【特許請求の範囲】
【請求項１】
監視対象を撮像する撮像部と、
前記撮像部から出力された映像を非可逆圧縮によって符号化する映像符号化部と、
前記映像符号化部によって符号化された映像を復号する映像復号化部と、
前記撮像部から出力された第１の映像および前記映像復号化部から出力された第２の映像を受け、それぞれの映像における特徴量を抽出する特徴量抽出部と、
前記第１の映像から抽出された特徴量と前記第２の映像から抽出された特徴量との変化分を検出する特徴変化検出部と、
前記検出された特徴量の変化分に基づいて前記映像符号化部の制御パラメータを変更する符号化制御部とを備えている
ことを特徴とする監視カメラ。
【請求項２】
請求項１の監視カメラにおいて、
前記特徴量抽出部は、抽出した特徴量を特徴ベクトルとして出力するものであり、
前記特徴変化検出部は、前記第１の映像に係る特徴ベクトルと前記第２の映像に係る特徴ベクトルとの差ベクトルを算出し、当該差ベクトルの各要素に重み付けをしたものを特徴差分ベクトルとして出力する
ことを特徴とする監視カメラ。
【請求項３】
請求項２の監視カメラにおいて、
前記符号化制御部は、前記特徴変化検出部から出力された特徴差分ベクトルを評価指標に変換し、当該評価指標が閾値内に収まるように前記映像符号化部の制御パラメータを変更する
ことを特徴とする監視カメラ。
【請求項４】
請求項１の監視カメラにおいて、
前記符号化制御部は、前記映像符号化部のフレーム間予測の有無および量子化パラメータを制御する
ことを特徴とする監視カメラ。
【請求項５】
請求項１の監視カメラにおいて、
前記特徴量抽出部は、
入力された映像における人物顔を検出する顔検出部と、
前記検出された人物顔における眼、鼻、口などの各部品の濃度勾配を抽出する顔特徴抽出部とを有する
ことを特徴とする監視カメラ。
【請求項６】
請求項１の監視カメラにおいて、
前記映像符号化部、映像復号化部、特徴量抽出部、特徴変化検出部、および符号化制御部が一または複数の半導体チップで構成されている
ことを特徴とする監視カメラ。
【請求項７】
請求項１の監視カメラと、
前記監視カメラと通信回線を通じて接続される監視端末とを備えている
ことを特徴とする監視システム。
【請求項８】
請求項７の監視システムにおいて、
前記監視端末は、
前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部と、
前記監視カメラから受信した映像の認識難度を評価する認識難度評価部とを有し、
前記認識難度を前記監視カメラに送信するものであり、
前記監視カメラにおける前記符号化制御部は、前記監視カメラから送信された認識難度を加味して前記映像符号化部の制御パラメータを変更する
ことを特徴とする監視システム。
【請求項９】
請求項２の監視カメラと、
前記監視カメラと通信回線を通じて接続される監視端末とを備え、
前記監視端末は、前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部を有し、当該認識に係るアルゴリズムを前記監視カメラに送信するものであり、
前記監視カメラにおける前記特徴変化検出部は、前記監視カメラから送信された認識アルゴリズムを加味して前記特徴差分ベクトルの各要素に重み付けをする
ことを特徴とする監視システム。
【請求項１】
監視対象を撮像する撮像部と、
前記撮像部から出力された映像を非可逆圧縮によって符号化する映像符号化部と、
前記映像符号化部によって符号化された映像を復号する映像復号化部と、
前記撮像部から出力された第１の映像および前記映像復号化部から出力された第２の映像を受け、それぞれの映像における特徴量を抽出する特徴量抽出部と、
前記第１の映像から抽出された特徴量と前記第２の映像から抽出された特徴量との変化分を検出する特徴変化検出部と、
前記検出された特徴量の変化分に基づいて前記映像符号化部の制御パラメータを変更する符号化制御部とを備えている
ことを特徴とする監視カメラ。
【請求項２】
請求項１の監視カメラにおいて、
前記特徴量抽出部は、抽出した特徴量を特徴ベクトルとして出力するものであり、
前記特徴変化検出部は、前記第１の映像に係る特徴ベクトルと前記第２の映像に係る特徴ベクトルとの差ベクトルを算出し、当該差ベクトルの各要素に重み付けをしたものを特徴差分ベクトルとして出力する
ことを特徴とする監視カメラ。
【請求項３】
請求項２の監視カメラにおいて、
前記符号化制御部は、前記特徴変化検出部から出力された特徴差分ベクトルを評価指標に変換し、当該評価指標が閾値内に収まるように前記映像符号化部の制御パラメータを変更する
ことを特徴とする監視カメラ。
【請求項４】
請求項１の監視カメラにおいて、
前記符号化制御部は、前記映像符号化部のフレーム間予測の有無および量子化パラメータを制御する
ことを特徴とする監視カメラ。
【請求項５】
請求項１の監視カメラにおいて、
前記特徴量抽出部は、
入力された映像における人物顔を検出する顔検出部と、
前記検出された人物顔における眼、鼻、口などの各部品の濃度勾配を抽出する顔特徴抽出部とを有する
ことを特徴とする監視カメラ。
【請求項６】
請求項１の監視カメラにおいて、
前記映像符号化部、映像復号化部、特徴量抽出部、特徴変化検出部、および符号化制御部が一または複数の半導体チップで構成されている
ことを特徴とする監視カメラ。
【請求項７】
請求項１の監視カメラと、
前記監視カメラと通信回線を通じて接続される監視端末とを備えている
ことを特徴とする監視システム。
【請求項８】
請求項７の監視システムにおいて、
前記監視端末は、
前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部と、
前記監視カメラから受信した映像の認識難度を評価する認識難度評価部とを有し、
前記認識難度を前記監視カメラに送信するものであり、
前記監視カメラにおける前記符号化制御部は、前記監視カメラから送信された認識難度を加味して前記映像符号化部の制御パラメータを変更する
ことを特徴とする監視システム。
【請求項９】
請求項２の監視カメラと、
前記監視カメラと通信回線を通じて接続される監視端末とを備え、
前記監視端末は、前記監視カメラから受信した映像から前記監視対象を認識する監視対象認識部を有し、当該認識に係るアルゴリズムを前記監視カメラに送信するものであり、
前記監視カメラにおける前記特徴変化検出部は、前記監視カメラから送信された認識アルゴリズムを加味して前記特徴差分ベクトルの各要素に重み付けをする
ことを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２３４０３３（Ｐ２０１１−２３４０３３Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０１２１９（Ｐ２０１０−１０１２１９）
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]