監視装置
【課題】監視者に対して、監視対象の位置が直感的に分かり、また、不審者等の動きや特徴等の異常の状態が把握し易い映像を提示できる監視装置を提供する。
【解決手段】複数のカメラ１１〜１３が撮影するカメラ画像を用いて施設内を監視する監視装置は、カメラ１１〜１３のカメラ画像を用いて合成画像を生成する合成画像生成部３と、カメラ画像及び合成画像を保持する記録部９と、画像を表示する表示部４と、表示部４に表示した合成画像の領域が選択されたとき、その領域に該当するカメラ画像または当該カメラ画像の領域を検索して表示部４に表示する検索部１ｂとを備える。
【解決手段】複数のカメラ１１〜１３が撮影するカメラ画像を用いて施設内を監視する監視装置は、カメラ１１〜１３のカメラ画像を用いて合成画像を生成する合成画像生成部３と、カメラ画像及び合成画像を保持する記録部９と、画像を表示する表示部４と、表示部４に表示した合成画像の領域が選択されたとき、その領域に該当するカメラ画像または当該カメラ画像の領域を検索して表示部４に表示する検索部１ｂとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いた監視を行う監視装置に関する。
【背景技術】
【０００２】
近年、建物等の施設内の各所にカメラを設置し、これらのカメラの撮影映像を１箇所で集中監視する監視システムが実用化されている。しかし、複数の撮影画像を複数のモニタに表示して同時に監視する場合は、監視者が侵入者の侵入等の異常を見落とすことが間々ある。また、侵入者を画面上で発見したときでも、複数のモニタの映像が建物内のどこを映しているのか直感的に分かり難いため、侵入者の移動先をモニタ画像で追うことが難しい場合がある。この傾向は建物の規模が大きくなり、カメラの台数が増えるに比例して増大する。こうした事態に対して、監視者の増員や、監視者に建物の構造を教え込むなど、人に負担を求める対策が講じられている。
【０００３】
このような人的負担の軽減を図るためのものとして、特許文献１に示される監視システムがある。この監視システムは、複数のカメラで監視現場を撮影し、映像から侵入者を検知すると、この侵入者を検知したカメラの映像出力を１つのモニタに表示し、さらに、その画像から侵入者の向う方向を予測して、その方向を中心とする一定の範囲内に設置された別のカメラを選択し、その映像を別のモニタに表示するものである。したがって、侵入者を検知したカメラの映像と、これから侵入者が映ると予測されるカメラの映像とが選択されて監視者に提示されるため、監視者は、容易に侵入者を把握することができる。
【０００４】
また、特許文献２には、記録された膨大な量の監視カメラの映像から、不審者が映っている部分のみを迅速に再生できる監視システムが開示されている。この監視システムでは、入口のカメラで不審者を検出すると、その人物の特徴を抽象化した抽象化画像を生成し、その不審者を特定する人物ＩＤと共に保存する。施設内のカメラの画像から、その特徴を持つ不審者を検出すると、モニタログデータベースに、人物ＩＤと共に、そのカメラの視野に不審者が出現した「開始時刻」と、その視野から不審者がいなくなった「終了時刻」とを、カメラごとに記録する。再生時には、この「開始時刻」及び「終了時刻」で特定される範囲内の各カメラの撮影画像を検索システムで抽出し、再生する。したがって、この監視システムでは、記録画像の中から、不審者の映る映像が抽出されて提示されるため、監視者の負担は軽減される。
【０００５】
【特許文献１】特許平９−０１６８６３号公報
【特許文献２】特開２００４−１８７１１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の監視システムでも、それぞれのカメラからの撮影画像を別々のモニタに表示するので、モニタ映像が施設のどの部分を写しているかが監視者に直感的に認識することは困難である。また、個々の監視カメラで映すことができる侵入者の動きは限定されるから、個々の監視カメラの画像を基に侵入者の動きを予測する場合は、誤りや見落としの発生する可能性がある。
【０００７】
特許文献２の監視システムのように、個々の監視カメラの画像から侵入者を特定する場合は、そのカメラの撮影位置や角度、あるいは、そこを通過するときの顔の向き等によって、侵入者の特徴を十分に捕捉できないことがあり、そのため、侵入者を見落としたり、侵入者でない人物を検出したりするケースが発生し、多くの誤った画像が監視者に提示される可能性がある。その結果、監視者の負担は、軽減されないことになる。
【０００８】
本発明は、上記事情に鑑みなされたものであり、監視者に対して、監視対象の位置が直感的に分かり、また、不審者等の動きや特徴等の異常の状態が把握し易い映像を提示できる監視装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明では、複数のカメラを用いた監視を行う監視装置であって、前記カメラで撮影したカメラ画像を用いて合成画像を生成する合成画像生成手段と、前記カメラ画像及び前記合成画像を保持する記録手段と、画像を表示する表示手段と、前記表示手段に表示した前記合成画像の任意の領域が選択されたとき、前記選択された領域に対応する前記カメラ画像または当該カメラ画像の領域を検索して前記表示手段に表示する検索手段とを備えるものである。本発明によれば、監視者は、合成画像から、各種施設等の監視対象の位置を直感的に知ることができ、この合成画像から見たい領域を選択して、詳細なカメラ画像を見ることができる。
【００１０】
また、本発明の監視装置は、合成画像生成手段が、複数のカメラのカメラ画像を合成した合成画像を生成するものを含む。本発明によれば、監視者は、広範囲を映す合成画像から、施設内の位置を直感的に知ることができる。
【００１１】
また、本発明の監視装置は、複数のカメラが、２倍以上画角が異なる２以上のカメラを含むものを含む。本発明によれば、遠い部分を映す望遠カメラの画像と近い部分を映す広角カメラの画像とを合成して合成画像を生成することにより、合成画像から遠い位置の人物が選択された場合でも、望遠カメラで映した、拡大した人物のカメラ画像を表示することができる。
【００１２】
また、本発明の監視装置は、合成画像生成手段が、カメラ画像と監視対象施設の構造を示す図形とを合成した合成画像を生成するものを含む。本発明によれば、監視者は、この合成画像から、カメラ画像が施設のどの位置の画像であるかを直感的に知ることができる。
【００１３】
また、本発明の監視装置は、さらに、複数のカメラ画像を利用して生成された合成画像から動きを検出する動き検知手段と、動き検知手段が検知した合成画像にタグ情報を付加するタグ情報付加手段と、タグ情報を付加した合成画像に使用されたカメラ画像を検索して、そのカメラ画像にタグ情報を付加するタグ情報伝播手段とを備えるものを含む。本発明によれば、複数のカメラ画像を含む合成画像から動きを検出することで、単独のカメラ画像の解析では明確でない動きが、正確且つ安定的に検知できる。
【００１４】
また、本発明の監視装置は、さらに、タグ情報に基づいて、タグ情報が付加された合成画像及びカメラ画像の優先度を決定し、優先度に基づいて消去する画像を決定する消去手段を備えるものを含む。本発明によれば、優先度が低い画像を自動消去することにより、装置の記憶容量を有効に活用することができる。
【発明の効果】
【００１５】
本発明の監視装置は、監視者に、施設内のどこを監視しているかが一目で直感的に把握できる合成画像を提示することができ、また、合成画像中の監視者が注目する部分を検索して、詳細なカメラ画像を提示することができる。そのため、監視者は、施設内を詳細かつ効率的に監視することができる。
【００１６】
また、本発明の監視装置は、個々のカメラ画像を解析するだけでは不明確な画像上の動きを、安定的且つ正確に検知することができ、この検知結果を基に画像に付与したタグ情報を用いて、再生画像を的確に絞り込むことができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１８】
（第１の実施の形態）
図１に、本発明の第１の実施形態の監視装置の概略構成を示す。、図１の監視装置は、建物等の施設の監視を行うもので、カメラ１１〜１３、監視画像制御部１、データ保持部２、画像合成部３、表示部４、検索・領域指定部５、タイムコード発生部６、動き検知部７、記録部９を含んで構成される。
【００１９】
カメラ１１〜１３は、施設内に設置され、施設の撮影を行うものである。図２に、カメラ１１〜１３の配置の一例を示す。図２においては、カメラ１１〜１３は、通路２０を監視するために、施設内のほぼ同じ位置に監視方向を違えて設置されている。このとき、図３に示すように、カメラ１１からは通路の右側奥の画像３１が出力され、カメラ１２からは正面の画像３２が、また、カメラ１３からは通路左側奥の画像３３が出力される。ここでは、各カメラ１１〜１３の出力画像は、水平７２０×垂直４８０画素の解像度を持っているものとする。
【００２０】
監視画像制御部１は、監視画像の表示や記録・再生を制御するもので、カメラ画像や合成画像の記録部９への記録を制御する録画部１ａ、検索・領域指定部５で指定された監視映像を記録部９から検索する検索部１ｂ、検索部１ｂが検索した監視映像の再生を制御する再生部１ｃ、動き検知部７が動きを検知した画像にタグ情報を添付するタグ情報添付部１ｄと、合成画像１５５に添付されたタグ情報を、対応するカメラ画像１５４に添付するタグ情報伝播部１ｅを含んでいる。この監視画像制御部１の各部は、プロセッサがプログラムで規定された動作を実行することにより実現される。
【００２１】
データ保持部２は、各カメラ１１〜１３の画角や方向等のカメラパラメータデータ、及びそのカメラパラメータデータを基に生成された合成マップデータを保持するものである。
【００２２】
画像合成部３は、各カメラ１１〜１３の出力画像から合成画像を生成するものである。図２に示すように監視方向が異なる位置にカメラ１１〜１３が設置された場合、カメラ１１〜１３の画像３１〜３３を、各カメラ１１〜１３の撮影方向及び画角等のカメラパラメータ２に基づいて、投影変換等で図４に示すような画像４１、４２、４３に変形し、変形後の画像を合成する。合成画像は、水平７２０×垂直２００画素の解像度を持つ。この合成により、図５に示すように、魚眼カメラを用いて撮影したような、通路２０を１８０度見渡す横長の合成画像５０が生成される。
【００２３】
また、この合成は、カメラパラメータデータを基に生成した合成マップデータを用いても実現できる。合成マップデータは、合成画像上の各画素の出力データを、各カメラ画像の画素の出力データで規定したものである。カメラ１１〜１３が図２に示す配置の場合、、図６に示すような合成マップ６０が記憶される。図６は、合成マップ６０が、合成画像上の画素６１の出力データが、カメラ１１の（ｘ１、ｙ１）の画素データからなり、また、画素６２の出力データが、カメラ１２の（ｘ２、ｙ２）の画素データ及びカメラ１３の（ｘ３、ｙ３）の画素データにそれぞれ（１−α）と（α）の重みを付けて計算されることを示しており、同様に全ての画素とカメラ１１〜１３の画素との関係が合成マップデータとして、データ保持部２に記憶される。この合成マップ６０に基づいて合成された合成画像も解像度が水平７２０×垂直２００画素である。
【００２４】
表示部４は、監視画像制御部１から出力された画像を表示するものであり、監視画像制御部１は、この合成画像を表示部４に出力する。したがって、この合成画像を見た監視者８は、監視画像が施設内のどこを映しているかを一目で直感的に把握することができる。
【００２５】
タイムコード発生部６は、記録画像に付されるタイムコードを発生するものであり、監視画像制御部１の録画部１ａは、各カメラ１１〜１３の出力画像に、タイムコード発生部６が発生するタイムコードを付して記録部９に記録するとともに、その画像から合成された合成画像に対しても、同じタイムコードを付して記録部９に記録する。記録部９は、各カメラ１１〜１３が撮影したカメラ画像１５４や画像合成部３が合成した合成画像１５５を記録するものである。
【００２６】
動き検知部７は、合成画像１５５から、予め定められた特定の動きを検知し、監視画像制御部１のタグ情報添付部１ｄは、動き検知部７が検知した特定の動きを示す合成画像に対し、動きタグ情報を付与する。
【００２７】
例えば、図７に示すように、人物が通路を通過する場合を考える。合成画像は、図７（ａ）、図７（ｂ）、図７（ｃ）の順に得られるものとする。このとき動き検知部７に、合成画像上で右端から左端まで動く移動物体を検知するように予め設定されていたとすると、図８のように、合成画像上で右端から左端まで移動する物体が検知されたときにのみ、合成画像にタグ情報が付与される。人物が通路の途中で引き返したり、途中のドアへ消えて行ったり、また、途中のドアから現れたりする動きについては、タグ情報が添付されない。
【００２８】
また、動き検知部７の設定を変えて、移動物体の別の動きに対して別のタグ情報を添付することも可能である。例えば、動き検知部７が、通路の途中で引き返す移動物体の動き、途中のドアへ消えて行った移動物体の動き、及び、途中のドアから現れた移動物体の動きをそれぞれ検知して、各動きに応じた検知信号を監視画像制御部１に出力するように設定すると、監視画像制御部１のタグ情報添付部１ｄは、検知信号に応じて別々の動きタグ情報を合成画像に添付する。
【００２９】
ここで注目すべきは、こうした動きを個々のカメラの画像から検知しようとすると、各画像の連携した複雑な解析が必要になるが、合成画像上で動き検知を行う場合は、容易、且つ、安定して移動物体の動きを検出することができる点である。
【００３０】
監視画像制御部１のタグ情報伝播部１ｅは、合成画像に付されたタグ情報と同じものを、その合成画像の作成に使用されたカメラ画像の内で、動く物体が映るカメラ画像にも付与する。このときの動作については後述する。
【００３１】
検索・領域指定部５は、監視者８が画像表示を指定する際のインターフェースとなるものであり、監視者８が、記録された監視映像から、通路を通過した不審者の映像表示を検索・領域指定部５より指定すると、監視画像制御部１の検索部１ｂは、記録部９の合成画像１５５の中から、通路の通過を示す動きタグ情報が付加された合成画像のみを抽出し、再生部１ｃを通じて表示部４に表示する。この合成画像を見た監視者８が、解像度の高いカメラ画像の表示を検索・領域指定部５から求めた場合、監視画像制御部１の検索部１ｂは、記録部９のカメラ画像１５４の中から、同じタグ情報が付加されたカメラ画像を抽出し、この画像が表示部４に表示される。
【００３２】
このように、合成画像から不審者の動きを的確に捉えることができ、それを基に、合成画像及びカメラ画像にタグ情報を付加することができる。このタグ情報を利用して、表示する映像を絞り込むことができるため、監視者は、効率的に監視を行うことができる。
【００３３】
また、監視者８は、合成画像に映る人物の顔を確認したい場合、図９（ａ）に示すように、合成画像から人物の顔が認識できる部分を選び、検索・領域指定部５を通じて、監視画像制御部１に検索・領域指定要求を出す。これを受けた監視画像制御部１の検索部１ｂは、合成マップデータ２を利用して、合成画像上の指定領域に対応するカメラ画像のデータを検索・抽出し、その顔画像を図９（ｂ）のように提示する。
【００３４】
このとき、合成画像は全体的に７２０×２００画素で低解像度であるが、各カメラ画像は、それぞれ７２０×４８０画素であり、鮮明である。ただ、人物の顔が一番良く見える箇所の選択は、その人物を長い時間追跡できる合成画像の方が適している。従って、合成画像から人物の顔領域を選択し、その領域のカメラ画像を抽出する操作により、監視者は、鮮明な人物の顔画像を見ることができ、通過する人物を、より確実に確認できる。
【００３５】
図１０〜図１３を用いて、顔画像抽出の際の処理を説明する。図１０は、合成画像による監視画像系列の一例と、監視者による領域指定を示すものであり、監視者８は、図１０に示すような画像系列（動画）を見ながら、その中で人物の顔がよく見える画像（ａ）を選び、その合成画像中の顔が見える矩形領域を指定して、検索・領域指定部５から監視画像制御部１に対し拡大表示要求を行う。このとき、検索・領域指定部５からは、拡大表示要求を示すコマンドデータと、画像（ａ）を示すタイムコードデータと、矩形領域を示すデータ（左上端点１０１（Ｘ４，Ｙ４）と右下端点１０２（Ｘ５，Ｙ５）の座標データ）とが監視画像制御部１に送られる。
【００３６】
監視画像制御部１の検索部１ｂは、検索・領域指定部５から拡大表示要求を示すコマンドデータを受けると、データ保持部２にアクセスし、合成マップ６０を取得する。そして、図１１に示すように、合成画像上の左上端点１０１（Ｘ４，Ｙ４）及び右下端点１０２（Ｘ５，Ｙ５）にそれぞれ対応する入力カメラとその入力画像上の座標データとを示すデータを得る。図１１の例では、左上端点１０１の画素データは、カメラ１３の（ｘ６，ｙ６）の画素データであり、右下端点１０２の画素データは、カメラ１３の（ｘ７，ｙ７）の画素データであることを示している。
【００３７】
このように、２つの点に対応する入力カメラが同一の場合は、その入力カメラ１３のカメラ画像１５４の中から、画像（ａ）を示すタイムコードデータと同じタイムコードデータが添付されたカメラ画像を検索し、さらに検索されたカメラ画像から座標データ（（ｘ６，ｙ６），（ｘ７，ｙ７））で示される矩形領域の画像を抽出し、表示装置４に出力する。こうした処理により、図９（ｂ）に示す、入力カメラの鮮明な顔画像を監視者に提示することができる。
【００３８】
監視者８が指定した矩形領域が、図１２に示すように、複数のカメラ画像に基づく領域である場合には、別の方法でカメラ画像を抽出する。図１２の例では、合成画像上の左上端点１２１の画素データは、カメラ１２の（ｘ８，ｙ８）の画素データであり、合成画像上の右下端点１２２の画素データは、カメラ１３の（ｘ９，ｙ９）の画素データ）である。このように、２つの点に対応する入力カメラが異なる場合は、矩形の外周上で、カメラ１３に対応する合成マップデータの（Ｘの最小座標値，Ｙの最大座標値）に対応する点をカメラ１３の左上端点（カメラ１３：ｘ１０，ｙ１０））として算出し、カメラ１２に対応する合成マップデータの（Ｘの最大座標値，Ｙの最小座標値）に対応する点をカメラ１２の右下端点（カメラ１２：（ｘ１１，ｙ１１））として算出し、それぞれ入力カメラ１２、１３の記録画像の中から、画像（ａ）のタイムコードデータと同じタイムコードデータが添付されたカメラ画像を検索し、さらに検索したカメラ画像から座標データ（カメラ１２：（（ｘ８，ｙ８）,（ｘ１１，ｙ１１）））、（カメラ１３：（（ｘ９，ｙ９）,（ｘ１０，ｙ１０）））で示される矩形領域の画像を抽出し、表示装置４に出力する。こうした処理により、図１３（ｂ）に示す顔画像を監視者に提示することができる。
【００３９】
このように、合成画像上で入力カメラの切り替わる部分が選択された場合でも、両方の入力カメラの鮮明な人物の顔画像が検索・抽出され、同時に提示されるので、監視者は、通過する人物の顔画像を確実に確認できる。
【００４０】
なお、合成マップデータを用いて、合成画像に対応したカメラ画像を求める方法は、監視画像制御部１のタグ情報伝播部１ｅが、合成画像に付されたタグ情報をカメラ画像に付与する場合にも使用される。このとき、タグ情報伝播部１ｅは、図１１及び図１２の場合と同様に、動き検知部７により検知された合成画像上の動き領域が、合成マップデータ上で、１つの入力カメラの座標データだけに関係するか、複数の入力カメラの座標データに関係するかを調べる。そして、関係するカメラのカメラ画像の内、合成画像と同一のタイムコードが付されたカメラ画像を選択して、合成画像と同一の動きタグ情報を添付する。
【００４１】
このように、この監視装置の映像を監視する監視者は、まず合成画像を見ることによって施設内のどこを監視しているかを一目で直感的に把握でき、また、再生される合成画像を見ながら、合成画像中の注目したい部分について、対応する入力カメラの鮮明な画像を再生させて確認することができる。また、この監視装置では、合成画像を用いて動き検知を行い、それを基に合成画像及びカメラ画像に動きタグ情報を添付しているため、個々のカメラ画像の解析だけでは侵入者かどうかが不確かな場合でも、安定して侵入者を検出することができ、その後の検索、再生での監視効率が向上する。従って、施設内の侵入者を詳細かつ効率的に監視することができる。
【００４２】
次に、この監視装置の変形例について説明する。図１４に、カメラ配置の他の例を示す。図１４におけるカメラ１１〜１３の設置位置は、図２の設置位置と同一であるが、カメラ、１１、１２、１３の画角が異なる。図１４に示すように、通路を監視する３つのカメラ１１、１２、１３の内、カメラ１１、１３に望遠カメラを使用し、カメラ１２に広角カメラを使用することにより、カメラ１１及び１３の画角１４１、１４３を水平４５度以下に、また、カメラ１２の画角１４２を、画角１４１、１４３の２倍以上である、水平９０度以上に設定している。
【００４３】
図１４に示す各カメラ１１、１２、１３で撮影される画像を、図１５に示す。通路の左右両端を撮影した画像３１、３３の中で、人物１５１、１５３は比較的遠距離におり、また、中央を撮影した画像３２の中で、人物１５２は比較的近距離にいる。そのため、同じ画角で撮影した場合は、近距離で撮影した人物１５２の画像が極端に大きく、遠距離で撮影した人物１５１、１５３の画像が極端に小さくなるのに対して、この例では、それぞれ撮影される人物の画像は、極端に大きくも、極端に小さくもならない。
【００４４】
図１６は、図４と同様に、撮影画像３１〜３３を合成するため、撮影画像３１〜３３を、各カメラの撮影方向及び画角等のパラメータを基に投影変換等で画像１６１〜１６３に変形した状態を示している。この変形画像を合成することにより、図１７に示すように、通路を１８０度見渡す横長の合成画像を得ることができる。ここで、図４と異なる点は、通路の左右両端を撮影した画像の合成画像上での範囲１６１、１６３が小さく、通路の中央を撮影した画像の合成画像上での範囲１６２が大きくなる点である。
【００４５】
このような合成画像が表示部４に表示された状態で、合成画像に映る人物の顔を確認したい場合、監視者８は、まず、図１７に示す画像合成を見ながら人物の顔の領域、１７１、１７２、１７３をそれぞれ指定する。このとき、対応する入力カメラの画像（図１５）から人物の顔画像が検索され提示されるが、図１５に示すように、各画像上では、それぞれ撮影される人物の画像が極端に大きくも、極端に小さくもないため、遠距離での人物の顔画像も鮮明に見ることができる。
【００４６】
このように、左右を望遠カメラで監視し、この望遠カメラと画角が２倍以上異なる広角カメラで正面を監視する場合は、３つのカメラ画像の合成画像から侵入者を検出し、その人物の顔画像を、カメラ画像で詳細に見る際に、左右の遠く離れた人物の顔画像であっても、より詳細に見ることができる。
【００４７】
（第２の実施の形態）
図１８に、本発明の第２の実施形態の監視装置の概略構成を示す。図１４の監視装置は、建物等の施設の監視を行うもので、カメラ画像と施設構造とを合成した合成画像を提示するものである。
【００４８】
この監視装置は、カメラ１１〜１６、監視画像制御部１８１、データ保持部２、画像合成部３、表示部４、検索・領域指定部５、タイムコード発生部６、動き検知部７、記録部９、施設構造データ保持部１８２を含んで構成される。図から明らかなように、図１の監視装置とほぼ同様の構成を有するが、施設構造データ保持部１８２を備え、監視画像制御部１８１によって監視画像の表示や記録・再生を制御する点で異なる。また、６台のカメラを備え、画像合成部３は、各カメラ１１〜１６の出力画像を施設構造に逆投影した合成画像やフロアに逆投影したフロア画像を生成し、記録部９には、カメラ画像１５４、合成画像１５５とともに各フロア合成画像が記録される。
【００４９】
監視画像制御部１８１は、図１の監視装置における監視画像制御部１が備える構成に加えて、優先度の低い画像を記録部９から消去する消去部１ｆを有する。
【００５０】
施設構造データ１８２は、図１９に模式的に示すように、複数のカメラ１１〜１６の施設内での位置や施設の壁面、フロアの通路面などの配置を３次元的に表したデータである。複数のカメラ１１〜１６は、施設内に分散して配置されており、各フロアには複数のカメラが設置されている。
【００５１】
画像合成部３は、図２０に示すように、入力カメラ２０１の撮影画像を施設内の通路面２０４や壁面２０３に逆投影（２０２）したときの画像を合成画像として作成する。ここで言う「逆投影」とは、この実際の撮影とは逆方向に、施設の壁や通路面などの３次元データ上に撮影画像を投影する操作のことである。データ保持部２に記憶される合成マップデータは、合成画像上の各画素の出力データをカメラ画像の画素の出力データで規定したものであり、カメラパラメータと施設構造データ１８２とを用い、カメラの画素データを施設構造データ１８２に逆投影して作成することができる。画像合成部３は、この合成マップデータ２を用いて、各カメラ１１〜１６の出力画像を施設構造に逆投影した合成画像を生成し、また、各カメラ１１〜１６の出力画像をフロアに逆投影したフロア合成画像を生成する。
【００５２】
監視画像制御部１８１の録画部１ａは、各カメラ１１〜１３のカメラ画像にタイムコード発生部６が発生するタイムコードを付して記録部９に記録し、また、画像合成部３がカメラ画像を用いて生成した合成画像や各フロア合成画像に、そのカメラ画像と同じタイムコードを付して記録部９に記録する。監視画像制御部１８１の再生部１ｃは、検索・領域指定部５からの要求に基づいて、施設構造にカメラ画像を逆投影した、図２１に示すような合成画像１５５を再生し、監視者に提示する。また、その際、要求に応じて、図２１（ａ）に示すように、施設を２１１または２１２の方向に所定角度回転し、種々の方向から施設が見られるようにし、あるいは、図２１（ｂ）に示すように、要求されたフロア２１３だけを表示する。したがって、監視者は、施設内を俯瞰する形で監視を行うことができる。
【００５３】
また、監視者が、検索・領域指定部５を通じて、この合成画像から注目する位置のカメラを指定したり、合成画像上の顔領域を指定したりした場合、監視画像制御部１８１の検索部１ｂは、第１の実施形態と同様に、合成マップデータ２やタイムコードを用いて該当するカメラ画像や、そのカメラ画像の顔領域を検索し、表示部４に表示する。動き検知部７は、画像合成部３が生成した、複数のカメラ画像を含む各フロア合成画像１８３から、予め定められた特定の動きを検知する。
【００５４】
図２２は、その様子を模式的に示している。動き検知部７は、各フロア合成画像２２１、２２２、２２３を用いて、人物２２４がフロア上で第１のカメラの逆投影位置２２５から第２のカメラの逆投影位置２２６まで移動する動き２２７だけを検出する。こうした動きは、個々のカメラの画像を解析しても十分把握できない場合があるが、フロア上に投影された複数のカメラ画像が合成されたフロア合成画像を用いることにより、正確に検出できる。
【００５５】
監視画像制御部１８１のタグ情報添付部１ｄは、動き検知部７が検知した特定の動きを示すフロア合成画像１８３に対して動きタグ情報を付与する。タグ情報伝播部１ｅは、フロア合成画像に付されたタグ情報と同じものを、フロア合成画像と同じタイムコードが付された合成画像１５５や、そのフロア合成画像の作成に使用したカメラ画像であって、フロア合成画像と同じタイムコードが付されたカメラ画像に添付する。合成画像１５５、各フロア合成画像１８３及びカメラ画像に付されたタグ情報は、第１の実施形態と同様に、再生する画像を絞り込むために使われる。
【００５６】
また、監視画像制御部１８１の消去部１ｆは、記録部９に格納した監視画像の優先度を、それらの画像に付したタグ情報により決定し、優先度に応じて設定した時間が経過した画像を自動的に消去する。こうすることで、装置の記憶容量を効率的に使用することができる。
【００５７】
このように、この監視装置は、監視者に対し、その位置が直感的に分かる合成画像を提示することができ、監視者は、この合成画像から、個々のカメラ画像やカメラ画像の領域を選択して詳細に監視することができる。そのため、複雑で大きな施設でも、詳細且つ効率的な監視が可能になる。
【産業上の利用可能性】
【００５８】
本発明の監視装置は、監視者に対して、監視対象の位置が直感的に分かり、また、不審者等の動きや特徴等の異常の状態が把握し易い映像を提示できる監視装置等として有用である。また、蓄積した映像の中から、監視者が要求する映像を的確に絞り込んで提示することができると言う利点を有しており、大規模施設の集中監視システム等に広く利用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施態様の監視装置の概略構成を示す図
【図２】本発明の第１の実施態様の監視装置におけるカメラ配置の一例を示す図
【図３】本発明の第１の実施態様の監視装置における複数のカメラが撮影した画像の一例を示す図
【図４】本発明の第１の実施態様の監視装置における画像合成方法の一例を説明する図
【図５】本発明の第１の実施態様の監視装置における合成画像の一例を示す図
【図６】本発明の第１の実施態様の監視装置における画像合成用合成マップの一例を示す図
【図７】本発明の第１の実施態様の監視装置における合成画像による監視画像系列の一例を示す図
【図８】本発明の第１の実施態様の監視装置における合成画像上の動き検知設定の一例を示す図
【図９】本発明の第１の実施態様の監視装置における合成画像とカメラ画像から抽出された顔画像を示す図
【図１０】本発明の第１の実施態様の監視装置における合成画像による監視画像系列の一例と、監視者による領域指定を示す模式図
【図１１】本発明の第１の実施態様の監視装置における合成マップを用いた入力カメラ画像の抽出方法の一例を示す図
【図１２】本発明の第１の実施態様の監視装置における合成マップを用いた入力カメラ画像の抽出方法の他の例を示す図
【図１３】本発明の第１の実施態様の監視装置における合成画像と二つのカメラ画像から抽出された顔画像を示す図
【図１４】本発明の第１の実施態様の監視装置におけるカメラ配置の他の例を示す図
【図１５】本発明の第１の実施態様の監視装置における複数のカメラが撮影した画像の他の例を示す図
【図１６】本発明の第１の実施態様の監視装置における画像合成方法の他の例を説明する図
【図１７】本発明の第１の実施態様の監視装置における合成画像の他の例を示す図
【図１８】本発明の第２の実施態様の監視装置の概略構成を示す図
【図１９】本発明の第２の実施態様の監視装置における施設構造データの一例を説明する図
【図２０】本発明の第２の実施態様の監視装置における合成画像生成方法の一例を説明する図
【図２１】本発明の第２の実施態様の監視装置における合成画像（ａ）と１フロア分の合成画像（ｂ）とを示す図
【図２２】本発明の第２の実施態様の監視装置におけるフロア合成画像での動き検知を示す図
【符号の説明】
【００６０】
１ 監視画像制御部
１ａ 録画部
１ｂ 検索部
１ｃ 再生部
１ｄ タグ情報添付部
１ｅ タグ情報伝搬部
１ｆ 消去部
２ データ保持部
３ 画像合成部
４ 表示部
５ 検索・領域指定部
６ タイムコード発生部
７ 動き検知部
８ 監視者
９ 記録部
１１ カメラ
１２ カメラ
１３ カメラ
１４ カメラ
１５ カメラ
１６ カメラ
２０ 通路
３１ カメラ画像
３２ カメラ画像
３３ カメラ画像
４１ 変形画像
４２ 変形画像
４３ 変形画像
５０ 合成画像
６０ 合成マップ
６１ 画素
６２ 画素
１０１ 左上端点
１０２ 右下端点
１２１ 左上端点
１２２ 右下端点
１４１ 画角
１４２ 画角
１４３ 画角
１５１ 人物
１５２ 人物
１５３ 人物
１５４ カメラ画像
１５５ 合成画像
１６１ 変形画像
１６２ 変形画像
１６３ 変形画像
１７１ 顔領域
１７２ 顔領域
１７３ 顔領域
１８１ 監視画像制御部
１８２ 施設構造データ保持部
１８３ 各フロア合成画像
２０１ カメラ
２０２ 逆投影
２０３ 壁面
２０４ 通路面
２１１ 角度変更方向
２１２ 角度変更方向
２１３ １フロア分の合成画像
２２１ フロア合成画像
２２２ フロア合成画像
２２３ フロア合成画像
２２４ 侵入者の画像
２２５ 位置
２２６ 位置
２２７ 動き
【技術分野】
【０００１】
本発明は、複数のカメラを用いた監視を行う監視装置に関する。
【背景技術】
【０００２】
近年、建物等の施設内の各所にカメラを設置し、これらのカメラの撮影映像を１箇所で集中監視する監視システムが実用化されている。しかし、複数の撮影画像を複数のモニタに表示して同時に監視する場合は、監視者が侵入者の侵入等の異常を見落とすことが間々ある。また、侵入者を画面上で発見したときでも、複数のモニタの映像が建物内のどこを映しているのか直感的に分かり難いため、侵入者の移動先をモニタ画像で追うことが難しい場合がある。この傾向は建物の規模が大きくなり、カメラの台数が増えるに比例して増大する。こうした事態に対して、監視者の増員や、監視者に建物の構造を教え込むなど、人に負担を求める対策が講じられている。
【０００３】
このような人的負担の軽減を図るためのものとして、特許文献１に示される監視システムがある。この監視システムは、複数のカメラで監視現場を撮影し、映像から侵入者を検知すると、この侵入者を検知したカメラの映像出力を１つのモニタに表示し、さらに、その画像から侵入者の向う方向を予測して、その方向を中心とする一定の範囲内に設置された別のカメラを選択し、その映像を別のモニタに表示するものである。したがって、侵入者を検知したカメラの映像と、これから侵入者が映ると予測されるカメラの映像とが選択されて監視者に提示されるため、監視者は、容易に侵入者を把握することができる。
【０００４】
また、特許文献２には、記録された膨大な量の監視カメラの映像から、不審者が映っている部分のみを迅速に再生できる監視システムが開示されている。この監視システムでは、入口のカメラで不審者を検出すると、その人物の特徴を抽象化した抽象化画像を生成し、その不審者を特定する人物ＩＤと共に保存する。施設内のカメラの画像から、その特徴を持つ不審者を検出すると、モニタログデータベースに、人物ＩＤと共に、そのカメラの視野に不審者が出現した「開始時刻」と、その視野から不審者がいなくなった「終了時刻」とを、カメラごとに記録する。再生時には、この「開始時刻」及び「終了時刻」で特定される範囲内の各カメラの撮影画像を検索システムで抽出し、再生する。したがって、この監視システムでは、記録画像の中から、不審者の映る映像が抽出されて提示されるため、監視者の負担は軽減される。
【０００５】
【特許文献１】特許平９−０１６８６３号公報
【特許文献２】特開２００４−１８７１１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の監視システムでも、それぞれのカメラからの撮影画像を別々のモニタに表示するので、モニタ映像が施設のどの部分を写しているかが監視者に直感的に認識することは困難である。また、個々の監視カメラで映すことができる侵入者の動きは限定されるから、個々の監視カメラの画像を基に侵入者の動きを予測する場合は、誤りや見落としの発生する可能性がある。
【０００７】
特許文献２の監視システムのように、個々の監視カメラの画像から侵入者を特定する場合は、そのカメラの撮影位置や角度、あるいは、そこを通過するときの顔の向き等によって、侵入者の特徴を十分に捕捉できないことがあり、そのため、侵入者を見落としたり、侵入者でない人物を検出したりするケースが発生し、多くの誤った画像が監視者に提示される可能性がある。その結果、監視者の負担は、軽減されないことになる。
【０００８】
本発明は、上記事情に鑑みなされたものであり、監視者に対して、監視対象の位置が直感的に分かり、また、不審者等の動きや特徴等の異常の状態が把握し易い映像を提示できる監視装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明では、複数のカメラを用いた監視を行う監視装置であって、前記カメラで撮影したカメラ画像を用いて合成画像を生成する合成画像生成手段と、前記カメラ画像及び前記合成画像を保持する記録手段と、画像を表示する表示手段と、前記表示手段に表示した前記合成画像の任意の領域が選択されたとき、前記選択された領域に対応する前記カメラ画像または当該カメラ画像の領域を検索して前記表示手段に表示する検索手段とを備えるものである。本発明によれば、監視者は、合成画像から、各種施設等の監視対象の位置を直感的に知ることができ、この合成画像から見たい領域を選択して、詳細なカメラ画像を見ることができる。
【００１０】
また、本発明の監視装置は、合成画像生成手段が、複数のカメラのカメラ画像を合成した合成画像を生成するものを含む。本発明によれば、監視者は、広範囲を映す合成画像から、施設内の位置を直感的に知ることができる。
【００１１】
また、本発明の監視装置は、複数のカメラが、２倍以上画角が異なる２以上のカメラを含むものを含む。本発明によれば、遠い部分を映す望遠カメラの画像と近い部分を映す広角カメラの画像とを合成して合成画像を生成することにより、合成画像から遠い位置の人物が選択された場合でも、望遠カメラで映した、拡大した人物のカメラ画像を表示することができる。
【００１２】
また、本発明の監視装置は、合成画像生成手段が、カメラ画像と監視対象施設の構造を示す図形とを合成した合成画像を生成するものを含む。本発明によれば、監視者は、この合成画像から、カメラ画像が施設のどの位置の画像であるかを直感的に知ることができる。
【００１３】
また、本発明の監視装置は、さらに、複数のカメラ画像を利用して生成された合成画像から動きを検出する動き検知手段と、動き検知手段が検知した合成画像にタグ情報を付加するタグ情報付加手段と、タグ情報を付加した合成画像に使用されたカメラ画像を検索して、そのカメラ画像にタグ情報を付加するタグ情報伝播手段とを備えるものを含む。本発明によれば、複数のカメラ画像を含む合成画像から動きを検出することで、単独のカメラ画像の解析では明確でない動きが、正確且つ安定的に検知できる。
【００１４】
また、本発明の監視装置は、さらに、タグ情報に基づいて、タグ情報が付加された合成画像及びカメラ画像の優先度を決定し、優先度に基づいて消去する画像を決定する消去手段を備えるものを含む。本発明によれば、優先度が低い画像を自動消去することにより、装置の記憶容量を有効に活用することができる。
【発明の効果】
【００１５】
本発明の監視装置は、監視者に、施設内のどこを監視しているかが一目で直感的に把握できる合成画像を提示することができ、また、合成画像中の監視者が注目する部分を検索して、詳細なカメラ画像を提示することができる。そのため、監視者は、施設内を詳細かつ効率的に監視することができる。
【００１６】
また、本発明の監視装置は、個々のカメラ画像を解析するだけでは不明確な画像上の動きを、安定的且つ正確に検知することができ、この検知結果を基に画像に付与したタグ情報を用いて、再生画像を的確に絞り込むことができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１８】
（第１の実施の形態）
図１に、本発明の第１の実施形態の監視装置の概略構成を示す。、図１の監視装置は、建物等の施設の監視を行うもので、カメラ１１〜１３、監視画像制御部１、データ保持部２、画像合成部３、表示部４、検索・領域指定部５、タイムコード発生部６、動き検知部７、記録部９を含んで構成される。
【００１９】
カメラ１１〜１３は、施設内に設置され、施設の撮影を行うものである。図２に、カメラ１１〜１３の配置の一例を示す。図２においては、カメラ１１〜１３は、通路２０を監視するために、施設内のほぼ同じ位置に監視方向を違えて設置されている。このとき、図３に示すように、カメラ１１からは通路の右側奥の画像３１が出力され、カメラ１２からは正面の画像３２が、また、カメラ１３からは通路左側奥の画像３３が出力される。ここでは、各カメラ１１〜１３の出力画像は、水平７２０×垂直４８０画素の解像度を持っているものとする。
【００２０】
監視画像制御部１は、監視画像の表示や記録・再生を制御するもので、カメラ画像や合成画像の記録部９への記録を制御する録画部１ａ、検索・領域指定部５で指定された監視映像を記録部９から検索する検索部１ｂ、検索部１ｂが検索した監視映像の再生を制御する再生部１ｃ、動き検知部７が動きを検知した画像にタグ情報を添付するタグ情報添付部１ｄと、合成画像１５５に添付されたタグ情報を、対応するカメラ画像１５４に添付するタグ情報伝播部１ｅを含んでいる。この監視画像制御部１の各部は、プロセッサがプログラムで規定された動作を実行することにより実現される。
【００２１】
データ保持部２は、各カメラ１１〜１３の画角や方向等のカメラパラメータデータ、及びそのカメラパラメータデータを基に生成された合成マップデータを保持するものである。
【００２２】
画像合成部３は、各カメラ１１〜１３の出力画像から合成画像を生成するものである。図２に示すように監視方向が異なる位置にカメラ１１〜１３が設置された場合、カメラ１１〜１３の画像３１〜３３を、各カメラ１１〜１３の撮影方向及び画角等のカメラパラメータ２に基づいて、投影変換等で図４に示すような画像４１、４２、４３に変形し、変形後の画像を合成する。合成画像は、水平７２０×垂直２００画素の解像度を持つ。この合成により、図５に示すように、魚眼カメラを用いて撮影したような、通路２０を１８０度見渡す横長の合成画像５０が生成される。
【００２３】
また、この合成は、カメラパラメータデータを基に生成した合成マップデータを用いても実現できる。合成マップデータは、合成画像上の各画素の出力データを、各カメラ画像の画素の出力データで規定したものである。カメラ１１〜１３が図２に示す配置の場合、、図６に示すような合成マップ６０が記憶される。図６は、合成マップ６０が、合成画像上の画素６１の出力データが、カメラ１１の（ｘ１、ｙ１）の画素データからなり、また、画素６２の出力データが、カメラ１２の（ｘ２、ｙ２）の画素データ及びカメラ１３の（ｘ３、ｙ３）の画素データにそれぞれ（１−α）と（α）の重みを付けて計算されることを示しており、同様に全ての画素とカメラ１１〜１３の画素との関係が合成マップデータとして、データ保持部２に記憶される。この合成マップ６０に基づいて合成された合成画像も解像度が水平７２０×垂直２００画素である。
【００２４】
表示部４は、監視画像制御部１から出力された画像を表示するものであり、監視画像制御部１は、この合成画像を表示部４に出力する。したがって、この合成画像を見た監視者８は、監視画像が施設内のどこを映しているかを一目で直感的に把握することができる。
【００２５】
タイムコード発生部６は、記録画像に付されるタイムコードを発生するものであり、監視画像制御部１の録画部１ａは、各カメラ１１〜１３の出力画像に、タイムコード発生部６が発生するタイムコードを付して記録部９に記録するとともに、その画像から合成された合成画像に対しても、同じタイムコードを付して記録部９に記録する。記録部９は、各カメラ１１〜１３が撮影したカメラ画像１５４や画像合成部３が合成した合成画像１５５を記録するものである。
【００２６】
動き検知部７は、合成画像１５５から、予め定められた特定の動きを検知し、監視画像制御部１のタグ情報添付部１ｄは、動き検知部７が検知した特定の動きを示す合成画像に対し、動きタグ情報を付与する。
【００２７】
例えば、図７に示すように、人物が通路を通過する場合を考える。合成画像は、図７（ａ）、図７（ｂ）、図７（ｃ）の順に得られるものとする。このとき動き検知部７に、合成画像上で右端から左端まで動く移動物体を検知するように予め設定されていたとすると、図８のように、合成画像上で右端から左端まで移動する物体が検知されたときにのみ、合成画像にタグ情報が付与される。人物が通路の途中で引き返したり、途中のドアへ消えて行ったり、また、途中のドアから現れたりする動きについては、タグ情報が添付されない。
【００２８】
また、動き検知部７の設定を変えて、移動物体の別の動きに対して別のタグ情報を添付することも可能である。例えば、動き検知部７が、通路の途中で引き返す移動物体の動き、途中のドアへ消えて行った移動物体の動き、及び、途中のドアから現れた移動物体の動きをそれぞれ検知して、各動きに応じた検知信号を監視画像制御部１に出力するように設定すると、監視画像制御部１のタグ情報添付部１ｄは、検知信号に応じて別々の動きタグ情報を合成画像に添付する。
【００２９】
ここで注目すべきは、こうした動きを個々のカメラの画像から検知しようとすると、各画像の連携した複雑な解析が必要になるが、合成画像上で動き検知を行う場合は、容易、且つ、安定して移動物体の動きを検出することができる点である。
【００３０】
監視画像制御部１のタグ情報伝播部１ｅは、合成画像に付されたタグ情報と同じものを、その合成画像の作成に使用されたカメラ画像の内で、動く物体が映るカメラ画像にも付与する。このときの動作については後述する。
【００３１】
検索・領域指定部５は、監視者８が画像表示を指定する際のインターフェースとなるものであり、監視者８が、記録された監視映像から、通路を通過した不審者の映像表示を検索・領域指定部５より指定すると、監視画像制御部１の検索部１ｂは、記録部９の合成画像１５５の中から、通路の通過を示す動きタグ情報が付加された合成画像のみを抽出し、再生部１ｃを通じて表示部４に表示する。この合成画像を見た監視者８が、解像度の高いカメラ画像の表示を検索・領域指定部５から求めた場合、監視画像制御部１の検索部１ｂは、記録部９のカメラ画像１５４の中から、同じタグ情報が付加されたカメラ画像を抽出し、この画像が表示部４に表示される。
【００３２】
このように、合成画像から不審者の動きを的確に捉えることができ、それを基に、合成画像及びカメラ画像にタグ情報を付加することができる。このタグ情報を利用して、表示する映像を絞り込むことができるため、監視者は、効率的に監視を行うことができる。
【００３３】
また、監視者８は、合成画像に映る人物の顔を確認したい場合、図９（ａ）に示すように、合成画像から人物の顔が認識できる部分を選び、検索・領域指定部５を通じて、監視画像制御部１に検索・領域指定要求を出す。これを受けた監視画像制御部１の検索部１ｂは、合成マップデータ２を利用して、合成画像上の指定領域に対応するカメラ画像のデータを検索・抽出し、その顔画像を図９（ｂ）のように提示する。
【００３４】
このとき、合成画像は全体的に７２０×２００画素で低解像度であるが、各カメラ画像は、それぞれ７２０×４８０画素であり、鮮明である。ただ、人物の顔が一番良く見える箇所の選択は、その人物を長い時間追跡できる合成画像の方が適している。従って、合成画像から人物の顔領域を選択し、その領域のカメラ画像を抽出する操作により、監視者は、鮮明な人物の顔画像を見ることができ、通過する人物を、より確実に確認できる。
【００３５】
図１０〜図１３を用いて、顔画像抽出の際の処理を説明する。図１０は、合成画像による監視画像系列の一例と、監視者による領域指定を示すものであり、監視者８は、図１０に示すような画像系列（動画）を見ながら、その中で人物の顔がよく見える画像（ａ）を選び、その合成画像中の顔が見える矩形領域を指定して、検索・領域指定部５から監視画像制御部１に対し拡大表示要求を行う。このとき、検索・領域指定部５からは、拡大表示要求を示すコマンドデータと、画像（ａ）を示すタイムコードデータと、矩形領域を示すデータ（左上端点１０１（Ｘ４，Ｙ４）と右下端点１０２（Ｘ５，Ｙ５）の座標データ）とが監視画像制御部１に送られる。
【００３６】
監視画像制御部１の検索部１ｂは、検索・領域指定部５から拡大表示要求を示すコマンドデータを受けると、データ保持部２にアクセスし、合成マップ６０を取得する。そして、図１１に示すように、合成画像上の左上端点１０１（Ｘ４，Ｙ４）及び右下端点１０２（Ｘ５，Ｙ５）にそれぞれ対応する入力カメラとその入力画像上の座標データとを示すデータを得る。図１１の例では、左上端点１０１の画素データは、カメラ１３の（ｘ６，ｙ６）の画素データであり、右下端点１０２の画素データは、カメラ１３の（ｘ７，ｙ７）の画素データであることを示している。
【００３７】
このように、２つの点に対応する入力カメラが同一の場合は、その入力カメラ１３のカメラ画像１５４の中から、画像（ａ）を示すタイムコードデータと同じタイムコードデータが添付されたカメラ画像を検索し、さらに検索されたカメラ画像から座標データ（（ｘ６，ｙ６），（ｘ７，ｙ７））で示される矩形領域の画像を抽出し、表示装置４に出力する。こうした処理により、図９（ｂ）に示す、入力カメラの鮮明な顔画像を監視者に提示することができる。
【００３８】
監視者８が指定した矩形領域が、図１２に示すように、複数のカメラ画像に基づく領域である場合には、別の方法でカメラ画像を抽出する。図１２の例では、合成画像上の左上端点１２１の画素データは、カメラ１２の（ｘ８，ｙ８）の画素データであり、合成画像上の右下端点１２２の画素データは、カメラ１３の（ｘ９，ｙ９）の画素データ）である。このように、２つの点に対応する入力カメラが異なる場合は、矩形の外周上で、カメラ１３に対応する合成マップデータの（Ｘの最小座標値，Ｙの最大座標値）に対応する点をカメラ１３の左上端点（カメラ１３：ｘ１０，ｙ１０））として算出し、カメラ１２に対応する合成マップデータの（Ｘの最大座標値，Ｙの最小座標値）に対応する点をカメラ１２の右下端点（カメラ１２：（ｘ１１，ｙ１１））として算出し、それぞれ入力カメラ１２、１３の記録画像の中から、画像（ａ）のタイムコードデータと同じタイムコードデータが添付されたカメラ画像を検索し、さらに検索したカメラ画像から座標データ（カメラ１２：（（ｘ８，ｙ８）,（ｘ１１，ｙ１１）））、（カメラ１３：（（ｘ９，ｙ９）,（ｘ１０，ｙ１０）））で示される矩形領域の画像を抽出し、表示装置４に出力する。こうした処理により、図１３（ｂ）に示す顔画像を監視者に提示することができる。
【００３９】
このように、合成画像上で入力カメラの切り替わる部分が選択された場合でも、両方の入力カメラの鮮明な人物の顔画像が検索・抽出され、同時に提示されるので、監視者は、通過する人物の顔画像を確実に確認できる。
【００４０】
なお、合成マップデータを用いて、合成画像に対応したカメラ画像を求める方法は、監視画像制御部１のタグ情報伝播部１ｅが、合成画像に付されたタグ情報をカメラ画像に付与する場合にも使用される。このとき、タグ情報伝播部１ｅは、図１１及び図１２の場合と同様に、動き検知部７により検知された合成画像上の動き領域が、合成マップデータ上で、１つの入力カメラの座標データだけに関係するか、複数の入力カメラの座標データに関係するかを調べる。そして、関係するカメラのカメラ画像の内、合成画像と同一のタイムコードが付されたカメラ画像を選択して、合成画像と同一の動きタグ情報を添付する。
【００４１】
このように、この監視装置の映像を監視する監視者は、まず合成画像を見ることによって施設内のどこを監視しているかを一目で直感的に把握でき、また、再生される合成画像を見ながら、合成画像中の注目したい部分について、対応する入力カメラの鮮明な画像を再生させて確認することができる。また、この監視装置では、合成画像を用いて動き検知を行い、それを基に合成画像及びカメラ画像に動きタグ情報を添付しているため、個々のカメラ画像の解析だけでは侵入者かどうかが不確かな場合でも、安定して侵入者を検出することができ、その後の検索、再生での監視効率が向上する。従って、施設内の侵入者を詳細かつ効率的に監視することができる。
【００４２】
次に、この監視装置の変形例について説明する。図１４に、カメラ配置の他の例を示す。図１４におけるカメラ１１〜１３の設置位置は、図２の設置位置と同一であるが、カメラ、１１、１２、１３の画角が異なる。図１４に示すように、通路を監視する３つのカメラ１１、１２、１３の内、カメラ１１、１３に望遠カメラを使用し、カメラ１２に広角カメラを使用することにより、カメラ１１及び１３の画角１４１、１４３を水平４５度以下に、また、カメラ１２の画角１４２を、画角１４１、１４３の２倍以上である、水平９０度以上に設定している。
【００４３】
図１４に示す各カメラ１１、１２、１３で撮影される画像を、図１５に示す。通路の左右両端を撮影した画像３１、３３の中で、人物１５１、１５３は比較的遠距離におり、また、中央を撮影した画像３２の中で、人物１５２は比較的近距離にいる。そのため、同じ画角で撮影した場合は、近距離で撮影した人物１５２の画像が極端に大きく、遠距離で撮影した人物１５１、１５３の画像が極端に小さくなるのに対して、この例では、それぞれ撮影される人物の画像は、極端に大きくも、極端に小さくもならない。
【００４４】
図１６は、図４と同様に、撮影画像３１〜３３を合成するため、撮影画像３１〜３３を、各カメラの撮影方向及び画角等のパラメータを基に投影変換等で画像１６１〜１６３に変形した状態を示している。この変形画像を合成することにより、図１７に示すように、通路を１８０度見渡す横長の合成画像を得ることができる。ここで、図４と異なる点は、通路の左右両端を撮影した画像の合成画像上での範囲１６１、１６３が小さく、通路の中央を撮影した画像の合成画像上での範囲１６２が大きくなる点である。
【００４５】
このような合成画像が表示部４に表示された状態で、合成画像に映る人物の顔を確認したい場合、監視者８は、まず、図１７に示す画像合成を見ながら人物の顔の領域、１７１、１７２、１７３をそれぞれ指定する。このとき、対応する入力カメラの画像（図１５）から人物の顔画像が検索され提示されるが、図１５に示すように、各画像上では、それぞれ撮影される人物の画像が極端に大きくも、極端に小さくもないため、遠距離での人物の顔画像も鮮明に見ることができる。
【００４６】
このように、左右を望遠カメラで監視し、この望遠カメラと画角が２倍以上異なる広角カメラで正面を監視する場合は、３つのカメラ画像の合成画像から侵入者を検出し、その人物の顔画像を、カメラ画像で詳細に見る際に、左右の遠く離れた人物の顔画像であっても、より詳細に見ることができる。
【００４７】
（第２の実施の形態）
図１８に、本発明の第２の実施形態の監視装置の概略構成を示す。図１４の監視装置は、建物等の施設の監視を行うもので、カメラ画像と施設構造とを合成した合成画像を提示するものである。
【００４８】
この監視装置は、カメラ１１〜１６、監視画像制御部１８１、データ保持部２、画像合成部３、表示部４、検索・領域指定部５、タイムコード発生部６、動き検知部７、記録部９、施設構造データ保持部１８２を含んで構成される。図から明らかなように、図１の監視装置とほぼ同様の構成を有するが、施設構造データ保持部１８２を備え、監視画像制御部１８１によって監視画像の表示や記録・再生を制御する点で異なる。また、６台のカメラを備え、画像合成部３は、各カメラ１１〜１６の出力画像を施設構造に逆投影した合成画像やフロアに逆投影したフロア画像を生成し、記録部９には、カメラ画像１５４、合成画像１５５とともに各フロア合成画像が記録される。
【００４９】
監視画像制御部１８１は、図１の監視装置における監視画像制御部１が備える構成に加えて、優先度の低い画像を記録部９から消去する消去部１ｆを有する。
【００５０】
施設構造データ１８２は、図１９に模式的に示すように、複数のカメラ１１〜１６の施設内での位置や施設の壁面、フロアの通路面などの配置を３次元的に表したデータである。複数のカメラ１１〜１６は、施設内に分散して配置されており、各フロアには複数のカメラが設置されている。
【００５１】
画像合成部３は、図２０に示すように、入力カメラ２０１の撮影画像を施設内の通路面２０４や壁面２０３に逆投影（２０２）したときの画像を合成画像として作成する。ここで言う「逆投影」とは、この実際の撮影とは逆方向に、施設の壁や通路面などの３次元データ上に撮影画像を投影する操作のことである。データ保持部２に記憶される合成マップデータは、合成画像上の各画素の出力データをカメラ画像の画素の出力データで規定したものであり、カメラパラメータと施設構造データ１８２とを用い、カメラの画素データを施設構造データ１８２に逆投影して作成することができる。画像合成部３は、この合成マップデータ２を用いて、各カメラ１１〜１６の出力画像を施設構造に逆投影した合成画像を生成し、また、各カメラ１１〜１６の出力画像をフロアに逆投影したフロア合成画像を生成する。
【００５２】
監視画像制御部１８１の録画部１ａは、各カメラ１１〜１３のカメラ画像にタイムコード発生部６が発生するタイムコードを付して記録部９に記録し、また、画像合成部３がカメラ画像を用いて生成した合成画像や各フロア合成画像に、そのカメラ画像と同じタイムコードを付して記録部９に記録する。監視画像制御部１８１の再生部１ｃは、検索・領域指定部５からの要求に基づいて、施設構造にカメラ画像を逆投影した、図２１に示すような合成画像１５５を再生し、監視者に提示する。また、その際、要求に応じて、図２１（ａ）に示すように、施設を２１１または２１２の方向に所定角度回転し、種々の方向から施設が見られるようにし、あるいは、図２１（ｂ）に示すように、要求されたフロア２１３だけを表示する。したがって、監視者は、施設内を俯瞰する形で監視を行うことができる。
【００５３】
また、監視者が、検索・領域指定部５を通じて、この合成画像から注目する位置のカメラを指定したり、合成画像上の顔領域を指定したりした場合、監視画像制御部１８１の検索部１ｂは、第１の実施形態と同様に、合成マップデータ２やタイムコードを用いて該当するカメラ画像や、そのカメラ画像の顔領域を検索し、表示部４に表示する。動き検知部７は、画像合成部３が生成した、複数のカメラ画像を含む各フロア合成画像１８３から、予め定められた特定の動きを検知する。
【００５４】
図２２は、その様子を模式的に示している。動き検知部７は、各フロア合成画像２２１、２２２、２２３を用いて、人物２２４がフロア上で第１のカメラの逆投影位置２２５から第２のカメラの逆投影位置２２６まで移動する動き２２７だけを検出する。こうした動きは、個々のカメラの画像を解析しても十分把握できない場合があるが、フロア上に投影された複数のカメラ画像が合成されたフロア合成画像を用いることにより、正確に検出できる。
【００５５】
監視画像制御部１８１のタグ情報添付部１ｄは、動き検知部７が検知した特定の動きを示すフロア合成画像１８３に対して動きタグ情報を付与する。タグ情報伝播部１ｅは、フロア合成画像に付されたタグ情報と同じものを、フロア合成画像と同じタイムコードが付された合成画像１５５や、そのフロア合成画像の作成に使用したカメラ画像であって、フロア合成画像と同じタイムコードが付されたカメラ画像に添付する。合成画像１５５、各フロア合成画像１８３及びカメラ画像に付されたタグ情報は、第１の実施形態と同様に、再生する画像を絞り込むために使われる。
【００５６】
また、監視画像制御部１８１の消去部１ｆは、記録部９に格納した監視画像の優先度を、それらの画像に付したタグ情報により決定し、優先度に応じて設定した時間が経過した画像を自動的に消去する。こうすることで、装置の記憶容量を効率的に使用することができる。
【００５７】
このように、この監視装置は、監視者に対し、その位置が直感的に分かる合成画像を提示することができ、監視者は、この合成画像から、個々のカメラ画像やカメラ画像の領域を選択して詳細に監視することができる。そのため、複雑で大きな施設でも、詳細且つ効率的な監視が可能になる。
【産業上の利用可能性】
【００５８】
本発明の監視装置は、監視者に対して、監視対象の位置が直感的に分かり、また、不審者等の動きや特徴等の異常の状態が把握し易い映像を提示できる監視装置等として有用である。また、蓄積した映像の中から、監視者が要求する映像を的確に絞り込んで提示することができると言う利点を有しており、大規模施設の集中監視システム等に広く利用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施態様の監視装置の概略構成を示す図
【図２】本発明の第１の実施態様の監視装置におけるカメラ配置の一例を示す図
【図３】本発明の第１の実施態様の監視装置における複数のカメラが撮影した画像の一例を示す図
【図４】本発明の第１の実施態様の監視装置における画像合成方法の一例を説明する図
【図５】本発明の第１の実施態様の監視装置における合成画像の一例を示す図
【図６】本発明の第１の実施態様の監視装置における画像合成用合成マップの一例を示す図
【図７】本発明の第１の実施態様の監視装置における合成画像による監視画像系列の一例を示す図
【図８】本発明の第１の実施態様の監視装置における合成画像上の動き検知設定の一例を示す図
【図９】本発明の第１の実施態様の監視装置における合成画像とカメラ画像から抽出された顔画像を示す図
【図１０】本発明の第１の実施態様の監視装置における合成画像による監視画像系列の一例と、監視者による領域指定を示す模式図
【図１１】本発明の第１の実施態様の監視装置における合成マップを用いた入力カメラ画像の抽出方法の一例を示す図
【図１２】本発明の第１の実施態様の監視装置における合成マップを用いた入力カメラ画像の抽出方法の他の例を示す図
【図１３】本発明の第１の実施態様の監視装置における合成画像と二つのカメラ画像から抽出された顔画像を示す図
【図１４】本発明の第１の実施態様の監視装置におけるカメラ配置の他の例を示す図
【図１５】本発明の第１の実施態様の監視装置における複数のカメラが撮影した画像の他の例を示す図
【図１６】本発明の第１の実施態様の監視装置における画像合成方法の他の例を説明する図
【図１７】本発明の第１の実施態様の監視装置における合成画像の他の例を示す図
【図１８】本発明の第２の実施態様の監視装置の概略構成を示す図
【図１９】本発明の第２の実施態様の監視装置における施設構造データの一例を説明する図
【図２０】本発明の第２の実施態様の監視装置における合成画像生成方法の一例を説明する図
【図２１】本発明の第２の実施態様の監視装置における合成画像（ａ）と１フロア分の合成画像（ｂ）とを示す図
【図２２】本発明の第２の実施態様の監視装置におけるフロア合成画像での動き検知を示す図
【符号の説明】
【００６０】
１ 監視画像制御部
１ａ 録画部
１ｂ 検索部
１ｃ 再生部
１ｄ タグ情報添付部
１ｅ タグ情報伝搬部
１ｆ 消去部
２ データ保持部
３ 画像合成部
４ 表示部
５ 検索・領域指定部
６ タイムコード発生部
７ 動き検知部
８ 監視者
９ 記録部
１１ カメラ
１２ カメラ
１３ カメラ
１４ カメラ
１５ カメラ
１６ カメラ
２０ 通路
３１ カメラ画像
３２ カメラ画像
３３ カメラ画像
４１ 変形画像
４２ 変形画像
４３ 変形画像
５０ 合成画像
６０ 合成マップ
６１ 画素
６２ 画素
１０１ 左上端点
１０２ 右下端点
１２１ 左上端点
１２２ 右下端点
１４１ 画角
１４２ 画角
１４３ 画角
１５１ 人物
１５２ 人物
１５３ 人物
１５４ カメラ画像
１５５ 合成画像
１６１ 変形画像
１６２ 変形画像
１６３ 変形画像
１７１ 顔領域
１７２ 顔領域
１７３ 顔領域
１８１ 監視画像制御部
１８２ 施設構造データ保持部
１８３ 各フロア合成画像
２０１ カメラ
２０２ 逆投影
２０３ 壁面
２０４ 通路面
２１１ 角度変更方向
２１２ 角度変更方向
２１３ １フロア分の合成画像
２２１ フロア合成画像
２２２ フロア合成画像
２２３ フロア合成画像
２２４ 侵入者の画像
２２５ 位置
２２６ 位置
２２７ 動き
【特許請求の範囲】
【請求項１】
複数のカメラを用いた監視を行う監視装置であって、
前記カメラで撮影したカメラ画像を用いて合成画像を生成する合成画像生成手段と、
前記カメラ画像及び前記合成画像を保持する記録手段と、
画像を表示する表示手段と、
前記表示手段に表示した前記合成画像の任意の領域が選択されたとき、前記選択された領域に対応する前記カメラ画像または当該カメラ画像の領域を検索して前記表示手段に表示する検索手段と
を備えた監視装置。
【請求項２】
請求項１に記載の監視装置であって、
前記合成画像生成手段は、複数のカメラのカメラ画像を合成した合成画像を生成する監視装置。
【請求項３】
請求項２に記載の監視装置であって、
前記複数のカメラは、２倍以上画角が異なる２以上のカメラを含む監視装置。
【請求項４】
請求項１に記載の監視装置であって、
前記合成画像生成手段は、前記カメラ画像と監視対象施設の構造を示す図形とを合成した合成画像を生成する監視装置。
【請求項５】
請求項１から４のいずれか１項に記載の監視装置であって、
複数のカメラ画像を利用して生成された前記合成画像から動きを検出する動き検知手段と、
前記動き検知手段が検知した前記合成画像にタグ情報を付加するタグ情報付加手段と、
前記タグ情報を付加した合成画像に使用された前記カメラ画像を検索して、当該カメラ画像に前記タグ情報を付加するタグ情報伝播手段とを備えた監視装置。
【請求項６】
請求項５に記載の監視装置であって、
前記タグ情報に基づいて、前記タグ情報が付加された合成画像及びカメラ画像の優先度を決定し、前記優先度に基づいて消去する画像を決定する消去手段を備えた監視装置。
【請求項１】
複数のカメラを用いた監視を行う監視装置であって、
前記カメラで撮影したカメラ画像を用いて合成画像を生成する合成画像生成手段と、
前記カメラ画像及び前記合成画像を保持する記録手段と、
画像を表示する表示手段と、
前記表示手段に表示した前記合成画像の任意の領域が選択されたとき、前記選択された領域に対応する前記カメラ画像または当該カメラ画像の領域を検索して前記表示手段に表示する検索手段と
を備えた監視装置。
【請求項２】
請求項１に記載の監視装置であって、
前記合成画像生成手段は、複数のカメラのカメラ画像を合成した合成画像を生成する監視装置。
【請求項３】
請求項２に記載の監視装置であって、
前記複数のカメラは、２倍以上画角が異なる２以上のカメラを含む監視装置。
【請求項４】
請求項１に記載の監視装置であって、
前記合成画像生成手段は、前記カメラ画像と監視対象施設の構造を示す図形とを合成した合成画像を生成する監視装置。
【請求項５】
請求項１から４のいずれか１項に記載の監視装置であって、
複数のカメラ画像を利用して生成された前記合成画像から動きを検出する動き検知手段と、
前記動き検知手段が検知した前記合成画像にタグ情報を付加するタグ情報付加手段と、
前記タグ情報を付加した合成画像に使用された前記カメラ画像を検索して、当該カメラ画像に前記タグ情報を付加するタグ情報伝播手段とを備えた監視装置。
【請求項６】
請求項５に記載の監視装置であって、
前記タグ情報に基づいて、前記タグ情報が付加された合成画像及びカメラ画像の優先度を決定し、前記優先度に基づいて消去する画像を決定する消去手段を備えた監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００６−３０３９８９（Ｐ２００６−３０３９８９Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−１２３８３５（Ｐ２００５−１２３８３５）
【出願日】平成１７年４月２１日（２００５．４．２１）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年４月２１日（２００５．４．２１）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]