全方位監視画像処理システム
【課題】単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することができる。
【解決手段】ブロッキング輝度伸張処理部２０は、画像バッファメモリ１３に記憶された楕円面の３６０°全周入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。
【解決手段】ブロッキング輝度伸張処理部２０は、画像バッファメモリ１３に記憶された楕円面の３６０°全周入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラで撮影した全方位画像から設定対象物の検知処理を実施する全方位監視画像処理システムに関する。
【背景技術】
【０００２】
単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムが種々開発され実用化されている。この種、従来の３６０°監視システムは、カメラの全周が１フレームに収まるＮＴＳＣ映像であることから、部分映像の解像度が低く、３６０°の全周映像について、そのすべてを目視で監視するには限界があり、細部に亘る監視は困難であった。
【０００３】
また、例え監視映像を高解像度にしても、３６０°の全周映像には、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。
【０００４】
また、３６０°の全周映像から、予め設定した動物体若しくは静止物体を監視対象物として検知し追跡する画像処理システムを構築した場合、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、監視対象物の細部に亘る表示が困難であった。
【０００５】
この種の全方位監視カメラシステムとして、従来では、特定の動体画像のみを高画質で記録する監視カメラ技術（特許文献１）、全体映像と部分的拡大映像とを外部に伝送する撮像データの伝送システム（特許文献２）等が存在した。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２１３２０公報
【特許文献２】特開２００４−１５３６０５公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムにおいては、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。また、３６０°の全周映像から、予め設定した動物体若しくは静止物体を監視対象物として検知し追跡する画像処理システムを構築した場合、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、監視対象物の細部に亘る表示が困難であった。
【０００８】
本発明は上記実情に鑑みなされたもので、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することのできる全方位監視画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により前記輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。
【００１０】
また本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記監視対象画像記憶手段に記憶した監視対象画像および前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備した全方位監視画像処理システムを提供する。
【００１１】
また本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記画像処理手段が前記検知処理において前記監視対象を検出しない状態にあるとき前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施し、前記画像処理手段が前記検知処理において前記監視対象を検出している状態にあるとき前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。
【００１２】
また前記全方位監視画像処理システムにおいて、前記ブロッキング輝度伸張処理手段は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を具備したことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る全方位監視画像処理システムの構成を示すブロック図。
【図２】上記実施形態に係る画像処理部の機能構成を示すブロック図。
【図３】上記実施形態に係る処理の手順を示すフローチャート。
【図４】上記実施形態に係るブロッキング輝度伸張処理手段の構成要素を示すブロック図。
【図５】上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。
【図６】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図７】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図８】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図９】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図１０】上記実施形態に係るバイリニア補間処理動作を説明するための動作説明図。
【図１１】上記実施形態に係る輝度伸張処理部の構成を示すブロック図。
【図１２】上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。
【図１３】上記実施形態に係る全方位（３６０°全周）監視画像の一例を示す図。
【図１４】上記図１４に示す３６０°全周監視画像から切り出した切り出し画像の一例を示す図。
【図１５】上記実施形態において楕円映像（３６０°全周監視画像）の中で仮想自動追尾機能を実現するイメージを示す図。
【図１６】上記図１５に示す仮想自動追尾機能によりトラッキングした監視対象オブジェクトの切り出し画像表示例を示す図。
【図１７】上記図１５に示す仮想自動追尾機能によりトラッキングした監視対象オブジェクトの切り出し画像表示例を示す図。
【発明を実施するための形態】
【００１５】
以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは監視映像と称している。
【００１６】
本発明の実施形態に係る全方位監視画像処理システムは、１．３メガ（Ｍ）ピクセル以上の画素数を有する高画素（高精細）の単眼カメラ（１台のカメラ）に、３６０°レンズ（魚眼レンズ）を取り付け、このカメラで撮影した映像から、設定パラメータに従う動物体（例えば人物）、静止物体（放置物）などの対象物を監視対象として検出しトラッキングして追尾する処理技術に係るもので、上記単眼カメラで撮影した３６０°全周高精細監視映像（全方位監視画像）を入力画像として、当該入力画像と、当該入力画像から切り出した切り出し画像を対象に、任意の出力対象画像に対してブロッキング輝度伸張による明暗補正を実施し、表示出力することを特徴とする。なお、切り出し画像については歪曲収差を補正後、ブロッキング輝度伸張による明暗補正を施す。
【００１７】
本発明の実施形態に係る全方位監視画像処理システムの構成を図１に示している。
【００１８】
本発明の実施形態に係る全方位監視画像処理システムは、図１に示すように、単眼カメラ（ｉｐカメラ）１１と、キャプチャ部１２と、画像バッファメモリ１３と、リサイズ部１４と、処理画像バッファメモリ１５と、画像処理部１６と、オブジェクト情報バッファメモリ１７と、注目領域画像作成処理部１８と、オブジェクト画像バッファメモリ１９と、ブロッキング輝度伸張処理部２０と、表示部（表示デバイス）２１とを具備して構成される。
【００１９】
単眼カメラ１１およびキャプチャ部１２は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段を構成する。
【００２０】
単眼カメラ１１は、撮像窓に３６０°魚眼レンズ１１Ａを取り付けた１．３Ｍピクセル以上の画素数を有する高精細の監視カメラを構成し、楕円面の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。ここでは、楕円面の長辺と短辺を、１フレームの幅と高さに合わせた、横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。この楕円面の３６０°全周監視画像（Ｐａ）の一例を図１３に示し、この楕円面の３６０°全周監視画像（Ｐａ）から切り出した切り出し画像（ｑ１）の一例を図１５に示している。
【００２１】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像（Ｐａ）を入力画像として取り込み、画像バッファメモリ１３に記憶する処理機能をもつ。
【００２２】
画像バッファメモリ１３は、キャプチャ部１２がキャプチャしたフレーム単位の監視映像（Ｐａ）を入力画像として記憶する入力画像記憶手段を構成する。ここでは横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像（Ｐａ）を入力画像として記憶する。
【００２３】
リサイズ部１４および処理画像バッファメモリ１５は、監視映像入力手段の構成要素であるキャプチャ部１２がキャプチャしたフレーム単位の入力画像を、設定した画像処理単位、すなわち監視対象の検知および追跡に用いる小画素単位にリサイズし、リサイズした入力画像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段を構成する。
【００２４】
ここでは、リサイズ部１４において、１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）を表示部（表示デバイス）２１の画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の表示用入力画像にリサイズし、さらに、入力画像（Ｐａ）を監視対象の検知並びに追跡処理に用いる３２０×４８０画素構成（ＱＶＧＡ）の処理用入力画像にリサイズして、処理画像バッファメモリ１５に、直近の入力画像を含み時系列に複数フレーム分（例えば３０〜６０フレーム分）記憶する。このリサイズによって監視対象の検知並びに追跡処理に係る処理負荷の軽減と処理の高速化を図っている。なお、ここでは単眼カメラ１１で撮影した直近の入力画像を含む複数フレーム分としているが、これに限らず、例えば図２に示すように、単眼カメラ１１で撮影したライブ映像を大容量記憶媒体２２に記憶した時系列の録画映像を入力画像（Ｐａ）として入力してもよい。
【００２５】
画像処理部１６は、上記処理画像記憶手段の構成要素である処理画像バッファメモリ１５に記憶した監視映像（処理用入力画像）に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と上記処理画像バッファメモリ１５に記憶した複数フレームの監視映像をもとに、上記リサイズした直近の監視映像（処理用入力画像）から設定パラメータ（ＰＭ１）に従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき上記処理画像バッファメモリ１５に記憶した直近の監視映像（処理用入力画像）から上記検知した監視対象を囲う矩形の領域を領域情報として抽出する画像処理手段を構成する。外部から設定される設定パラメータ（ＰＭ１）は、監視対象の検知および追跡パラメータとして、監視対象が動物体であるか静止物体であるかを指定する検知物指定情報と、３６０°全周画像における検知対象エリアを指定する検知エリア指定情報と、３６０°全周画像における監視対象の領域サイズを指定する検知物サイズ指定情報と、監視対象の検知時間帯を指定する時間情報とが含まれ、これらの各設定情報をもとに監視対象の検知および追跡処理を実施する。また、表示パラメータとして、監視画像表示モードを指定する表示モード指定情報、表示画面上の表示位置および領域を指定する表示位置および領域指定情報、表示輝度およびコントラストを指定する表示制御情報とを含み、これらの各設定情報をもとに表示部（表示デバイス）２１に３６０°全周画像や切り出し画像が表示される。
【００２６】
この画像処理手段は、上記リサイズした監視映像から複数の監視対象を検知したとき、監視対象毎に、監視対象をカメラで追尾するように、監視対象毎に時系列に矩形の領域を追跡する仮想自動追跡処理を実施する。また、ここでは、動物体と静止物体を監視対象に、そのいずれかの物体を監視対象（検知対象）としていることから、検知対象が動物体であるときと静止物体であるときとでそれぞれ異なる閾値を決定する。この閾値の決定手段として、動物体を監視対象とした動物体検知用閾値の決定手段と、静止物体を監視対象とした静止物体検知用閾値の決定手段とを用意する。
【００２７】
この実施形態では、動物体検知用閾値の決定手段として、本願出願人において既に出願した特開２０１０−２０４７０４号公報の閾値決定技術を適用し、静止物体検知用閾値の決定手段として、同じく本願出願人において既に出願した特開２０１０−２０６２８６号公報の閾値決定技術を適用している。
【００２８】
この実施形態における動物体検知用閾値の決定手段は、上記処理画像バッファメモリ１５に記憶した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、上記標準偏差を算出した画素について、上記算出した標準偏差と上記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、この閾値算出手段で算出した閾値を上記標準偏差を算出した画素の上記変化画素を抽出するための閾値として設定する閾値設定手段とを具備して構成される。また、静止物体検知用閾値の決定手段は、上記処理画像バッファメモリ１５に記憶した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備して構成される。この各閾値決定手段のより詳細な構成については上記文献に開示されているのでここではその説明を割愛する。上記の各閾値決定技術を適用することによって明暗の差が大きい処理画像に対しても精度の高い物体検知が可能である。
【００２９】
上記前処理で決定した閾値と処理画像バッファメモリ１５に貯えられた複数フレームの処理用入力画像とをもとに、リサイズした直近の監視映像（処理用入力画像）から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき上記処理画像バッファメモリ１５に記憶した直近の監視映像から上記検知した監視対象を囲う矩形の領域を切り出して、上記した仮想自動追跡処理を実施する。この仮想自動追跡処理例については図１５乃至図１７を参照して後述する。
【００３０】
この監視対象となるオブジェクトの追跡処理手段として、動物体の追跡処理については、本願出願人において既に出願した特開２００８−１５８９８４号公報に記載された、新規オブジェクトの登録処理手段と、未確定オブジェクトの追跡処理手段と、確定オブジェクトの追跡処理手段とを組み合わせたオブジェクト追跡処理技術が適用可能であり、静止物体の追跡処理については、同じく本願出願人において既に出願した特開２０１０−２０６２８６号公報に記載された、登録背景差分手法による停止物検知処理技術、または背景時間差分手法による停止物検知処理技術が適用可能である。これら各物体検知技術の詳細な構成については上記文献に開示されているのでここではその説明を割愛する。
【００３１】
オブジェクト情報バッファメモリ１７は、上記画像処理部１６が検知（算出）した上記矩形の領域およびその中心座標を示す矩形の領域情報（監視映像（処理用入力画像）内における矩形領域の座標データ）をオブジェクト情報として記憶する。ここでは動物体の追跡に用いるオブジェクト情報を動体情報として、静止物体の追跡に用いるオブジェクト情報を停止物情報として示している。
【００３２】
注目領域画像作成処理部１８およびオブジェクト画像バッファメモリ１９は、上記オブジェクト情報バッファメモリ１７に記憶されたオブジェクト情報（矩形の領域の中心位置座標）をもとに、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段を構成する。ここでは、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対して歪曲収差を補正し、表示部（表示デバイス）２１の表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像（オブジェクト画像）としてオブジェクト画像バッファメモリ１９に貯える。この際の歪曲収差の補正処理については既知の技術が適用される。
【００３３】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する処理手段（ブロッキング輝度伸張処理手段）を構成する。
【００３４】
このブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像（ここではリサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、またはオブジェクト画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備し、画面全体の一部に存在する明暗の大きく異なる画像について、明暗の大きく異なる部分を画素レベルで補正し、監視し易い画像に補正する。このブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理については、図４乃至図１２を参照して後述する。
【００３５】
表示部（表示デバイス）２１は上記補完処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段を構成する。ここでは、６４０×４８０画素の表示画面で構成され、画像バッファメモリ１３に貯えられた入力画像（Ｐａ）をリサイズ部１４でリサイズした３６０°全周入力画像と、オブジェクト画像バッファメモリ１９に貯えられた切り出し画像とを表示対象に、そのいずれかの画像を選択して、若しくは表示領域を区分して同時に表示出力する。ここでは、監視対象が検知されない状態にあるとき、画像バッファメモリ１３に貯えられた３６０°全周の入力画像（Ｐａ）を表示し、監視対象が検知されたとき、３６０°全周の入力画像（Ｐａ）に代えて（または３６０°全周の入力画像に重ねて）、オブジェクト画像バッファメモリ１９に貯えられた切り出し画像を表示する。
【００３６】
上記した全方位監視画像処理システムのソフトウェア（ＳＷ）構成を図２に示している。このソフトウェア（ＳＷ）は入力手段のハードウェア（ＨＷ）構成要素をなす単眼カメラ（ＩＰカメラ）１１と出力手段のハードウェア（ＨＷ）構成要素をなす表示部（表示デバイス）２１との間に設けられる。ソフトウェア（ＳＷ）の構成要素である画像処理部１６は、前処理部１６ａと、検知処理部１６ｂと、追跡処理部１６ｃを具備して構成されている。
【００３７】
前処理部１６ａは、設定パラメータ（ＰＭ１）に含まれる検知物指定情報に従い、動物体検知用閾値の決定手段または静止物体検知用閾値の決定手段を選択的に起動して、監視対象（検知物）の閾値（動物体検知用の閾値または静止物体検知用の閾値）を算出する。
【００３８】
検知処理部１６ｂは、設定パラメータ（ＰＭ１）に含まれる監視対象の検知および追跡パラメータに従い、前処理部１６ａが算出した閾値を用いて、監視対象（動物体または静止物体）の検知処理を実施し、監視画像（Ｐａ）から監視対象を囲う矩形の領域を抽出する。すなわち、監視対象にある動物体または静止物体を囲う矩形の領域を示す位置座標情報を抽出する。
【００３９】
追跡処理部１６ｃは、検知処理部１６ｂが抽出した矩形の領域をもとに監視対象をカメラで追尾するように仮想自動追跡処理を実施して、追跡処理結果の領域情報をオブジェクト情報（動体情報または停止物情報）としてオブジェクト情報バッファメモリ１７に記憶する。
【００４０】
注目領域画像作成処理部１８は、オブジェクト情報バッファメモリ１７に記憶されたオブジェクト情報（矩形の領域の中心位置座標）をもとに、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施して、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対し歪曲収差を補正し、表示部（表示デバイス）２１の表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像（オブジェクト画像）としてオブジェクト画像バッファメモリ１９に貯える。
【００４１】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。
【００４２】
上記した全方位監視画像処理システムの処理手順を図３にフローチャートで示している。３６０°全周の監視画像（Ｐａ）はキャプチャ部１２によりキャプチャされ、入力画像（Ｐａ）として画像バッファメモリ１３に貯えられる（ステップＳ１１）。
【００４３】
画像バッファメモリ１３に貯えられた１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）は、リサイズ部１４により、３２０×４８０画素構成（ＱＶＧＡ）の検知並びに追跡処理用入力画像にリサイズされて処理画像バッファメモリ１５に時系列に記憶される（ステップＳ１１）。
【００４４】
処理画像バッファメモリ１５に上記処理用入力画像が記憶される都度、画像処理部１６は、前処理において、処理画像バッファメモリ１５に記憶された直近の処理用入力画像を含む複数フォームの処理用入力画像を参照してその画素値の内容から最適閾値を算出し、検知処理において、処理画像バッファメモリ１５に記憶された直近の処理用入力画像と過去の処理用入力画像と上記閾値とをもとに監視対象の検知処理（矩形の領域抽出処理）を実施し、監視対象が検知されたとき、追跡処理において、検知した矩形の領域情報をもとに監視対象の追跡処理を実施する。監視対象が複数検知されたとき、その各監視対象に対して追跡処理を実施する（ステップＳ１３）。
【００４５】
上記検知処理において監視対象が検知されないとき（ステップＳ１４ Ｎｏ）、リサイズ部１４により１２８０×９６０画素構成の入力画像（Ｐａ）が６４０×４８０画素構成（ＶＧＡ）にリサイズされ（ステップＳ１５）、そのリサイズされた３６０°全周の入力画像に対して、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理が実施される（ステップＳ１６）。このブロッキング輝度伸張処理により３６０°全周の全画像を対象に明暗補正が実施され、ブロッキング輝度伸張処理した３６０°全周の入力画像が表示部（表示デバイス）２１に表示出力される（ステップＳ２０）。このブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易い画像に補正して表示される。
【００４６】
上記検知処理において監視対象が検知されたとき（ステップＳ１４ Ｙｅｓ）、検知された監視対象それぞれに対して、注目領域画像作成処理部１８により切り出し処理および歪曲収差に対する補正処理が実施され、さらにその切り出し画像に対して、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理が実施され（ステップＳ１７ａ〜Ｓ１７ｄ）、ブロッキング輝度伸張処理された切り出し画像が表示部（表示デバイス）２１に表示出力される（ステップＳ２０）。これにより明瞭で監視し易い切り出し画像が表示される。また、魚眼レンズによる楕円面の（焦平面フィールド）上における輝度の偏りについても上記ブロッキング輝度伸張処理により補正されることから、より監視し易いダイナミックレンジの画像補正が可能となる。
【００４７】
ここで、ブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理について、図４乃至図１２を参照して説明する。
【００４８】
ブロッキング輝度伸張処理部２０は、上述したように、輝度伸張処理の対象となる入力画像（リサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、またはオブジェクト画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００４９】
図４に示すブロッキング輝度伸張処理部２０は、単眼カメラ１１で撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＶＧＡ（６４０×４８０画素）の０〜２５５階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。
【００５０】
この輝度伸張処理部１における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを、入力画像における注目エリアを複数のブロックに分割したブロック単位の画像の平均輝度値をもとに自動算出する手段を具備した。
【００５１】
ブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、上記補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００５２】
図４に示すブロッキング輝度伸張処理部２０の輝度伸張処理動作について、図５乃至図１０を参照して説明する。図５は上記ブロッキング輝度伸張処理部２０の輝度伸張処理動作を説明するための動作説明図、図６および図７はそれぞれ上記したブロック処理手段における輝度伸張処理の動作原理を説明するための動作説明図、図８および図９はそれぞれ上記したブロック処理手段における畳み込み処理の動作原理を説明するための動作説明図、図１０は上記した補間処理手段におけるバイリニア補間処理の動作原理を説明するための動作説明図である。
【００５３】
図５に示す、ブロッキング輝度伸張処理部２０のブロック処理手段４ａは、先ず、単眼カメラで撮影した入力画像（６４０×４８０画素）２について、予め設定された注目エリア３を複数のブロックに分割する。具体例を挙げると、入力画像を３２×３２画素単位、若しくは１６×１６画素単位、若しくは８×８画素単位等に分割し、注目エリア３（画像全体または設定された注目エリア）を複数のブロックに分割する。例えば注目エリア３の画面を１６×１６画素単位のブロック（４０×３０ブロック）に分割する。このブロック分割領域それぞれについて、周囲ブロックの輝度値を可変要素に、平均輝度を求める。
【００５４】
この動作原理を図６乃至図９に示している。ここでは、図６および図７に示すように、画面をブロック分割した１６×１６画素のパターンを、１／２ブロック（８×８画素）分シフトしたブロック４パターンから１つの小ブロックの値を考える。ここでは、１／２ブロックシフトで、４パターンのブロックが重なったブロック（８×８画素）について、重なったブロックの輝度の平均、さらには輝度二乗の平均等を求め、この値をもとに、予め設定された輝度伸張処理方式に適用される輝度伸張用の輝度変換テーブルをブロック単位に作成する。さらにブロック処理手段４ａは、分割したブロック各々について、ブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出して、各ブロックの平均輝度を算出する。この際の畳み込み計数および畳み込み処理のイメージを図８および図９に示している。ここでは、図８に示すように、平均輝度の算出対象となる注目ブロックに対して「４」、注目ブロックの周囲８近傍のブロックのうち、上下左右の４ブロックに対してそれぞれ「２」、斜め４方向の各ブロックに対してそれぞれ「１」の畳み込み計数をもたせて、図９に示すデータの積み上げイメージで、上記各ブロックの輝度値を畳み込み、畳み込み演算することで、注目ブロックの輝度平均を求めることができる。このブロック毎の平均輝度値をもとに、予め設定された輝度伸張処理方式に適用されるブロック単位の輝度伸張パラメータおよび輝度変換テーブルを作成する。
【００５５】
つぎに、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、上記ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、上記した補間手段により、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。このバイリニア補間は図１０に示すように、注目画素の変換値を、周囲４ブロック（Ａ，Ｂ，Ｃ，Ｄ）の変換値の線形補間（バイリニア補間）にて決定し設定する。ここでは、注目画素が位置するブロック位置、および注目画素の当該ブロックとの位置差を小数点で求めて、当該ブロックと周囲ブロックの輝度変換テーブルの値に、ブロック位置差の係数を掛け、線形補間（バイリニア補間）の原理で輝度の変換値を求める。
【００５６】
上記補間処理手段４ｂによりバイリニア補間を施した各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する。
【００５７】
このように、ブロッキング輝度伸張処理部２０のブロック処理手段４ａにおいて、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、注目エリア内の一部に局所的に存在する明暗の各画像をそれぞれ明瞭に階調表示することができる。
【００５８】
上記実施形態をより具現化した一例を図１１および図１２に示している。図１１は実施形態に係るブロッキング輝度伸張処理部２０の機能構成を示すブロック図、図１２は上記ブロッキング輝度伸張処理部２０の処理手順を示すフローチャートである。
【００５９】
ブロッキング輝度伸張処理部２０は、上述したブロック処理手段（４ａ）の機能と補間処理手段（４ｂ）の機能を備え、ブロック処理機能により画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを生成し、補間処理機能により周囲ブロックを利用したバイリニア補間で各ブロックの画素の変換輝度値を求めている。
【００６０】
なお、図１１に示す構成は、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示している。
【００６１】
この非線形輝度伸張処理方式では、後述する平均輝度算出部２２２が算出した平均輝度値が２５６階調の中心輝度値（１２７）以下であるか超えているかを判定し、中心輝度値以下であるとき、凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成し、中心輝度値を超えるとき、凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成する。この非線形輝度伸張処理機能は、既に公知の特許第４３４０３０３号による非線形輝度伸張処理方式に適用したもので、その要旨は後述する。
【００６２】
ブロッキング輝度伸張処理部２０は、図１１に示すように、ブロック参照輝度設定部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５と、線形補間（バイリニア補間）算出部２２６とを具備して構成される。
【００６３】
ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズに従い、複数のブロックに分割し、ブロック毎に、各ブロックの輝度値の総和を算出する。ここでは、８×８画素、１６×１６画素、２４×２４画素、３２×３２画素のうちのいずれかのブロックサイズ（例えば１６×１６画素）が指定され、その指定サイズに従い、入力画像の注目エリアがブロック分割される。なお、入力画像のエッジ部分に指定ブロックサイズより小さい端数画素分の領域が生じた場合は、当該領域を輝度伸張処理対象から外すかまたは他の輝度伸張処理手段を適用するものとする。
【００６４】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１がブロック分割し、ブロック毎に算出した輝度総和をもとに、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位の画像の平均輝度値（＝Ｍ）を算出する。
【００６５】
累乗パラメータ算出部２２３は、上記した非線形輝度伸張処理方式において適用されるもので、平均輝度算出部２２２が算出した平均輝度をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出する。
【００６６】
参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。
【００６７】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。
【００６８】
線形補間算出部２２６は、図１０に示したように、ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。
【００６９】
上記したブロッキング輝度伸張処理部２０の処理手順を図１２に示している。
【００７０】
ブロッキング輝度伸張処理部２０は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファメモリ１３に保持される毎に、図１２に示す処理を実施する。
【００７１】
画像バッファメモリ１３に輝度伸張処理の対象となる入力画像（Ｐａ）が保持されると、当該入力画像がリサイズ部１４によりリサイズされてブロッキング輝度伸張処理部２０に入力される。ブロッキング輝度伸張処理部２０において、ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリア（画像全体または設定された注目エリア）を、外部より指定されたブロックサイズ（例えば１６×１６画素）に従い、複数のブロック（４０×３０ブロック）に分割し、ブロック毎に各ブロックの輝度値の総和を求めて当該ブロック単位の輝度総和を注目ブロックの輝度情報として平均輝度算出部２２２に送出する（ステップＳ２１）。
【００７２】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１から注目ブロックの輝度情報（ブロック単位の輝度総和）を入力すると、この輝度情報をもとに、図８および図９に示したように、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出し、当該注目ブロックの画像の平均輝度値を累乗パラメータ算出部２２３と参照テーブル判定部２２４に送出する（ステップＳ２２）。
【００７３】
累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度値をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出し、当該パラメータを参照テーブル判定部２２４に送出する。
【００７４】
参照テーブル判定部２２４は、平均輝度算出部２２２から入力した平均輝度値と累乗パラメータ算出部２２３から入力した累乗パラメータを輝度伸張パラメータとして、当該輝度伸張パラメータに従う輝度変換テーブルを作成する。ここでは、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する（ステップＳ２３）。
【００７５】
ここで、上記した凸曲線および凹曲線を用いた非線形輝度伸張処理方式における輝度伸張処理について記述する。
【００７６】
累乗パラメータ算出部２２３は、注目エリアの平均輝度をもとに輝度伸張用の累乗パラメータγを下式（１）により自動的に算出する。
【００７７】
γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0・・・・式（１）
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度）
上記平均輝度と上記入力画像の輝度階調範囲の中心輝度とを比較し、累乗パラメータγを用いて自動的に下式（２）又は下式（３）を切り替えて、凸曲線および凹曲線の輝度変換テーブルを作成する。
【００７８】
I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed・・・・式（２）凸曲線
I’＝I／Bmaxγ×Bmax：Iave＞Bmed ・・・・式（３）凹曲線
（だたし、I’は出力輝度、Iは入力輝度、Bmedは輝度中央値、Bmaxは輝度最大値、Iaveは入力画像注目エリアの平均輝度）
この参照テーブル判定部２２４で作成された凸曲線および凹曲線の輝度変換テーブル２３２は画像変換部２２５に送出される（ステップＳ２３）。
【００７９】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施す。このブロック単位で輝度伸張された注目ブロックの各画素に対して、線形補間算出部２２６より、図７に示したように、注目ブロックと、その周囲４ブロックの輝度変換テーブルを用いて画素位置の距離差に応じたバイリニア補間が実施され、このバイリニア補間で輝度変換された画像が画像バッファ２１に書き戻されることによって画像バッファ２１上にブロック間のバイリニア補間を施した輝度伸張画像が作成される（ステップＳ２４，Ｓ２５）。
【００８０】
なお、上記した実施形態では、ＶＧＡ（６４０×４８０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、他の画像構成を扱う画像処理装置においても本発明の実施形態に係る輝度伸張処理機能を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する２０の構成要素（ブロック参照輝度設定部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５、線形補間算出部２２６等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。
【００８１】
また、上記した実施形態では、ブロック毎に各ブロックの輝度値の総和を求め、注目ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出しているが、これに限らず、例えば、ブロック毎に輝度平均を算出し、このブロック毎の平均輝度を用いて重み付けおよび畳み込み処理を実施することも可能である。
【００８２】
また、上記した実施形態では、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示しているが、これに限らず、例えばシグモイド関数曲線を利用したシグモイド輝度伸張処理方式や、その他の各種輝度伸張処理方式に適用可能である。
【００８３】
上記したブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易いダイナミックレンジを有した全周監視画像の表示機能を実現できる。
【００８４】
上記した実施形態では、上記監視対象の検知処理において監視対象が検知されないとき、ブロッキング輝度伸張処理した３６０°全周の入力画像（全周画像）を表示部（表示デバイス）２１に表示し、上記検知処理において監視対象が検知されたとき、ブロッキング輝度伸張処理部２０ブロッキング輝度伸張処理した切り出し画像を表示部２１に表示する表示機能を実現しているが、上記検知処理において監視対象が検知されたとき、検知された監視対象領域の切り出し画像を全周画像とともに同時に表示することも可能である。この際、表示部２１の表示画面全域に全周画像を表示し、監視対象が検知されたとき、検知された監視対象領域の切り出し画像を、全周画像の切り出し位置に対応付けるバルーン形式で全周画像に被せて（全周画像を覆って）表示させることも可能である。または、監視対象が検知されたとき、検知された監視対象領域の切り出し画像を、表示部２１上の予め定めた一部表示領域に部分表示することも可能である。
【００８５】
この全周画像と切り出し画像の表示例を図１３乃至図１７に示している。図１３は単眼カメラ（ＩＰカメラ）１１で撮影した、楕円面の長辺と短辺を１フレーム（Ｆ）の幅と高さに合わせた、３６０°全周監視画像（Ｐａ）の一例を示し、図１４はこの３６０°全周監視画像（Ｐａ）から切り出した切り出し画像（ｑ１）の一例を示している。
【００８６】
図１５は、上記実施形態において楕円映像（３６０°全周監視画像）の中で仮想自動追跡処理機能を実現するイメージを示す図であり、ここでは、楕円映像（３６０°全周監視画像）の中でトラッキング（動き検知）した監視対象オブジェクトの切り出し画像をトラッキング順にＱ１，Ｑ２，Ｑ３，Ｑ４で示している。この切り出し画像の表示例を図１６および図１７に示している。図１６に示す切り出し画像の表示例では、切り出し画像（Ｑ１，Ｑ２，Ｑ３，Ｑ４）それぞれに当該画像の切り出し（動き検知）時刻を示す時刻情報（Ｔ１，Ｔ２，Ｔ３，Ｔ４）を付加表示している。図１６に示す切り出し画像の表示例では、表示部（表示デバイス）２１の表示画面上において、切り出し画像（Ｑ１，Ｑ２，Ｑ３，Ｑ４）をトラッキング順に、左上、右上、左下、右下に４分割表示した例を示している。
【００８７】
このように、楕円映像の中で、検知および追跡（追尾）の対象となるオブジェクトをトラッキングし、矩形の領域を切り出して、切り出した矩形の領域の切り出し画像にブロッキング輝度伸張処理を施し、当該切り出し画像をトラッキング順（切り出し順）に従い連続的に表示することで、視認性の高い仮想自動追尾が可能となる。
【００８８】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、記憶媒体に格納して頒布することもできる。
【符号の説明】
【００８９】
２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４ａ…ブロック処理手段、４ｂ…補間処理手段、５…輝度伸張出力画像、１１…カメラ（単眼カメラ（ＩＰカメラ））、１２…キャプチャ部、１３…画像バッファメモリ、１４…リサイズ部、１５…処理画像バッファメモリ、１６…画像処理部、１７…オブジェクト情報バッファメモリ、１８…注目領域画像作成処理部、１９…オブジェクト画像バッファメモリ、２０…ブロッキング輝度伸張処理部、２１…表示部（表示デバイス）、２２…大容量記憶媒体、２２１…ブロック参照輝度設定部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４……参照テーブル判定部、２２５…画像変換部、２２６…輝度伸張出力画像、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。
【技術分野】
【０００１】
本発明は、単眼カメラで撮影した全方位画像から設定対象物の検知処理を実施する全方位監視画像処理システムに関する。
【背景技術】
【０００２】
単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムが種々開発され実用化されている。この種、従来の３６０°監視システムは、カメラの全周が１フレームに収まるＮＴＳＣ映像であることから、部分映像の解像度が低く、３６０°の全周映像について、そのすべてを目視で監視するには限界があり、細部に亘る監視は困難であった。
【０００３】
また、例え監視映像を高解像度にしても、３６０°の全周映像には、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。
【０００４】
また、３６０°の全周映像から、予め設定した動物体若しくは静止物体を監視対象物として検知し追跡する画像処理システムを構築した場合、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、監視対象物の細部に亘る表示が困難であった。
【０００５】
この種の全方位監視カメラシステムとして、従来では、特定の動体画像のみを高画質で記録する監視カメラ技術（特許文献１）、全体映像と部分的拡大映像とを外部に伝送する撮像データの伝送システム（特許文献２）等が存在した。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２１３２０公報
【特許文献２】特開２００４−１５３６０５公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムにおいては、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。また、３６０°の全周映像から、予め設定した動物体若しくは静止物体を監視対象物として検知し追跡する画像処理システムを構築した場合、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、監視対象物の細部に亘る表示が困難であった。
【０００８】
本発明は上記実情に鑑みなされたもので、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することのできる全方位監視画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により前記輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。
【００１０】
また本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記監視対象画像記憶手段に記憶した監視対象画像および前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備した全方位監視画像処理システムを提供する。
【００１１】
また本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記画像処理手段が前記検知処理において前記監視対象を検出しない状態にあるとき前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施し、前記画像処理手段が前記検知処理において前記監視対象を検出している状態にあるとき前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。
【００１２】
また前記全方位監視画像処理システムにおいて、前記ブロッキング輝度伸張処理手段は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を具備したことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る全方位監視画像処理システムの構成を示すブロック図。
【図２】上記実施形態に係る画像処理部の機能構成を示すブロック図。
【図３】上記実施形態に係る処理の手順を示すフローチャート。
【図４】上記実施形態に係るブロッキング輝度伸張処理手段の構成要素を示すブロック図。
【図５】上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。
【図６】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図７】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図８】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図９】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図１０】上記実施形態に係るバイリニア補間処理動作を説明するための動作説明図。
【図１１】上記実施形態に係る輝度伸張処理部の構成を示すブロック図。
【図１２】上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。
【図１３】上記実施形態に係る全方位（３６０°全周）監視画像の一例を示す図。
【図１４】上記図１４に示す３６０°全周監視画像から切り出した切り出し画像の一例を示す図。
【図１５】上記実施形態において楕円映像（３６０°全周監視画像）の中で仮想自動追尾機能を実現するイメージを示す図。
【図１６】上記図１５に示す仮想自動追尾機能によりトラッキングした監視対象オブジェクトの切り出し画像表示例を示す図。
【図１７】上記図１５に示す仮想自動追尾機能によりトラッキングした監視対象オブジェクトの切り出し画像表示例を示す図。
【発明を実施するための形態】
【００１５】
以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは監視映像と称している。
【００１６】
本発明の実施形態に係る全方位監視画像処理システムは、１．３メガ（Ｍ）ピクセル以上の画素数を有する高画素（高精細）の単眼カメラ（１台のカメラ）に、３６０°レンズ（魚眼レンズ）を取り付け、このカメラで撮影した映像から、設定パラメータに従う動物体（例えば人物）、静止物体（放置物）などの対象物を監視対象として検出しトラッキングして追尾する処理技術に係るもので、上記単眼カメラで撮影した３６０°全周高精細監視映像（全方位監視画像）を入力画像として、当該入力画像と、当該入力画像から切り出した切り出し画像を対象に、任意の出力対象画像に対してブロッキング輝度伸張による明暗補正を実施し、表示出力することを特徴とする。なお、切り出し画像については歪曲収差を補正後、ブロッキング輝度伸張による明暗補正を施す。
【００１７】
本発明の実施形態に係る全方位監視画像処理システムの構成を図１に示している。
【００１８】
本発明の実施形態に係る全方位監視画像処理システムは、図１に示すように、単眼カメラ（ｉｐカメラ）１１と、キャプチャ部１２と、画像バッファメモリ１３と、リサイズ部１４と、処理画像バッファメモリ１５と、画像処理部１６と、オブジェクト情報バッファメモリ１７と、注目領域画像作成処理部１８と、オブジェクト画像バッファメモリ１９と、ブロッキング輝度伸張処理部２０と、表示部（表示デバイス）２１とを具備して構成される。
【００１９】
単眼カメラ１１およびキャプチャ部１２は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段を構成する。
【００２０】
単眼カメラ１１は、撮像窓に３６０°魚眼レンズ１１Ａを取り付けた１．３Ｍピクセル以上の画素数を有する高精細の監視カメラを構成し、楕円面の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。ここでは、楕円面の長辺と短辺を、１フレームの幅と高さに合わせた、横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。この楕円面の３６０°全周監視画像（Ｐａ）の一例を図１３に示し、この楕円面の３６０°全周監視画像（Ｐａ）から切り出した切り出し画像（ｑ１）の一例を図１５に示している。
【００２１】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像（Ｐａ）を入力画像として取り込み、画像バッファメモリ１３に記憶する処理機能をもつ。
【００２２】
画像バッファメモリ１３は、キャプチャ部１２がキャプチャしたフレーム単位の監視映像（Ｐａ）を入力画像として記憶する入力画像記憶手段を構成する。ここでは横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像（Ｐａ）を入力画像として記憶する。
【００２３】
リサイズ部１４および処理画像バッファメモリ１５は、監視映像入力手段の構成要素であるキャプチャ部１２がキャプチャしたフレーム単位の入力画像を、設定した画像処理単位、すなわち監視対象の検知および追跡に用いる小画素単位にリサイズし、リサイズした入力画像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段を構成する。
【００２４】
ここでは、リサイズ部１４において、１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）を表示部（表示デバイス）２１の画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の表示用入力画像にリサイズし、さらに、入力画像（Ｐａ）を監視対象の検知並びに追跡処理に用いる３２０×４８０画素構成（ＱＶＧＡ）の処理用入力画像にリサイズして、処理画像バッファメモリ１５に、直近の入力画像を含み時系列に複数フレーム分（例えば３０〜６０フレーム分）記憶する。このリサイズによって監視対象の検知並びに追跡処理に係る処理負荷の軽減と処理の高速化を図っている。なお、ここでは単眼カメラ１１で撮影した直近の入力画像を含む複数フレーム分としているが、これに限らず、例えば図２に示すように、単眼カメラ１１で撮影したライブ映像を大容量記憶媒体２２に記憶した時系列の録画映像を入力画像（Ｐａ）として入力してもよい。
【００２５】
画像処理部１６は、上記処理画像記憶手段の構成要素である処理画像バッファメモリ１５に記憶した監視映像（処理用入力画像）に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と上記処理画像バッファメモリ１５に記憶した複数フレームの監視映像をもとに、上記リサイズした直近の監視映像（処理用入力画像）から設定パラメータ（ＰＭ１）に従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき上記処理画像バッファメモリ１５に記憶した直近の監視映像（処理用入力画像）から上記検知した監視対象を囲う矩形の領域を領域情報として抽出する画像処理手段を構成する。外部から設定される設定パラメータ（ＰＭ１）は、監視対象の検知および追跡パラメータとして、監視対象が動物体であるか静止物体であるかを指定する検知物指定情報と、３６０°全周画像における検知対象エリアを指定する検知エリア指定情報と、３６０°全周画像における監視対象の領域サイズを指定する検知物サイズ指定情報と、監視対象の検知時間帯を指定する時間情報とが含まれ、これらの各設定情報をもとに監視対象の検知および追跡処理を実施する。また、表示パラメータとして、監視画像表示モードを指定する表示モード指定情報、表示画面上の表示位置および領域を指定する表示位置および領域指定情報、表示輝度およびコントラストを指定する表示制御情報とを含み、これらの各設定情報をもとに表示部（表示デバイス）２１に３６０°全周画像や切り出し画像が表示される。
【００２６】
この画像処理手段は、上記リサイズした監視映像から複数の監視対象を検知したとき、監視対象毎に、監視対象をカメラで追尾するように、監視対象毎に時系列に矩形の領域を追跡する仮想自動追跡処理を実施する。また、ここでは、動物体と静止物体を監視対象に、そのいずれかの物体を監視対象（検知対象）としていることから、検知対象が動物体であるときと静止物体であるときとでそれぞれ異なる閾値を決定する。この閾値の決定手段として、動物体を監視対象とした動物体検知用閾値の決定手段と、静止物体を監視対象とした静止物体検知用閾値の決定手段とを用意する。
【００２７】
この実施形態では、動物体検知用閾値の決定手段として、本願出願人において既に出願した特開２０１０−２０４７０４号公報の閾値決定技術を適用し、静止物体検知用閾値の決定手段として、同じく本願出願人において既に出願した特開２０１０−２０６２８６号公報の閾値決定技術を適用している。
【００２８】
この実施形態における動物体検知用閾値の決定手段は、上記処理画像バッファメモリ１５に記憶した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、上記標準偏差を算出した画素について、上記算出した標準偏差と上記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、この閾値算出手段で算出した閾値を上記標準偏差を算出した画素の上記変化画素を抽出するための閾値として設定する閾値設定手段とを具備して構成される。また、静止物体検知用閾値の決定手段は、上記処理画像バッファメモリ１５に記憶した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備して構成される。この各閾値決定手段のより詳細な構成については上記文献に開示されているのでここではその説明を割愛する。上記の各閾値決定技術を適用することによって明暗の差が大きい処理画像に対しても精度の高い物体検知が可能である。
【００２９】
上記前処理で決定した閾値と処理画像バッファメモリ１５に貯えられた複数フレームの処理用入力画像とをもとに、リサイズした直近の監視映像（処理用入力画像）から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき上記処理画像バッファメモリ１５に記憶した直近の監視映像から上記検知した監視対象を囲う矩形の領域を切り出して、上記した仮想自動追跡処理を実施する。この仮想自動追跡処理例については図１５乃至図１７を参照して後述する。
【００３０】
この監視対象となるオブジェクトの追跡処理手段として、動物体の追跡処理については、本願出願人において既に出願した特開２００８−１５８９８４号公報に記載された、新規オブジェクトの登録処理手段と、未確定オブジェクトの追跡処理手段と、確定オブジェクトの追跡処理手段とを組み合わせたオブジェクト追跡処理技術が適用可能であり、静止物体の追跡処理については、同じく本願出願人において既に出願した特開２０１０−２０６２８６号公報に記載された、登録背景差分手法による停止物検知処理技術、または背景時間差分手法による停止物検知処理技術が適用可能である。これら各物体検知技術の詳細な構成については上記文献に開示されているのでここではその説明を割愛する。
【００３１】
オブジェクト情報バッファメモリ１７は、上記画像処理部１６が検知（算出）した上記矩形の領域およびその中心座標を示す矩形の領域情報（監視映像（処理用入力画像）内における矩形領域の座標データ）をオブジェクト情報として記憶する。ここでは動物体の追跡に用いるオブジェクト情報を動体情報として、静止物体の追跡に用いるオブジェクト情報を停止物情報として示している。
【００３２】
注目領域画像作成処理部１８およびオブジェクト画像バッファメモリ１９は、上記オブジェクト情報バッファメモリ１７に記憶されたオブジェクト情報（矩形の領域の中心位置座標）をもとに、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段を構成する。ここでは、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対して歪曲収差を補正し、表示部（表示デバイス）２１の表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像（オブジェクト画像）としてオブジェクト画像バッファメモリ１９に貯える。この際の歪曲収差の補正処理については既知の技術が適用される。
【００３３】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する処理手段（ブロッキング輝度伸張処理手段）を構成する。
【００３４】
このブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像（ここではリサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、またはオブジェクト画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備し、画面全体の一部に存在する明暗の大きく異なる画像について、明暗の大きく異なる部分を画素レベルで補正し、監視し易い画像に補正する。このブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理については、図４乃至図１２を参照して後述する。
【００３５】
表示部（表示デバイス）２１は上記補完処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段を構成する。ここでは、６４０×４８０画素の表示画面で構成され、画像バッファメモリ１３に貯えられた入力画像（Ｐａ）をリサイズ部１４でリサイズした３６０°全周入力画像と、オブジェクト画像バッファメモリ１９に貯えられた切り出し画像とを表示対象に、そのいずれかの画像を選択して、若しくは表示領域を区分して同時に表示出力する。ここでは、監視対象が検知されない状態にあるとき、画像バッファメモリ１３に貯えられた３６０°全周の入力画像（Ｐａ）を表示し、監視対象が検知されたとき、３６０°全周の入力画像（Ｐａ）に代えて（または３６０°全周の入力画像に重ねて）、オブジェクト画像バッファメモリ１９に貯えられた切り出し画像を表示する。
【００３６】
上記した全方位監視画像処理システムのソフトウェア（ＳＷ）構成を図２に示している。このソフトウェア（ＳＷ）は入力手段のハードウェア（ＨＷ）構成要素をなす単眼カメラ（ＩＰカメラ）１１と出力手段のハードウェア（ＨＷ）構成要素をなす表示部（表示デバイス）２１との間に設けられる。ソフトウェア（ＳＷ）の構成要素である画像処理部１６は、前処理部１６ａと、検知処理部１６ｂと、追跡処理部１６ｃを具備して構成されている。
【００３７】
前処理部１６ａは、設定パラメータ（ＰＭ１）に含まれる検知物指定情報に従い、動物体検知用閾値の決定手段または静止物体検知用閾値の決定手段を選択的に起動して、監視対象（検知物）の閾値（動物体検知用の閾値または静止物体検知用の閾値）を算出する。
【００３８】
検知処理部１６ｂは、設定パラメータ（ＰＭ１）に含まれる監視対象の検知および追跡パラメータに従い、前処理部１６ａが算出した閾値を用いて、監視対象（動物体または静止物体）の検知処理を実施し、監視画像（Ｐａ）から監視対象を囲う矩形の領域を抽出する。すなわち、監視対象にある動物体または静止物体を囲う矩形の領域を示す位置座標情報を抽出する。
【００３９】
追跡処理部１６ｃは、検知処理部１６ｂが抽出した矩形の領域をもとに監視対象をカメラで追尾するように仮想自動追跡処理を実施して、追跡処理結果の領域情報をオブジェクト情報（動体情報または停止物情報）としてオブジェクト情報バッファメモリ１７に記憶する。
【００４０】
注目領域画像作成処理部１８は、オブジェクト情報バッファメモリ１７に記憶されたオブジェクト情報（矩形の領域の中心位置座標）をもとに、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施して、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対し歪曲収差を補正し、表示部（表示デバイス）２１の表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像（オブジェクト画像）としてオブジェクト画像バッファメモリ１９に貯える。
【００４１】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。
【００４２】
上記した全方位監視画像処理システムの処理手順を図３にフローチャートで示している。３６０°全周の監視画像（Ｐａ）はキャプチャ部１２によりキャプチャされ、入力画像（Ｐａ）として画像バッファメモリ１３に貯えられる（ステップＳ１１）。
【００４３】
画像バッファメモリ１３に貯えられた１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）は、リサイズ部１４により、３２０×４８０画素構成（ＱＶＧＡ）の検知並びに追跡処理用入力画像にリサイズされて処理画像バッファメモリ１５に時系列に記憶される（ステップＳ１１）。
【００４４】
処理画像バッファメモリ１５に上記処理用入力画像が記憶される都度、画像処理部１６は、前処理において、処理画像バッファメモリ１５に記憶された直近の処理用入力画像を含む複数フォームの処理用入力画像を参照してその画素値の内容から最適閾値を算出し、検知処理において、処理画像バッファメモリ１５に記憶された直近の処理用入力画像と過去の処理用入力画像と上記閾値とをもとに監視対象の検知処理（矩形の領域抽出処理）を実施し、監視対象が検知されたとき、追跡処理において、検知した矩形の領域情報をもとに監視対象の追跡処理を実施する。監視対象が複数検知されたとき、その各監視対象に対して追跡処理を実施する（ステップＳ１３）。
【００４５】
上記検知処理において監視対象が検知されないとき（ステップＳ１４ Ｎｏ）、リサイズ部１４により１２８０×９６０画素構成の入力画像（Ｐａ）が６４０×４８０画素構成（ＶＧＡ）にリサイズされ（ステップＳ１５）、そのリサイズされた３６０°全周の入力画像に対して、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理が実施される（ステップＳ１６）。このブロッキング輝度伸張処理により３６０°全周の全画像を対象に明暗補正が実施され、ブロッキング輝度伸張処理した３６０°全周の入力画像が表示部（表示デバイス）２１に表示出力される（ステップＳ２０）。このブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易い画像に補正して表示される。
【００４６】
上記検知処理において監視対象が検知されたとき（ステップＳ１４ Ｙｅｓ）、検知された監視対象それぞれに対して、注目領域画像作成処理部１８により切り出し処理および歪曲収差に対する補正処理が実施され、さらにその切り出し画像に対して、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理が実施され（ステップＳ１７ａ〜Ｓ１７ｄ）、ブロッキング輝度伸張処理された切り出し画像が表示部（表示デバイス）２１に表示出力される（ステップＳ２０）。これにより明瞭で監視し易い切り出し画像が表示される。また、魚眼レンズによる楕円面の（焦平面フィールド）上における輝度の偏りについても上記ブロッキング輝度伸張処理により補正されることから、より監視し易いダイナミックレンジの画像補正が可能となる。
【００４７】
ここで、ブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理について、図４乃至図１２を参照して説明する。
【００４８】
ブロッキング輝度伸張処理部２０は、上述したように、輝度伸張処理の対象となる入力画像（リサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、またはオブジェクト画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００４９】
図４に示すブロッキング輝度伸張処理部２０は、単眼カメラ１１で撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＶＧＡ（６４０×４８０画素）の０〜２５５階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。
【００５０】
この輝度伸張処理部１における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを、入力画像における注目エリアを複数のブロックに分割したブロック単位の画像の平均輝度値をもとに自動算出する手段を具備した。
【００５１】
ブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、上記補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００５２】
図４に示すブロッキング輝度伸張処理部２０の輝度伸張処理動作について、図５乃至図１０を参照して説明する。図５は上記ブロッキング輝度伸張処理部２０の輝度伸張処理動作を説明するための動作説明図、図６および図７はそれぞれ上記したブロック処理手段における輝度伸張処理の動作原理を説明するための動作説明図、図８および図９はそれぞれ上記したブロック処理手段における畳み込み処理の動作原理を説明するための動作説明図、図１０は上記した補間処理手段におけるバイリニア補間処理の動作原理を説明するための動作説明図である。
【００５３】
図５に示す、ブロッキング輝度伸張処理部２０のブロック処理手段４ａは、先ず、単眼カメラで撮影した入力画像（６４０×４８０画素）２について、予め設定された注目エリア３を複数のブロックに分割する。具体例を挙げると、入力画像を３２×３２画素単位、若しくは１６×１６画素単位、若しくは８×８画素単位等に分割し、注目エリア３（画像全体または設定された注目エリア）を複数のブロックに分割する。例えば注目エリア３の画面を１６×１６画素単位のブロック（４０×３０ブロック）に分割する。このブロック分割領域それぞれについて、周囲ブロックの輝度値を可変要素に、平均輝度を求める。
【００５４】
この動作原理を図６乃至図９に示している。ここでは、図６および図７に示すように、画面をブロック分割した１６×１６画素のパターンを、１／２ブロック（８×８画素）分シフトしたブロック４パターンから１つの小ブロックの値を考える。ここでは、１／２ブロックシフトで、４パターンのブロックが重なったブロック（８×８画素）について、重なったブロックの輝度の平均、さらには輝度二乗の平均等を求め、この値をもとに、予め設定された輝度伸張処理方式に適用される輝度伸張用の輝度変換テーブルをブロック単位に作成する。さらにブロック処理手段４ａは、分割したブロック各々について、ブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出して、各ブロックの平均輝度を算出する。この際の畳み込み計数および畳み込み処理のイメージを図８および図９に示している。ここでは、図８に示すように、平均輝度の算出対象となる注目ブロックに対して「４」、注目ブロックの周囲８近傍のブロックのうち、上下左右の４ブロックに対してそれぞれ「２」、斜め４方向の各ブロックに対してそれぞれ「１」の畳み込み計数をもたせて、図９に示すデータの積み上げイメージで、上記各ブロックの輝度値を畳み込み、畳み込み演算することで、注目ブロックの輝度平均を求めることができる。このブロック毎の平均輝度値をもとに、予め設定された輝度伸張処理方式に適用されるブロック単位の輝度伸張パラメータおよび輝度変換テーブルを作成する。
【００５５】
つぎに、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、上記ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、上記した補間手段により、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。このバイリニア補間は図１０に示すように、注目画素の変換値を、周囲４ブロック（Ａ，Ｂ，Ｃ，Ｄ）の変換値の線形補間（バイリニア補間）にて決定し設定する。ここでは、注目画素が位置するブロック位置、および注目画素の当該ブロックとの位置差を小数点で求めて、当該ブロックと周囲ブロックの輝度変換テーブルの値に、ブロック位置差の係数を掛け、線形補間（バイリニア補間）の原理で輝度の変換値を求める。
【００５６】
上記補間処理手段４ｂによりバイリニア補間を施した各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する。
【００５７】
このように、ブロッキング輝度伸張処理部２０のブロック処理手段４ａにおいて、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、注目エリア内の一部に局所的に存在する明暗の各画像をそれぞれ明瞭に階調表示することができる。
【００５８】
上記実施形態をより具現化した一例を図１１および図１２に示している。図１１は実施形態に係るブロッキング輝度伸張処理部２０の機能構成を示すブロック図、図１２は上記ブロッキング輝度伸張処理部２０の処理手順を示すフローチャートである。
【００５９】
ブロッキング輝度伸張処理部２０は、上述したブロック処理手段（４ａ）の機能と補間処理手段（４ｂ）の機能を備え、ブロック処理機能により画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを生成し、補間処理機能により周囲ブロックを利用したバイリニア補間で各ブロックの画素の変換輝度値を求めている。
【００６０】
なお、図１１に示す構成は、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示している。
【００６１】
この非線形輝度伸張処理方式では、後述する平均輝度算出部２２２が算出した平均輝度値が２５６階調の中心輝度値（１２７）以下であるか超えているかを判定し、中心輝度値以下であるとき、凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成し、中心輝度値を超えるとき、凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成する。この非線形輝度伸張処理機能は、既に公知の特許第４３４０３０３号による非線形輝度伸張処理方式に適用したもので、その要旨は後述する。
【００６２】
ブロッキング輝度伸張処理部２０は、図１１に示すように、ブロック参照輝度設定部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５と、線形補間（バイリニア補間）算出部２２６とを具備して構成される。
【００６３】
ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズに従い、複数のブロックに分割し、ブロック毎に、各ブロックの輝度値の総和を算出する。ここでは、８×８画素、１６×１６画素、２４×２４画素、３２×３２画素のうちのいずれかのブロックサイズ（例えば１６×１６画素）が指定され、その指定サイズに従い、入力画像の注目エリアがブロック分割される。なお、入力画像のエッジ部分に指定ブロックサイズより小さい端数画素分の領域が生じた場合は、当該領域を輝度伸張処理対象から外すかまたは他の輝度伸張処理手段を適用するものとする。
【００６４】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１がブロック分割し、ブロック毎に算出した輝度総和をもとに、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位の画像の平均輝度値（＝Ｍ）を算出する。
【００６５】
累乗パラメータ算出部２２３は、上記した非線形輝度伸張処理方式において適用されるもので、平均輝度算出部２２２が算出した平均輝度をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出する。
【００６６】
参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。
【００６７】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。
【００６８】
線形補間算出部２２６は、図１０に示したように、ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。
【００６９】
上記したブロッキング輝度伸張処理部２０の処理手順を図１２に示している。
【００７０】
ブロッキング輝度伸張処理部２０は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファメモリ１３に保持される毎に、図１２に示す処理を実施する。
【００７１】
画像バッファメモリ１３に輝度伸張処理の対象となる入力画像（Ｐａ）が保持されると、当該入力画像がリサイズ部１４によりリサイズされてブロッキング輝度伸張処理部２０に入力される。ブロッキング輝度伸張処理部２０において、ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリア（画像全体または設定された注目エリア）を、外部より指定されたブロックサイズ（例えば１６×１６画素）に従い、複数のブロック（４０×３０ブロック）に分割し、ブロック毎に各ブロックの輝度値の総和を求めて当該ブロック単位の輝度総和を注目ブロックの輝度情報として平均輝度算出部２２２に送出する（ステップＳ２１）。
【００７２】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１から注目ブロックの輝度情報（ブロック単位の輝度総和）を入力すると、この輝度情報をもとに、図８および図９に示したように、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出し、当該注目ブロックの画像の平均輝度値を累乗パラメータ算出部２２３と参照テーブル判定部２２４に送出する（ステップＳ２２）。
【００７３】
累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度値をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出し、当該パラメータを参照テーブル判定部２２４に送出する。
【００７４】
参照テーブル判定部２２４は、平均輝度算出部２２２から入力した平均輝度値と累乗パラメータ算出部２２３から入力した累乗パラメータを輝度伸張パラメータとして、当該輝度伸張パラメータに従う輝度変換テーブルを作成する。ここでは、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する（ステップＳ２３）。
【００７５】
ここで、上記した凸曲線および凹曲線を用いた非線形輝度伸張処理方式における輝度伸張処理について記述する。
【００７６】
累乗パラメータ算出部２２３は、注目エリアの平均輝度をもとに輝度伸張用の累乗パラメータγを下式（１）により自動的に算出する。
【００７７】
γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0・・・・式（１）
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度）
上記平均輝度と上記入力画像の輝度階調範囲の中心輝度とを比較し、累乗パラメータγを用いて自動的に下式（２）又は下式（３）を切り替えて、凸曲線および凹曲線の輝度変換テーブルを作成する。
【００７８】
I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed・・・・式（２）凸曲線
I’＝I／Bmaxγ×Bmax：Iave＞Bmed ・・・・式（３）凹曲線
（だたし、I’は出力輝度、Iは入力輝度、Bmedは輝度中央値、Bmaxは輝度最大値、Iaveは入力画像注目エリアの平均輝度）
この参照テーブル判定部２２４で作成された凸曲線および凹曲線の輝度変換テーブル２３２は画像変換部２２５に送出される（ステップＳ２３）。
【００７９】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施す。このブロック単位で輝度伸張された注目ブロックの各画素に対して、線形補間算出部２２６より、図７に示したように、注目ブロックと、その周囲４ブロックの輝度変換テーブルを用いて画素位置の距離差に応じたバイリニア補間が実施され、このバイリニア補間で輝度変換された画像が画像バッファ２１に書き戻されることによって画像バッファ２１上にブロック間のバイリニア補間を施した輝度伸張画像が作成される（ステップＳ２４，Ｓ２５）。
【００８０】
なお、上記した実施形態では、ＶＧＡ（６４０×４８０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、他の画像構成を扱う画像処理装置においても本発明の実施形態に係る輝度伸張処理機能を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する２０の構成要素（ブロック参照輝度設定部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５、線形補間算出部２２６等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。
【００８１】
また、上記した実施形態では、ブロック毎に各ブロックの輝度値の総和を求め、注目ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出しているが、これに限らず、例えば、ブロック毎に輝度平均を算出し、このブロック毎の平均輝度を用いて重み付けおよび畳み込み処理を実施することも可能である。
【００８２】
また、上記した実施形態では、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示しているが、これに限らず、例えばシグモイド関数曲線を利用したシグモイド輝度伸張処理方式や、その他の各種輝度伸張処理方式に適用可能である。
【００８３】
上記したブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易いダイナミックレンジを有した全周監視画像の表示機能を実現できる。
【００８４】
上記した実施形態では、上記監視対象の検知処理において監視対象が検知されないとき、ブロッキング輝度伸張処理した３６０°全周の入力画像（全周画像）を表示部（表示デバイス）２１に表示し、上記検知処理において監視対象が検知されたとき、ブロッキング輝度伸張処理部２０ブロッキング輝度伸張処理した切り出し画像を表示部２１に表示する表示機能を実現しているが、上記検知処理において監視対象が検知されたとき、検知された監視対象領域の切り出し画像を全周画像とともに同時に表示することも可能である。この際、表示部２１の表示画面全域に全周画像を表示し、監視対象が検知されたとき、検知された監視対象領域の切り出し画像を、全周画像の切り出し位置に対応付けるバルーン形式で全周画像に被せて（全周画像を覆って）表示させることも可能である。または、監視対象が検知されたとき、検知された監視対象領域の切り出し画像を、表示部２１上の予め定めた一部表示領域に部分表示することも可能である。
【００８５】
この全周画像と切り出し画像の表示例を図１３乃至図１７に示している。図１３は単眼カメラ（ＩＰカメラ）１１で撮影した、楕円面の長辺と短辺を１フレーム（Ｆ）の幅と高さに合わせた、３６０°全周監視画像（Ｐａ）の一例を示し、図１４はこの３６０°全周監視画像（Ｐａ）から切り出した切り出し画像（ｑ１）の一例を示している。
【００８６】
図１５は、上記実施形態において楕円映像（３６０°全周監視画像）の中で仮想自動追跡処理機能を実現するイメージを示す図であり、ここでは、楕円映像（３６０°全周監視画像）の中でトラッキング（動き検知）した監視対象オブジェクトの切り出し画像をトラッキング順にＱ１，Ｑ２，Ｑ３，Ｑ４で示している。この切り出し画像の表示例を図１６および図１７に示している。図１６に示す切り出し画像の表示例では、切り出し画像（Ｑ１，Ｑ２，Ｑ３，Ｑ４）それぞれに当該画像の切り出し（動き検知）時刻を示す時刻情報（Ｔ１，Ｔ２，Ｔ３，Ｔ４）を付加表示している。図１６に示す切り出し画像の表示例では、表示部（表示デバイス）２１の表示画面上において、切り出し画像（Ｑ１，Ｑ２，Ｑ３，Ｑ４）をトラッキング順に、左上、右上、左下、右下に４分割表示した例を示している。
【００８７】
このように、楕円映像の中で、検知および追跡（追尾）の対象となるオブジェクトをトラッキングし、矩形の領域を切り出して、切り出した矩形の領域の切り出し画像にブロッキング輝度伸張処理を施し、当該切り出し画像をトラッキング順（切り出し順）に従い連続的に表示することで、視認性の高い仮想自動追尾が可能となる。
【００８８】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、記憶媒体に格納して頒布することもできる。
【符号の説明】
【００８９】
２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４ａ…ブロック処理手段、４ｂ…補間処理手段、５…輝度伸張出力画像、１１…カメラ（単眼カメラ（ＩＰカメラ））、１２…キャプチャ部、１３…画像バッファメモリ、１４…リサイズ部、１５…処理画像バッファメモリ、１６…画像処理部、１７…オブジェクト情報バッファメモリ、１８…注目領域画像作成処理部、１９…オブジェクト画像バッファメモリ、２０…ブロッキング輝度伸張処理部、２１…表示部（表示デバイス）、２２…大容量記憶媒体、２２１…ブロック参照輝度設定部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４……参照テーブル判定部、２２５…画像変換部、２２６…輝度伸張出力画像、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。
【特許請求の範囲】
【請求項１】
３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により前記輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。
【請求項２】
３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記監視対象画像記憶手段に記憶した監視対象画像および前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。
【請求項３】
３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記画像処理手段が前記検知処理において前記監視対象を検出しない状態にあるとき前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施し、前記画像処理手段が前記検知処理において前記監視対象を検出している状態にあるとき前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。
【請求項４】
前記ブロッキング輝度伸張処理手段は、
輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、
前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、
前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
を具備したことを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項５】
前記ブロック処理手段は、分割したブロックのうち、処理対象となる注目ブロックＡについて、隣接する上下左右のブロックＢと、隣接する斜め方向のブロックＣとを用い、Ａ＞Ｂ＞Ｃの重み付けにより前記畳み込みの処理を実施することを特徴とする請求項４に記載の全方位監視画像処理システム。
【請求項６】
前記ブロック処理手段は、
外部から指定されたブロックサイズに従い、前記注目エリアの画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段が分割したブロック各々についてブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む前記重み付けおよび畳み込み処理した全ブロックの輝度総和を算出する輝度総和算出手段と、
前記輝度総和算出手段が算出した輝度総和を用いて、前記ブロック毎に、当該ブロックの輝度平均を算出する輝度平均算出手段と、
前記輝度平均算出手段が算出したブロックの輝度平均をもとに、前記ブロック毎に、輝度伸張パラメータを算出する輝度伸張パラメータ算出手段と、
前記輝度伸張パラメータ算出手段が算出した輝度伸張パラメータをもとに、前記ブロック毎に、輝度伸張用の輝度変換テーブルを作成する輝度変換テーブル作成手段と、
を具備したことを特徴とする請求項５に記載の全方位監視画像処理システム。
【請求項７】
監視映像入力手段が入力する前記３６０°全周監視映像は、長辺を映像フレームの横幅に合わせた楕円面映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項８】
監視映像入力手段が入力する前記３６０°全周監視映像は、１．３Ｍピクセル以上の画素数を有する高精細映像であり、前記処理画像記憶手段が記憶する監視映像は前記高精細映像の１／２以下にリサイズした監視映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項９】
前記画像処理手段は、前記リサイズした監視映像から複数の監視対象を検知したとき、監視対象毎に、監視対象をカメラで追尾するように、監視対象毎に時系列に矩形の領域を追跡する仮想自動追跡処理を実施することを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項１０】
前記画像処理手段は、前記前処理において、
前記動物体を監視対象とした前記閾値の決定手段として、
前記入力画像記憶手段に記憶した前記一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、
前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、
前記閾値算出手段で算出した閾値を前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定手段とを具備し、
前記静止物体を監視対象とした前記閾値の決定手段として、
前記入力画像記憶手段に記憶した前記一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、
前記背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備する
ことを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項１１】
前記監視映像入力手段が入力する３６０°全周監視映像は、単眼カメラで撮影した、ライブ映像若しくは録画映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項１】
３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により前記輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。
【請求項２】
３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記監視対象画像記憶手段に記憶した監視対象画像および前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。
【請求項３】
３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、リサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と前記処理画像記憶手段に記憶した複数フレームの処理用入力画像をもとに、前記リサイズした直近の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した直近の処理用入力画像から前記検知した監視対象を囲う矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された入力画像に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記画像処理手段が前記検知処理において前記監視対象を検出しない状態にあるとき前記入力画像記憶手段に記憶した入力画像に対して画素単位のブロッキング輝度伸張処理を実施し、前記画像処理手段が前記検知処理において前記監視対象を検出している状態にあるとき前記監視対象画像記憶手段に記憶した監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。
【請求項４】
前記ブロッキング輝度伸張処理手段は、
輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、
前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、
前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
を具備したことを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項５】
前記ブロック処理手段は、分割したブロックのうち、処理対象となる注目ブロックＡについて、隣接する上下左右のブロックＢと、隣接する斜め方向のブロックＣとを用い、Ａ＞Ｂ＞Ｃの重み付けにより前記畳み込みの処理を実施することを特徴とする請求項４に記載の全方位監視画像処理システム。
【請求項６】
前記ブロック処理手段は、
外部から指定されたブロックサイズに従い、前記注目エリアの画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段が分割したブロック各々についてブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む前記重み付けおよび畳み込み処理した全ブロックの輝度総和を算出する輝度総和算出手段と、
前記輝度総和算出手段が算出した輝度総和を用いて、前記ブロック毎に、当該ブロックの輝度平均を算出する輝度平均算出手段と、
前記輝度平均算出手段が算出したブロックの輝度平均をもとに、前記ブロック毎に、輝度伸張パラメータを算出する輝度伸張パラメータ算出手段と、
前記輝度伸張パラメータ算出手段が算出した輝度伸張パラメータをもとに、前記ブロック毎に、輝度伸張用の輝度変換テーブルを作成する輝度変換テーブル作成手段と、
を具備したことを特徴とする請求項５に記載の全方位監視画像処理システム。
【請求項７】
監視映像入力手段が入力する前記３６０°全周監視映像は、長辺を映像フレームの横幅に合わせた楕円面映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項８】
監視映像入力手段が入力する前記３６０°全周監視映像は、１．３Ｍピクセル以上の画素数を有する高精細映像であり、前記処理画像記憶手段が記憶する監視映像は前記高精細映像の１／２以下にリサイズした監視映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項９】
前記画像処理手段は、前記リサイズした監視映像から複数の監視対象を検知したとき、監視対象毎に、監視対象をカメラで追尾するように、監視対象毎に時系列に矩形の領域を追跡する仮想自動追跡処理を実施することを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項１０】
前記画像処理手段は、前記前処理において、
前記動物体を監視対象とした前記閾値の決定手段として、
前記入力画像記憶手段に記憶した前記一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、
前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、
前記閾値算出手段で算出した閾値を前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定手段とを具備し、
前記静止物体を監視対象とした前記閾値の決定手段として、
前記入力画像記憶手段に記憶した前記一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、
前記背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備する
ことを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【請求項１１】
前記監視映像入力手段が入力する３６０°全周監視映像は、単眼カメラで撮影した、ライブ映像若しくは録画映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２４４４７９（Ｐ２０１２−２４４４７９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３７３１（Ｐ２０１１−１１３７３１）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]