全方位監視画像表示処理システム
【課題】単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像から切り出した切り出し画像に対して細部に亘り明瞭に表示することができる。
【解決手段】ブロッキング輝度伸張処理部２０は、画像バッファメモリ１３に記憶された楕円面の３６０°全周入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。
【解決手段】ブロッキング輝度伸張処理部２０は、画像バッファメモリ１３に記憶された楕円面の３６０°全周入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラで撮影した全方位画像からその一部領域の画像を切り出し、監視画像として表示する表示処理機能を備えた全方位監視画像表示処理システムに関する。
【背景技術】
【０００２】
単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムが種々開発され実用化されている。この種、従来の３６０°監視システムは、カメラの全周が１フレームに収まるＮＴＳＣ映像であることから、部分映像の解像度が低く、３６０°の全周映像について、そのすべてを目視で監視するには限界があり、細部に亘る監視は困難であった。
【０００３】
また、例え監視映像を高解像度にしても、３６０°の全周映像には、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。
【０００４】
また、３６０°の全周映像から、一部領域の画像を切り出し、切り出した画像を監視画像として表示する場合においても、切り出し地点の明るさが大きく異なる場合が多く、明暗の大きく異なる部分の切り出し画像について明瞭な目視監視ができないという問題があった。
【０００５】
この種の全方位監視カメラシステムとして、従来では、特定の動体画像のみを高画質で記録する監視カメラ技術（特許文献１）や、広角画像データを目視可能な通常画角の画像に変換して表示する監視カメラ技術（特許文献２）が存在した。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２１３２０公報
【特許文献２】特開２００５−３０３３４０公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムにおいては、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。また、３６０°の全周映像から、一部の画像を切り出し、その切り出し画像を監視画像として表示する場合においても、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、切り出した監視画像の細部に亘る表示が困難であった。
【０００８】
本発明は上記実情に鑑みなされたもので、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部を切り出し、その切り出し画像を監視画像として表示する場合に、切り出した監視画像を細部に亘り明瞭に表示することのできる全方位監視画像表示処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記歪曲収差を補正した切り出し画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理した切り出し画像を監視画像として表示する表示出力手段とを具備したことを特徴とする。
【００１０】
また本発明は、単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報およびビュー指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記歪曲収差を補正した切り出し画像をビュー指定監視画像として記憶する切り出し画像記憶手段と、前記切り出し画像記憶手段に記憶したビュー指定監視画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記輝度伸張処理を施したビュー指定監視画像に対して、予め用意された監視形態を異にする複数のビュー形式から、前記ビュー指定情報により指定されたビュー形式に従う監視形態のビュー画面を作成するビュー作成処理手段と、前記ビュー作成処理手段が作成したビュー画面を表示する表示出力手段と、を具備したことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部を切り出し、その切り出し画像を監視画像として表示する場合に、切り出した監視画像を細部に亘り明瞭に表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る全方位監視画像表示処理システムの構成を示すブロック図。
【図２】上記実施形態に係る画像処理部の機能構成を示すブロック図。
【図３】上記実施形態に係る処理の手順を示すフローチャート。
【図４】上記実施形態に係るブロッキング輝度伸張処理手段の構成要素を示すブロック図。
【図５】上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。
【図６】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図７】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図８】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図９】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図１０】上記実施形態に係るバイリニア補間処理動作を説明するための動作説明図。
【図１１】上記実施形態に係る輝度伸張処理部の構成を示すブロック図。
【図１２】上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。
【図１３】上記実施形態に係る全方位（３６０°全周）監視画像の一例を示す図。
【図１４】上記実施形態に係る監視画像（任意の位置を指定して表示するＰＴＺ（Pan-Tilt-Zoom）用ビュー）の表示形態を示す図。
【図１５】上記実施形態に係る監視画像（登録した位置を切替えて表示するプリセット用ビュー）の表示形態を示す図。
【図１６】上記実施形態に係る監視画像（複数地点を同時に表示する多地点用ビュー）の表示形態を示す図。
【図１７】上記実施形態に係る監視画像（３６０°全周を同時に表示するパノラマ用ビュー）の表示形態を示す図。
【発明を実施するための形態】
【００１３】
以下図面を参照して本発明の実施形態を説明する。この実施形態においては、ユーザが指定した監視用ビュー形式および切り出し位置に従う切り出し画像を例に、その表示処理機能の実現手段を説明する。なお、この実施形態では、単眼カメラから取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは監視映像と称している。
【００１４】
本発明の実施形態に係る全方位監視画像表示処理システムは、１．３メガ（Ｍ）ピクセル以上の画素数を有する高画素（高精細）の単眼カメラ（１台のカメラ）に、３６０°レンズ（魚眼レンズ）を取り付け、この単眼カメラで撮影した映像から、予め指定された監視用ビューの設定パラメータ（プリセット情報など）とユーザ指定による監視用ビューの位置情報、監視用ビューの指示に従う各種監視用ビューの表示に適用可能である。この処理では、上記単眼カメラで撮影した３６０°全周高精細監視映像（全方位監視画像）を入力画像として、当該入力画像と、当該入力画像から切り出した切り出し画像を対象に、歪曲収差を補正後、ブロッキング輝度伸張による明暗補正を実施し、表示出力する。
【００１５】
本発明の実施形態に係る全方位監視画像表示処理システムの構成を図１に示している。
本発明の実施形態に係る全方位監視画像表示処理システムは、図１に示すように、単眼カメラ（ｉｐカメラ）１１と、キャプチャ部１２と、画像バッファメモリ１３と、リサイズ部１４と、監視用ビューの作成指示を行う入力デバイス１６と、ビューパラメータ格納部（プリセット情報バッファメモリ）１７と、注目領域画像作成処理部１８と、切り出し画像バッファメモリ１９と、ブロッキング輝度伸張処理部２０と、表示ビュー作成処理部２１と、表示部（表示デバイス）２２とを具備して構成される。
【００１６】
単眼カメラ１１およびキャプチャ部１２は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段を構成する。
【００１７】
単眼カメラ１１は、撮像窓に３６０°魚眼レンズ１１Ａを取り付けた１．３Ｍピクセル以上の画素数を有する高精細の監視カメラを構成し、楕円面の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。ここでは、楕円面の長辺と短辺を、１フレームの幅と高さに合わせた、横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。
【００１８】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像（Ｐａ）を入力画像として取り込み、画像バッファメモリ１３に記憶する処理機能をもつ。
【００１９】
画像バッファメモリ１３は、キャプチャ部１２がキャプチャしたフレーム単位の監視映像（Ｐａ）を入力画像として記憶する入力画像記憶手段を構成する。ここでは横×縦＝１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の３６０°全周高精細監視映像（Ｐａ）を入力画像として記憶する。なお、ここでは単眼カメラ１１で撮影した直近の入力画像（ライブ映像）を表示処理対象の入力画像（Ｐａ）として入力しているが、これに限らず、例えば図２に示すように、大容量記憶媒体１０に記憶した時系列の録画映像を入力画像（Ｐａ）として入力してもよい。
【００２０】
リサイズ部１４は、キャプチャ部１２がキャプチャした、１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）を、表示部（表示デバイス）２２の画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の表示用入力画像にリサイズしてブロッキング輝度伸張処理部２０に受け渡すリサイズ処理を実施する。
【００２１】
入力デバイス１６は、ここでは監視用ビューの作成指示を行うユーザ操作入力デバイスとして用いられるもので、ユーザの操作による、ビュー形式を指定するビュー指定情報（Ｃａ）、および監視用ビューの位置指定情報（Ｃｂ）の入力を受け付け、受け付けたビュー指定情報（Ｃａ）を後述する注目領域画像作成処理部１８とブロッキング輝度伸張処理部２０とビュー作成処理部２１に送出し、ユーザが入力した各監視用ビューの位置指定情報（Ｃｂ）をプリセット情報としてビューパラメータ格納部１７に格納する。ビュー指定情報（Ｃａ）は監視用ビューの表示形態（ビュー形式）を指定する情報であり、この実施形態では図１４に示すＰＴＺビュー、図１５に示すプリセットビュー、図１６に示す多地点ビュー、図１７に示すパノラマビューのうち、任意のビュー形式による監視用ビューを表示対象（監視画面）として指定する。監視用ビューの位置指定情報（Ｃｂ）は、上記各監視用ビューについて、３６０°全周の入力画像（Ｐａ）から切り出す画像の矩形の位置および領域を指定する各種監視用ビュー形式のプリセット情報であり、注目領域画像作成処理部１８の画像切り出し処理に供される。
【００２２】
ビューパラメータ格納部１７は、入力デバイス１６から入力された、各種監視用ビュー形式のプリセット情報（ＰＴＺビュー用位置情報、プリセットビュー用位置情報、多地点ビュー用位置情報）を監視用ビューパラメータとして記憶する。ビューパラメータ格納部１７は、入力デバイス１６から予め指定された外部パラメータとしてプリセット情報を格納し、また入力デバイス１６からの位置指定情報に従って、各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）のプリセット情報を更新する。
【００２３】
注目領域画像作成処理部１８および切り出し画像バッファメモリ１９は、ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、上記ビューパラメータ格納部１７に記憶された指定ビューのプリセット情報（位置情報に基づく矩形の領域の中心位置座標）をもとに、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段を構成する。ここでは、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対して歪曲収差を補正し、ビュー作成処理部２１の処理に適した各プリセット情報に基づく表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像として切り出し画像バッファメモリ１９に貯える。この際の歪曲収差の補正処理については既知の技術が適用される。切り出し画像バッファメモリ１９に貯えられた歪曲収差補正後の切り出し画像はビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、ブロッキング輝度伸張処理部２０においてブロッキング輝度伸張処理による明暗補正が実施され、ビュー作成処理部２１においてユーザが指定した描画画像（監視用ビュー）の作成処理が実施される。
【００２４】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）と切り出し画像バッファメモリ１９に記憶された切り出し画像を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する処理手段（ブロッキング輝度伸張処理手段）を構成する。この実施形態ではビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、切り出し画像バッファメモリ１９に記憶された切り出し画像に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施し、監視用ビューが指定されていないとき（ビュー指定情報（Ｃａ）が入力されていない状態にあるとき）、３６０°全周の入力画像（Ｐａ）に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施する。このブロッキング輝度伸張処理部２０による画素レベルのブロッキング輝度伸張処理により、監視対象の画像に対して明暗の大きく異なる部分が画素レベルで補正され、監視対象の画像が監視し易いダイナミックレンジの画像に補正される。
【００２５】
このブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像（ここではリサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、または切り出し画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備し、画面全体の一部に存在する明暗の大きく異なる画像について、明暗の大きく異なる部分を画素レベルで補正し、監視し易い画像に補正する。このブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理については、図４乃至図１２を参照して後述する。
【００２６】
ビュー作成処理部２１は、入力デバイス１６から入力されたビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、ブロッキング輝度伸張処理部２０でブロッキング輝度伸張処理した図１３に示す基本画像（全周画像）をもとに、ユーザが指定した監視用ビューを作成して表示部（表示デバイス）２２に表示出力する処理を実施する。またビューが指定されていないとき、ブロッキング輝度伸張処理部２０で明暗補正した３６０°全周の監視画像を表示部（表示デバイス）２２に表示出力する。
表示部（表示デバイス）２２は上記輝度伸張処理を施した監視対象画像を表示する表示出力手段を構成する。この実施形態では、表示デバイスの表示画面が６４０×４８０画素で構成され、画像バッファメモリ１３に貯えられた入力画像（Ｐａ）をリサイズ部１４でリサイズした３６０°全周入力画像と、切り出し画像バッファメモリ１９に貯えられた切り出し画像とを表示対象に、そのいずれかの画像を選択して、若しくは表示領域を区分して同時に表示出力する。この実施形態では、監視用ビューが指定されていないとき（ビュー指定情報（Ｃａ）が入力されていない動作状態にあるとき）、画像バッファメモリ１３に貯えられた（リサイズ部１４でリサイズされた）３６０°全周の入力画像（Ｐａ）を表示し、ユーザが監視用ビューを指定しているとき（ビュー指定情報（Ｃａ）が入力された動作状態にあるとき）、切り出し画像バッファメモリ１９に貯えられた切り出し画像を用いた指定ビューを表示する。
【００２７】
上記した全方位監視画像表示処理システムのソフトウェア（ＳＷ）構成を図２に示している。
【００２８】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像、若しくは上記カメラ映像を大容量記憶媒体１０に記憶した時系列の録画映像を入力画像（Ｐａ）として取り込む。この入力画像（Ｐａ）に対して、注目領域画像作成処理部１８により、プリセット情報に従う部分画像（監視画像）の切り出し処理が実施される。
【００２９】
注目領域画像作成処理部１８は、ビューパラメータ格納部１７（プリセット情報バッファメモリ）に記憶されたプリセット情報（矩形の領域の中心位置座標）をもとに、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施して、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対し歪曲収差を補正し、ビュー作成処理部２１の処理に適した各プリセット情報に基づく表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像として切り出し画像バッファメモリ１９に貯える。
【００３０】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）と、切り出し画像バッファメモリ１９に記憶された切り出し画像を処理対象に、表示出力する監視画像に対して画素単位のブロッキング輝度伸張処理を実施する。ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、切り出し画像バッファメモリ１９に記憶された切り出し画像に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施し、監視用ビューが指定されていないとき、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施する。
【００３１】
ビュー作成処理部２１は、ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、画素レベルのブロッキング輝度伸張処理で微細なダイナミックレンジの画像補正がなされた監視画像に対して、ユーザが指定した監視用ビュー（図１４に示すＰＴＺビュー、図１５に示すプリセットビュー、図１６に示す多地点ビュー、または、図１７に示すパノラマビュー）を作成し表示部（表示デバイス）２２に出力する。また、監視用ビューが指定されていないとき、リサイズ部１４でリサイズし、ブロッキング輝度伸張処理部２０でブロッキング輝度伸張した３６０°全周の監視画像を表示部（表示デバイス）２２に出力する。
【００３２】
上記した全方位監視画像表示処理システムの処理手順を図３にフローチャートで示している。なお、各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）を作成するためのビュー用パラメータの登録（各監視用ビューに対するプリセット情報のビューパラメータ格納部１７への格納）は既に行われているものとする。
【００３３】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像、若しくは上記カメラ映像を大容量記憶媒体１０に記憶した時系列の録画映像を入力画像（Ｐａ）として取り込む（ステップＳ１１）。
【００３４】
この入力画像（Ｐａ）に対して、注目領域画像作成処理部１８により、プリセット情報に従う部分画像の切り出し処理が実施される。また、３６０°全周の入力画像（Ｐａ）に対してリサイズ部１４により、６４０×４８０画素構成（ＶＧＡ）へのリサイズ処理が実施される。
【００３５】
注目領域画像作成処理部１８は、ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、すなわち、ユーザによりビュー形式（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）が指定されているとき、指定されたビュー形式に従うプリセット情報を用い、３６０°全周の入力画像（Ｐａ）に対して、プリセット情報に従う切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理および表示デバイス２２の画素構成に合わせたリサイズ処理を実施して、当該処理を実施した切り出し画像を切り出し画像バッファメモリ１９に記憶する（ステップＳ１２）。
【００３６】
ブロッキング輝度伸張処理部２０は、切り出し画像バッファメモリ１９に記憶された切り出し画像に対して、画素単位のブロッキング輝度伸張処理を実施し、明暗の大きく異なる部分について画素レベルの補輝度正を行う（ステップＳ１３）。
【００３７】
ビュー作成処理部２１は、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理した切り出し画像を用いて、指定されたビューの構成画面を作成し、表示デバイス２２に監視用ビューとして表示する（ステップＳ１４）。
【００３８】
なお、ユーザによりビュー形式が指定されていない場合は、リサイズ部１４でリサイズ処理した３６０°全周の入力画像（Ｐａ）がブロッキング輝度伸張処理部２０により画素レベルで明暗補正され、ビュー作成処理部２１を経由して表示デバイス２２に監視用ビューとして表示される。
【００３９】
上記した３６０°全周の入力画像（Ｐａ）と、この入力画像（Ｐａ）から切り出した切り出し画像を用いた各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）の構成例を図１３乃至図１７に示している。
【００４０】
ここでは、単眼カメラで撮影した３６０°全周監視映像に対して、ユーザが指定したビュー形式および位置指定情報に従う監視用ビューを表示可能にした全方位監視画像表示処理システムを実現している。このユーザ指定による監視用ビューの表示機能は、例えばユーザがビュー指定情報（Ｃａ）によりビュー形式を指定したとき、ユーザが指定したビュー形式に従う切り出し画像を対象とした監視用ビューを表示する監視画像の表示機能を実現可能である。このユーザ指定による監視ビューの表示においても切り出し画像に対してブロッキング輝度伸張処理を実施して、監視が容易なダイナミックレンジの補正を行い、切り出した監視画像を細部に亘り明瞭に監視ビューとして表示する。
【００４１】
ここで、上記ブロッキング輝度伸張処理を施した監視画像の表示モード選択機能について、図１３乃至図１７を参照して説明する。図１３は上記実施形態に係る３６０°全周監視画像（全周画像）の一例を示す図、図１４乃至図１７は上記図１３に示す全周画像を基本画像としてビュー作成処理部２１により作成処理される各種監視画像の表示形態（監視用ビュー）の構成例を示す図である。図１４乃至図１７は、それぞれ上記図１３に示す基本画像（全周画像）に対して、ユーザが指定したビュー形式に従い表示される監視用ビューの表示例を示している。このうち、図１４は任意の位置を指定して表示するＰＴＺ（Pan-Tilt-Zoom）用ビューの表示形態を示す図、図１５は登録した位置を切替えて表示するプリセット用ビューの表示形態を示す図、図１６は登録した複数地点を同時に表示する多地点用ビューの表示形態を示す図、図１７は３６０°全周を同時にパノラマ表示するパノラマ用ビューの表示形態を示す図である。
【００４２】
上記各監視用ビューを作成するための構成要素として、この実施形態では、ブロッキング輝度伸張処理部２０と表示部（表示デバイス）２２との間に、ビュー作成処理部２１を設けた構成としている。また、このビュー作成処理部２１に付随して、ユーザが操作入力を行う入力デバイス１６、およびこの入力デバイス１６の操作入力で入力された各種ビューの位置指定情報をプリセット情報として記憶するビューパラメータ格納部１７を設けている。
【００４３】
ビュー作成処理部２１は、入力デバイス１６から入力されたビュー指定情報（Ｃａ）、および入力デバイス１６から入力されビューパラメータ格納部１７にプリセット情報として登録されたビューの位置指定情報（Ｃｂ）に従い、ブロッキング輝度伸張処理部２０でブロッキング輝度伸張処理した図１４に示す基本画像（全周画像）をもとに、ユーザが指定した図１５乃至図１８に示す各種表示形態（ビュー形式）の監視画像を作成し監視用ビューとして表示部（表示デバイス）２２に表示出力する処理を実施する。
【００４４】
入力デバイス１６は、ユーザの操作による、ビュー指定情報（Ｃａ）、およびビューの位置指定情報（Ｃｂ）の入力を受け付け、受け付けたビュー指定情報（Ｃａ）をビュー作成処理部２１に送出し、ビューの位置指定情報（Ｃｂ）をプリセット情報としてビューパラメータ格納部１７に格納する。ここでは、ビュー形式を単位にプリセット情報（ＰＴＺビュー用位置情報、プリセットビュー用位置情報、多地点ビュー用位置情報）をそれぞれビューパラメータ格納部１７に登録可能にしている。なお、図１３の基本画像に示したｑ１〜ｑ４はそれぞれユーザの位置指定情報（Ｃｂ）により指定された矩形の切り出し画像領域である。
【００４５】
ブロッキング輝度伸張処理部２０はリサイズ部１４でリサイズされた３６０°全周の監視画像、またはパラメータで指定された位置指定に従う切り出し画像に対してブロッキング輝度伸張処理を実施し、ブロッキング輝度伸張処理した画像をビュー作成処理部２１に送出する。
【００４６】
ビュー作成処理部２１はブロッキング輝度伸張処理した画像に対して、入力デバイス１６から操作指示されたビュー指定情報（Ｃａ）に従い、図１４に示すビュー形式のＰＴＺ用ビュー（任意の位置を指定して切り出し表示するＰＴＺ用ビュー）、または、図１５に示すビュー形式のプリセット用ビュー（登録した位置を切替えて切り出し表示するプリセット用ビュー）、または、図１６に示すビュー形式の多地点用ビュー（複数地点を同時に切り出し表示する多地点用ビュー）、または、図１７に示すビュー形式のパノラマ用ビュー（３６０°全周を半周ずつ区分して同時にパノラマ表示するパノラマ用ビュー）を作成し、監視用ビューとして出力する。
【００４７】
表示部（表示デバイス）２２はビュー作成処理部２１で作成された監視ビューを表示出力する。この監視用ビューは、ビューパラメータ格納部１７に格納（登録）されたパラメータ（位置情報）をユーザが書き換えることで、監視用ビューの表示に変更を加えることが可能である（入力デバイス１６から予め指定された外部パラメータとしてプリセット情報をビューパラメータ格納部１７に格納し、また入力デバイス１６からの位置指定情報に従って、各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）のプリセット情報を更新する）。
【００４８】
上記した監視用ビューの表示機能により、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を、例えばパノラマ用ビューとして、細部に亘り明瞭に表示することができるとともに、３６０°監視映像の一部を切り出し、その切り出し画像を、例えばＰＴＺ用ビュー、プリセット用ビュー、または多地点用ビューとして、細部に亘り明瞭に表示することができる。
【００４９】
このようにして、ブロッキング輝度伸張処理された、全周画像（３６０°全周の監視画像）またはパラメータの位置指定に従う切り出し画像が任意のビュー形式で監視用ビューとして表示部（表示デバイス）２２に表示出力可能である。これにより３６０°全周監視画像の全てを対象に、任意領域の明瞭な監視画像をユーザの所望するビュー形式でユーザに提供することができる。
【００５０】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、記憶媒体に格納して頒布することもできる。
【００５１】
ここで、ブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理について、図４乃至図１２を参照して説明する。
【００５２】
ブロッキング輝度伸張処理部２０は、上述したように、輝度伸張処理の対象となる入力画像（リサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、または切り出し画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００５３】
図４に示すブロッキング輝度伸張処理部２０は、単眼カメラ１１で撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＶＧＡ（６４０×４８０画素）の０〜２５５階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。
【００５４】
この輝度伸張処理部１における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを、入力画像における注目エリアを複数のブロックに分割したブロック単位の画像の平均輝度値をもとに自動算出する手段を具備した。
【００５５】
ブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、上記補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００５６】
図４に示すブロッキング輝度伸張処理部２０の輝度伸張処理動作について、図５乃至図１０を参照して説明する。図５は上記ブロッキング輝度伸張処理部２０の輝度伸張処理動作を説明するための動作説明図、図６および図７はそれぞれ上記したブロック処理手段における輝度伸張処理の動作原理を説明するための動作説明図、図８および図９はそれぞれ上記したブロック処理手段における畳み込み処理の動作原理を説明するための動作説明図、図１０は上記した補間処理手段におけるバイリニア補間処理の動作原理を説明するための動作説明図である。
【００５７】
図５に示す、ブロッキング輝度伸張処理部２０のブロック処理手段４ａは、先ず、単眼カメラで撮影した入力画像（６４０×４８０画素）２について、予め設定された注目エリア３を複数のブロックに分割する。具体例を挙げると、入力画像を３２×３２画素単位、若しくは１６×１６画素単位、若しくは８×８画素単位等に分割し、注目エリア３（画像全体または設定された注目エリア）を複数のブロックに分割する。例えば注目エリア３の画面を１６×１６画素単位のブロック（４０×３０ブロック）に分割する。このブロック分割領域それぞれについて、周囲ブロックの輝度値を可変要素に、平均輝度を求める。
【００５８】
この動作原理を図６乃至図９に示している。ここでは、図６および図７に示すように、画面をブロック分割した１６×１６画素のパターンを、１／２ブロック（８×８画素）分シフトしたブロック４パターンから１つの小ブロックの値を考える。ここでは、１／２ブロックシフトで、４パターンのブロックが重なったブロック（８×８画素）について、重なったブロックの輝度の平均、さらには輝度二乗の平均等を求め、この値をもとに、予め設定された輝度伸張処理方式に適用される輝度伸張用の輝度変換テーブルをブロック単位に作成する。さらにブロック処理手段４ａは、分割したブロック各々について、ブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出して、各ブロックの平均輝度を算出する。この際の畳み込み計数および畳み込み処理のイメージを図８および図９に示している。ここでは、図８に示すように、平均輝度の算出対象となる注目ブロックに対して「４」、注目ブロックの周囲８近傍のブロックのうち、上下左右の４ブロックに対してそれぞれ「２」、斜め４方向の各ブロックに対してそれぞれ「１」の畳み込み計数をもたせて、図９に示すデータの積み上げイメージで、上記各ブロックの輝度値を畳み込み、畳み込み演算することで、注目ブロックの輝度平均を求めることができる。このブロック毎の平均輝度値をもとに、予め設定された輝度伸張処理方式に適用されるブロック単位の輝度伸張パラメータおよび輝度変換テーブルを作成する。
【００５９】
つぎに、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、上記ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、上記した補間手段により、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。このバイリニア補間は図１０に示すように、注目画素の変換値を、周囲４ブロック（Ａ，Ｂ，Ｃ，Ｄ）の変換値の線形補間（バイリニア補間）にて決定し設定する。ここでは、注目画素が位置するブロック位置、および注目画素の当該ブロックとの位置差を小数点で求めて、当該ブロックと周囲ブロックの輝度変換テーブルの値に、ブロック位置差の係数を掛け、線形補間（バイリニア補間）の原理で輝度の変換値を求める。
【００６０】
上記補間処理手段４ｂによりバイリニア補間を施した各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する。
【００６１】
このように、ブロッキング輝度伸張処理部２０のブロック処理手段４ａにおいて、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、注目エリア内の一部に局所的に存在する明暗の各画像をそれぞれ明瞭に階調表示することができる。
【００６２】
上記実施形態をより具現化した一例を図１１および図１２に示している。図１１は実施形態に係るブロッキング輝度伸張処理部２０の機能構成を示すブロック図、図１２は上記ブロッキング輝度伸張処理部２０の処理手順を示すフローチャートである。
【００６３】
ブロッキング輝度伸張処理部２０は、上述したブロック処理手段（４ａ）の機能と補間処理手段（４ｂ）の機能を備え、ブロック処理機能により画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを生成し、補間処理機能により周囲ブロックを利用したバイリニア補間で各ブロックの画素の変換輝度値を求めている。
【００６４】
なお、図１１に示す構成は、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示している。
【００６５】
この非線形輝度伸張処理方式では、後述する平均輝度算出部２２２が算出した平均輝度値が２５６階調の中心輝度値（１２７）以下であるか超えているかを判定し、中心輝度値以下であるとき、凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成し、中心輝度値を超えるとき、凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成する。この非線形輝度伸張処理機能は、既に公知の特許第４３４０３０３号による非線形輝度伸張処理方式に適用したもので、その要旨は後述する。
【００６６】
ブロッキング輝度伸張処理部２０は、図１１に示すように、ブロック参照輝度設定部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５と、線形補間（バイリニア補間）算出部２２６とを具備して構成される。
【００６７】
ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズに従い、複数のブロックに分割し、ブロック毎に、各ブロックの輝度値の総和を算出する。ここでは、８×８画素、１６×１６画素、２４×２４画素、３２×３２画素のうちのいずれかのブロックサイズ（例えば１６×１６画素）が指定され、その指定サイズに従い、入力画像の注目エリアがブロック分割される。なお、入力画像のエッジ部分に指定ブロックサイズより小さい端数画素分の領域が生じた場合は、当該領域を輝度伸張処理対象から外すかまたは他の輝度伸張処理手段を適用するものとする。
【００６８】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１がブロック分割し、ブロック毎に算出した輝度総和をもとに、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位の画像の平均輝度値（＝Ｍ）を算出する。
【００６９】
累乗パラメータ算出部２２３は、上記した非線形輝度伸張処理方式において適用されるもので、平均輝度算出部２２２が算出した平均輝度をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出する。
【００７０】
参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。
【００７１】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。
【００７２】
線形補間算出部２２６は、図１０に示したように、ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。
【００７３】
上記したブロッキング輝度伸張処理部２０の処理手順を図１２に示している。
【００７４】
ブロッキング輝度伸張処理部２０は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファメモリ１３に保持される毎に、図１２に示す処理を実施する。
【００７５】
画像バッファメモリ１３に輝度伸張処理の対象となる入力画像（Ｐａ）が保持されると、当該入力画像がリサイズ部１４によりリサイズされてブロッキング輝度伸張処理部２０に入力される。ブロッキング輝度伸張処理部２０において、ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリア（画像全体または設定された注目エリア）を、外部より指定されたブロックサイズ（例えば１６×１６画素）に従い、複数のブロック（４０×３０ブロック）に分割し、ブロック毎に各ブロックの輝度値の総和を求めて当該ブロック単位の輝度総和を注目ブロックの輝度情報として平均輝度算出部２２２に送出する（ステップＳ２１）。
【００７６】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１から注目ブロックの輝度情報（ブロック単位の輝度総和）を入力すると、この輝度情報をもとに、図８および図９に示したように、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出し、当該注目ブロックの画像の平均輝度値を累乗パラメータ算出部２２３と参照テーブル判定部２２４に送出する（ステップＳ２２）。
【００７７】
累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度値をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出し、当該パラメータを参照テーブル判定部２２４に送出する。
【００７８】
参照テーブル判定部２２４は、平均輝度算出部２２２から入力した平均輝度値と累乗パラメータ算出部２２３から入力した累乗パラメータを輝度伸張パラメータとして、当該輝度伸張パラメータに従う輝度変換テーブルを作成する。ここでは、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する（ステップＳ２３）。
【００７９】
ここで、上記した凸曲線および凹曲線を用いた非線形輝度伸張処理方式における輝度伸張処理について記述する。
【００８０】
累乗パラメータ算出部２２３は、注目エリアの平均輝度をもとに輝度伸張用の累乗パラメータγを下式（１）により自動的に算出する。
【００８１】
γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0・・・・式（１）
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度）
上記平均輝度と上記入力画像の輝度階調範囲の中心輝度とを比較し、累乗パラメータγを用いて自動的に下式（２）又は下式（３）を切り替えて、凸曲線および凹曲線の輝度変換テーブルを作成する。
【００８２】
I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed・・・・式（２）凸曲線
I’＝I／Bmaxγ×Bmax：Iave＞Bmed ・・・・式（３）凹曲線
（だたし、I’は出力輝度、Iは入力輝度、Bmedは輝度中央値、Bmaxは輝度最大値、Iaveは入力画像注目エリアの平均輝度）
この参照テーブル判定部２２４で作成された凸曲線および凹曲線の輝度変換テーブル２３２は画像変換部２２５に送出される（ステップＳ２３）。
【００８３】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施す。このブロック単位で輝度伸張された注目ブロックの各画素に対して、線形補間算出部２２６より、図７に示したように、注目ブロックと、その周囲４ブロックの輝度変換テーブルを用いて画素位置の距離差に応じたバイリニア補間が実施され、このバイリニア補間で輝度変換された画像が画像バッファ２１に書き戻されることによって画像バッファ２１上にブロック間のバイリニア補間を施した輝度伸張画像が作成される（ステップＳ２４，Ｓ２５）。
【００８４】
なお、上記した実施形態では、ＶＧＡ（６４０×４８０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、他の画像構成を扱う画像処理装置においても本発明の実施形態に係る輝度伸張処理機能を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する２０の構成要素（ブロック参照輝度設定部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５、線形補間算出部２２６等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。
【００８５】
また、上記した実施形態では、ブロック毎に各ブロックの輝度値の総和を求め、注目ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出しているが、これに限らず、例えば、ブロック毎に輝度平均を算出し、このブロック毎の平均輝度を用いて重み付けおよび畳み込み処理を実施することも可能である。
【００８６】
また、上記した実施形態では、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示しているが、これに限らず、例えばシグモイド関数曲線を利用したシグモイド輝度伸張処理方式や、その他の各種輝度伸張処理方式に適用可能である。
【００８７】
上記したブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易いダイナミックレンジを有した全周監視画像の表示機能を実現できる。
【００８８】
上記した実施形態では、上記プリセット情報による切り出し画像が存在しない場合、ブロッキング輝度伸張処理した３６０°全周の入力画像（全周画像）を表示部（表示デバイス）２２に表示し、上記プリセット情報による切り出し画像（ビュー表示）が指定されたとき、ブロッキング輝度伸張処理部２０ブロッキング輝度伸張処理した切り出し画像を表示部２１に表示する表示機能を実現しているが、上記プリセット情報による切り出し画像（ビュー表示）が指定されたとき、プリセット情報により指定された切り出し画像を全周画像とともに同時に表示することも可能である。この際、表示部２１の表示画面全域に全周画像を表示し、切り出し画像を、全周画像の切り出し位置に対応付けるバルーン形式で全周画像に被せて（全周画像を覆って）表示させることも可能である。または、切り出し画像を、表示部２１上の予め定めた一部表示領域に部分表示することも可能である。
【符号の説明】
【００８９】
２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４ａ…ブロック処理手段、４ｂ…補間処理手段、５…輝度伸張出力画像、１０…大容量記憶媒体、１１…カメラ（単眼カメラ（ＩＰカメラ））、１２…キャプチャ部、１３…画像バッファメモリ、１４…リサイズ部、１６…ビューの作成指示を行う入力デバイス、１７…ビューパラメータ格納部（プリセット情報バッファメモリ）、１８…注目領域画像作成処理部、１９…切り出し画像バッファメモリ、２０…ブロッキング輝度伸張処理部、２１…ビュー作成処理部、２２…表示部（表示デバイス）、２２１…ブロック参照輝度設定部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４……参照テーブル判定部、２２５…画像変換部、２２６…輝度伸張出力画像、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。
【技術分野】
【０００１】
本発明は、単眼カメラで撮影した全方位画像からその一部領域の画像を切り出し、監視画像として表示する表示処理機能を備えた全方位監視画像表示処理システムに関する。
【背景技術】
【０００２】
単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムが種々開発され実用化されている。この種、従来の３６０°監視システムは、カメラの全周が１フレームに収まるＮＴＳＣ映像であることから、部分映像の解像度が低く、３６０°の全周映像について、そのすべてを目視で監視するには限界があり、細部に亘る監視は困難であった。
【０００３】
また、例え監視映像を高解像度にしても、３６０°の全周映像には、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。
【０００４】
また、３６０°の全周映像から、一部領域の画像を切り出し、切り出した画像を監視画像として表示する場合においても、切り出し地点の明るさが大きく異なる場合が多く、明暗の大きく異なる部分の切り出し画像について明瞭な目視監視ができないという問題があった。
【０００５】
この種の全方位監視カメラシステムとして、従来では、特定の動体画像のみを高画質で記録する監視カメラ技術（特許文献１）や、広角画像データを目視可能な通常画角の画像に変換して表示する監視カメラ技術（特許文献２）が存在した。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２１３２０公報
【特許文献２】特開２００５−３０３３４０公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムにおいては、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。また、３６０°の全周映像から、一部の画像を切り出し、その切り出し画像を監視画像として表示する場合においても、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、切り出した監視画像の細部に亘る表示が困難であった。
【０００８】
本発明は上記実情に鑑みなされたもので、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部を切り出し、その切り出し画像を監視画像として表示する場合に、切り出した監視画像を細部に亘り明瞭に表示することのできる全方位監視画像表示処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記歪曲収差を補正した切り出し画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理した切り出し画像を監視画像として表示する表示出力手段とを具備したことを特徴とする。
【００１０】
また本発明は、単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報およびビュー指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記歪曲収差を補正した切り出し画像をビュー指定監視画像として記憶する切り出し画像記憶手段と、前記切り出し画像記憶手段に記憶したビュー指定監視画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記輝度伸張処理を施したビュー指定監視画像に対して、予め用意された監視形態を異にする複数のビュー形式から、前記ビュー指定情報により指定されたビュー形式に従う監視形態のビュー画面を作成するビュー作成処理手段と、前記ビュー作成処理手段が作成したビュー画面を表示する表示出力手段と、を具備したことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部を切り出し、その切り出し画像を監視画像として表示する場合に、切り出した監視画像を細部に亘り明瞭に表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る全方位監視画像表示処理システムの構成を示すブロック図。
【図２】上記実施形態に係る画像処理部の機能構成を示すブロック図。
【図３】上記実施形態に係る処理の手順を示すフローチャート。
【図４】上記実施形態に係るブロッキング輝度伸張処理手段の構成要素を示すブロック図。
【図５】上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。
【図６】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図７】上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。
【図８】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図９】上記実施形態に係る畳み込み処理動作を説明するための動作説明図。
【図１０】上記実施形態に係るバイリニア補間処理動作を説明するための動作説明図。
【図１１】上記実施形態に係る輝度伸張処理部の構成を示すブロック図。
【図１２】上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。
【図１３】上記実施形態に係る全方位（３６０°全周）監視画像の一例を示す図。
【図１４】上記実施形態に係る監視画像（任意の位置を指定して表示するＰＴＺ（Pan-Tilt-Zoom）用ビュー）の表示形態を示す図。
【図１５】上記実施形態に係る監視画像（登録した位置を切替えて表示するプリセット用ビュー）の表示形態を示す図。
【図１６】上記実施形態に係る監視画像（複数地点を同時に表示する多地点用ビュー）の表示形態を示す図。
【図１７】上記実施形態に係る監視画像（３６０°全周を同時に表示するパノラマ用ビュー）の表示形態を示す図。
【発明を実施するための形態】
【００１３】
以下図面を参照して本発明の実施形態を説明する。この実施形態においては、ユーザが指定した監視用ビュー形式および切り出し位置に従う切り出し画像を例に、その表示処理機能の実現手段を説明する。なお、この実施形態では、単眼カメラから取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは監視映像と称している。
【００１４】
本発明の実施形態に係る全方位監視画像表示処理システムは、１．３メガ（Ｍ）ピクセル以上の画素数を有する高画素（高精細）の単眼カメラ（１台のカメラ）に、３６０°レンズ（魚眼レンズ）を取り付け、この単眼カメラで撮影した映像から、予め指定された監視用ビューの設定パラメータ（プリセット情報など）とユーザ指定による監視用ビューの位置情報、監視用ビューの指示に従う各種監視用ビューの表示に適用可能である。この処理では、上記単眼カメラで撮影した３６０°全周高精細監視映像（全方位監視画像）を入力画像として、当該入力画像と、当該入力画像から切り出した切り出し画像を対象に、歪曲収差を補正後、ブロッキング輝度伸張による明暗補正を実施し、表示出力する。
【００１５】
本発明の実施形態に係る全方位監視画像表示処理システムの構成を図１に示している。
本発明の実施形態に係る全方位監視画像表示処理システムは、図１に示すように、単眼カメラ（ｉｐカメラ）１１と、キャプチャ部１２と、画像バッファメモリ１３と、リサイズ部１４と、監視用ビューの作成指示を行う入力デバイス１６と、ビューパラメータ格納部（プリセット情報バッファメモリ）１７と、注目領域画像作成処理部１８と、切り出し画像バッファメモリ１９と、ブロッキング輝度伸張処理部２０と、表示ビュー作成処理部２１と、表示部（表示デバイス）２２とを具備して構成される。
【００１６】
単眼カメラ１１およびキャプチャ部１２は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段を構成する。
【００１７】
単眼カメラ１１は、撮像窓に３６０°魚眼レンズ１１Ａを取り付けた１．３Ｍピクセル以上の画素数を有する高精細の監視カメラを構成し、楕円面の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。ここでは、楕円面の長辺と短辺を、１フレームの幅と高さに合わせた、横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。
【００１８】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像（Ｐａ）を入力画像として取り込み、画像バッファメモリ１３に記憶する処理機能をもつ。
【００１９】
画像バッファメモリ１３は、キャプチャ部１２がキャプチャしたフレーム単位の監視映像（Ｐａ）を入力画像として記憶する入力画像記憶手段を構成する。ここでは横×縦＝１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の３６０°全周高精細監視映像（Ｐａ）を入力画像として記憶する。なお、ここでは単眼カメラ１１で撮影した直近の入力画像（ライブ映像）を表示処理対象の入力画像（Ｐａ）として入力しているが、これに限らず、例えば図２に示すように、大容量記憶媒体１０に記憶した時系列の録画映像を入力画像（Ｐａ）として入力してもよい。
【００２０】
リサイズ部１４は、キャプチャ部１２がキャプチャした、１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）を、表示部（表示デバイス）２２の画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の表示用入力画像にリサイズしてブロッキング輝度伸張処理部２０に受け渡すリサイズ処理を実施する。
【００２１】
入力デバイス１６は、ここでは監視用ビューの作成指示を行うユーザ操作入力デバイスとして用いられるもので、ユーザの操作による、ビュー形式を指定するビュー指定情報（Ｃａ）、および監視用ビューの位置指定情報（Ｃｂ）の入力を受け付け、受け付けたビュー指定情報（Ｃａ）を後述する注目領域画像作成処理部１８とブロッキング輝度伸張処理部２０とビュー作成処理部２１に送出し、ユーザが入力した各監視用ビューの位置指定情報（Ｃｂ）をプリセット情報としてビューパラメータ格納部１７に格納する。ビュー指定情報（Ｃａ）は監視用ビューの表示形態（ビュー形式）を指定する情報であり、この実施形態では図１４に示すＰＴＺビュー、図１５に示すプリセットビュー、図１６に示す多地点ビュー、図１７に示すパノラマビューのうち、任意のビュー形式による監視用ビューを表示対象（監視画面）として指定する。監視用ビューの位置指定情報（Ｃｂ）は、上記各監視用ビューについて、３６０°全周の入力画像（Ｐａ）から切り出す画像の矩形の位置および領域を指定する各種監視用ビュー形式のプリセット情報であり、注目領域画像作成処理部１８の画像切り出し処理に供される。
【００２２】
ビューパラメータ格納部１７は、入力デバイス１６から入力された、各種監視用ビュー形式のプリセット情報（ＰＴＺビュー用位置情報、プリセットビュー用位置情報、多地点ビュー用位置情報）を監視用ビューパラメータとして記憶する。ビューパラメータ格納部１７は、入力デバイス１６から予め指定された外部パラメータとしてプリセット情報を格納し、また入力デバイス１６からの位置指定情報に従って、各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）のプリセット情報を更新する。
【００２３】
注目領域画像作成処理部１８および切り出し画像バッファメモリ１９は、ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、上記ビューパラメータ格納部１７に記憶された指定ビューのプリセット情報（位置情報に基づく矩形の領域の中心位置座標）をもとに、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段を構成する。ここでは、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対して歪曲収差を補正し、ビュー作成処理部２１の処理に適した各プリセット情報に基づく表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像として切り出し画像バッファメモリ１９に貯える。この際の歪曲収差の補正処理については既知の技術が適用される。切り出し画像バッファメモリ１９に貯えられた歪曲収差補正後の切り出し画像はビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、ブロッキング輝度伸張処理部２０においてブロッキング輝度伸張処理による明暗補正が実施され、ビュー作成処理部２１においてユーザが指定した描画画像（監視用ビュー）の作成処理が実施される。
【００２４】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）と切り出し画像バッファメモリ１９に記憶された切り出し画像を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する処理手段（ブロッキング輝度伸張処理手段）を構成する。この実施形態ではビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、切り出し画像バッファメモリ１９に記憶された切り出し画像に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施し、監視用ビューが指定されていないとき（ビュー指定情報（Ｃａ）が入力されていない状態にあるとき）、３６０°全周の入力画像（Ｐａ）に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施する。このブロッキング輝度伸張処理部２０による画素レベルのブロッキング輝度伸張処理により、監視対象の画像に対して明暗の大きく異なる部分が画素レベルで補正され、監視対象の画像が監視し易いダイナミックレンジの画像に補正される。
【００２５】
このブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像（ここではリサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、または切り出し画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備し、画面全体の一部に存在する明暗の大きく異なる画像について、明暗の大きく異なる部分を画素レベルで補正し、監視し易い画像に補正する。このブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理については、図４乃至図１２を参照して後述する。
【００２６】
ビュー作成処理部２１は、入力デバイス１６から入力されたビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、ブロッキング輝度伸張処理部２０でブロッキング輝度伸張処理した図１３に示す基本画像（全周画像）をもとに、ユーザが指定した監視用ビューを作成して表示部（表示デバイス）２２に表示出力する処理を実施する。またビューが指定されていないとき、ブロッキング輝度伸張処理部２０で明暗補正した３６０°全周の監視画像を表示部（表示デバイス）２２に表示出力する。
表示部（表示デバイス）２２は上記輝度伸張処理を施した監視対象画像を表示する表示出力手段を構成する。この実施形態では、表示デバイスの表示画面が６４０×４８０画素で構成され、画像バッファメモリ１３に貯えられた入力画像（Ｐａ）をリサイズ部１４でリサイズした３６０°全周入力画像と、切り出し画像バッファメモリ１９に貯えられた切り出し画像とを表示対象に、そのいずれかの画像を選択して、若しくは表示領域を区分して同時に表示出力する。この実施形態では、監視用ビューが指定されていないとき（ビュー指定情報（Ｃａ）が入力されていない動作状態にあるとき）、画像バッファメモリ１３に貯えられた（リサイズ部１４でリサイズされた）３６０°全周の入力画像（Ｐａ）を表示し、ユーザが監視用ビューを指定しているとき（ビュー指定情報（Ｃａ）が入力された動作状態にあるとき）、切り出し画像バッファメモリ１９に貯えられた切り出し画像を用いた指定ビューを表示する。
【００２７】
上記した全方位監視画像表示処理システムのソフトウェア（ＳＷ）構成を図２に示している。
【００２８】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像、若しくは上記カメラ映像を大容量記憶媒体１０に記憶した時系列の録画映像を入力画像（Ｐａ）として取り込む。この入力画像（Ｐａ）に対して、注目領域画像作成処理部１８により、プリセット情報に従う部分画像（監視画像）の切り出し処理が実施される。
【００２９】
注目領域画像作成処理部１８は、ビューパラメータ格納部１７（プリセット情報バッファメモリ）に記憶されたプリセット情報（矩形の領域の中心位置座標）をもとに、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施して、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対し歪曲収差を補正し、ビュー作成処理部２１の処理に適した各プリセット情報に基づく表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像として切り出し画像バッファメモリ１９に貯える。
【００３０】
ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）と、切り出し画像バッファメモリ１９に記憶された切り出し画像を処理対象に、表示出力する監視画像に対して画素単位のブロッキング輝度伸張処理を実施する。ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、切り出し画像バッファメモリ１９に記憶された切り出し画像に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施し、監視用ビューが指定されていないとき、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対してブロッキング輝度伸張処理による画素レベルの明暗補正を実施する。
【００３１】
ビュー作成処理部２１は、ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、画素レベルのブロッキング輝度伸張処理で微細なダイナミックレンジの画像補正がなされた監視画像に対して、ユーザが指定した監視用ビュー（図１４に示すＰＴＺビュー、図１５に示すプリセットビュー、図１６に示す多地点ビュー、または、図１７に示すパノラマビュー）を作成し表示部（表示デバイス）２２に出力する。また、監視用ビューが指定されていないとき、リサイズ部１４でリサイズし、ブロッキング輝度伸張処理部２０でブロッキング輝度伸張した３６０°全周の監視画像を表示部（表示デバイス）２２に出力する。
【００３２】
上記した全方位監視画像表示処理システムの処理手順を図３にフローチャートで示している。なお、各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）を作成するためのビュー用パラメータの登録（各監視用ビューに対するプリセット情報のビューパラメータ格納部１７への格納）は既に行われているものとする。
【００３３】
キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像、若しくは上記カメラ映像を大容量記憶媒体１０に記憶した時系列の録画映像を入力画像（Ｐａ）として取り込む（ステップＳ１１）。
【００３４】
この入力画像（Ｐａ）に対して、注目領域画像作成処理部１８により、プリセット情報に従う部分画像の切り出し処理が実施される。また、３６０°全周の入力画像（Ｐａ）に対してリサイズ部１４により、６４０×４８０画素構成（ＶＧＡ）へのリサイズ処理が実施される。
【００３５】
注目領域画像作成処理部１８は、ビュー指定情報（Ｃａ）により監視用ビューが指定されているとき、すなわち、ユーザによりビュー形式（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）が指定されているとき、指定されたビュー形式に従うプリセット情報を用い、３６０°全周の入力画像（Ｐａ）に対して、プリセット情報に従う切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理および表示デバイス２２の画素構成に合わせたリサイズ処理を実施して、当該処理を実施した切り出し画像を切り出し画像バッファメモリ１９に記憶する（ステップＳ１２）。
【００３６】
ブロッキング輝度伸張処理部２０は、切り出し画像バッファメモリ１９に記憶された切り出し画像に対して、画素単位のブロッキング輝度伸張処理を実施し、明暗の大きく異なる部分について画素レベルの補輝度正を行う（ステップＳ１３）。
【００３７】
ビュー作成処理部２１は、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理した切り出し画像を用いて、指定されたビューの構成画面を作成し、表示デバイス２２に監視用ビューとして表示する（ステップＳ１４）。
【００３８】
なお、ユーザによりビュー形式が指定されていない場合は、リサイズ部１４でリサイズ処理した３６０°全周の入力画像（Ｐａ）がブロッキング輝度伸張処理部２０により画素レベルで明暗補正され、ビュー作成処理部２１を経由して表示デバイス２２に監視用ビューとして表示される。
【００３９】
上記した３６０°全周の入力画像（Ｐａ）と、この入力画像（Ｐａ）から切り出した切り出し画像を用いた各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）の構成例を図１３乃至図１７に示している。
【００４０】
ここでは、単眼カメラで撮影した３６０°全周監視映像に対して、ユーザが指定したビュー形式および位置指定情報に従う監視用ビューを表示可能にした全方位監視画像表示処理システムを実現している。このユーザ指定による監視用ビューの表示機能は、例えばユーザがビュー指定情報（Ｃａ）によりビュー形式を指定したとき、ユーザが指定したビュー形式に従う切り出し画像を対象とした監視用ビューを表示する監視画像の表示機能を実現可能である。このユーザ指定による監視ビューの表示においても切り出し画像に対してブロッキング輝度伸張処理を実施して、監視が容易なダイナミックレンジの補正を行い、切り出した監視画像を細部に亘り明瞭に監視ビューとして表示する。
【００４１】
ここで、上記ブロッキング輝度伸張処理を施した監視画像の表示モード選択機能について、図１３乃至図１７を参照して説明する。図１３は上記実施形態に係る３６０°全周監視画像（全周画像）の一例を示す図、図１４乃至図１７は上記図１３に示す全周画像を基本画像としてビュー作成処理部２１により作成処理される各種監視画像の表示形態（監視用ビュー）の構成例を示す図である。図１４乃至図１７は、それぞれ上記図１３に示す基本画像（全周画像）に対して、ユーザが指定したビュー形式に従い表示される監視用ビューの表示例を示している。このうち、図１４は任意の位置を指定して表示するＰＴＺ（Pan-Tilt-Zoom）用ビューの表示形態を示す図、図１５は登録した位置を切替えて表示するプリセット用ビューの表示形態を示す図、図１６は登録した複数地点を同時に表示する多地点用ビューの表示形態を示す図、図１７は３６０°全周を同時にパノラマ表示するパノラマ用ビューの表示形態を示す図である。
【００４２】
上記各監視用ビューを作成するための構成要素として、この実施形態では、ブロッキング輝度伸張処理部２０と表示部（表示デバイス）２２との間に、ビュー作成処理部２１を設けた構成としている。また、このビュー作成処理部２１に付随して、ユーザが操作入力を行う入力デバイス１６、およびこの入力デバイス１６の操作入力で入力された各種ビューの位置指定情報をプリセット情報として記憶するビューパラメータ格納部１７を設けている。
【００４３】
ビュー作成処理部２１は、入力デバイス１６から入力されたビュー指定情報（Ｃａ）、および入力デバイス１６から入力されビューパラメータ格納部１７にプリセット情報として登録されたビューの位置指定情報（Ｃｂ）に従い、ブロッキング輝度伸張処理部２０でブロッキング輝度伸張処理した図１４に示す基本画像（全周画像）をもとに、ユーザが指定した図１５乃至図１８に示す各種表示形態（ビュー形式）の監視画像を作成し監視用ビューとして表示部（表示デバイス）２２に表示出力する処理を実施する。
【００４４】
入力デバイス１６は、ユーザの操作による、ビュー指定情報（Ｃａ）、およびビューの位置指定情報（Ｃｂ）の入力を受け付け、受け付けたビュー指定情報（Ｃａ）をビュー作成処理部２１に送出し、ビューの位置指定情報（Ｃｂ）をプリセット情報としてビューパラメータ格納部１７に格納する。ここでは、ビュー形式を単位にプリセット情報（ＰＴＺビュー用位置情報、プリセットビュー用位置情報、多地点ビュー用位置情報）をそれぞれビューパラメータ格納部１７に登録可能にしている。なお、図１３の基本画像に示したｑ１〜ｑ４はそれぞれユーザの位置指定情報（Ｃｂ）により指定された矩形の切り出し画像領域である。
【００４５】
ブロッキング輝度伸張処理部２０はリサイズ部１４でリサイズされた３６０°全周の監視画像、またはパラメータで指定された位置指定に従う切り出し画像に対してブロッキング輝度伸張処理を実施し、ブロッキング輝度伸張処理した画像をビュー作成処理部２１に送出する。
【００４６】
ビュー作成処理部２１はブロッキング輝度伸張処理した画像に対して、入力デバイス１６から操作指示されたビュー指定情報（Ｃａ）に従い、図１４に示すビュー形式のＰＴＺ用ビュー（任意の位置を指定して切り出し表示するＰＴＺ用ビュー）、または、図１５に示すビュー形式のプリセット用ビュー（登録した位置を切替えて切り出し表示するプリセット用ビュー）、または、図１６に示すビュー形式の多地点用ビュー（複数地点を同時に切り出し表示する多地点用ビュー）、または、図１７に示すビュー形式のパノラマ用ビュー（３６０°全周を半周ずつ区分して同時にパノラマ表示するパノラマ用ビュー）を作成し、監視用ビューとして出力する。
【００４７】
表示部（表示デバイス）２２はビュー作成処理部２１で作成された監視ビューを表示出力する。この監視用ビューは、ビューパラメータ格納部１７に格納（登録）されたパラメータ（位置情報）をユーザが書き換えることで、監視用ビューの表示に変更を加えることが可能である（入力デバイス１６から予め指定された外部パラメータとしてプリセット情報をビューパラメータ格納部１７に格納し、また入力デバイス１６からの位置指定情報に従って、各監視用ビュー（ＰＴＺビュー、プリセットビュー、多地点ビュー、パノラマビュー）のプリセット情報を更新する）。
【００４８】
上記した監視用ビューの表示機能により、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を、例えばパノラマ用ビューとして、細部に亘り明瞭に表示することができるとともに、３６０°監視映像の一部を切り出し、その切り出し画像を、例えばＰＴＺ用ビュー、プリセット用ビュー、または多地点用ビューとして、細部に亘り明瞭に表示することができる。
【００４９】
このようにして、ブロッキング輝度伸張処理された、全周画像（３６０°全周の監視画像）またはパラメータの位置指定に従う切り出し画像が任意のビュー形式で監視用ビューとして表示部（表示デバイス）２２に表示出力可能である。これにより３６０°全周監視画像の全てを対象に、任意領域の明瞭な監視画像をユーザの所望するビュー形式でユーザに提供することができる。
【００５０】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、記憶媒体に格納して頒布することもできる。
【００５１】
ここで、ブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理について、図４乃至図１２を参照して説明する。
【００５２】
ブロッキング輝度伸張処理部２０は、上述したように、輝度伸張処理の対象となる入力画像（リサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、または切り出し画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００５３】
図４に示すブロッキング輝度伸張処理部２０は、単眼カメラ１１で撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＶＧＡ（６４０×４８０画素）の０〜２５５階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。
【００５４】
この輝度伸張処理部１における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを、入力画像における注目エリアを複数のブロックに分割したブロック単位の画像の平均輝度値をもとに自動算出する手段を具備した。
【００５５】
ブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、上記補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。
【００５６】
図４に示すブロッキング輝度伸張処理部２０の輝度伸張処理動作について、図５乃至図１０を参照して説明する。図５は上記ブロッキング輝度伸張処理部２０の輝度伸張処理動作を説明するための動作説明図、図６および図７はそれぞれ上記したブロック処理手段における輝度伸張処理の動作原理を説明するための動作説明図、図８および図９はそれぞれ上記したブロック処理手段における畳み込み処理の動作原理を説明するための動作説明図、図１０は上記した補間処理手段におけるバイリニア補間処理の動作原理を説明するための動作説明図である。
【００５７】
図５に示す、ブロッキング輝度伸張処理部２０のブロック処理手段４ａは、先ず、単眼カメラで撮影した入力画像（６４０×４８０画素）２について、予め設定された注目エリア３を複数のブロックに分割する。具体例を挙げると、入力画像を３２×３２画素単位、若しくは１６×１６画素単位、若しくは８×８画素単位等に分割し、注目エリア３（画像全体または設定された注目エリア）を複数のブロックに分割する。例えば注目エリア３の画面を１６×１６画素単位のブロック（４０×３０ブロック）に分割する。このブロック分割領域それぞれについて、周囲ブロックの輝度値を可変要素に、平均輝度を求める。
【００５８】
この動作原理を図６乃至図９に示している。ここでは、図６および図７に示すように、画面をブロック分割した１６×１６画素のパターンを、１／２ブロック（８×８画素）分シフトしたブロック４パターンから１つの小ブロックの値を考える。ここでは、１／２ブロックシフトで、４パターンのブロックが重なったブロック（８×８画素）について、重なったブロックの輝度の平均、さらには輝度二乗の平均等を求め、この値をもとに、予め設定された輝度伸張処理方式に適用される輝度伸張用の輝度変換テーブルをブロック単位に作成する。さらにブロック処理手段４ａは、分割したブロック各々について、ブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出して、各ブロックの平均輝度を算出する。この際の畳み込み計数および畳み込み処理のイメージを図８および図９に示している。ここでは、図８に示すように、平均輝度の算出対象となる注目ブロックに対して「４」、注目ブロックの周囲８近傍のブロックのうち、上下左右の４ブロックに対してそれぞれ「２」、斜め４方向の各ブロックに対してそれぞれ「１」の畳み込み計数をもたせて、図９に示すデータの積み上げイメージで、上記各ブロックの輝度値を畳み込み、畳み込み演算することで、注目ブロックの輝度平均を求めることができる。このブロック毎の平均輝度値をもとに、予め設定された輝度伸張処理方式に適用されるブロック単位の輝度伸張パラメータおよび輝度変換テーブルを作成する。
【００５９】
つぎに、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、上記ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、上記した補間手段により、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。このバイリニア補間は図１０に示すように、注目画素の変換値を、周囲４ブロック（Ａ，Ｂ，Ｃ，Ｄ）の変換値の線形補間（バイリニア補間）にて決定し設定する。ここでは、注目画素が位置するブロック位置、および注目画素の当該ブロックとの位置差を小数点で求めて、当該ブロックと周囲ブロックの輝度変換テーブルの値に、ブロック位置差の係数を掛け、線形補間（バイリニア補間）の原理で輝度の変換値を求める。
【００６０】
上記補間処理手段４ｂによりバイリニア補間を施した各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する。
【００６１】
このように、ブロッキング輝度伸張処理部２０のブロック処理手段４ａにおいて、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、注目エリア内の一部に局所的に存在する明暗の各画像をそれぞれ明瞭に階調表示することができる。
【００６２】
上記実施形態をより具現化した一例を図１１および図１２に示している。図１１は実施形態に係るブロッキング輝度伸張処理部２０の機能構成を示すブロック図、図１２は上記ブロッキング輝度伸張処理部２０の処理手順を示すフローチャートである。
【００６３】
ブロッキング輝度伸張処理部２０は、上述したブロック処理手段（４ａ）の機能と補間処理手段（４ｂ）の機能を備え、ブロック処理機能により画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを生成し、補間処理機能により周囲ブロックを利用したバイリニア補間で各ブロックの画素の変換輝度値を求めている。
【００６４】
なお、図１１に示す構成は、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示している。
【００６５】
この非線形輝度伸張処理方式では、後述する平均輝度算出部２２２が算出した平均輝度値が２５６階調の中心輝度値（１２７）以下であるか超えているかを判定し、中心輝度値以下であるとき、凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成し、中心輝度値を超えるとき、凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成する。この非線形輝度伸張処理機能は、既に公知の特許第４３４０３０３号による非線形輝度伸張処理方式に適用したもので、その要旨は後述する。
【００６６】
ブロッキング輝度伸張処理部２０は、図１１に示すように、ブロック参照輝度設定部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５と、線形補間（バイリニア補間）算出部２２６とを具備して構成される。
【００６７】
ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズに従い、複数のブロックに分割し、ブロック毎に、各ブロックの輝度値の総和を算出する。ここでは、８×８画素、１６×１６画素、２４×２４画素、３２×３２画素のうちのいずれかのブロックサイズ（例えば１６×１６画素）が指定され、その指定サイズに従い、入力画像の注目エリアがブロック分割される。なお、入力画像のエッジ部分に指定ブロックサイズより小さい端数画素分の領域が生じた場合は、当該領域を輝度伸張処理対象から外すかまたは他の輝度伸張処理手段を適用するものとする。
【００６８】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１がブロック分割し、ブロック毎に算出した輝度総和をもとに、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位の画像の平均輝度値（＝Ｍ）を算出する。
【００６９】
累乗パラメータ算出部２２３は、上記した非線形輝度伸張処理方式において適用されるもので、平均輝度算出部２２２が算出した平均輝度をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出する。
【００７０】
参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。
【００７１】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。
【００７２】
線形補間算出部２２６は、図１０に示したように、ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。
【００７３】
上記したブロッキング輝度伸張処理部２０の処理手順を図１２に示している。
【００７４】
ブロッキング輝度伸張処理部２０は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファメモリ１３に保持される毎に、図１２に示す処理を実施する。
【００７５】
画像バッファメモリ１３に輝度伸張処理の対象となる入力画像（Ｐａ）が保持されると、当該入力画像がリサイズ部１４によりリサイズされてブロッキング輝度伸張処理部２０に入力される。ブロッキング輝度伸張処理部２０において、ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリア（画像全体または設定された注目エリア）を、外部より指定されたブロックサイズ（例えば１６×１６画素）に従い、複数のブロック（４０×３０ブロック）に分割し、ブロック毎に各ブロックの輝度値の総和を求めて当該ブロック単位の輝度総和を注目ブロックの輝度情報として平均輝度算出部２２２に送出する（ステップＳ２１）。
【００７６】
平均輝度算出部２２２は、ブロック参照輝度設定部２２１から注目ブロックの輝度情報（ブロック単位の輝度総和）を入力すると、この輝度情報をもとに、図８および図９に示したように、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出し、当該注目ブロックの画像の平均輝度値を累乗パラメータ算出部２２３と参照テーブル判定部２２４に送出する（ステップＳ２２）。
【００７７】
累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度値をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出し、当該パラメータを参照テーブル判定部２２４に送出する。
【００７８】
参照テーブル判定部２２４は、平均輝度算出部２２２から入力した平均輝度値と累乗パラメータ算出部２２３から入力した累乗パラメータを輝度伸張パラメータとして、当該輝度伸張パラメータに従う輝度変換テーブルを作成する。ここでは、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する（ステップＳ２３）。
【００７９】
ここで、上記した凸曲線および凹曲線を用いた非線形輝度伸張処理方式における輝度伸張処理について記述する。
【００８０】
累乗パラメータ算出部２２３は、注目エリアの平均輝度をもとに輝度伸張用の累乗パラメータγを下式（１）により自動的に算出する。
【００８１】
γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0・・・・式（１）
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度）
上記平均輝度と上記入力画像の輝度階調範囲の中心輝度とを比較し、累乗パラメータγを用いて自動的に下式（２）又は下式（３）を切り替えて、凸曲線および凹曲線の輝度変換テーブルを作成する。
【００８２】
I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed・・・・式（２）凸曲線
I’＝I／Bmaxγ×Bmax：Iave＞Bmed ・・・・式（３）凹曲線
（だたし、I’は出力輝度、Iは入力輝度、Bmedは輝度中央値、Bmaxは輝度最大値、Iaveは入力画像注目エリアの平均輝度）
この参照テーブル判定部２２４で作成された凸曲線および凹曲線の輝度変換テーブル２３２は画像変換部２２５に送出される（ステップＳ２３）。
【００８３】
画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施す。このブロック単位で輝度伸張された注目ブロックの各画素に対して、線形補間算出部２２６より、図７に示したように、注目ブロックと、その周囲４ブロックの輝度変換テーブルを用いて画素位置の距離差に応じたバイリニア補間が実施され、このバイリニア補間で輝度変換された画像が画像バッファ２１に書き戻されることによって画像バッファ２１上にブロック間のバイリニア補間を施した輝度伸張画像が作成される（ステップＳ２４，Ｓ２５）。
【００８４】
なお、上記した実施形態では、ＶＧＡ（６４０×４８０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、他の画像構成を扱う画像処理装置においても本発明の実施形態に係る輝度伸張処理機能を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する２０の構成要素（ブロック参照輝度設定部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５、線形補間算出部２２６等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。
【００８５】
また、上記した実施形態では、ブロック毎に各ブロックの輝度値の総和を求め、注目ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出しているが、これに限らず、例えば、ブロック毎に輝度平均を算出し、このブロック毎の平均輝度を用いて重み付けおよび畳み込み処理を実施することも可能である。
【００８６】
また、上記した実施形態では、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示しているが、これに限らず、例えばシグモイド関数曲線を利用したシグモイド輝度伸張処理方式や、その他の各種輝度伸張処理方式に適用可能である。
【００８７】
上記したブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易いダイナミックレンジを有した全周監視画像の表示機能を実現できる。
【００８８】
上記した実施形態では、上記プリセット情報による切り出し画像が存在しない場合、ブロッキング輝度伸張処理した３６０°全周の入力画像（全周画像）を表示部（表示デバイス）２２に表示し、上記プリセット情報による切り出し画像（ビュー表示）が指定されたとき、ブロッキング輝度伸張処理部２０ブロッキング輝度伸張処理した切り出し画像を表示部２１に表示する表示機能を実現しているが、上記プリセット情報による切り出し画像（ビュー表示）が指定されたとき、プリセット情報により指定された切り出し画像を全周画像とともに同時に表示することも可能である。この際、表示部２１の表示画面全域に全周画像を表示し、切り出し画像を、全周画像の切り出し位置に対応付けるバルーン形式で全周画像に被せて（全周画像を覆って）表示させることも可能である。または、切り出し画像を、表示部２１上の予め定めた一部表示領域に部分表示することも可能である。
【符号の説明】
【００８９】
２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４ａ…ブロック処理手段、４ｂ…補間処理手段、５…輝度伸張出力画像、１０…大容量記憶媒体、１１…カメラ（単眼カメラ（ＩＰカメラ））、１２…キャプチャ部、１３…画像バッファメモリ、１４…リサイズ部、１６…ビューの作成指示を行う入力デバイス、１７…ビューパラメータ格納部（プリセット情報バッファメモリ）、１８…注目領域画像作成処理部、１９…切り出し画像バッファメモリ、２０…ブロッキング輝度伸張処理部、２１…ビュー作成処理部、２２…表示部（表示デバイス）、２２１…ブロック参照輝度設定部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４……参照テーブル判定部、２２５…画像変換部、２２６…輝度伸張出力画像、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。
【特許請求の範囲】
【請求項１】
単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、
前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記歪曲収差を補正した切り出し画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理した切り出し画像を監視画像として表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像表示処理システム。
【請求項２】
単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報およびビュー指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、
前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記歪曲収差を補正した切り出し画像をビュー指定監視画像として記憶する切り出し画像記憶手段と、
前記切り出し画像記憶手段に記憶したビュー指定監視画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記輝度伸張処理を施したビュー指定監視画像に対して、予め用意された監視形態を異にする複数のビュー形式から、前記ビュー指定情報により指定されたビュー形式に従う監視形態のビュー画面を作成するビュー作成処理手段と、
前記ビュー作成処理手段が作成したビュー画面を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像表示処理システム。
【請求項３】
前記ビュー作成処理手段は、前記ビュー指定情報に従い、
前記位置指定情報が指定した任意地点の切り出し画像を任意のパン、チルト、ズーム指定に従い表示するＰＴＺ用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を所定時間毎に順次切り替えて表示するプリセット用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を画面上の領域を区分して同時に表示する多地点用ビュー形式、
のいずれか一つのビュー形式に従う監視形態のビュー画面を作成することを特徴とする請求項２に記載の全方位監視画像表示処理システム。
【請求項４】
前記ブロッキング輝度伸張処理手段は、前記切り出し画像記憶手段に記憶したビュー指定監視画像および前記入力画像記憶手段が記憶した３６０°全周の入力画像のいずれかを対象に画素単位のブロッキング輝度伸張処理を実施し、
前記ビュー作成処理手段は、前記ビュー指定情報に従い、
前記位置指定情報が指定した任意地点の切り出し画像を任意のパン、チルト、ズーム指定に従い表示するＰＴＺ用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を所定時間毎に順次切り替えて表示するプリセット用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を画面上の領域を区分して同時に表示する多地点用ビュー形式、
前記ブロッキング輝度伸張処理された３６０°全周の入力画像を半周ずつ上下に区分して同時に表示するパノラマ用ビュー形式、
のいずれか一つのビュー形式に従う監視形態のビュー画面を作成することを特徴とする請求項２に記載の全方位監視画像表示処理システム。
【請求項５】
前記ブロッキング輝度伸張処理手段は、前記ビュー指定が行われないとき、前記入力画像記憶手段が記憶した３６０°全周の入力画像に対してブロッキング輝度伸張処理を実施して、ブロッキング輝度伸張処理した監視画像を前記表示出力手段に送出することを特徴とする請求項１または４に記載の全方位監視画像表示処理システム。
【請求項６】
前記ブロッキング輝度伸張処理手段は、
輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、
前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、
前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
を具備したことを特徴とする請求項１または２に記載の全方位監視画像表示処理システム。
【請求項７】
前記ブロック処理手段は、分割したブロックのうち、処理対象となる注目ブロックＡについて、隣接する上下左右のブロックＢと、隣接する斜め方向のブロックＣとを用い、Ａ＞Ｂ＞Ｃの重み付けにより前記畳み込みの処理を実施することを特徴とする請求項６に記載の全方位監視画像表示処理システム。
【請求項８】
前記ブロック処理手段は、
外部から指定されたブロックサイズに従い、前記注目エリアの画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段が分割したブロック各々についてブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む前記重み付けおよび畳み込み処理した全ブロックの輝度総和を算出する輝度総和算出手段と、
前記輝度総和算出手段が算出した輝度総和を用いて、前記ブロック毎に、当該ブロックの輝度平均を算出する輝度平均算出手段と、
前記輝度平均算出手段が算出したブロックの輝度平均をもとに、前記ブロック毎に、輝度伸張パラメータを算出する輝度伸張パラメータ算出手段と、
前記輝度伸張パラメータ算出手段が算出した輝度伸張パラメータをもとに、前記ブロック毎に、輝度伸張用の輝度変換テーブルを作成する輝度変換テーブル作成手段と、
を具備したことを特徴とする請求項７に記載の全方位監視画像表示処理システム。
【請求項９】
前記単眼カメラ１１は、楕円面の長辺と短辺をフレームの幅と高さに合わせた、１．３Ｍピクセル以上の画素数を有する楕円面の３６０°全周高精細監視映像を出力し、
前記ブロッキング輝度伸張処理手段は、前記楕円面の３６０°全周高精細監視映像の画素構成を前記表示出力手段の画素構成に合わせてリサイズした監視映像を処理対象に画素単位でブロッキング輝度伸張処理を実施することを特徴とする請求項１または２に記載の全方位監視画像表示処理システム。
【請求項１】
単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、
前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記歪曲収差を補正した切り出し画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理した切り出し画像を監視画像として表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像表示処理システム。
【請求項２】
単眼カメラで撮影した３６０°全周監視映像に対してユーザが指定した位置指定情報およびビュー指定情報に従う監視ビューを表示可能にした全方位監視画像表示処理システムであって、
前記３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像に対して前記位置指定情報により指定された一部領域の画像を切り出す切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記歪曲収差を補正した切り出し画像をビュー指定監視画像として記憶する切り出し画像記憶手段と、
前記切り出し画像記憶手段に記憶したビュー指定監視画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記輝度伸張処理を施したビュー指定監視画像に対して、予め用意された監視形態を異にする複数のビュー形式から、前記ビュー指定情報により指定されたビュー形式に従う監視形態のビュー画面を作成するビュー作成処理手段と、
前記ビュー作成処理手段が作成したビュー画面を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像表示処理システム。
【請求項３】
前記ビュー作成処理手段は、前記ビュー指定情報に従い、
前記位置指定情報が指定した任意地点の切り出し画像を任意のパン、チルト、ズーム指定に従い表示するＰＴＺ用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を所定時間毎に順次切り替えて表示するプリセット用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を画面上の領域を区分して同時に表示する多地点用ビュー形式、
のいずれか一つのビュー形式に従う監視形態のビュー画面を作成することを特徴とする請求項２に記載の全方位監視画像表示処理システム。
【請求項４】
前記ブロッキング輝度伸張処理手段は、前記切り出し画像記憶手段に記憶したビュー指定監視画像および前記入力画像記憶手段が記憶した３６０°全周の入力画像のいずれかを対象に画素単位のブロッキング輝度伸張処理を実施し、
前記ビュー作成処理手段は、前記ビュー指定情報に従い、
前記位置指定情報が指定した任意地点の切り出し画像を任意のパン、チルト、ズーム指定に従い表示するＰＴＺ用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を所定時間毎に順次切り替えて表示するプリセット用ビュー形式、
前記位置指定情報が指定した複数地点の切り出し画像を画面上の領域を区分して同時に表示する多地点用ビュー形式、
前記ブロッキング輝度伸張処理された３６０°全周の入力画像を半周ずつ上下に区分して同時に表示するパノラマ用ビュー形式、
のいずれか一つのビュー形式に従う監視形態のビュー画面を作成することを特徴とする請求項２に記載の全方位監視画像表示処理システム。
【請求項５】
前記ブロッキング輝度伸張処理手段は、前記ビュー指定が行われないとき、前記入力画像記憶手段が記憶した３６０°全周の入力画像に対してブロッキング輝度伸張処理を実施して、ブロッキング輝度伸張処理した監視画像を前記表示出力手段に送出することを特徴とする請求項１または４に記載の全方位監視画像表示処理システム。
【請求項６】
前記ブロッキング輝度伸張処理手段は、
輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、
前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、
前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
を具備したことを特徴とする請求項１または２に記載の全方位監視画像表示処理システム。
【請求項７】
前記ブロック処理手段は、分割したブロックのうち、処理対象となる注目ブロックＡについて、隣接する上下左右のブロックＢと、隣接する斜め方向のブロックＣとを用い、Ａ＞Ｂ＞Ｃの重み付けにより前記畳み込みの処理を実施することを特徴とする請求項６に記載の全方位監視画像表示処理システム。
【請求項８】
前記ブロック処理手段は、
外部から指定されたブロックサイズに従い、前記注目エリアの画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段が分割したブロック各々についてブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む前記重み付けおよび畳み込み処理した全ブロックの輝度総和を算出する輝度総和算出手段と、
前記輝度総和算出手段が算出した輝度総和を用いて、前記ブロック毎に、当該ブロックの輝度平均を算出する輝度平均算出手段と、
前記輝度平均算出手段が算出したブロックの輝度平均をもとに、前記ブロック毎に、輝度伸張パラメータを算出する輝度伸張パラメータ算出手段と、
前記輝度伸張パラメータ算出手段が算出した輝度伸張パラメータをもとに、前記ブロック毎に、輝度伸張用の輝度変換テーブルを作成する輝度変換テーブル作成手段と、
を具備したことを特徴とする請求項７に記載の全方位監視画像表示処理システム。
【請求項９】
前記単眼カメラ１１は、楕円面の長辺と短辺をフレームの幅と高さに合わせた、１．３Ｍピクセル以上の画素数を有する楕円面の３６０°全周高精細監視映像を出力し、
前記ブロッキング輝度伸張処理手段は、前記楕円面の３６０°全周高精細監視映像の画素構成を前記表示出力手段の画素構成に合わせてリサイズした監視映像を処理対象に画素単位でブロッキング輝度伸張処理を実施することを特徴とする請求項１または２に記載の全方位監視画像表示処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２４４４８０（Ｐ２０１２−２４４４８０Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３７３２（Ｐ２０１１−１１３７３２）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]