モニタリングシステム、並びにカメラおよび表示部制御装置
【課題】複数のカメラユニットにより撮影された複数枚の画像を連結した全体画像を合成したモニタリング画像を表示し、更新時間の短縮化、効果的なモニタリングを可能とする。
【解決手段】カメラ・表示コントローラ１１がＧＵＩの構成とされたＩ／Ｏ１２によってカメラユニット１1〜１4の撮像方向を制御する。各撮像方向で撮影することで得られる全体画像の位置および形状をＩ／Ｏ１２によって制御する。カメラ・表示コントローラ１１は、マルチスクリーン表示装置２１によって表示されるモニタリング画像の表示領域の位置および大きさをＩ／Ｏ１２によって制御する。表示装置２１には、複数の全体画像を混合したモニタリング画像、一部が動画像とされたモニタリング画像を表示することができる。複数の全体画像の混合比がＩ／Ｏ１２によって所望のものに設定される。
【解決手段】カメラ・表示コントローラ１１がＧＵＩの構成とされたＩ／Ｏ１２によってカメラユニット１1〜１4の撮像方向を制御する。各撮像方向で撮影することで得られる全体画像の位置および形状をＩ／Ｏ１２によって制御する。カメラ・表示コントローラ１１は、マルチスクリーン表示装置２１によって表示されるモニタリング画像の表示領域の位置および大きさをＩ／Ｏ１２によって制御する。表示装置２１には、複数の全体画像を混合したモニタリング画像、一部が動画像とされたモニタリング画像を表示することができる。複数の全体画像の混合比がＩ／Ｏ１２によって所望のものに設定される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、広域のモニタリングに適用されるモニタリングシステム、並びにカメラおよび表示部制御装置に関する。
【背景技術】
【０００２】
従来、広範囲の状況を監視するために、テレビジョンカメラを使用するモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。このモニタリングシステムとして、カメラの撮影範囲を順にずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている（例えば下記特許文献１を参照）。多数の静止画像を連結することで生成される連結画像（以下、全体画像と適宜称する）は、極めて高解像度の画像とすることができる。したがって、全体画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、拡大画像であっても鮮明な画像を得ることができる。
【０００３】
【特許文献１】特開２００３−３２４７１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のものは、他のカメラユニットを動画像撮影用として使用するにしても、表示装置に対して一つの全体画像を表示するもので、全体画像の撮影領域と表示されるモニタリング画像の領域とが同一とされていた。したがって、全体画像を大きなものとすると、更新時間が長くする問題があった。
【０００５】
さらに、夜間の監視のためには、赤外線カメラが有効であるが、赤外線カメラは、モノクロ画像しか表示できず、たとえ赤外線カメラで対象物を認識しても、対象物の特定等の情報が不足する問題があった。かかる問題は、全体画像を形成するために一つのカメラユニットしかモニタリングシステムによって解決することができない。
【０００６】
したがって、この発明は、複数のカメラユニットにより撮影される複数の全体画像を所望の混合比によって混合して効果的なモニタリングを可能とするモニタリングシステム、並びにカメラおよび表示部制御装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、この発明は、第１の撮像素子と、第１の撮像素子の撮像方向を可変する第１の撮像方向制御部とを有する第１のカメラユニットと、
第２の撮像素子と、第２の撮像素子の撮像方向を可変する第２の撮像方向制御部とを有する第２のカメラユニットと、
ほぼ水平方向に配列され、モニタリング画像を表示する複数の表示装置と、
第１および第２のカメラユニットの撮像信号を混合部において混合してモニタリング画像の表示信号を生成する画像処理部と、
第１および第２の撮像方向制御部を制御して第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、混合部に対する混合比を指示する混合比設定部と、第１および第２の撮像素子のそれぞれの撮像信号を画像処理部に対して出力する出力部とを有するカメラおよび表示装置制御部とを備え、
カメラおよび表示装置制御部のカメラユニット制御部は、第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
カメラおよび表示装置制御部の混合比設定部は、混合比を設定するための第２の入出力装置を有する
モニタリングシステムである。
【０００８】
この発明は、第１および第２の撮像方向制御部を制御して第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、
ほぼ水平方向に配列された複数の表示装置に表示されるモニタリング画像の領域を設定する表示領域制御部と、
第１および第２の撮像素子のそれぞれの撮像信号を表示装置に対して出力する表示信号出力部とを有し、
カメラユニット制御部は、第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
カメラおよび表示装置制御部の混合比設定部は、混合比を設定するための第２の入出力装置を有する
カメラおよび表示部制御装置である。
【発明の効果】
【０００９】
この発明は、第１および第２のカメラユニットの撮影画像から形成された第１および第２の全体画像を混合比設定部によって設定された所望の混合比でもって混合できる。混合比の設定によって、全体画像の更新時間を短くしたり、昼間のモニタリングと夜間のモニタリングとを切り替えることができ、効果的なモニタリングを行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の全体の構成を示す。一実施の形態では、複数のカメラユニット例えば４台のカメラユニット１1，１2，１3，１4が使用される。これらのカメラユニット１1〜１4は、例えばビルの屋上に設置され、屋外での使用に耐えるように、ケース内に収納されている。カメラユニット１1〜１4のカメラ部は、望遠レンズを有し、離れた場所を撮影可能とされている。
【００１１】
カメラユニット１1〜１4は、それぞれ撮像部と、撮像信号の処理部と、撮影方向を設定するための旋回台とを有している。複数のカメラユニットの内で、２台のカメラユニット１1および１2の撮像部が可視光カメラ例えばＨＤ(High Definition)カメラであり、残り
の２台のカメラユニット１3および１4の撮像部が赤外線カメラである。赤外線カメラは、対象物から出ている赤外線エネルギーを検出し、温度に変換し、温度分布を画像として表示するものである。ＨＤカメラの撮影画像は、カラー画像であるのに対して、赤外線カメラの撮影画像は、温度が高いほど白くなるようなモノクロ画像である。通常、赤外線カメラの画素数は、ＨＤカメラのに比して少ない。
【００１２】
カメラユニット１1〜１4のそれぞれは、旋回台によって、水平方向（パン方向）に例えば２７０°回転可能とされ、垂直方向（チルト方向）に３０°回転可能とされている。カメラユニット１1〜１4のそれぞれからは、例えばＪＰＥＧにより圧縮された画像データと、画像データに関連する撮影データ（以下、メタデータと適宜称する）とが得られる。
【００１３】
圧縮画像データおよび撮影データがネットワーク例えば有線ＬＡＮ(Local Area Network)を介してカメラおよび表示部制御装置としてのカメラ・表示コントローラ１１に対して伝送される。カメラ・表示コントローラ１１は、カメラユニット１1〜１4と、マルチスクリーン表示装置２１との両者と接続されている。カメラ・表示コントローラ１１は、ユーザが操作情報を入力するためのＧＵＩの構成の入出力装置（以下、Ｉ／Ｏと適宜称する）１２を有する。
【００１４】
すなわち、Ｉ／Ｏ１２は、画面上にウィンドウ、アイコン、ボタン等のグラフィックスが表示され、それらの中から目的とするグラフィックスをポインティングデバイスで選択する構成とされている。Ｉ／Ｏ１２は、後述するように、カメラユニット１1〜１4の撮像方向制御部の最大可動範囲の領域において、各撮像方向で撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる全体画像の領域を設定するためのＩ／Ｏとしての機能と、カメラユニット１1〜
１4の撮影画像の画質を調整するためのＩ／Ｏとしての機能と、マルチスクリーン表示装
置２１に記録されるモニタリング画像の領域を設定するためのＩ／Ｏとしての機能と、カメラユニット１1〜１4により作成された全体画像を混合する場合の混合比を設定するためのＩ／Ｏとしての機能と、撮像方向を固定して所定時間間隔で画像を取り込む動画像の撮影を行うカメラユニットを設定するためのＩ／Ｏとしての機能を有する。カメラ・表示コントローラ１１は、カメラユニット１1〜１4のそれぞれの撮影画像の画質等を制御し、処理後の撮影データをＬＡＮを介してマルチスクリーン表示装置２１に送出する。
【００１５】
マルチスクリーン表示装置２１は、複数例えば８台のディスプレイ２２1，２２2，２２3，・・・・，２２8を水平方向に並べたものである。ディスプレイ２２1〜２２8としては、ＬＣＤ（Liquid Crystal Display)，ＰＤＰ(Plasma Display Panel)等の市販されてい
るＦＰＤ(Flat Panel Display)が使用される。ディスプレイ２２1〜２２8のサイズは、設置場所等を考慮して適切に選定される。例えば１７インチのＬＣＤコンピュータディスプレイを使用できる。また、ディスプレイ２２1〜２２8は、互いが接する側面の隙間がなるべく少なくなるように配置される。ディスプレイ２２1〜２２8に対して画像処理部２３1〜２３8からの表示信号が供給される。
【００１６】
マルチスクリーン表示装置２１に表示される画像およびメタデータが必要に応じて蓄積部３１に蓄積される。蓄積部３１としては、例えばハードディスクレコーダを使用することができる。
【００１７】
この発明の一実施の形態によるモニタリングシステムについてより詳細に説明する。図２、図３および図４は、モニタリングシステムの信号処理のための構成を示す。図２は、主としてカメラユニット１1〜１4に関するもので、図３は、主としてカメラ・表示コントローラ１１に関するもので、図４が主としてマルチスクリーン表示装置２１に関するものである。
【００１８】
カメラユニット１1は、カメラユニット１1を制御するためのシステムコントローラ２を有する。システムコントローラ２は、カメラ・表示コントローラ１１のカメラコントローラ１３とコントロールバス１４でもって接続され、カメラコントローラ１１とシステムコントローラ２との間で通信が行われ、カメラコントローラ１１がシステムコントローラ２を介してカメラユニット１1を制御することが可能とされている。システムコントローラ
２およびカメラコントローラ１３は、それぞれＣＰＵ(Central Processing Unit)と、プ
ログラム格納用のＲＯＭ、作業用メモリ領域を提供するＲＡＭ、調整データ等を記憶するための不揮発性メモリ等で構成されている。
【００１９】
コントロールバス１４に対してパンモータ、チルトモータを有する旋回台３が接続され、旋回台３カメラコントローラ１３およびシステムコントローラ２によって制御してカメラユニット１1の撮影方向を設定することが可能とされている。それによってＩ／Ｏ１２
の操作で指定された範囲の画像を撮影することができる。すなわち、撮像中心を画角分移動させる毎に、シャッターがオンされ、画素数に応じた時間間隔で静止画像が撮影される。また、撮影方向を固定した状態で撮影を行うことで、所定時間間隔のフレームが連続する動画像を得ることができる。
【００２０】
カメラユニット１1は、ズームレンズ、フォーカスレンズ、絞りを有するレンズ４と、
レンズ４を介して入射された被写体光を撮像信号に変換する撮像素子例えばＣＣＤ（Charge Coupled Device)５とを有する。ＣＣＤ５は、ＸＧＡ（eXtended Graphics Array,1024×768 画素）画像、ＳＸＧＡ（Super eXtended Graphics Array,1280×1024画素）画像等の画素数を有する。
【００２１】
縦方向でＭ枚（例えば３枚）、横方向でＮ枚（例えば８枚）の合計（Ｍ×Ｎ＝３×８＝２４枚）のフレームが順番に撮影され、これらを圧縮する。各フレームが例えばＳＸＧＡ画像である。したがって、２４枚のフレームは、重複部分を無視し、約１億画素の全体画像を形成する。但し、この画素数は、可視光カメラのカメラユニット１1および１2によって得られるもので、赤外線カメラであるカメラユニット１3および１4の場合の全体画像（Ｍ×Ｎ）の画素数は、より少なく、例えば１６００万画素である。
【００２２】
カメラユニット１1は、例えば外部からのトリガーと同期してシャッターをオンできる
ディジタルカメラである。シャッター速度等は、ディジタルカメラと同様に、設定可能とされ、例えば昼と夜とでシャッター速度等の撮影条件を切り替えることが可能とされている。例えば昼では、１／１５秒で１枚の画像が取得され、夜では、２秒で１枚の画像が取得される。さらに、旋回台３の動きに対応してレンズ部の所定のレンズをシフトさせて、パン方向およびチルト方向の動きを打ち消してブレのない静止画像を得られる。
【００２３】
カメラユニット１1〜１4のそれぞれには、位置を検出するためのＧＰＳ（Global Positioning System ）（図示しない）が備えられている。ＧＰＳを備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳの出力信号等が図示しないメタデータ生成部に供給され、位置情報（緯度・経度、方位、高度等の情報）、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）等のメタデータが生成される。メタデータは、撮影画像の各フレームごとに付加されている。なお、ＧＰＳの出力を使用して撮影方向をフィードバック制御する方法に限らず、旋回台３に設けられている水平方向および垂直方向の位置検出器の検出に基づくオープンループ制御も可能である。
【００２４】
ＣＣＤ５からの撮像信号が信号処理部６に供給される。信号処理部６は、撮像信号を処理するアナログ信号処理部および撮像信号に対してホワイトバランス等の画質を調整するディジタル信号処理部からなる。信号処理部６から出力される撮像信号（カラービデオ信号）がバッファメモリ７に記憶される。バッファメモリ７に対してＪＰＥＧ（Joint Photographic Experts Group)エンコーダ８が接続される。ＪＰＥＧエンコーダ８によって、
各画像が圧縮される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００２５】
また、ＪＰＥＧエンコーダ８において、位置情報、撮影条件、撮影方向等の情報を有するメタデータが付加される。圧縮後のビデオデータがバス９1を通じてカメラ・表示コン
トローラ１１に対して出力される。
【００２６】
上述したカメラユニット１1と同様の構成をカメラユニット１2が有している。また、カメラユニット１3および１4は、基本的にカメラユニット１1の構成と同様である。但し、
カメラユニット１3および１4は、撮像部と撮像信号処理が赤外線カメラ（サーマルカメラ）の構成を有している。赤外線カメラは、対象物から出ている赤外線エネルギーを検出し、温度に変換し、温度分布を画像として表示するものであり、モノクロ画像である。カメラユニット１2、１3および１4のそれぞれのＪＰＥＧ圧縮ビデオデータがバス９2、９3お
よび９4を介してカメラ・表示コントローラ１１に対して出力される。
【００２７】
図３に示すように、バス９1〜９4を介してカメラ・表示コントローラ１１のバッファメモリ１５にカメラユニット１1〜１4からの圧縮ビデオデータが蓄えられる。バッファメモリ１５に対してＪＰＥＧデコーダ１６が接続される。ＪＰＥＧデコーダ１６は、圧縮ビデオデータを復号（伸張）すると共に、メタデータを分離する。分離されたメタデータがコントロールバス１４を介してカメラコントローラ１３（図２参照）に供給される。
【００２８】
ＪＰＥＧデコーダ１６からのビデオデータがメモリ１７1、１７2、１７3、１７4に対して格納される。メモリ１７1〜１７4は、カメラユニット１1〜１4で撮影されたビデオデータをレイヤー１〜レイヤー４のデータとして蓄えるためのもの例えば画用紙としての機能を有するものである。メモリ１７1〜１７4は、カメラユニット１1〜１4の撮影画像を独立して蓄える。カメラユニット１1〜１4の撮影画像に関して、撮影位置の初期補正がなされている。例えばカメラユニット１1の画像を基準として、カメラユニット１2の画像、カメラユニット１3の画像およびカメラユニット１4の画像が画用紙を透かして重ねた場合に、丁度位置が合うように、上下左右の位置補正と回転方向の位置補正とがなされる。例えば４台のカメラユニット１1〜１4の画像が完全に一致した時の旋回台３の位置制御情報が記憶される。
【００２９】
メモリ１７1〜１７4から読み出されたビデオデータが画像圧縮部１８に供給される。この発明の一実施の形態では、カメラユニット１1〜１4の撮影画像の解像度がマルチスクリーン表示装置２１のディスプレイ２２1〜２２8の解像度より高いために、画像圧縮部１８において、撮影画像の解像度をディスプレイ２２1〜２２8に合うように圧縮している。画像圧縮部１８の圧縮比は、所望の値に設定可能としても良い。画像圧縮部１８が表示信号出力部である。
【００３０】
画像圧縮部１８により圧縮された各カメラユニットのビデオデータがＪＰＥＧエンコーダ１９に供給され、圧縮される。ＪＰＥＧエンコーダ１９により圧縮されたビデオデータが線２０1〜２０4（実際には、ＬＡＮ送信部、コネクタ、ＬＡＮケーブル等）を介してマルチスクリーン表示装置２１に対して供給される。
【００３１】
図４に示すように、マルチスクリーン表示装置２１は、ＬＡＮ受信部２４を介して圧縮ビデオデータを受信する。なお、コントロールバス１４をＬＡＮと別の線としているが、コントロール信号の伝送をＬＡＮによって行うようにしても良い。
【００３２】
マルチスクリーン表示装置２１は、例えば８台のディスプレイ２２1〜２２8と、各ディスプレイに対する表示信号を形成するための画像処理部２３1〜２３8とを有している。ディスプレイ２２1〜２２8に対しては、それぞれＩＤ＝１からＩＤ＝８が付与され、ＩＤによってディスプレイを識別可能としている。画像処理部２３1〜２３8は、互いに同一の構成を有するので、ディスプレイ２２1と接続された画像処理部２３1について説明する。なお、ディスプレイの数と等しい数の画像処理部を設ける必要はなく、より少ない数の画像処理部例えばパーソナルコンピュータによって各ディスプレイに対する表示信号を生成しても良い。
【００３３】
ＬＡＮ受信部２４からの信号がフィルタ２５に供給される。フィルタ２５は、ディスプレイ２２1（ＩＤ＝１）に対応した画像データを選択的に受信する。フィルタ２５で選択
された画像データがバッファメモリ２６に格納される。バッファメモリ２６は、カメラコントローラ１３のＣＰＵの処理が集中したときに一時的にデータを蓄え、ＣＰＵが空きしだいデータを処理するようになされる。バッファメモリ２６に接続されたＪＰＥＧデコーダ２７によって、復号（伸張）処理がなされ，画像データが得られる。
【００３４】
ＪＰＥＧデコーダ２７で復号された画像データは、レイヤー１〜レイヤー４のメモリ２８に格納される。この一実施の形態では、４台のカメラユニット１1〜１4を使用しており、受信し、復号して得られた画像データが各レイヤーに展開される。このメモリ２８に格納される画像データは、ディスプレイ２２1の表示領域に表示される画像データである。
他の画像処理部２３2〜２３8のそれぞれのメモリに対しても、同様に、ディスプレイ２２2〜２２8に表示される画像データが格納される。
【００３５】
メモリ２８に対してグラフィックコントローラ２９が接続される。グラフィックコントローラ２９は、コントロールバス１４を介してカメラ・表示コントローラ１１のカメラコントロール１３からの指示にしたがって、複数のカメラの撮影画像データを処理してディスプレイ２２1に表示する表示信号を形成する。
【００３６】
他の画像処理部２３2〜２３8のグラフィックコントローラも、複数のカメラの撮影画像データをそれぞれ処理してディスプレイ２２2〜２２8にそれぞれ表示する表示信号を形成する。グラフィックコントローラ２９の主な機能は、４台のカメラの内の複数のカメラの画像データをカメラ・表示コントローラ１１のＩ／Ｏ１２およびカメラコントローラ１３によって指示された比率でもって混合する。なお、この発明において混合比は、混合比を１と０と設定することによって、一方の信号のみを選択するスイッチングも含むものである。
【００３７】
図５は、全体画像を作成するために、カメラユニット例えばカメラユニット１1がパン
動作およびチルト動作によって所定領域を撮影する動作を示す。カメラユニット１1が旋
回台３上に設置され、ホームポジションから撮像方向が可変される。図５において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ部側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションが例えば（Ｍ，Ｎ）＝（１，１）の座標のフレームを撮影する位置とされる。
【００３８】
（１，１）の座標位置のフレームを撮影すると、カメラユニット１1がパンされ、（１
，２）の座標位置のフレームが撮影され、以下、順に（１，３）・・・・、（１，Ｎ）の座標位置のフレームが撮影され、次に第２行の座標位置（２，Ｎ）のフレームが撮影され、以下、順に（２，Ｎ−１）・・・・、（２，１）の座標位置のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。各フレームが他のフレームと所定画素分の重複部分を有する。
【００３９】
このように、カメラユニットが撮影方向を可変して全体画像が作成され、各カメラユニットの全体画像を画像処理部２３1〜２３8のグラフィックコントローラ２９によって混合してモニタリング画像が作成される。モニタリング画像の作成動作がモニタリング動作と称される。各カメラユニットの可変範囲は、例えばパン方向が２７０°、チルト方向で３０°とされている。この最大可動範囲内で撮影する位置と全体画像の形状（Ｍおよび／またはＮの値）とが設定可能とされている。形状は、（３×８）（６×９）等複数種類が選択可能とされている。各フレームの画像に対して全体画像中の座標位置を示す情報がメタデータとして付加されている。
【００４０】
さらに、全体画像の中の一つのフレームの位置に撮影方向を固定することによって、所定時間間隔の静止画像からなる動画像を得ることができる。動画像を得る動作がライブと称される。多数のフレームからなる全体画像に対して、動画像を合成することができる。この合成処理も、グラフィックコントローラ２９の混合比を制御することによって行うことができる。
【００４１】
マルチスクリーン表示装置２１のディスプレイ２２1〜２２8には、図６に示すように、横方向に連結したモニタリング画像Ｄが表示される。各カメラユニットのＨＤカメラがＳＸＧＡ画像を出力するので、各ディスプレイの画像ｄ１〜ｄ８を連結したモニタリング画像Ｄは、十分解像度が高いものとなる。また、モニタリングにとって不要な操作用のＧＵＩ表示等が含まれないので、モニタリング画像Ｄがシンプルとなり、モニタリングが容易となる。
【００４２】
この発明の一実施の形態では、カメラ・表示コントローラ１１において、４台のカメラユニット１1〜１4が撮影する（Ｍ×Ｎ）の全体画像の領域と、マルチスクリーン表示装置２１が表示するモニタリング画像の領域とが独立して設定され、また、４台のカメラユニット１1〜１4のそれぞれの撮影画像によって作成される全体画像の領域も独立して設定される。図７に示すように、各カメラユニットの撮影画像から形成された全体画像をＰ１〜Ｐ４として表記し、カメラユニット１1〜１4が撮影しうる最大可動範囲を枠４１で示す。
【００４３】
図７Ａに示す例では、カメラユニット１1〜１4がそれぞれ撮影した全体画像Ｐ１〜Ｐ４が同一位置で、等しい形状で、さらに、全体画像Ｐ１〜Ｐ４がモニタリング画像Ｄとほぼ同一の形状および位置に設定されている。モニタリング画像Ｄは、全体画像Ｐ１〜Ｐ４が合成された画像となる。
【００４４】
図７Ｂに示す例は、カメラユニット１1〜１4がそれぞれ撮影した全体画像Ｐ１〜Ｐ４が同一形状であるが、位置が異なる場合を示す。また、モニタリング画像Ｄは、全体画像の形状と異なる。モニタリング画像Ｄは、全体画像Ｐ１〜Ｐ４のそれぞれと、斜線領域で示す全体画像の重なった領域とによって構成される。
【００４５】
図７Ｃに示す例では、全体画像Ｐ１〜Ｐ４の形状が同一であり、全体画像Ｐ１およびＰ３の位置が同一であり、全体画像Ｐ２およびＰ４の位置が同一である。また、全体画像Ｐ１〜Ｐ４がそれぞれモニタリング画像Ｄのほぼ半分の大きさとされている。モニタリング画像Ｄは、全体画像Ｐ１およびＰ３の合成画像と、全体画像Ｐ２およびＰ４の合成画像とによって構成される。
【００４６】
さらに、図７Ｄに示す例では、全体画像Ｐ１〜Ｐ４の形状および位置が互いに異なり、モニタリング画像Ｄが全体画像Ｐ１〜Ｐ４のそれぞれの部分画像によって構成される。モニタリング画像Ｄには、全体画像が重なり合った領域（斜線領域）が存在し、また、全体画像が欠落している領域が存在する。
【００４７】
上述したように、各カメラユニットの全体画像の位置および形状が独立に設定でき、また、モニタリング画像Ｄとして表示される領域も任意に設定することができる。そのことによって、モニタリング画像Ｄの更新時間を短縮化することができる。図７Ｃに示した例のように、モニタリング画像Ｄを２組のカメラユニットによって構成することによって、各カメラユニットの撮影するフレーム枚数を減少させることができ、フレームの更新に要する時間を短縮化できる。画像の更新が速いことは、モニタリングシステムにとって大きな利点である。また、広い範囲の全体画像と、狭い範囲の全体画像とを組み合わせれば、監視を重点的に行う場所は、狭い範囲で撮影して更新速度を速くし、広域は、広い範囲の全体画像が受け持つことができる。
【００４８】
さらに、複数の全体画像を合成することは、赤外線カメラのモノクロ画像に対して、可視光カメラ（カメラユニット１1および１2）の全体画像によってカラー画像として、赤外線カメラが捕捉した対象物を正確に認識することを可能とする。夜間において、通常の可視光カメラの場合でも、シャッター速度が数秒のように遅く設定する蓄積モードを使用すれば、夜間でも撮影可能であり、赤外線カメラの全体画像と合成して対象物の色等を表示することができる。
【００４９】
図８を撮影してこの発明の一実施形態によるＧＵＩの画面について説明する。このＧＵＩ画面は、カメラコントローラ１３の制御によって、カメラ・表示コントローラ１１のＩ／Ｏ１２に含まれるディスプレイ上に表示される。ＧＵＩを構成する表示部は、主として確認画像ウィンドウ５１と、設定用画像ウィンドウ５２と、カメラ制御ウィンドウ５３および５４と、モニタリング画像制御表示部５５とが含まれる。また、メニューバー、タイトルバー等の操作によってメニューを設定したり、カメラユニットのズーム動作を制御することが可能とされている。
【００５０】
確認画像ウィンドウ５１には、マルチスクリーン表示装置２１によって表示されるモニタリング画像と同様の画像が表示される。確認画像ウィンドウ５１がマルチスクリーン表示装置２１に比して横方向に短い場合には、適切に横方向が圧縮される。このウィンドウ５１に表示される画像は、どのようなモニタリング画像が表示されているかを確認するために使用され、縮小した画像を連結して作成される。
【００５１】
設定用画像ウィンドウ５２は、カメラユニット１1〜１4が可動できる最大範囲を表示する。設定用画像ウィンドウ５２には、カメラユニット１1〜１4のそれぞれの現に撮影する全体画像の領域表示と、マルチスクリーン表示装置２１で表示されるモニタリング画像の領域表示とが表示される。例えば各カメラユニットの全体画像が互いに異なる色の領域表示６１として表示され、モニタリング画像の表示領域が白い枠の領域表示６２として表示される。なお、領域表示６１および６２は、一例であって、十字の線等の種々の表示が可能である。
【００５２】
各カメラユニットの撮影方向および撮影範囲を変化させると、全体画像を示す領域表示６１の位置が変化する。同様に、モニタリング画像として表示される領域の位置および大きさを変えると、モニタリング画像を示す領域表示６２の位置および大きさが変化する。例えば前述したような図７Ａに乃至図７Ｄに示す表示の何れかの表示がなされる。
【００５３】
なお、位置調整または設定用のウィンドウを表示しないで、領域表示６１を移動させて設定ボタンを押すと、その領域表示６１の全体画像を撮影するような制御を行っても良い。
【００５４】
カメラ制御ウィンドウ５３および５４は、全体画像の領域と、撮影画像の画質と、動画像のカメラユニットを設定するためのウィンドウである。カメラ制御ウィンドウ５３および５４のそれぞれには、異なるカメラユニットの制御画像が表示される。これらのカメラ制御ウィンドウ５３および５４は、同一の構成であって、それぞれには、撮影中の画像の撮影画像ウィンドウ７１ａ、７１ｂと、カメラユニット選択部７２ａ、７２ｂと、画質調整ウィンドウ７３ａ、７３ｂと、位置および形状調整ウィンドウ７４ａ、７４ｂと、チェックボックス７５ａ、７５ｂとが含まれる。
【００５５】
画像ウィンドウ７１ａ、７１ｂには、調整時において、現に撮影している画像が表示される。カメラユニット選択部７２ａ、７２ｂは、４台のカメラユニットの内の何れを選択するかを指定するための表示部である。
【００５６】
画質調整ウィンドウ７３ａ、７３ｂは、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。ボタンを押す等の操作によって、カメラコントローラ１３によってカメラユニットのそれぞれのアイリス、ホワイトバランス等が制御される。二つの画像ウィンドウ７１ａ、７１ｂに表示されている撮影画像を見比べて、二つの撮影画像の明るさ、色合い等のバラツキが補正される画質調整ウィンドウ７３ａ、７３ｂ。
【００５７】
位置および形状調整ウィンドウ７４ａ、７４ｂは、各カメラユニットの初期的な位置合わせと、撮影方向の設定と、撮影画像の形状の選択とのために使用される。初期的な位置合わせは、図示しないが、画像ウィンドウ７１ａ、７１ｂに調整用画面が表示され、例えばカメラユニット１1の撮影画像を基準として、他のカメラユニット１2〜１3の撮影画像
の位置の初期的なずれが補正される。調整用画面は、最大可動範囲内の複数の箇所における水平方向および垂直方向の位置の表示と、水平方向および垂直方向の位置調整ボタンとを含み、位置調整ボタンをカーソルで選択して、マウスをクリックすることで行うことができる。
【００５８】
また、撮影方向の設定のために、図示しないが、画像ウィンドウ７１ａ、７１ｂに設定用の画面が表示され、各カメラユニットの撮影画像の位置が設定される。設定用画面は、水平方向および垂直方向の位置の表示と、水平方向および垂直方向の位置調整ボタンとを含み、位置調整ボタンをカーソルで選択して、マウスをクリックすることで行うことができる。撮影方向の制御信号がカメラユニットのそれぞれのシステムコントローラ２に伝送され、システムコントローラ２によって旋回台３が制御される。
【００５９】
さらに、撮影画像の形状（Ｍ×Ｎ）が選択的に決定される。例えば（３×８）（６×９）等の複数の形状の中から一つを選択するようになされる。撮影画像の位置と形状の設定に応じて、確認画像ウィンドウ５１に表示される各カメラユニットの全体画像に対応する領域表示６１の位置および大きさが変化する。
【００６０】
さらに、チェックボックス７５ａ、７５ｂは、選択したカメラユニットを動画像撮影用に設定するか否かを指定するものである。チェックを入れると、選択したカメラユニットが動画像撮影用のカメラユニットに設定される。動画像撮影時には、カメラユニットの撮影方向が設定した方向に固定される。例えば設定用画像ウィンドウ５２上において、カーソルを動画像撮影位置（例えば中心位置）に位置させ、マウスを左クリックすると、その位置の動画像が撮影される。この場合、マウスを左クリックした場合には、可視比カメラにより動画像が撮影されるように設定され、マウスを右クリックした場合には、赤外線カメラにより動画像が撮影されるように設定される。なお、動画像の位置は、ディスプレイ２２1〜２２8の境界位置に存在することも可能である。
【００６１】
モニタリング画像制御表示部５５は、モニタリング画像の位置および大きさを選択するウィンドウ８１と，モニタリングの開始ボタン８２ａおよびモニタリングの停止ボタン８２ｂと、混合比制御ウィンドウ８３とから構成されている。
【００６２】
マルチスクリーン表示装置２１のディスプレイの個数および配置は、固定されているので、モニタリング画像として表示される領域の形状は、所定のものとされている。但し、拡大ボタン８４ａおよび縮小ボタン８４ｂを操作することによって、モニタリング画像として表示される領域の大きさを可変することができる。さらに、モニタリング画像として表示される領域の位置が方向キー８５によって移動可能とされている。モニタリング画像の表示領域の設定に応じて設定用画像ウィンドウ５２において、モニタリング画像の表示領域６２の位置および大きさが変化する。
【００６３】
ウィンドウ８１の操作によって得られたモニタリング画像の表示領域の位置および大きさの情報がマルチスクリーン表示装置２１の画像処理部２３1〜２３8に伝送され、所望のモニタリング画像が表示される。
【００６４】
モニタリングの開始ボタン８２ａおよびモニタリングの停止ボタン８２ｂは、カメラユニットの全体画像作成動作の開始／停止を制御するためのボタンである。モニタリング開始ボタン８２ａをクリックすることによって、全体画像作成動作が開始し、モニタリング停止ボタン８２ｂをクリックすることによって、全体画像作成動作が停止する。
【００６５】
混合比制御ウィンドウ８３は、通常の可視光カメラユニット１1または１2の撮影画像と、赤外線カメラ１3または１4の撮影画像との混合比を制御するレバー状の表示である。可視光カメラユニット１1または１2の撮影画像の比率を赤外線カメラ１3または１4の撮影画像に比して高くするほど、明るい画像となる。二つの混合比設定ウィンドウ８６ａおよび８６ｂは、それぞれ全体画像同士の混合比と、全体画像に対する動画像の混合比とを別々に設定するためのものである。
【００６６】
混合比制御ウィンドウ８３の操作によって得られた混合比の情報がマルチスクリーン表示装置２１の画像処理部２３1〜２３8のグラフィックコントローラ２９に伝送され、所望の混合比で合成されたモニタリング画像が表示される。
【００６７】
上述したこの発明の一実施の形態においての動作の概略的流れを説明する。最初に、ウィンドウ５２およびカメラ制御ウィンドウ５３、５４を操作して、各カメラユニットの全体画像の中心位置と、形状（Ｍ×Ｎ）が設定される。また、各カメラユニットの撮影画像の画質のバラツキが補正される。
【００６８】
次に、モニタリング画像制御表示部５５を操作することによって、マルチスクリーン表示装置２１の表示領域の位置と大きさが設定される。設定動作が終了すると、全体画像作成動作の開始ボタン８２ａが押される。
【００６９】
各カメラユニットの旋回台３は、システムコントローラ２およびカメラコントローラ３によって、設定用画像ウィンドウ５２において設定された位置および形状の全体画像を撮影するように制御される。ウィンドウ５２の表示座標とカメラユニットの撮影方向とが対応付けされている。また、ライブ画像を撮影するように設定されているカメラユニットは、撮影方向が設定された位置に固定とされて、所定時間間隔で静止画像を撮影する。
【００７０】
各カメラユニットからの撮像信号がカメラ・表示コントローラ１１からマルチスクリーン表示装置２１に対して出力される。マルチスクリーン表示装置２１の画像処理部２３1
〜２３8によって各ディスプレイ２２1〜２２8に対して供給される表示信号が形成される
。画像処理部２３1 〜２３8のグラフィックコントローラ２９において、各カメラユニッ
トの画像信号（全体画像信号またはライブ画像信号）が混合比制御ウィンドウ８３において指定された混合比でもって混合される。
【００７１】
上述したこの発明の一実施の形態において、カメラ・表示コントローラ１１のＩ／Ｏ部１２を制御することによって形成されるモニタリング画像のいくつかの例について説明する。図９に示すように、カメラユニット１1〜１4によってそれぞれ作成された全体画像Ｐ１，Ｐ２，Ｐ３およびＰ４を設定した混合比によってミックスしてモニタリング画像Ｄが得られる。なお、可視光カメラ（カメラユニット１1および１2）の画像を実線で表し、赤外線カメラ（カメラユニット１3および１4）の画像を実線で表し、合成画像は、実線または破線で表す。
【００７２】
混合比制御ウィンドウ８３の混合比設定ウィンドウ８６ａによって、昼間では、可視光カメラ（カメラユニット１1および１2）の画像の混合比を赤外線カメラ（カメラユニット１3および１4）の画像の混合比より高いものとされる。夜間では、可視光カメラ（カメラユニット１1および１2）が蓄積モードで動作するように制御され、赤外線カメラ（カメラユニット１3および１4）の画像の混合比がより高いものとされる。最大で、一方のカメラユニットの画像のみとされる。特に、夜間では、モノクロである赤外線カメラの撮影画像に対して可視光カメラの全体画像が混合されるので、温度が比較的高い対象物の色、対象物の位置している場所等をより正確に認識することが可能となる。
【００７３】
図１０に示すように、チェックボックスに対してチェックを行う操作によって、１台のカメラユニット例えばカメラユニット１2のみがライブ画像（動画像）Ｐ２を撮影するよ
うに設定しても良い。ライブ画像を得るための撮影方向は、所望のものに設定できる。他の全体画像Ｐ１，Ｐ３およびＰ４に対して，ライブ画像Ｐ２を合成することによって、図１０に示すようなモニタリング画像Ｄを得ることができる。ライブ画像Ｐ２を得る場合に、カメラユニット１2のズーム動作が制御され、ズームアップするようになされることが
好ましい。それによって、部分的にズームアップされた動画像を表示し、モニタリングを容易とすることができる。ライブ画像Ｐ２は、他の全体画像と混合する場合と、混合しない場合との何れでも可能である。
【００７４】
図１０に示すようなモニタリング画像Ｄの場合では、広域を混合した全体画像によってモニタリングしており、その中で特に注意を要する領域に対しては、ライブ画像を表示することができる。この方法は、全体画像の更新時間に比して、ライブ画像の更新時間が短いので、モニタリングを効果的に行うことができる。
【００７５】
図１１に示すように、カメラユニット１2および１3がライブ画像を撮影するようにしても良い。上述したように、カメラユニット１2が可視光カメラであり、カメラユニット１3が赤外線カメラであるので、その特徴ういかしたライブ画像Ｐ２およびＰ３を取得することができる。例えば図１１に示すモニタリング画像Ｄにおいて、物体の陰になるような場所は、赤外線カメラ１3のライブ画像Ｐ３で監視することが可能である。なお、図１１の
例においても、ライブ画像Ｐ２およびＰ３としては、ズームアップされた画像とされることで、モニタリングを効果的に行うことができる。
【００７６】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施形態におけるマルチスクリーン表示装置のディスプレイの枚数等の数値は、一例であって、種々の枚数の表示装置を使用できる。
【図面の簡単な説明】
【００７７】
【図１】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図２】この発明の一実施形態におけるカメラユニットに関する構成を主として示すブロック図である。
【図３】この発明の一実施形態におけるカメラ・表示コントローラに関する構成を主として示すブロック図である。
【図４】この発明の一実施形態におけるマルチスクリーン表示装置に関する構成を主として示すブロック図である。
【図５】この発明の一実施形態における全体画像作成動作の一例を説明するための略線図である。
【図６】この発明の一実施形態におけるマルチスクリーン表示装置の表示例を説明するための略線図である。
【図７】この発明の一実施形態における各カメラユニットにより得られる全体画像の領域と、マルチスクリーン表示装置による表示領域との関係のいくつかの例を示す略線図である。
【図８】この発明の一実施形態におけるカメラ・表示コントローラのＧＵＩの画面の一例を示す略線図である。
【図９】この発明の一実施形態におけるモニタリング画像の一例を説明するための略線図である。
【図１０】この発明の一実施形態におけるモニタリング画像の他の例を説明するための略線図である。
【図１１】この発明の一実施形態におけるモニタリング画像のさらに他の例を説明するための略線図である。
【符号の説明】
【００７８】
１1〜１4 カメラユニット
２ システムコントローラ
３ 旋回台
５ ＣＣＤ
６ 信号処理部
１１ カメラ・表示コントローラ
１７1〜１７4 メモリ
２１ マルチスクリーン表示装置
２２1〜２２8 ディスプレイ
２８ メモリ
２９ グラフィックコントローラ
Ｄ モニタリング画像
Ｐ１〜Ｐ４ 全体画像
５２ 設定用画像ウィンドウ
５３，５４ カメラ制御ウィンドウ
５５ モニタリング画像制御表示部
６１ 全体画像を示す領域表示
６３ モニタリング画像を示す領域表示
【技術分野】
【０００１】
この発明は、広域のモニタリングに適用されるモニタリングシステム、並びにカメラおよび表示部制御装置に関する。
【背景技術】
【０００２】
従来、広範囲の状況を監視するために、テレビジョンカメラを使用するモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。このモニタリングシステムとして、カメラの撮影範囲を順にずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている（例えば下記特許文献１を参照）。多数の静止画像を連結することで生成される連結画像（以下、全体画像と適宜称する）は、極めて高解像度の画像とすることができる。したがって、全体画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、拡大画像であっても鮮明な画像を得ることができる。
【０００３】
【特許文献１】特開２００３−３２４７１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のものは、他のカメラユニットを動画像撮影用として使用するにしても、表示装置に対して一つの全体画像を表示するもので、全体画像の撮影領域と表示されるモニタリング画像の領域とが同一とされていた。したがって、全体画像を大きなものとすると、更新時間が長くする問題があった。
【０００５】
さらに、夜間の監視のためには、赤外線カメラが有効であるが、赤外線カメラは、モノクロ画像しか表示できず、たとえ赤外線カメラで対象物を認識しても、対象物の特定等の情報が不足する問題があった。かかる問題は、全体画像を形成するために一つのカメラユニットしかモニタリングシステムによって解決することができない。
【０００６】
したがって、この発明は、複数のカメラユニットにより撮影される複数の全体画像を所望の混合比によって混合して効果的なモニタリングを可能とするモニタリングシステム、並びにカメラおよび表示部制御装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、この発明は、第１の撮像素子と、第１の撮像素子の撮像方向を可変する第１の撮像方向制御部とを有する第１のカメラユニットと、
第２の撮像素子と、第２の撮像素子の撮像方向を可変する第２の撮像方向制御部とを有する第２のカメラユニットと、
ほぼ水平方向に配列され、モニタリング画像を表示する複数の表示装置と、
第１および第２のカメラユニットの撮像信号を混合部において混合してモニタリング画像の表示信号を生成する画像処理部と、
第１および第２の撮像方向制御部を制御して第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、混合部に対する混合比を指示する混合比設定部と、第１および第２の撮像素子のそれぞれの撮像信号を画像処理部に対して出力する出力部とを有するカメラおよび表示装置制御部とを備え、
カメラおよび表示装置制御部のカメラユニット制御部は、第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
カメラおよび表示装置制御部の混合比設定部は、混合比を設定するための第２の入出力装置を有する
モニタリングシステムである。
【０００８】
この発明は、第１および第２の撮像方向制御部を制御して第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、
ほぼ水平方向に配列された複数の表示装置に表示されるモニタリング画像の領域を設定する表示領域制御部と、
第１および第２の撮像素子のそれぞれの撮像信号を表示装置に対して出力する表示信号出力部とを有し、
カメラユニット制御部は、第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
カメラおよび表示装置制御部の混合比設定部は、混合比を設定するための第２の入出力装置を有する
カメラおよび表示部制御装置である。
【発明の効果】
【０００９】
この発明は、第１および第２のカメラユニットの撮影画像から形成された第１および第２の全体画像を混合比設定部によって設定された所望の混合比でもって混合できる。混合比の設定によって、全体画像の更新時間を短くしたり、昼間のモニタリングと夜間のモニタリングとを切り替えることができ、効果的なモニタリングを行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の全体の構成を示す。一実施の形態では、複数のカメラユニット例えば４台のカメラユニット１1，１2，１3，１4が使用される。これらのカメラユニット１1〜１4は、例えばビルの屋上に設置され、屋外での使用に耐えるように、ケース内に収納されている。カメラユニット１1〜１4のカメラ部は、望遠レンズを有し、離れた場所を撮影可能とされている。
【００１１】
カメラユニット１1〜１4は、それぞれ撮像部と、撮像信号の処理部と、撮影方向を設定するための旋回台とを有している。複数のカメラユニットの内で、２台のカメラユニット１1および１2の撮像部が可視光カメラ例えばＨＤ(High Definition)カメラであり、残り
の２台のカメラユニット１3および１4の撮像部が赤外線カメラである。赤外線カメラは、対象物から出ている赤外線エネルギーを検出し、温度に変換し、温度分布を画像として表示するものである。ＨＤカメラの撮影画像は、カラー画像であるのに対して、赤外線カメラの撮影画像は、温度が高いほど白くなるようなモノクロ画像である。通常、赤外線カメラの画素数は、ＨＤカメラのに比して少ない。
【００１２】
カメラユニット１1〜１4のそれぞれは、旋回台によって、水平方向（パン方向）に例えば２７０°回転可能とされ、垂直方向（チルト方向）に３０°回転可能とされている。カメラユニット１1〜１4のそれぞれからは、例えばＪＰＥＧにより圧縮された画像データと、画像データに関連する撮影データ（以下、メタデータと適宜称する）とが得られる。
【００１３】
圧縮画像データおよび撮影データがネットワーク例えば有線ＬＡＮ(Local Area Network)を介してカメラおよび表示部制御装置としてのカメラ・表示コントローラ１１に対して伝送される。カメラ・表示コントローラ１１は、カメラユニット１1〜１4と、マルチスクリーン表示装置２１との両者と接続されている。カメラ・表示コントローラ１１は、ユーザが操作情報を入力するためのＧＵＩの構成の入出力装置（以下、Ｉ／Ｏと適宜称する）１２を有する。
【００１４】
すなわち、Ｉ／Ｏ１２は、画面上にウィンドウ、アイコン、ボタン等のグラフィックスが表示され、それらの中から目的とするグラフィックスをポインティングデバイスで選択する構成とされている。Ｉ／Ｏ１２は、後述するように、カメラユニット１1〜１4の撮像方向制御部の最大可動範囲の領域において、各撮像方向で撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる全体画像の領域を設定するためのＩ／Ｏとしての機能と、カメラユニット１1〜
１4の撮影画像の画質を調整するためのＩ／Ｏとしての機能と、マルチスクリーン表示装
置２１に記録されるモニタリング画像の領域を設定するためのＩ／Ｏとしての機能と、カメラユニット１1〜１4により作成された全体画像を混合する場合の混合比を設定するためのＩ／Ｏとしての機能と、撮像方向を固定して所定時間間隔で画像を取り込む動画像の撮影を行うカメラユニットを設定するためのＩ／Ｏとしての機能を有する。カメラ・表示コントローラ１１は、カメラユニット１1〜１4のそれぞれの撮影画像の画質等を制御し、処理後の撮影データをＬＡＮを介してマルチスクリーン表示装置２１に送出する。
【００１５】
マルチスクリーン表示装置２１は、複数例えば８台のディスプレイ２２1，２２2，２２3，・・・・，２２8を水平方向に並べたものである。ディスプレイ２２1〜２２8としては、ＬＣＤ（Liquid Crystal Display)，ＰＤＰ(Plasma Display Panel)等の市販されてい
るＦＰＤ(Flat Panel Display)が使用される。ディスプレイ２２1〜２２8のサイズは、設置場所等を考慮して適切に選定される。例えば１７インチのＬＣＤコンピュータディスプレイを使用できる。また、ディスプレイ２２1〜２２8は、互いが接する側面の隙間がなるべく少なくなるように配置される。ディスプレイ２２1〜２２8に対して画像処理部２３1〜２３8からの表示信号が供給される。
【００１６】
マルチスクリーン表示装置２１に表示される画像およびメタデータが必要に応じて蓄積部３１に蓄積される。蓄積部３１としては、例えばハードディスクレコーダを使用することができる。
【００１７】
この発明の一実施の形態によるモニタリングシステムについてより詳細に説明する。図２、図３および図４は、モニタリングシステムの信号処理のための構成を示す。図２は、主としてカメラユニット１1〜１4に関するもので、図３は、主としてカメラ・表示コントローラ１１に関するもので、図４が主としてマルチスクリーン表示装置２１に関するものである。
【００１８】
カメラユニット１1は、カメラユニット１1を制御するためのシステムコントローラ２を有する。システムコントローラ２は、カメラ・表示コントローラ１１のカメラコントローラ１３とコントロールバス１４でもって接続され、カメラコントローラ１１とシステムコントローラ２との間で通信が行われ、カメラコントローラ１１がシステムコントローラ２を介してカメラユニット１1を制御することが可能とされている。システムコントローラ
２およびカメラコントローラ１３は、それぞれＣＰＵ(Central Processing Unit)と、プ
ログラム格納用のＲＯＭ、作業用メモリ領域を提供するＲＡＭ、調整データ等を記憶するための不揮発性メモリ等で構成されている。
【００１９】
コントロールバス１４に対してパンモータ、チルトモータを有する旋回台３が接続され、旋回台３カメラコントローラ１３およびシステムコントローラ２によって制御してカメラユニット１1の撮影方向を設定することが可能とされている。それによってＩ／Ｏ１２
の操作で指定された範囲の画像を撮影することができる。すなわち、撮像中心を画角分移動させる毎に、シャッターがオンされ、画素数に応じた時間間隔で静止画像が撮影される。また、撮影方向を固定した状態で撮影を行うことで、所定時間間隔のフレームが連続する動画像を得ることができる。
【００２０】
カメラユニット１1は、ズームレンズ、フォーカスレンズ、絞りを有するレンズ４と、
レンズ４を介して入射された被写体光を撮像信号に変換する撮像素子例えばＣＣＤ（Charge Coupled Device)５とを有する。ＣＣＤ５は、ＸＧＡ（eXtended Graphics Array,1024×768 画素）画像、ＳＸＧＡ（Super eXtended Graphics Array,1280×1024画素）画像等の画素数を有する。
【００２１】
縦方向でＭ枚（例えば３枚）、横方向でＮ枚（例えば８枚）の合計（Ｍ×Ｎ＝３×８＝２４枚）のフレームが順番に撮影され、これらを圧縮する。各フレームが例えばＳＸＧＡ画像である。したがって、２４枚のフレームは、重複部分を無視し、約１億画素の全体画像を形成する。但し、この画素数は、可視光カメラのカメラユニット１1および１2によって得られるもので、赤外線カメラであるカメラユニット１3および１4の場合の全体画像（Ｍ×Ｎ）の画素数は、より少なく、例えば１６００万画素である。
【００２２】
カメラユニット１1は、例えば外部からのトリガーと同期してシャッターをオンできる
ディジタルカメラである。シャッター速度等は、ディジタルカメラと同様に、設定可能とされ、例えば昼と夜とでシャッター速度等の撮影条件を切り替えることが可能とされている。例えば昼では、１／１５秒で１枚の画像が取得され、夜では、２秒で１枚の画像が取得される。さらに、旋回台３の動きに対応してレンズ部の所定のレンズをシフトさせて、パン方向およびチルト方向の動きを打ち消してブレのない静止画像を得られる。
【００２３】
カメラユニット１1〜１4のそれぞれには、位置を検出するためのＧＰＳ（Global Positioning System ）（図示しない）が備えられている。ＧＰＳを備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳの出力信号等が図示しないメタデータ生成部に供給され、位置情報（緯度・経度、方位、高度等の情報）、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）等のメタデータが生成される。メタデータは、撮影画像の各フレームごとに付加されている。なお、ＧＰＳの出力を使用して撮影方向をフィードバック制御する方法に限らず、旋回台３に設けられている水平方向および垂直方向の位置検出器の検出に基づくオープンループ制御も可能である。
【００２４】
ＣＣＤ５からの撮像信号が信号処理部６に供給される。信号処理部６は、撮像信号を処理するアナログ信号処理部および撮像信号に対してホワイトバランス等の画質を調整するディジタル信号処理部からなる。信号処理部６から出力される撮像信号（カラービデオ信号）がバッファメモリ７に記憶される。バッファメモリ７に対してＪＰＥＧ（Joint Photographic Experts Group)エンコーダ８が接続される。ＪＰＥＧエンコーダ８によって、
各画像が圧縮される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００２５】
また、ＪＰＥＧエンコーダ８において、位置情報、撮影条件、撮影方向等の情報を有するメタデータが付加される。圧縮後のビデオデータがバス９1を通じてカメラ・表示コン
トローラ１１に対して出力される。
【００２６】
上述したカメラユニット１1と同様の構成をカメラユニット１2が有している。また、カメラユニット１3および１4は、基本的にカメラユニット１1の構成と同様である。但し、
カメラユニット１3および１4は、撮像部と撮像信号処理が赤外線カメラ（サーマルカメラ）の構成を有している。赤外線カメラは、対象物から出ている赤外線エネルギーを検出し、温度に変換し、温度分布を画像として表示するものであり、モノクロ画像である。カメラユニット１2、１3および１4のそれぞれのＪＰＥＧ圧縮ビデオデータがバス９2、９3お
よび９4を介してカメラ・表示コントローラ１１に対して出力される。
【００２７】
図３に示すように、バス９1〜９4を介してカメラ・表示コントローラ１１のバッファメモリ１５にカメラユニット１1〜１4からの圧縮ビデオデータが蓄えられる。バッファメモリ１５に対してＪＰＥＧデコーダ１６が接続される。ＪＰＥＧデコーダ１６は、圧縮ビデオデータを復号（伸張）すると共に、メタデータを分離する。分離されたメタデータがコントロールバス１４を介してカメラコントローラ１３（図２参照）に供給される。
【００２８】
ＪＰＥＧデコーダ１６からのビデオデータがメモリ１７1、１７2、１７3、１７4に対して格納される。メモリ１７1〜１７4は、カメラユニット１1〜１4で撮影されたビデオデータをレイヤー１〜レイヤー４のデータとして蓄えるためのもの例えば画用紙としての機能を有するものである。メモリ１７1〜１７4は、カメラユニット１1〜１4の撮影画像を独立して蓄える。カメラユニット１1〜１4の撮影画像に関して、撮影位置の初期補正がなされている。例えばカメラユニット１1の画像を基準として、カメラユニット１2の画像、カメラユニット１3の画像およびカメラユニット１4の画像が画用紙を透かして重ねた場合に、丁度位置が合うように、上下左右の位置補正と回転方向の位置補正とがなされる。例えば４台のカメラユニット１1〜１4の画像が完全に一致した時の旋回台３の位置制御情報が記憶される。
【００２９】
メモリ１７1〜１７4から読み出されたビデオデータが画像圧縮部１８に供給される。この発明の一実施の形態では、カメラユニット１1〜１4の撮影画像の解像度がマルチスクリーン表示装置２１のディスプレイ２２1〜２２8の解像度より高いために、画像圧縮部１８において、撮影画像の解像度をディスプレイ２２1〜２２8に合うように圧縮している。画像圧縮部１８の圧縮比は、所望の値に設定可能としても良い。画像圧縮部１８が表示信号出力部である。
【００３０】
画像圧縮部１８により圧縮された各カメラユニットのビデオデータがＪＰＥＧエンコーダ１９に供給され、圧縮される。ＪＰＥＧエンコーダ１９により圧縮されたビデオデータが線２０1〜２０4（実際には、ＬＡＮ送信部、コネクタ、ＬＡＮケーブル等）を介してマルチスクリーン表示装置２１に対して供給される。
【００３１】
図４に示すように、マルチスクリーン表示装置２１は、ＬＡＮ受信部２４を介して圧縮ビデオデータを受信する。なお、コントロールバス１４をＬＡＮと別の線としているが、コントロール信号の伝送をＬＡＮによって行うようにしても良い。
【００３２】
マルチスクリーン表示装置２１は、例えば８台のディスプレイ２２1〜２２8と、各ディスプレイに対する表示信号を形成するための画像処理部２３1〜２３8とを有している。ディスプレイ２２1〜２２8に対しては、それぞれＩＤ＝１からＩＤ＝８が付与され、ＩＤによってディスプレイを識別可能としている。画像処理部２３1〜２３8は、互いに同一の構成を有するので、ディスプレイ２２1と接続された画像処理部２３1について説明する。なお、ディスプレイの数と等しい数の画像処理部を設ける必要はなく、より少ない数の画像処理部例えばパーソナルコンピュータによって各ディスプレイに対する表示信号を生成しても良い。
【００３３】
ＬＡＮ受信部２４からの信号がフィルタ２５に供給される。フィルタ２５は、ディスプレイ２２1（ＩＤ＝１）に対応した画像データを選択的に受信する。フィルタ２５で選択
された画像データがバッファメモリ２６に格納される。バッファメモリ２６は、カメラコントローラ１３のＣＰＵの処理が集中したときに一時的にデータを蓄え、ＣＰＵが空きしだいデータを処理するようになされる。バッファメモリ２６に接続されたＪＰＥＧデコーダ２７によって、復号（伸張）処理がなされ，画像データが得られる。
【００３４】
ＪＰＥＧデコーダ２７で復号された画像データは、レイヤー１〜レイヤー４のメモリ２８に格納される。この一実施の形態では、４台のカメラユニット１1〜１4を使用しており、受信し、復号して得られた画像データが各レイヤーに展開される。このメモリ２８に格納される画像データは、ディスプレイ２２1の表示領域に表示される画像データである。
他の画像処理部２３2〜２３8のそれぞれのメモリに対しても、同様に、ディスプレイ２２2〜２２8に表示される画像データが格納される。
【００３５】
メモリ２８に対してグラフィックコントローラ２９が接続される。グラフィックコントローラ２９は、コントロールバス１４を介してカメラ・表示コントローラ１１のカメラコントロール１３からの指示にしたがって、複数のカメラの撮影画像データを処理してディスプレイ２２1に表示する表示信号を形成する。
【００３６】
他の画像処理部２３2〜２３8のグラフィックコントローラも、複数のカメラの撮影画像データをそれぞれ処理してディスプレイ２２2〜２２8にそれぞれ表示する表示信号を形成する。グラフィックコントローラ２９の主な機能は、４台のカメラの内の複数のカメラの画像データをカメラ・表示コントローラ１１のＩ／Ｏ１２およびカメラコントローラ１３によって指示された比率でもって混合する。なお、この発明において混合比は、混合比を１と０と設定することによって、一方の信号のみを選択するスイッチングも含むものである。
【００３７】
図５は、全体画像を作成するために、カメラユニット例えばカメラユニット１1がパン
動作およびチルト動作によって所定領域を撮影する動作を示す。カメラユニット１1が旋
回台３上に設置され、ホームポジションから撮像方向が可変される。図５において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ部側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションが例えば（Ｍ，Ｎ）＝（１，１）の座標のフレームを撮影する位置とされる。
【００３８】
（１，１）の座標位置のフレームを撮影すると、カメラユニット１1がパンされ、（１
，２）の座標位置のフレームが撮影され、以下、順に（１，３）・・・・、（１，Ｎ）の座標位置のフレームが撮影され、次に第２行の座標位置（２，Ｎ）のフレームが撮影され、以下、順に（２，Ｎ−１）・・・・、（２，１）の座標位置のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。各フレームが他のフレームと所定画素分の重複部分を有する。
【００３９】
このように、カメラユニットが撮影方向を可変して全体画像が作成され、各カメラユニットの全体画像を画像処理部２３1〜２３8のグラフィックコントローラ２９によって混合してモニタリング画像が作成される。モニタリング画像の作成動作がモニタリング動作と称される。各カメラユニットの可変範囲は、例えばパン方向が２７０°、チルト方向で３０°とされている。この最大可動範囲内で撮影する位置と全体画像の形状（Ｍおよび／またはＮの値）とが設定可能とされている。形状は、（３×８）（６×９）等複数種類が選択可能とされている。各フレームの画像に対して全体画像中の座標位置を示す情報がメタデータとして付加されている。
【００４０】
さらに、全体画像の中の一つのフレームの位置に撮影方向を固定することによって、所定時間間隔の静止画像からなる動画像を得ることができる。動画像を得る動作がライブと称される。多数のフレームからなる全体画像に対して、動画像を合成することができる。この合成処理も、グラフィックコントローラ２９の混合比を制御することによって行うことができる。
【００４１】
マルチスクリーン表示装置２１のディスプレイ２２1〜２２8には、図６に示すように、横方向に連結したモニタリング画像Ｄが表示される。各カメラユニットのＨＤカメラがＳＸＧＡ画像を出力するので、各ディスプレイの画像ｄ１〜ｄ８を連結したモニタリング画像Ｄは、十分解像度が高いものとなる。また、モニタリングにとって不要な操作用のＧＵＩ表示等が含まれないので、モニタリング画像Ｄがシンプルとなり、モニタリングが容易となる。
【００４２】
この発明の一実施の形態では、カメラ・表示コントローラ１１において、４台のカメラユニット１1〜１4が撮影する（Ｍ×Ｎ）の全体画像の領域と、マルチスクリーン表示装置２１が表示するモニタリング画像の領域とが独立して設定され、また、４台のカメラユニット１1〜１4のそれぞれの撮影画像によって作成される全体画像の領域も独立して設定される。図７に示すように、各カメラユニットの撮影画像から形成された全体画像をＰ１〜Ｐ４として表記し、カメラユニット１1〜１4が撮影しうる最大可動範囲を枠４１で示す。
【００４３】
図７Ａに示す例では、カメラユニット１1〜１4がそれぞれ撮影した全体画像Ｐ１〜Ｐ４が同一位置で、等しい形状で、さらに、全体画像Ｐ１〜Ｐ４がモニタリング画像Ｄとほぼ同一の形状および位置に設定されている。モニタリング画像Ｄは、全体画像Ｐ１〜Ｐ４が合成された画像となる。
【００４４】
図７Ｂに示す例は、カメラユニット１1〜１4がそれぞれ撮影した全体画像Ｐ１〜Ｐ４が同一形状であるが、位置が異なる場合を示す。また、モニタリング画像Ｄは、全体画像の形状と異なる。モニタリング画像Ｄは、全体画像Ｐ１〜Ｐ４のそれぞれと、斜線領域で示す全体画像の重なった領域とによって構成される。
【００４５】
図７Ｃに示す例では、全体画像Ｐ１〜Ｐ４の形状が同一であり、全体画像Ｐ１およびＰ３の位置が同一であり、全体画像Ｐ２およびＰ４の位置が同一である。また、全体画像Ｐ１〜Ｐ４がそれぞれモニタリング画像Ｄのほぼ半分の大きさとされている。モニタリング画像Ｄは、全体画像Ｐ１およびＰ３の合成画像と、全体画像Ｐ２およびＰ４の合成画像とによって構成される。
【００４６】
さらに、図７Ｄに示す例では、全体画像Ｐ１〜Ｐ４の形状および位置が互いに異なり、モニタリング画像Ｄが全体画像Ｐ１〜Ｐ４のそれぞれの部分画像によって構成される。モニタリング画像Ｄには、全体画像が重なり合った領域（斜線領域）が存在し、また、全体画像が欠落している領域が存在する。
【００４７】
上述したように、各カメラユニットの全体画像の位置および形状が独立に設定でき、また、モニタリング画像Ｄとして表示される領域も任意に設定することができる。そのことによって、モニタリング画像Ｄの更新時間を短縮化することができる。図７Ｃに示した例のように、モニタリング画像Ｄを２組のカメラユニットによって構成することによって、各カメラユニットの撮影するフレーム枚数を減少させることができ、フレームの更新に要する時間を短縮化できる。画像の更新が速いことは、モニタリングシステムにとって大きな利点である。また、広い範囲の全体画像と、狭い範囲の全体画像とを組み合わせれば、監視を重点的に行う場所は、狭い範囲で撮影して更新速度を速くし、広域は、広い範囲の全体画像が受け持つことができる。
【００４８】
さらに、複数の全体画像を合成することは、赤外線カメラのモノクロ画像に対して、可視光カメラ（カメラユニット１1および１2）の全体画像によってカラー画像として、赤外線カメラが捕捉した対象物を正確に認識することを可能とする。夜間において、通常の可視光カメラの場合でも、シャッター速度が数秒のように遅く設定する蓄積モードを使用すれば、夜間でも撮影可能であり、赤外線カメラの全体画像と合成して対象物の色等を表示することができる。
【００４９】
図８を撮影してこの発明の一実施形態によるＧＵＩの画面について説明する。このＧＵＩ画面は、カメラコントローラ１３の制御によって、カメラ・表示コントローラ１１のＩ／Ｏ１２に含まれるディスプレイ上に表示される。ＧＵＩを構成する表示部は、主として確認画像ウィンドウ５１と、設定用画像ウィンドウ５２と、カメラ制御ウィンドウ５３および５４と、モニタリング画像制御表示部５５とが含まれる。また、メニューバー、タイトルバー等の操作によってメニューを設定したり、カメラユニットのズーム動作を制御することが可能とされている。
【００５０】
確認画像ウィンドウ５１には、マルチスクリーン表示装置２１によって表示されるモニタリング画像と同様の画像が表示される。確認画像ウィンドウ５１がマルチスクリーン表示装置２１に比して横方向に短い場合には、適切に横方向が圧縮される。このウィンドウ５１に表示される画像は、どのようなモニタリング画像が表示されているかを確認するために使用され、縮小した画像を連結して作成される。
【００５１】
設定用画像ウィンドウ５２は、カメラユニット１1〜１4が可動できる最大範囲を表示する。設定用画像ウィンドウ５２には、カメラユニット１1〜１4のそれぞれの現に撮影する全体画像の領域表示と、マルチスクリーン表示装置２１で表示されるモニタリング画像の領域表示とが表示される。例えば各カメラユニットの全体画像が互いに異なる色の領域表示６１として表示され、モニタリング画像の表示領域が白い枠の領域表示６２として表示される。なお、領域表示６１および６２は、一例であって、十字の線等の種々の表示が可能である。
【００５２】
各カメラユニットの撮影方向および撮影範囲を変化させると、全体画像を示す領域表示６１の位置が変化する。同様に、モニタリング画像として表示される領域の位置および大きさを変えると、モニタリング画像を示す領域表示６２の位置および大きさが変化する。例えば前述したような図７Ａに乃至図７Ｄに示す表示の何れかの表示がなされる。
【００５３】
なお、位置調整または設定用のウィンドウを表示しないで、領域表示６１を移動させて設定ボタンを押すと、その領域表示６１の全体画像を撮影するような制御を行っても良い。
【００５４】
カメラ制御ウィンドウ５３および５４は、全体画像の領域と、撮影画像の画質と、動画像のカメラユニットを設定するためのウィンドウである。カメラ制御ウィンドウ５３および５４のそれぞれには、異なるカメラユニットの制御画像が表示される。これらのカメラ制御ウィンドウ５３および５４は、同一の構成であって、それぞれには、撮影中の画像の撮影画像ウィンドウ７１ａ、７１ｂと、カメラユニット選択部７２ａ、７２ｂと、画質調整ウィンドウ７３ａ、７３ｂと、位置および形状調整ウィンドウ７４ａ、７４ｂと、チェックボックス７５ａ、７５ｂとが含まれる。
【００５５】
画像ウィンドウ７１ａ、７１ｂには、調整時において、現に撮影している画像が表示される。カメラユニット選択部７２ａ、７２ｂは、４台のカメラユニットの内の何れを選択するかを指定するための表示部である。
【００５６】
画質調整ウィンドウ７３ａ、７３ｂは、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。ボタンを押す等の操作によって、カメラコントローラ１３によってカメラユニットのそれぞれのアイリス、ホワイトバランス等が制御される。二つの画像ウィンドウ７１ａ、７１ｂに表示されている撮影画像を見比べて、二つの撮影画像の明るさ、色合い等のバラツキが補正される画質調整ウィンドウ７３ａ、７３ｂ。
【００５７】
位置および形状調整ウィンドウ７４ａ、７４ｂは、各カメラユニットの初期的な位置合わせと、撮影方向の設定と、撮影画像の形状の選択とのために使用される。初期的な位置合わせは、図示しないが、画像ウィンドウ７１ａ、７１ｂに調整用画面が表示され、例えばカメラユニット１1の撮影画像を基準として、他のカメラユニット１2〜１3の撮影画像
の位置の初期的なずれが補正される。調整用画面は、最大可動範囲内の複数の箇所における水平方向および垂直方向の位置の表示と、水平方向および垂直方向の位置調整ボタンとを含み、位置調整ボタンをカーソルで選択して、マウスをクリックすることで行うことができる。
【００５８】
また、撮影方向の設定のために、図示しないが、画像ウィンドウ７１ａ、７１ｂに設定用の画面が表示され、各カメラユニットの撮影画像の位置が設定される。設定用画面は、水平方向および垂直方向の位置の表示と、水平方向および垂直方向の位置調整ボタンとを含み、位置調整ボタンをカーソルで選択して、マウスをクリックすることで行うことができる。撮影方向の制御信号がカメラユニットのそれぞれのシステムコントローラ２に伝送され、システムコントローラ２によって旋回台３が制御される。
【００５９】
さらに、撮影画像の形状（Ｍ×Ｎ）が選択的に決定される。例えば（３×８）（６×９）等の複数の形状の中から一つを選択するようになされる。撮影画像の位置と形状の設定に応じて、確認画像ウィンドウ５１に表示される各カメラユニットの全体画像に対応する領域表示６１の位置および大きさが変化する。
【００６０】
さらに、チェックボックス７５ａ、７５ｂは、選択したカメラユニットを動画像撮影用に設定するか否かを指定するものである。チェックを入れると、選択したカメラユニットが動画像撮影用のカメラユニットに設定される。動画像撮影時には、カメラユニットの撮影方向が設定した方向に固定される。例えば設定用画像ウィンドウ５２上において、カーソルを動画像撮影位置（例えば中心位置）に位置させ、マウスを左クリックすると、その位置の動画像が撮影される。この場合、マウスを左クリックした場合には、可視比カメラにより動画像が撮影されるように設定され、マウスを右クリックした場合には、赤外線カメラにより動画像が撮影されるように設定される。なお、動画像の位置は、ディスプレイ２２1〜２２8の境界位置に存在することも可能である。
【００６１】
モニタリング画像制御表示部５５は、モニタリング画像の位置および大きさを選択するウィンドウ８１と，モニタリングの開始ボタン８２ａおよびモニタリングの停止ボタン８２ｂと、混合比制御ウィンドウ８３とから構成されている。
【００６２】
マルチスクリーン表示装置２１のディスプレイの個数および配置は、固定されているので、モニタリング画像として表示される領域の形状は、所定のものとされている。但し、拡大ボタン８４ａおよび縮小ボタン８４ｂを操作することによって、モニタリング画像として表示される領域の大きさを可変することができる。さらに、モニタリング画像として表示される領域の位置が方向キー８５によって移動可能とされている。モニタリング画像の表示領域の設定に応じて設定用画像ウィンドウ５２において、モニタリング画像の表示領域６２の位置および大きさが変化する。
【００６３】
ウィンドウ８１の操作によって得られたモニタリング画像の表示領域の位置および大きさの情報がマルチスクリーン表示装置２１の画像処理部２３1〜２３8に伝送され、所望のモニタリング画像が表示される。
【００６４】
モニタリングの開始ボタン８２ａおよびモニタリングの停止ボタン８２ｂは、カメラユニットの全体画像作成動作の開始／停止を制御するためのボタンである。モニタリング開始ボタン８２ａをクリックすることによって、全体画像作成動作が開始し、モニタリング停止ボタン８２ｂをクリックすることによって、全体画像作成動作が停止する。
【００６５】
混合比制御ウィンドウ８３は、通常の可視光カメラユニット１1または１2の撮影画像と、赤外線カメラ１3または１4の撮影画像との混合比を制御するレバー状の表示である。可視光カメラユニット１1または１2の撮影画像の比率を赤外線カメラ１3または１4の撮影画像に比して高くするほど、明るい画像となる。二つの混合比設定ウィンドウ８６ａおよび８６ｂは、それぞれ全体画像同士の混合比と、全体画像に対する動画像の混合比とを別々に設定するためのものである。
【００６６】
混合比制御ウィンドウ８３の操作によって得られた混合比の情報がマルチスクリーン表示装置２１の画像処理部２３1〜２３8のグラフィックコントローラ２９に伝送され、所望の混合比で合成されたモニタリング画像が表示される。
【００６７】
上述したこの発明の一実施の形態においての動作の概略的流れを説明する。最初に、ウィンドウ５２およびカメラ制御ウィンドウ５３、５４を操作して、各カメラユニットの全体画像の中心位置と、形状（Ｍ×Ｎ）が設定される。また、各カメラユニットの撮影画像の画質のバラツキが補正される。
【００６８】
次に、モニタリング画像制御表示部５５を操作することによって、マルチスクリーン表示装置２１の表示領域の位置と大きさが設定される。設定動作が終了すると、全体画像作成動作の開始ボタン８２ａが押される。
【００６９】
各カメラユニットの旋回台３は、システムコントローラ２およびカメラコントローラ３によって、設定用画像ウィンドウ５２において設定された位置および形状の全体画像を撮影するように制御される。ウィンドウ５２の表示座標とカメラユニットの撮影方向とが対応付けされている。また、ライブ画像を撮影するように設定されているカメラユニットは、撮影方向が設定された位置に固定とされて、所定時間間隔で静止画像を撮影する。
【００７０】
各カメラユニットからの撮像信号がカメラ・表示コントローラ１１からマルチスクリーン表示装置２１に対して出力される。マルチスクリーン表示装置２１の画像処理部２３1
〜２３8によって各ディスプレイ２２1〜２２8に対して供給される表示信号が形成される
。画像処理部２３1 〜２３8のグラフィックコントローラ２９において、各カメラユニッ
トの画像信号（全体画像信号またはライブ画像信号）が混合比制御ウィンドウ８３において指定された混合比でもって混合される。
【００７１】
上述したこの発明の一実施の形態において、カメラ・表示コントローラ１１のＩ／Ｏ部１２を制御することによって形成されるモニタリング画像のいくつかの例について説明する。図９に示すように、カメラユニット１1〜１4によってそれぞれ作成された全体画像Ｐ１，Ｐ２，Ｐ３およびＰ４を設定した混合比によってミックスしてモニタリング画像Ｄが得られる。なお、可視光カメラ（カメラユニット１1および１2）の画像を実線で表し、赤外線カメラ（カメラユニット１3および１4）の画像を実線で表し、合成画像は、実線または破線で表す。
【００７２】
混合比制御ウィンドウ８３の混合比設定ウィンドウ８６ａによって、昼間では、可視光カメラ（カメラユニット１1および１2）の画像の混合比を赤外線カメラ（カメラユニット１3および１4）の画像の混合比より高いものとされる。夜間では、可視光カメラ（カメラユニット１1および１2）が蓄積モードで動作するように制御され、赤外線カメラ（カメラユニット１3および１4）の画像の混合比がより高いものとされる。最大で、一方のカメラユニットの画像のみとされる。特に、夜間では、モノクロである赤外線カメラの撮影画像に対して可視光カメラの全体画像が混合されるので、温度が比較的高い対象物の色、対象物の位置している場所等をより正確に認識することが可能となる。
【００７３】
図１０に示すように、チェックボックスに対してチェックを行う操作によって、１台のカメラユニット例えばカメラユニット１2のみがライブ画像（動画像）Ｐ２を撮影するよ
うに設定しても良い。ライブ画像を得るための撮影方向は、所望のものに設定できる。他の全体画像Ｐ１，Ｐ３およびＰ４に対して，ライブ画像Ｐ２を合成することによって、図１０に示すようなモニタリング画像Ｄを得ることができる。ライブ画像Ｐ２を得る場合に、カメラユニット１2のズーム動作が制御され、ズームアップするようになされることが
好ましい。それによって、部分的にズームアップされた動画像を表示し、モニタリングを容易とすることができる。ライブ画像Ｐ２は、他の全体画像と混合する場合と、混合しない場合との何れでも可能である。
【００７４】
図１０に示すようなモニタリング画像Ｄの場合では、広域を混合した全体画像によってモニタリングしており、その中で特に注意を要する領域に対しては、ライブ画像を表示することができる。この方法は、全体画像の更新時間に比して、ライブ画像の更新時間が短いので、モニタリングを効果的に行うことができる。
【００７５】
図１１に示すように、カメラユニット１2および１3がライブ画像を撮影するようにしても良い。上述したように、カメラユニット１2が可視光カメラであり、カメラユニット１3が赤外線カメラであるので、その特徴ういかしたライブ画像Ｐ２およびＰ３を取得することができる。例えば図１１に示すモニタリング画像Ｄにおいて、物体の陰になるような場所は、赤外線カメラ１3のライブ画像Ｐ３で監視することが可能である。なお、図１１の
例においても、ライブ画像Ｐ２およびＰ３としては、ズームアップされた画像とされることで、モニタリングを効果的に行うことができる。
【００７６】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施形態におけるマルチスクリーン表示装置のディスプレイの枚数等の数値は、一例であって、種々の枚数の表示装置を使用できる。
【図面の簡単な説明】
【００７７】
【図１】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図２】この発明の一実施形態におけるカメラユニットに関する構成を主として示すブロック図である。
【図３】この発明の一実施形態におけるカメラ・表示コントローラに関する構成を主として示すブロック図である。
【図４】この発明の一実施形態におけるマルチスクリーン表示装置に関する構成を主として示すブロック図である。
【図５】この発明の一実施形態における全体画像作成動作の一例を説明するための略線図である。
【図６】この発明の一実施形態におけるマルチスクリーン表示装置の表示例を説明するための略線図である。
【図７】この発明の一実施形態における各カメラユニットにより得られる全体画像の領域と、マルチスクリーン表示装置による表示領域との関係のいくつかの例を示す略線図である。
【図８】この発明の一実施形態におけるカメラ・表示コントローラのＧＵＩの画面の一例を示す略線図である。
【図９】この発明の一実施形態におけるモニタリング画像の一例を説明するための略線図である。
【図１０】この発明の一実施形態におけるモニタリング画像の他の例を説明するための略線図である。
【図１１】この発明の一実施形態におけるモニタリング画像のさらに他の例を説明するための略線図である。
【符号の説明】
【００７８】
１1〜１4 カメラユニット
２ システムコントローラ
３ 旋回台
５ ＣＣＤ
６ 信号処理部
１１ カメラ・表示コントローラ
１７1〜１７4 メモリ
２１ マルチスクリーン表示装置
２２1〜２２8 ディスプレイ
２８ メモリ
２９ グラフィックコントローラ
Ｄ モニタリング画像
Ｐ１〜Ｐ４ 全体画像
５２ 設定用画像ウィンドウ
５３，５４ カメラ制御ウィンドウ
５５ モニタリング画像制御表示部
６１ 全体画像を示す領域表示
６３ モニタリング画像を示す領域表示
【特許請求の範囲】
【請求項１】
第１の撮像素子と、上記第１の撮像素子の撮像方向を可変する第１の撮像方向制御部とを有する第１のカメラユニットと、
第２の撮像素子と、上記第２の撮像素子の撮像方向を可変する第２の撮像方向制御部とを有する第２のカメラユニットと、
ほぼ水平方向に配列され、モニタリング画像を表示する複数の表示装置と、
上記第１および第２のカメラユニットの撮像信号を混合部において混合して上記モニタリング画像の表示信号を生成する画像処理部と、
上記第１および第２の撮像方向制御部を制御して上記第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、上記混合部に対する混合比を指示する混合比設定部と、上記第１および第２の撮像素子のそれぞれの撮像信号を上記画像処理部に対して出力する出力部とを有するカメラおよび表示装置制御部とを備え、
上記カメラおよび表示装置制御部の上記カメラユニット制御部は、上記第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で上記第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
上記カメラおよび表示装置制御部の上記混合比設定部は、上記混合比を設定するための第２の入出力装置を有する
モニタリングシステム。
【請求項２】
上記カメラおよび表示装置制御部の上記出力部が上記第１および第２の全体画像から形成された上記モニタリング画像を上記表示装置に表示するための圧縮部を有する請求項１記載のモニタリングシステム。
【請求項３】
さらに、撮像方向を固定して所定時間間隔で画像を取り込むことにより動画像の撮影を可能とした第３のカメラユニットを有し、上記第１および第２の全体画像と上記第３のカメラユニットの動画像とを混合する請求項１記載のモニタリングシステム。
【請求項４】
上記第１および第２の撮像素子の一方が可視光撮影を行い、上記第１および第２の撮像素子の他方が赤外線撮影を行う請求項１記載のモニタリングシステム。
【請求項５】
上記第１の入出力装置がＧＵＩで構成され、
上記最大可動範囲の領域の表示上に上記第１および第２の全体画像の領域を表示し、上記第１および第２の全体画像の領域を設定するための設定表示をポインティングデバイスで操作する請求項１に記載のモニタリングシステム。
【請求項６】
上記第２の入出力装置がＧＵＩで構成され、
上記混合比を可変するための表示をポインティングデバイスで操作する請求項１に記載のモニタリングシステム。
【請求項７】
上記モニタリング画像の表示領域を上記最大可能範囲の領域の表示上に表示する請求項７記載のモニタリングシステム。
【請求項８】
第１および第２の撮像方向制御部を制御して第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、
ほぼ水平方向に配列された複数の表示装置に表示されるモニタリング画像の領域を設定する表示領域制御部と、
上記第１および第２の撮像素子のそれぞれの撮像信号を上記表示装置に対して出力する表示信号出力部とを有し、
上記カメラユニット制御部は、上記第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で上記第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
上記カメラおよび表示装置制御部の上記混合比設定部は、上記混合比を設定するための第２の入出力装置を有する
カメラおよび表示部制御装置。
【請求項９】
上記第１および第２の撮像素子の一方が可視光撮影を行い、上記第１および第２の撮像素子の他方が赤外線撮影を行う請求項８記載のカメラおよび表示部制御装置。
【請求項１０】
上記第１の入出力装置がＧＵＩで構成され、
上記最大可動範囲の領域の表示上に上記第１および第２の全体画像の領域を表示し、上記第１および第２の全体画像の領域を設定するための設定表示をポインティングデバイス請求項８記載のカメラおよび表示部制御装置。
【請求項１１】
上記第２の入出力装置がＧＵＩで構成され、
上記混合比を可変するための表示をポインティングデバイスで操作する請求項８記載のカメラおよび表示部制御装置。
【請求項１２】
上記モニタリング画像の表示領域を上記最大可能範囲の領域の表示上に表示する請求項８記載のカメラおよび表示部制御装置。
【請求項１】
第１の撮像素子と、上記第１の撮像素子の撮像方向を可変する第１の撮像方向制御部とを有する第１のカメラユニットと、
第２の撮像素子と、上記第２の撮像素子の撮像方向を可変する第２の撮像方向制御部とを有する第２のカメラユニットと、
ほぼ水平方向に配列され、モニタリング画像を表示する複数の表示装置と、
上記第１および第２のカメラユニットの撮像信号を混合部において混合して上記モニタリング画像の表示信号を生成する画像処理部と、
上記第１および第２の撮像方向制御部を制御して上記第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、上記混合部に対する混合比を指示する混合比設定部と、上記第１および第２の撮像素子のそれぞれの撮像信号を上記画像処理部に対して出力する出力部とを有するカメラおよび表示装置制御部とを備え、
上記カメラおよび表示装置制御部の上記カメラユニット制御部は、上記第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で上記第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
上記カメラおよび表示装置制御部の上記混合比設定部は、上記混合比を設定するための第２の入出力装置を有する
モニタリングシステム。
【請求項２】
上記カメラおよび表示装置制御部の上記出力部が上記第１および第２の全体画像から形成された上記モニタリング画像を上記表示装置に表示するための圧縮部を有する請求項１記載のモニタリングシステム。
【請求項３】
さらに、撮像方向を固定して所定時間間隔で画像を取り込むことにより動画像の撮影を可能とした第３のカメラユニットを有し、上記第１および第２の全体画像と上記第３のカメラユニットの動画像とを混合する請求項１記載のモニタリングシステム。
【請求項４】
上記第１および第２の撮像素子の一方が可視光撮影を行い、上記第１および第２の撮像素子の他方が赤外線撮影を行う請求項１記載のモニタリングシステム。
【請求項５】
上記第１の入出力装置がＧＵＩで構成され、
上記最大可動範囲の領域の表示上に上記第１および第２の全体画像の領域を表示し、上記第１および第２の全体画像の領域を設定するための設定表示をポインティングデバイスで操作する請求項１に記載のモニタリングシステム。
【請求項６】
上記第２の入出力装置がＧＵＩで構成され、
上記混合比を可変するための表示をポインティングデバイスで操作する請求項１に記載のモニタリングシステム。
【請求項７】
上記モニタリング画像の表示領域を上記最大可能範囲の領域の表示上に表示する請求項７記載のモニタリングシステム。
【請求項８】
第１および第２の撮像方向制御部を制御して第１および第２の撮像素子のそれぞれの撮影領域を設定するカメラユニット制御部と、
ほぼ水平方向に配列された複数の表示装置に表示されるモニタリング画像の領域を設定する表示領域制御部と、
上記第１および第２の撮像素子のそれぞれの撮像信号を上記表示装置に対して出力する表示信号出力部とを有し、
上記カメラユニット制御部は、上記第１および第２の撮像方向制御部の最大可動範囲の領域において、各撮像方向で上記第１および第２の撮影素子がそれぞれ撮像することで得られる（Ｍ×Ｎ）枚（但し、Ｍは垂直方向の画像枚数、Ｎは、水平方向の画像枚数である）の静止画像からなる第１および第２の全体画像の領域を設定するための第１の入出力装置を有し、
上記カメラおよび表示装置制御部の上記混合比設定部は、上記混合比を設定するための第２の入出力装置を有する
カメラおよび表示部制御装置。
【請求項９】
上記第１および第２の撮像素子の一方が可視光撮影を行い、上記第１および第２の撮像素子の他方が赤外線撮影を行う請求項８記載のカメラおよび表示部制御装置。
【請求項１０】
上記第１の入出力装置がＧＵＩで構成され、
上記最大可動範囲の領域の表示上に上記第１および第２の全体画像の領域を表示し、上記第１および第２の全体画像の領域を設定するための設定表示をポインティングデバイス請求項８記載のカメラおよび表示部制御装置。
【請求項１１】
上記第２の入出力装置がＧＵＩで構成され、
上記混合比を可変するための表示をポインティングデバイスで操作する請求項８記載のカメラおよび表示部制御装置。
【請求項１２】
上記モニタリング画像の表示領域を上記最大可能範囲の領域の表示上に表示する請求項８記載のカメラおよび表示部制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２７８３８５（Ｐ２００８−２７８３８５Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１２１９２７（Ｐ２００７−１２１９２７）
【出願日】平成１９年５月２日（２００７．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年５月２日（２００７．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]