撮像システム、撮像制御装置、及び制御方法
【課題】被写体の動解像度の変化と撮像装置切換時の不自然な変化を最小限に抑え、被写体の連続的挙動を容易に把握可能とした撮像システム、撮像制御装置、及び制御方法を提供する。
【解決手段】撮像システムは、カメラ103〜106、カメラ制御装置110、画像切換装置111を備える。カメラ制御装置110は、被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラの動解像度に関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。また、カメラ切換で撮像条件を継承する際に、撮影画像の動解像度の急激な変化に伴うショックを低減する制御に移行する。また、カメラ切換で撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外の他のカメラにも送信する。本発明は、撮像条件として、動解像度のみでなく、露出及びホワイトバランスであっても同様に適用できる。
【解決手段】撮像システムは、カメラ103〜106、カメラ制御装置110、画像切換装置111を備える。カメラ制御装置110は、被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラの動解像度に関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。また、カメラ切換で撮像条件を継承する際に、撮影画像の動解像度の急激な変化に伴うショックを低減する制御に移行する。また、カメラ切換で撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外の他のカメラにも送信する。本発明は、撮像条件として、動解像度のみでなく、露出及びホワイトバランスであっても同様に適用できる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動する被写体を複数の撮像装置により追尾して撮像及び記録を行う撮像システム、撮像制御装置、及び制御方法に関する。
【背景技術】
【0002】
従来、複数のカメラを使用して被写体を監視し、そのうちの1つのカメラが被写体を見失った場合でも他のカメラが被写体の撮影情報を受け取り、被写体を探索して追尾する撮像システムが提案されている(例えば、特許文献1参照)。
【0003】
他方、1つのカメラで被写体までの距離を示す距離情報を取得し、他のカメラで距離情報を基に撮影を行うことにより、激しく移動する被写体を追尾する機能を有する撮像システムが提案されている(例えば、特許文献2参照)。
【特許文献1】特開2001−320699号公報
【特許文献2】特開2001−285849号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
まず、従来技術の第1の課題について説明する。従来の撮像システムでは、複数のカメラによる移動する被写体の追尾に際して被写体の距離情報は各カメラに伝送されるため、撮影画像の焦点及び画角に関しては、カメラの切り換えに伴う不自然な撮影画像の変化の発生は防止できる。一方で、近年のカメラ及びその信号処理のデジタル化の進展に伴い、従来の機能に対し更に新たな機能を加える試みが行われている。
【0005】
機能の1つは、従来のTV信号では固定であった動画の構成要素である各1枚1枚の静止画の撮像フレームレート(単位時間内に何枚撮像するかを示すレート)を変更する機能である。これにより、動く被写体の撮影時は撮像フレームレートを上げることで、動体に対する解像度(動解像度)を上げることができる。一方、動く被写体がない時は撮像フレームレートを下げることで、カメラ内の撮像信号(画像信号)の伝送路の帯域の確保や撮像信号記録時の占有ファイルサイズの削減を図ることができる。
【0006】
機能のもう1つは、撮像信号は他の信号と多重化されて伝送されることが多々あり伝送路の使用帯域が制限されるため、撮像信号に予めいわゆる圧縮符号化を行いデータ量を低滅してから伝送する一般的に行われている機能である。これにより、激しく動く被写体の撮影時は圧縮符号化の重み付け(圧縮符号化の程度)を軽くすることで、動解像度を確保できる。一方、動く被写体がない時は高圧縮を行うことで、伝送路の帯域確保と記録ファイルサイズの削減を実現できる。
【0007】
しかしながら、従来の撮像システムで複数のカメラを切り換えることで各カメラの撮影画像を記録する用途の場合は次の問題がある。撮像フレームレートあるいは圧縮符号化の程度の異なる複数のカメラを切り換えた場合、やはりカメラ切換による不自然な撮影画像の変化の発生が懸念される。特に撮像システムが監視用途の場合、不自然な撮影画像の変化が発生すると、被写体の挙動を特定する際に支障が出る可能性がある。
【0008】
次に、従来技術の第2の課題について説明する。従来の撮像システムでは、ホワイトバランスに関しては一般的に、各カメラに装備された自動ホワイトバランス調整システム(AWB)による制御が行われる。従って、カメラ切換前後の撮影画像は被写体の動きと背景画像が異なるために、それに対応して各カメラのAWBが動作し、カメラ切換前後において被写体画像の色味(ホワイトバランス)の急激な変化が生じることがある。特に撮像システムが監視用途の場合、上記と同様に、被写体の挙動を特定する際に支障が出る可能性がある。
【0009】
次に、従来技術の第3の課題について説明する。従来の撮像システムでは、露光に関しては一般的に、各カメラに装備された自動露出システム(AE)による制御が行われる。従って、カメラ切換前後の撮影画像は被写体の動きと背景画像が異なるために、それに対応して各カメラのAEが動作し、カメラ切換前後において被写体画像の明るさの急激な変化が生じることがある。特に撮像システムが監視用途の場合、上記と同様に、被写体の挙動を特定する際に支障が出る可能性がある。
【0010】
本発明の目的は、被写体の動解像度の変化と撮像装置切換時の不自然な変化を最小限に抑え、被写体の連続的挙動を容易に把握可能とした撮像システム、撮像制御装置、及び制御方法を提供することにある。
【課題を解決するための手段】
【0011】
上述の目的を達成するために、本発明の撮像システムは、移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする。
【0012】
また、本発明は、移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする。
【0013】
また、本発明は、移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする。
【発明の効果】
【0014】
本発明によれば、被写体の撮像を引き継ぐ際に、切換前の撮像装置の動解像度に関する撮像条件を、撮像を引き継いだ撮像装置の撮像条件として継承する。従って、被写体の移動に伴い複数の撮像装置を切り換える動作の前後で、被写体の動解像度の変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施の形態を図面に基づいて説明する。
【0016】
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮像システムの全体構成を示すブロック図である。
【0017】
図1において、撮像システムは、カメラ1・103、カメラ2・104、カメラ3・105・・カメラn・106(以下カメラ103、104、105、・・106)、カメラ制御装置110、画像切換装置111、記録装置112を備える。カメラ(撮像装置)103〜106は、例えば監視区域に設置され、カメラ制御装置(撮像制御装置)110、画像切換装置111、記録装置112、表示装置(不図示)は、監視センター(不図示)に設置されている。図中、102は監視区域における被写体101の移動経路、107は各カメラ103〜106の撮影範囲を概略的に示している。
【0018】
カメラ103〜106は、移動経路102上を移動する被写体101を撮影可能に配置されている。カメラ103〜106は、撮影に伴いそれぞれ撮像信号113〜116を画像切換装置111に出力する。カメラ制御装置110は、カメラ選択信号306により撮像信号113〜116から所望の撮像信号を選択する。画像切換装置111は、選択された撮像信号121を記録装置112とカメラ制御装置110に出力する。記録装置112は、撮像信号(画像信号)121を記録するものであり、具体的にはハードディスク、光ディスク、磁気テープ等の記録媒体を含んで構成されている。
【0019】
カメラ103〜106とカメラ制御装置110との間は、双方向の通信が可能な通信ライン117〜120により接続されている。カメラ103〜106からは、通信ライン117〜120を介して各カメラの撮像フレームレートと圧縮符号化レートの状態が、予め設定された短い周期でカメラ制御装置110に逐次入力される。この場合、前記入力は、カメラ制御装置110により撮像フレームレートと圧縮符号化レートの設定を受けたカメラから返される入力である。撮像フレームレートは単位時間内の撮像枚数を示す撮像条件であり、圧縮符号化レートはカメラにより撮像した撮像信号に施す圧縮符号化の程度を示す撮像条件である。
【0020】
更に、カメラ103〜106からは、通信ライン117〜120を介して各カメラのホワイトバランス(WB)の状態が、予め設定された短い周期でカメラ制御装置110に逐次入力される。この場合、前記入力は、カメラ制御装置110によりホワイトバランス情報の設定を受けたカメラから返される入力である。ホワイトバランスに関する制御については第2の実施の形態で後述する。
【0021】
更に、カメラ103〜106からは、通信ライン117〜120を介して各カメラの露光の状態が、予め設定された短い周期でカメラ制御装置110に逐次入力される。この場合、前記入力は、カメラ制御装置110により露出情報の設定を受けたカメラから返される入力である。露出に関する制御については第3の実施の形態で後述する。
【0022】
カメラ制御装置110は、画像切換装置111から出力される撮像信号121の中から被写体101の動きを検出し、被写体101を追尾する。また、カメラ制御装置110は、適宜、被写体101を的確に撮影及び撮影画像を録画できるように、カメラ103〜106の中から被写体101が撮影されているカメラを選択する。また、カメラ制御装置110は、通信ライン117〜120を介してカメラ103〜106の撮像フレームレートと圧縮符号化レートの制御を行う。
【0023】
図2は、撮像システムのカメラの詳細構成を示すブロック図である。
【0024】
図2において、上記図1に示した各カメラ103〜106はそれぞれ図示の構成を有する。即ち、各カメラは、レンズ202、絞り203、撮像素子204、利得制御増幅器(以下GCA:Gain Controlled Amplifier)205、A/D変換器206、輝度信号処理回路207を備える。更に、各カメラは、色分離回路211、ホワイトバランス補正回路212、圧縮符号化器213、色信号処理回路214、撮像制御マイクロプロセッサ(以下MPU)216、タイミングジェネレータ(以下TG)219を備える。
【0025】
被写体101からの光201は、レンズ202を通過して絞り209にて光量が制限され、撮像素子204に入射する。撮像素子204は、光電効果により光を電気信号(撮像信号)に変換し、GCA205に出力する。GCA205は、撮像制御MPU216からのゲイン制御信号210により信号増幅利得(ゲイン)が制御され、ゲイン制御後のアナログ信号をA/D変換器206に出力する。A/D変換器206は、アナログ信号をA/D変換したデジタル信号218を、輝度信号処理回路207、色分離回路211、撮像制御MPU216に出力する。
【0026】
輝度信号処理回路207は、デジタル信号218から輝度信号の分離、ガンマ補正、KNEE補正、ホワイトクリップ等の処理を行い、処理後の信号を圧縮符号化器213に出力する。色分離回路211は、デジタル信号218から色信号を分離し撮像信号をホワイトバランス補正回路212に出力する。ホワイトバランス補正回路212は、撮像信号の白部分をより白く補正するホワイトバランスを行い、色信号処理回路214に出力する。色信号処理回路214は、撮像信号に色ガンマ補正、振幅制限等を行い、圧縮符号化器213に出力する。
【0027】
圧縮符号化器213は、輝度信号処理回路207、色信号処理回路214から出力される撮像信号に圧縮符号化処理を行い、輝度信号208と色信号215を出力する。圧縮符号化器213の詳細については図5により後述する。カメラの撮像出力は、輝度信号208と色信号215を合わせたものとなる。圧縮符号化器213から出力する輝度信号208と色信号215はアナログ信号でもよい。あるいは、圧縮符号化器213から出力する信号は輝度信号208と色信号215を混合したコンポジット信号でもよい。
【0028】
撮像制御MPU216は、A/D変換器206から出力されるデジタル信号218を基に、絞り制御信号209により絞り209を制御し、ゲイン制御信号210によりGCA205を制御する。撮像制御MPU216は、圧縮符号化レート制御信号223を圧縮符号化器213に出力する。また、撮像制御MPU216は、通信ライン217と接続されており、通信ライン217を介してカメラ制御装置110との間で通信を行う。
【0029】
TG219は、撮像素子204を駆動するための各種パルスを発生するものであり、撮像制御MPU216からの電子シャッタ制御信号221により電子シャッタ速度を制御する。また、TG219は、撮像制御MPU216からのフレームレート制御信号222により撮像フレームレートを制御する。
【0030】
なお、撮像制御MPU216は、出力画像信号の明るさに関する自動制御を行う自動露出(AE)制御を、以下により実現する。絞り制御信号209による絞り203の制御、電子シャッタ制御信号221によるTG219を介した撮像素子204の電子シャッタ速度制御、ゲイン制御信号210によるGCA210のゲイン制御、あるいはこれらの制御の組み合わせで実現する。
【0031】
上記のように、各カメラの撮像制御MPU216は、カメラ制御装置110からの制御信号を通信ライン117〜120を介して受信し、フレームレート制御信号222により撮像フレームレートの変更を行う。また、各カメラの撮像制御MPU216は、圧縮符号化レート制御信号223により圧縮符号化の制御を行う。これら以外の制御の詳細は説明を省略する。
【0032】
図3は、撮像システムのカメラ制御装置110の構成を示すブロック図である。
【0033】
図3において、カメラ制御装置110(撮像制御装置)は、フレームメモリ301、動きベクトル検出回路303、カメラ制御マイクロプロセッサ(以下MPU)305(切換手段、制御手段)を備える。画像切換装置111から撮像信号121がカメラ制御装置110に入力される。フレームメモリ301は、撮像信号121から1枚(1フレーム)遅れた画像信号302を取得し、動きベクトル検出回路303に出力する。
【0034】
動きベクトル検出回路303は、下記のように被写体の移動方向ベクトル(動きベクトル)を検出する。動きベクトル検出回路303は、被写体が移動している場合に1フレーム前の画像信号と現在の画像信号との差分を抽出する。動きベクトル検出回路303は、差分の抽出により被写体の移動方向ベクトル(動きベクトル)を示す情報を取得し、動きベクトル検出信号304をカメラ制御MPU305に出力する。
【0035】
カメラ制御MPU305は、動きベクトル検出信号304を基に、カメラ103〜106により被写体101を追尾し撮影画像を録画できるように、通信ライン117〜120を介して制御信号をカメラ103〜106に出力する。また、カメラ制御MPU305は、出力画像切換信号306を画像切換装置111に出力し、撮像信号121を切り換える。また、カメラ制御MPU305は、通信ライン117〜120を介してカメラ103〜106とデータ通信を行う。
【0036】
図4は、撮像システムの画像切換装置111の構成を示すブロック図である。
【0037】
図4において、画像切換装置111は、カメラ制御装置110からの画像切換信号307により、撮像信号を選択するスイッチとして構成されている。即ち、カメラ103〜106から出力される撮像信号113〜116の中から、記録装置112とカメラ制御装置110に送出する撮像信号121を選択的に切り換える。
【0038】
図5は、カメラの圧縮符号化器213の構成を示すブロック図である。
【0039】
図5において、圧縮符号化器213は、動き補償フレーム間予測部502、離散コサイン変換(以下DCT)部503、量子化部504、可変長符号化(以下VLC)部505を備える。本実施の形態では、動画の圧縮符号化方式として一般的であるMPEG(Moving Picture Experts Group)圧縮方式(圧縮性能によりMPEG1、2、4等が普及)による信号処理を例に挙げ概要を説明する。
【0040】
入力信号(撮像信号)501は、輝度信号処理回路207及び色信号処理回路214から出力される信号であり、これらを一括して入力信号として表記している。一般に信号処理を行う際に好都合なことから、光の三原色であるR(赤)、G(緑)、B(青)の三信号ではなく、輝度信号はそのままYとし、色信号は二種類の色差信号R−Y、B−Yとして処理が行われる。
【0041】
まず、動き補償フレーム間予測部502は、被写体に動きのない撮影シーンでは同じ画像を繰り返し使用し、被写体の動きの激しい撮影シーンでは画像を間引くなど、入力信号501の時間方向の圧縮を行う。DCT部503は、動き補償フレーム間予測部502の出力信号を構成する振幅方向のデータを周波数別でのデータに変換する。量子化部506は、人間が画像を見たときに視覚的に目立たない細かい部分の信号を省略する等の処理により、DCT部503の出力信号を圧縮する。
【0042】
VLC部505は、量子化部506の出力信号のデジタルデータとしての冗長性を削減する。即ち、VLC部505は、例えば量子化部506の出力信号が0を連続して多く含む場合は、0をある別の数値符号で置き換える等の処理によりデータの圧縮削減を行う。量子化部506から出力される信号は、圧縮削減された出力信号506となる。出力信号506は、上記図2の輝度信号出力208及び色信号出力215に相当する。
【0043】
量子化部504の圧縮プロセスにおいては、その圧縮程度、即ち信号の各周波数帯域部分単位をどのように省略するかで信号量を削減することができる。一般的には視覚的に目立たなく且つ広い帯域を占有する高周波数帯域部分を削減するが、当然のことながら画像の解像度は低下する。
【0044】
撮像制御MPU216は、圧縮符号化レート制御信号223により圧縮符号化器213における上記制御を行う。圧縮符号化レートが大きい場合(高圧縮の場合)は、記録装置112に撮像信号を記録する際のデータの占有サイズが小さく済み、長時間記録が可能となる。その反面、解像度が低下し、表示装置の画面上の細かい模様が区別できにくくなる不具合が生ずる。また、動き補償フレーム間予測部502で上記処理を行っているので、動く被写体の動解像度も低下する。他方、圧縮符号化レートが小さい場合(低圧縮の場合)は、上記の場合と全く正反対の結果を得ることができる。
【0045】
撮像システムの設置者側で必要とする記録シーンに応じて、撮像制御MPU216で上記圧縮符号化レートを連続的に可変制御することが、被写体の連続的挙動の撮影(把握)に際して極めて有効である。
【0046】
図6は、動きベクトル検出を説明する図である。
【0047】
図6において、被写体101が図1の移動経路102を矢印方向に移動、即ち表示装置の画面601上では左から右に移動する場合を想定する。画面601上の撮影画像は、カメラ制御装置110のカメラ制御MPU305が動きベクトル検出回路303による動きベクトル検出を基に、表示する。画面601を有限数のブロック(本例では横6ブロックと縦4ブロック)に分割し、分割した各ブロックの中で撮影画像が存在する領域をグレー領域602で表示している。被写体101が次の撮像フレームに移動すると撮影画像が存在するグレー領域603も移動する。
【0048】
撮影画像が存在するグレー領域は、604で示すように画面の上下及び左右に前後の撮像フレーム間で移動させることができる。これを示したのが605であり、現在より前の撮像フレームと現在の撮像フレームとの間で矢印で示すブロックの移動が行われている。被写体を各々のロック単位で見ると、606で実線の矢印を表示しているブロックは、移動されたブロックである。606で点線の矢印を表示しているブロックは、前の撮像フレームと変わらずに被写体が存在するブロックである。
【0049】
以上のように、動体(移動する被写体)を含む画像(画面)を有限のブロックに分割し各ブロック毎の変化を前後の撮像フレーム間で抽出し比較する。これにより、動体の存在とその移動方向を把握することが可能となる。
【0050】
図7は、カメラの切り換えを説明する図である。
【0051】
図7において、被写体が図1の移動経路102を矢印方向に移動、即ち表示装置の画面601上では左から右に移動する場合を想定する。当初はカメラ1に被写体101が写っているとする(701)。カメラ2の撮影範囲には被写体101が入っていないため、カメラ2にはまだ被写体101は写っていない(702)。被写体101が画面601上で左から右に移動すると、被写体101はカメラ1の撮影範囲を超えて(703)、カメラ2の撮影範囲に入ってくる(704)。
【0052】
この時点では、カメラ制御装置110は画像切換装置111によりカメラ1を選択しており、記録装置112にはカメラ1の画像が記録されている。被写体101が更に移動してカメラ1の撮影範囲を抜けると(705)、カメラ制御装置110は画像切換装置111によりカメラ2の記録画像に切り換える(706)。
【0053】
以上のように、カメラ制御装置110が被写体の動きを動きベクトル検出回路303により検出しながら追尾し、画像切換装置111により被写体が撮影範囲に入っているカメラの記録画像に適宜切り換える。これにより、被写体を連続的に追尾し画像を記録することが可能となる。
【0054】
本実施の形態では、カメラ制御装置110は以下の制御を行う。被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラの動解像度(動体に対する解像度)に関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。撮像条件は、単位時間内の撮像枚数を示す撮像フレームレート、カメラにより撮像した撮像信号に施す圧縮符号化の程度を示す圧縮符号化レートを含む。
【0055】
また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮影画像の動解像度の急激な変化に伴う不自然な状態(ショック)を低減する制御に移行する。また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外(撮像装置以外)の他のカメラにも送信する。
【0056】
次に、上記のように構成された本実施の形態の撮像システムの動作について図8及び図9を参照しながら説明する。
【0057】
図8は、カメラ制御装置110のカメラ制御MPU305のカメラ切換処理を示すフローチャートである。
【0058】
図8において、本処理では、被写体の移動方向に合わせて適正なカメラを選択しカメラ切換を行うと共に、カメラ切換に伴う画面上のシーン切換時の撮像フレームレートと圧縮符号化レートの急激な変化に伴うショックを低減する制御を行う。カメラ制御MPU305は、システム電源がONとなったことを検出すると、カメラ1により被写体(移動体)の撮像及び画像の記録を開始する(ステップS801)。次に、カメラ制御MPU305は、動きベクトル検出回路303により被写体の動きベクトル(移動方向ベクトル)を検出する(ステップS802)。
【0059】
カメラ制御MPU305は、動きベクトル検出回路303により被写体の動きベクトルを検出、即ち被写体を検出したかどうかを判断する(ステップS803)。被写体を検出していない場合は、ステップS802に戻る。なお、本実施の形態では、カメラ1でのみ被写体の検出を行っているが、撮像システムを構成する全部のカメラまたは複数のカメラにより順次被写体の検出を行い、被写体を検出したカメラにおいて本処理を実行するようにしてもよい。
【0060】
被写体を検出した場合は、カメラ制御MPU305は、対応テーブル(図9参照)を読み出し(ステップS811)、被写体の撮像に適した撮像フレームレートと圧縮符号化レートを決定する(ステップS804)。対応テーブルは、カメラ制御MPU305内の不揮発性記憶部に記憶されている。図9に示すように、被写体の移動速度903が増加すると、撮像フレームレート901は増加し単位時間内の撮像枚数が増加し、圧縮符号化レート902は減少し圧縮率が少なくなる。これにより、動解像度は大幅に向上する一方、使用するデータ量は大幅に増加することになる。
【0061】
次に、カメラ制御MPU305は、決定した撮像フレームレートと圧縮符号化レートを該当するカメラ(本例ではカメラ1)に送信し、撮像フレームレートと圧縮符号化レートを設定する(ステップS805)。次に、カメラ制御MPU305は、被写体の移動方向に切り換え可能なカメラがあるかどうかを判断する(ステップS806)。被写体の移動方向に切り換え可能なカメラが無い場合は、ステップS802に戻る。
【0062】
被写体の移動方向に切り換え可能なカメラがある場合は、カメラ制御MPU305は、被写体の現在の撮影領域が撮影範囲外にはみ出そうになるかどうかを判断する(ステップS807)。被写体の現在の撮影領域が撮影範囲外にはみ出そうでない場合(カメラを切り換える必要がない場合)は、ステップS802に戻る。被写体の現在の撮影領域が撮影範囲外にはみ出そうな場合(カメラを切り換える必要がある場合)は、カメラ制御MPU305は、カメラ1から切り換えるカメラをカメラ2に決定する(ステップS808)。
【0063】
次に、カメラ制御MPU305は、カメラ1の撮像フレームレート及び圧縮符号化レートをカメラ2に送信し、カメラ2の撮像フレームレート及び圧縮符号化レートをカメラ1の撮像フレームレート及び圧縮符号化レートと同期させる(ステップS809)。次に、カメラ制御MPU305は、カメラ出力信号をカメラ1からカメラ2へ切り換える(ステップS810)。この後、ステップS802に戻り、上記一連の処理を繰り返す。
【0064】
以上説明したように、本実施の形態によれば、移動する被写体を複数のカメラの各々の撮影範囲をまたがって追尾し画像を記録する際に、以下の制御を行う。被写体を追尾するカメラを切り換える際に、切り換える前のカメラの撮像フレームレート及び圧縮符号化レートを切り換えた後のカメラに送信することで、撮像フレームレート及び圧縮符号化レートを引き継ぐ。これにより、被写体の移動に応じてそれに対応した撮像フレームレート及び圧縮符号化レートを自動選択した場合でも、カメラの切り換えの前と後で違和感の無い自然な画像を得ることが可能となる。
【0065】
また、撮像システムを監視用として使用する場合において、重要な監視対象である移動する被写体の画像を鮮明に正確に連続的に記録するという目的の達成に大きく寄与することが可能となる。
【0066】
即ち、本実施の形態によれば、被写体の移動に伴い複数のカメラを切り換える動作の前後で、被写体の動解像度の変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【0067】
[第2の実施の形態]
本発明の第2の実施の形態は、上記第1の実施の形態に対して、各カメラに図10に示す構成を装備した点と、後述の各フローチャートに示す処理を行う点において相違する。本実施の形態のその他の要素は、上記第1の実施の形態(図1)の対応するものと同一なので説明を省略する。
【0068】
図10は、本実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【0069】
図10において、上記図1に示した各カメラ103〜106はそれぞれ図示の構成を有する。即ち、各カメラは、レンズ202、絞り203、撮像素子204、GCA205、A/D変換器206、輝度信号処理回路207を備える。更に、各カメラは、色分離回路211、ホワイトバランス補正回路212、色信号処理回路214、撮像制御MPU216を備える。
【0070】
上記第1の実施の形態との相違点のみ説明する。輝度信号処理回路207は、デジタル信号218から輝度信号の分離、ガンマ補正、KNEE補正、ホワイトクリップ等の処理を行い、輝度信号208を出力する。色分離回路211は、デジタル信号218から三つの色信号(R(赤)210、G(緑)209、B(青)222)を分離し、分離した撮像信号をホワイトバランス補正回路212に出力する。
【0071】
ホワイトバランス補正回路212は、撮像信号の白部分をより白く補正するホワイトバランスを行い、色信号処理回路214に出力する。ホワイトバランス補正回路212については後で詳述する。色信号処理回路214は、撮像信号に色ガンマ補正、振幅制限等を行い、再び合成することで色信号215を出力する。
【0072】
カメラの撮像出力は、輝度信号208と色信号215を合わせたものとなる。輝度信号208と色信号215はアナログ信号でもよい。あるいは、輝度信号208と色信号215を混合したコンポジット信号でもよい。
【0073】
撮像制御MPU216は、入力されるデジタル信号218を基に絞り209とGCA205を制御し、出力信号の明るさを一定値に保つ自動露出補正(AE)動作を行うが、この動作は本発明とは直接関係しないので説明を省略する。また、撮像制御MPU216は、通信ライン217と接続されており、通信ライン217を介してカメラ制御装置110との間で通信を行う。
【0074】
本実施の形態では、カメラ制御装置110は以下の制御を行う。被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラのホワイトバランスに関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。
【0075】
また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮影画像のホワイトバランスの急激な変化に伴う画面上の色味が不自然となる状態を低減する自動ホワイトバランス制御に移行する。また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外の他のカメラにも送信する。
【0076】
次に、上記のように構成された本実施の形態の撮像システムの動作について図11乃至図13を参照しながら説明する。
【0077】
図11は、カメラの撮像制御MPU216の自動ホワイトバランス制御(AWB制御)処理を示すフローチャートである。
【0078】
図11において、撮像制御MPU216は、カメラの電源がONとなったことを検出すると(ステップS1101)、白に近い色成分を持つ被写体を検出する(ステップS1102)。白に近い色成分とは、白に近く且つ黒体放射の色温度軸に近い成分であり、換言すれば表示装置の撮影画面上における白にすべき被写体の色成分である。次に、撮像制御MPU216は、被写体を撮影画面内に検出可能かどうか、即ち白を検出可能な被写体の有無を判断する(ステップS1103)。
【0079】
白を検出可能な被写体が存在しない場合は、撮像制御MPU216は、白が無いと判断し、予め設定されたウェイト時間を経て(ステップS1112)、ステップS1102に戻り再度処理を行う。白を検出可能な被写体が存在する場合は、撮像制御MPU216は、白を検出可能な被写体の色成分を抽出する(ステップS1104)。次に、撮像制御MPU216は、R、B各色信号が両方ともG信号と同レベルかどうかを判断する(ステップS1105)。
【0080】
R、B各色信号が両方ともG信号と同レベルの場合、即ちホワイトバランスが取れている場合は、何もせずウェイト時間を経て(ステップS1112)、ステップS1102に戻る。R、B各色信号が両方ともG信号と同レベルでない場合は、撮像制御MPU216は、まず、R信号とG信号のレベルを比較する(ステップS1106)。R信号とG信号のレベルが同等またはRゲインがこれ以上を上げられないまたは下げられない場合は、ステップS1109に進む。
【0081】
R信号のレベルがG信号のレベルより大きい場合は、撮像制御MPU216は、Rゲインを1ステップ減らして(ステップS1108)、ステップS1104に戻る。R信号のレベルがG信号のレベルより小さい場合は、撮像制御MPU216は、Rゲインを1ステップ増やして(ステップS1107)、ステップS1104に戻る。
【0082】
次に、撮像制御MPU216は、B信号とG信号のレベルを比較する(ステップS1109)。B信号とG信号のレベルが同等またはBゲインがこれ以上上げられないまたは下げられない場合は、ウェイト時間を経て(ステップS1112)、ステップS1102に戻る。なお、上記ステップS1112でのウェイトは、単純に動作をシステムの安定のために所定時間遅らせることを意味する。
【0083】
B信号のレベルがG信号のレベルより大きい場合は、撮像制御MPU216は、Bゲインを1ステップ減らして(ステップS1111)、ステップS1104に戻る。B信号のレベルがG信号のレベルより小さい場合は、撮像制御MPU216は、Bゲインを1ステップ増やして(ステップS1110)、ステップS1104に戻る。
【0084】
上記のように、本処理は、最終的にR=G=Bになることにより収束する。また、本処理は、RゲインあるいはBゲインが最小または最大でそれ以上変化できないときはそこで止まる。また、本処理は、撮影画面上に存在する白に近い色を検出しその色に対する処理であり、どの範囲の色までを白にするか、また電源ONしたときはどのような初期条件から始めるか等がこの補正システム構成上の要点である。
【0085】
図12は、カメラ制御装置110のカメラ制御MPU305のカメラ切換処理を示すフローチャートである。
【0086】
図12において、本処理では、被写体の移動方向に合わせて適正なカメラを選択しカメラ切換を行うと共に、カメラ切換に伴う画面上のシーン切換時のホワイトバランスの急激な変化に伴う画面上の色味が不自然になる状態を低減する制御を行う。カメラ制御MPU305は、システム電源がONとなったことを検出すると、カメラ1により被写体被写体(移動体)の撮像及び画像の記録を開始する(ステップS1201)。次に、カメラ制御MPU305は、動きベクトル検出回路303により被写体の移動方向ベクトルを検出する(ステップS1202)。
【0087】
カメラ制御MPU305は、動きベクトル検出回路303により被写体の移動方向ベクトルを検出、即ち被写体を検出したかどうかを判断する(ステップS1203)。被写体を検出していない場合は、ステップS1202に戻る。なお、本実施の形態では、カメラ1でのみ被写体の検出を行っているが、撮像システムを構成する全部のカメラまたは複数のカメラにより順次被写体の検出を行い、被写体を検出したカメラにおいて本処理を実行するようにしてもよい。
【0088】
被写体を検出した場合は、カメラ制御MPU305は、被写体の移動方向に切り換え可能なカメラがあるかどうかを判断する(ステップS1204)。切り換え可能なカメラが無い場合は、ステップS1202に戻る。切り換え可能なカメラがある場合は、カメラ制御MPU305は、被写体の現在の撮影領域が撮影範囲外にはみ出そうになるかどうかを判断する(ステップS1205)。
【0089】
被写体の現在の撮影領域が撮影範囲外にはみ出そうでない場合(カメラを切り換える必要がない場合)は、ステップS1202に戻る。被写体の現在の撮影領域が撮影範囲外にはみ出そうな場合(カメラを切り換える必要がある場合)は、カメラ制御MPU305は、カメラ1から切り換えるカメラをカメラ2に決定する(ステップS1206)。カメラ制御MPU305は、カメラ2の動作を自動ホワイトバランス(AWB)制御から外部制御に切り換える(ステップS1207)。なお、全てのカメラは電源ONではAWBがデフォルトの動作になっている。
【0090】
次に、カメラ制御MPU305は、カメラ2のカメラデータをカメラ1と同期させる(ステップS1208)。カメラデータとは、ホワイトバランスに関する撮像条件としての制御情報(Gに対するR及びBのゲイン)である。なお、ホワイトバランスに関する撮像条件としては、上記ゲイン以外に、光学系(レンズの前)に挿入する色温度変換フィルタに関する情報等があるが、これも同期させる項目として加えてもよい。
【0091】
次に、カメラ制御MPU305は、カメラ画像出力信号をカメラ1からカメラ2へ切り換え(ステップS1209)、最後にカメラ2の動作を外部制御から自動移行モードに切り換える(ステップS1210)。自動移行モードについては以下で説明する。この後、ステップS1202に戻る。
【0092】
図13は、カメラの撮像制御MPU216のカメラ切換後の自動ホワイトバランス制御(AWB制御)への移行処理を示すフローチャートである。
【0093】
図13において、撮像制御MPU216は、カメラ制御MPU305から自動移行モードへの切り換え指示を受けると、この時点で他の被写体を撮像していたカメラからホワイトバランス情報に関する設定を受け継ぐ。次に、撮像制御MPU216は、撮影画像信号からAWB制御時の目標値を算定する(ステップS1301)。これは、上記図11のAWB制御処理で現在の撮影画像のホワイトバランス状態からAWB制御を行ったときに収束すべき最終的なホワイトバランス状態へ移行するにあたり、その目標値を算定するものである。
【0094】
次に、撮像制御MPU216は、カメラの制御値を予め定めた速度で徐々にAWB制御の目標値に移行させる(ステップS1302)。これにより、カメラ切換時の撮影画面の大幅なホワイトバランス(色味)の変化を緩和することができる。
【0095】
次に、撮像制御MPU216は、この時点の撮影画像信号によりAWB制御時の適正値を再算定する(ステップS1303)。これは、被写体は移動体を想定しているので、AWB制御の目標値が逐次変わり、変わった時点で目標値を見直す。
【0096】
次に、撮像制御MPU216は、AWB制御時の適正値に変化があるかどうかを判断する(ステップS1304)。AWB制御時の適正値に変化がある場合は、ステップS1302に戻り、再度更新された目標値に向けて移行する。AWB制御時の適正値に変化がない場合は、AWB制御への完全移行が終了し(ステップS1305)、以後はAWB制御での撮影動作を継続する。
【0097】
以上説明したように、本実施の形態によれば、移動する被写体を複数のカメラの各々の撮影範囲をまたがって追尾し画像を記録する際に、以下の制御を行う。被写体を追尾するカメラを切り換える際に、切り換える前のカメラのホワイトバランス情報を切り換え後のカメラにいったん引き継ぎ、AWB動作に徐々に移行する。これにより、カメラの切り換えの前後においても被写体及びその背景のホワイトバランスに変化の少ない自然な画像を得ることが可能になる。
【0098】
また、撮像システムを監視用として使用する場合において、重要な監視対象である移動する被写体の画像を鮮明に正確に連続的に記録するという目的の達成に大きく寄与することが可能となる。
【0099】
即ち、本実施の形態によれば、被写体の移動に伴い複数のカメラを切り換える動作の前後で、被写体のホワイトバランスの変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【0100】
[第3の実施の形態]
本発明の第3の実施の形態は、上記第1及び第2の実施の形態に対して、各カメラに図14に示す構成を装備した点と、後述の各フローチャートに示す処理を行う点において相違する。本実施の形態のその他の要素は、上記第1及び第2の実施の形態(図1、図10)の対応するものと同一なので説明を省略する。
【0101】
図14は、本実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【0102】
図14において、上記図1に示した各カメラ103〜106はそれぞれ図示の構成を有する。即ち、各カメラは、レンズ202、絞り203、撮像素子204、GCA205、A/D変換器206、輝度信号処理回路207を備える。更に、各カメラは、色分離回路211、ホワイトバランス補正回路212、色信号処理回路214、撮像制御MPU216、TG219を備える。
【0103】
上記第2の実施の形態との相違点のみ説明する。色分離回路211は、デジタル信号218から色信号を分離し撮像信号をホワイトバランス補正回路212に出力する。ホワイトバランス補正回路212は、撮像信号の白部分をより白く補正するホワイトバランスを行い、色信号処理回路214に出力する。
【0104】
撮像制御MPU216は、デジタル信号218を基に、絞り制御信号209により絞り209を制御し、ゲイン制御信号210によりGCA205を制御する。また、撮像制御MPU216は、電子シャッタ制御信号218によりTG219を制御し、撮像素子204の駆動タイミングを変化させて電子シャッタ時間も制御する。なお、本実施の形態では、カメラが電子シャッタを装備した構成を例に挙げているが、これに限定されず、機械シャッタを装備する構成としてもよい。
【0105】
本実施の形態では、カメラ制御装置110は以下の制御を行う。被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラの露光に関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。撮像条件は、絞り、GCA205(撮像信号増幅回路)のゲイン、電子シャッタ速度又は機械シャッタ速度のいずれかを含む。
【0106】
また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮影画像の明るさの急激な変化に伴う不自然な状態(ショック)を低減する自動露出制御に移行する。また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外の他のカメラにも送信する。
【0107】
次に、上記のように構成された本実施の形態の撮像システムの動作について図15乃至図17を参照しながら説明する。
【0108】
図15は、カメラの撮像制御MPU216の自動露出制御処理を示すフローチャートである。
【0109】
図15において、撮像制御MPU216は、カメラの電源がONとなったことを検出すると(ステップS1501)、絞り203を開放し、GCA205のゲインを最小とし、電子シャッタ速度を最遅状態とする初期化を行う(ステップS1502)。更に、撮像制御MPU216は、予め設定されたAE基準値を記憶部(不図示)から読み込む(ステップS1503)。
【0110】
次に、撮像制御MPU216は、現在の撮像信号レベルを読み込み(ステップS1504)、AE基準値と撮像信号レベルの比較を行う(ステップS1505)。撮像信号レベルが小さい場合は、ゲインを1ステップ上げる(ステップS1506)。また、撮像信号レベルが大きい場合は、ゲインを1ステップ下げる(ステップS1507)。ここで、1ステップとは、予め定めたゲインの制御単位である。
【0111】
更に、AE基準値と撮像信号レベルが同等又はゲインが最小か最大かの場合は、撮像制御MPU216は、再度、AE基準値と撮像信号レベルの比較を行う(ステップS1508)。撮像信号レベルが小さい場合は、絞り203を1ステップ開く(ステップS1509)。 また、撮像信号レベルが大きい場合は、絞り203を1ステップ閉じる(ステップS1510)。
【0112】
更に、AE基準値と撮像信号レベルが同等又は絞り開放あるいは最大絞りの場合は、撮像制御MPU216は、再々度、AE基準値と撮像信号レベルの比較を行う(ステップS1511)。撮像信号レベルが大きい場合は、電子シャッタを1ステップ速くして(ステップS1513)、光量を下げる。撮像信号レベルが小さい場合は、電子シャッタを1ステップ遅くして(ステップS1516)、光量を上げる。
【0113】
更に、AE基準値と撮像信号レベルが同等または電子シャッタ速度が最遅または最速の場合は、撮像制御MPU216は、再度、撮像信号レベルの読み込みを行い(ステップS1504)、ステップS1505以後の処理を繰り返す。
【0114】
上記のように、AE動作において被写体の光量が大きい(明るい)場合は、ゲインはある固定値で絞り203のみの制御により撮像素子204への入射光量を制御する。被写体の光量が更に明るい場合は、電子シャッタ速度を速くする制御を行う。一方、被写体の光量が暗く絞り203が開放で且つ撮像信号レベルが不足している場合は、ゲインを上げる制御を行う。
【0115】
なお、AE動作の最中も、カメラ制御装置110による遠隔制御動作の時も、常に、各カメラから予め設定された一定間隔で絞り203とゲインの設定値が通信ライン117〜120を介してカメラ制御装置110に送出されている。これにより、カメラ制御装置110のカメラ制御MPU305は上記設定値を常に把握している。
【0116】
図16は、カメラ制御装置110のカメラ制御MPU305のカメラ切換処理を示すフローチャートである。
【0117】
図16において、本処理では、被写体の移動方向に合わせて適正なカメラを選択しカメラ切換を行うと共に、カメラ切換に伴う画面上のシーン切換時の明るさの急激な変化に伴うショックを低減する制御を行う。カメラ制御MPU305は、システム電源がONとなったことを検出すると、カメラ1により被写体(移動体)の撮像及び画像の記録を開始する(ステップS1601)。次に、カメラ制御MPU305は、動きベクトル検出回路303により被写体の移動方向ベクトルを検出する(ステップS1602)。
【0118】
カメラ制御MPU305は、動きベクトル検出回路303により被写体(移動方向ベクトル)を検出したかどうかを判断する(ステップS1603)。被写体を検出していない場合は、ステップS1602に戻る。なお、本実施の形態では、カメラ1でのみ被写体の検出を行っているが、撮像システムを構成する全部のカメラまたは複数のカメラにより順次被写体の検出を行い、被写体を検出したカメラにおいて本処理を実行するようにしてもよい。
【0119】
被写体を検出した場合は、カメラ制御MPU305は、被写体の移動方向に切り換え可能なカメラがあるかどうかを判断する(ステップS1604)。切り換え可能なカメラが無い場合は、ステップS1602に戻る。切り換え可能なカメラがある場合は、カメラ制御MPU305は、被写体の現在の撮影領域が撮影範囲外にはみ出そうになるか(カメラを切り換える必要があるか)どうかを判断する(ステップS1605)。
【0120】
カメラを切り換える必要がない場合は、ステップS1602に戻る。カメラを切り換える必要がある場合は、カメラ制御MPU305は、カメラ1から切り換えるカメラをカメラ2に決定する(ステップS1606)。カメラ制御MPU305は、カメラ2の動作を自動露出(AE)制御から外部制御に切り換える(ステップS1607)。なお、全てのカメラは電源ONではAEがデフォルトの動作になっている。
【0121】
次に、カメラ制御MPU305は、カメラ2の露光に関する撮像条件をカメラ1と同期させる(ステップS1608)。露光に関する撮像条件とは、絞り値、ゲイン、電子シャッタ値である。次に、カメラ制御MPU305は、カメラ画像出力信号をカメラ1からカメラ2へ切り換え(ステップS1609)、最後にカメラ2の動作を外部制御から自動移行モードに切り換える(ステップS1610)。自動移行モードについては以下で説明する。この後、ステップS1602に戻る。
【0122】
図17は、カメラの撮像制御MPU216のカメラ切換後の自動露出(AE)制御への移行処理を示すフローチャートである。
【0123】
図17において、撮像制御MPU216は、カメラ制御MPU305から自動移行モードへの切り換え指示を受けると、この時点で他の被写体を撮像していたカメラから露出情報に関する設定を受け継ぐ。次に、撮像制御MPU216は、撮像信号からAE制御時の目標値を算定する(ステップS1701)。これは、現在の撮影画像の露出状態から上記図15のAE制御を行ったときに収束すべき最終的な露出状態へ移行するにあたり、その目標値を算定するものである。
【0124】
次に、撮像制御MPU216は、カメラの制御値を予め定めた速度で徐々にAE制御の目標値に移行させる(ステップS1702)。これにより、カメラ切換時の撮影画面の大幅な輝度の変化を緩和することができる。
【0125】
次に、撮像制御MPU216は、この時点の撮像信号によりAE制御時の適正値を再算定する(ステップS1703)。これは、被写体は移動体を想定しているので、AE制御の目標値が逐次変わり、変わった時点で目標値を見直す。
【0126】
次に、撮像制御MPU216は、AE制御時の適正値に変化があるかどうかを判断する(ステップS1704)。AE制御時の適正値に変化がある場合は、ステップS1702に戻り、再度更新された目標値に向けて移行する。AWB制御時の適正値に変化がない場合は、AE制御への完全移行が終了し(ステップS1705)、以後はAE制御での撮影動作を継続する。
【0127】
以上説明したように、本実施の形態によれば、移動する被写体を複数のカメラの各々の撮影範囲をまたがって追尾し画像を記録する際に、以下の制御を行う。被写体を追尾するカメラを切り換える際に、切り換える前のカメラの露出情報を切り換え後のカメラにいったん引き継ぎ、AE動作に徐々に移行する。これにより、カメラの切り換えの前後においても被写体の明るさに変化の無い自然な画像を得ることが可能になる。
【0128】
また、撮像システムを監視用として使用する場合において、重要な監視対象である移動する被写体の画像を鮮明に正確に連続的に記録するという目的の達成に大きく寄与することが可能となる。
【0129】
即ち、本実施の形態によれば、被写体の移動に伴い複数のカメラを切り換える動作の前後で、被写体の明るさの変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【0130】
[他の実施の形態]
上記各実施の形態では、撮像システムの具体的な用途については言及しなかったが、撮像システムは各種用途に適用することができる。各種用途の具体例としては、建造物の所定区域等における不審者等の出入りの監視用、立ち入り禁止危険区域等における安全確認用、美術館等における立ち入り禁止重要展示区域の監視用等が考えられる。
【図面の簡単な説明】
【0131】
【図1】本発明の第1の実施の形態に係る撮像システムの全体構成を示すブロック図である。
【図2】撮像システムのカメラの詳細構成を示すブロック図である。
【図3】撮像システムのカメラ制御装置の構成を示すブロック図である。
【図4】撮像システムの画像切換装置の構成を示すブロック図である。
【図5】カメラの圧縮符号化器の構成を示すブロック図である。
【図6】動きベクトル検出を説明する図である。
【図7】カメラの切り換えを説明する図である。
【図8】カメラ制御装置のカメラ制御MPUのカメラ切換処理を示すフローチャートである。
【図9】被写体の移動速度に対する撮像フレームレート及び圧縮符号化レートの対応テーブルの一例を示す図である。
【図10】本発明の第2の実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【図11】カメラの撮像制御MPUの自動ホワイトバランス制御処理を示すフローチャートである。
【図12】カメラ制御装置のカメラ制御MPUのカメラ切換処理を示すフローチャートである。
【図13】カメラの撮像制御MPUのカメラ切換後の自動ホワイトバランス制御への移行処理を示すフローチャートである。
【図14】本発明の第3の実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【図15】カメラの撮像制御MPUの自動露出制御処理を示すフローチャートである。
【図16】カメラ制御装置のカメラ制御MPUのカメラ切換処理を示すフローチャートである。
【図17】カメラの撮像制御MPUのカメラ切換後の自動露出制御への移行処理を示すフローチャートである。
【符号の説明】
【0132】
101 被写体
103〜106 カメラ
110 カメラ制御装置
111 画像切換装置
112 記録装置
204 撮像素子
213 圧縮符号化器
216 撮像制御MPU
303 動きベクトル検出回路
305 カメラ制御MPU
【技術分野】
【0001】
本発明は、移動する被写体を複数の撮像装置により追尾して撮像及び記録を行う撮像システム、撮像制御装置、及び制御方法に関する。
【背景技術】
【0002】
従来、複数のカメラを使用して被写体を監視し、そのうちの1つのカメラが被写体を見失った場合でも他のカメラが被写体の撮影情報を受け取り、被写体を探索して追尾する撮像システムが提案されている(例えば、特許文献1参照)。
【0003】
他方、1つのカメラで被写体までの距離を示す距離情報を取得し、他のカメラで距離情報を基に撮影を行うことにより、激しく移動する被写体を追尾する機能を有する撮像システムが提案されている(例えば、特許文献2参照)。
【特許文献1】特開2001−320699号公報
【特許文献2】特開2001−285849号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
まず、従来技術の第1の課題について説明する。従来の撮像システムでは、複数のカメラによる移動する被写体の追尾に際して被写体の距離情報は各カメラに伝送されるため、撮影画像の焦点及び画角に関しては、カメラの切り換えに伴う不自然な撮影画像の変化の発生は防止できる。一方で、近年のカメラ及びその信号処理のデジタル化の進展に伴い、従来の機能に対し更に新たな機能を加える試みが行われている。
【0005】
機能の1つは、従来のTV信号では固定であった動画の構成要素である各1枚1枚の静止画の撮像フレームレート(単位時間内に何枚撮像するかを示すレート)を変更する機能である。これにより、動く被写体の撮影時は撮像フレームレートを上げることで、動体に対する解像度(動解像度)を上げることができる。一方、動く被写体がない時は撮像フレームレートを下げることで、カメラ内の撮像信号(画像信号)の伝送路の帯域の確保や撮像信号記録時の占有ファイルサイズの削減を図ることができる。
【0006】
機能のもう1つは、撮像信号は他の信号と多重化されて伝送されることが多々あり伝送路の使用帯域が制限されるため、撮像信号に予めいわゆる圧縮符号化を行いデータ量を低滅してから伝送する一般的に行われている機能である。これにより、激しく動く被写体の撮影時は圧縮符号化の重み付け(圧縮符号化の程度)を軽くすることで、動解像度を確保できる。一方、動く被写体がない時は高圧縮を行うことで、伝送路の帯域確保と記録ファイルサイズの削減を実現できる。
【0007】
しかしながら、従来の撮像システムで複数のカメラを切り換えることで各カメラの撮影画像を記録する用途の場合は次の問題がある。撮像フレームレートあるいは圧縮符号化の程度の異なる複数のカメラを切り換えた場合、やはりカメラ切換による不自然な撮影画像の変化の発生が懸念される。特に撮像システムが監視用途の場合、不自然な撮影画像の変化が発生すると、被写体の挙動を特定する際に支障が出る可能性がある。
【0008】
次に、従来技術の第2の課題について説明する。従来の撮像システムでは、ホワイトバランスに関しては一般的に、各カメラに装備された自動ホワイトバランス調整システム(AWB)による制御が行われる。従って、カメラ切換前後の撮影画像は被写体の動きと背景画像が異なるために、それに対応して各カメラのAWBが動作し、カメラ切換前後において被写体画像の色味(ホワイトバランス)の急激な変化が生じることがある。特に撮像システムが監視用途の場合、上記と同様に、被写体の挙動を特定する際に支障が出る可能性がある。
【0009】
次に、従来技術の第3の課題について説明する。従来の撮像システムでは、露光に関しては一般的に、各カメラに装備された自動露出システム(AE)による制御が行われる。従って、カメラ切換前後の撮影画像は被写体の動きと背景画像が異なるために、それに対応して各カメラのAEが動作し、カメラ切換前後において被写体画像の明るさの急激な変化が生じることがある。特に撮像システムが監視用途の場合、上記と同様に、被写体の挙動を特定する際に支障が出る可能性がある。
【0010】
本発明の目的は、被写体の動解像度の変化と撮像装置切換時の不自然な変化を最小限に抑え、被写体の連続的挙動を容易に把握可能とした撮像システム、撮像制御装置、及び制御方法を提供することにある。
【課題を解決するための手段】
【0011】
上述の目的を達成するために、本発明の撮像システムは、移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする。
【0012】
また、本発明は、移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする。
【0013】
また、本発明は、移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする。
【発明の効果】
【0014】
本発明によれば、被写体の撮像を引き継ぐ際に、切換前の撮像装置の動解像度に関する撮像条件を、撮像を引き継いだ撮像装置の撮像条件として継承する。従って、被写体の移動に伴い複数の撮像装置を切り換える動作の前後で、被写体の動解像度の変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施の形態を図面に基づいて説明する。
【0016】
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮像システムの全体構成を示すブロック図である。
【0017】
図1において、撮像システムは、カメラ1・103、カメラ2・104、カメラ3・105・・カメラn・106(以下カメラ103、104、105、・・106)、カメラ制御装置110、画像切換装置111、記録装置112を備える。カメラ(撮像装置)103〜106は、例えば監視区域に設置され、カメラ制御装置(撮像制御装置)110、画像切換装置111、記録装置112、表示装置(不図示)は、監視センター(不図示)に設置されている。図中、102は監視区域における被写体101の移動経路、107は各カメラ103〜106の撮影範囲を概略的に示している。
【0018】
カメラ103〜106は、移動経路102上を移動する被写体101を撮影可能に配置されている。カメラ103〜106は、撮影に伴いそれぞれ撮像信号113〜116を画像切換装置111に出力する。カメラ制御装置110は、カメラ選択信号306により撮像信号113〜116から所望の撮像信号を選択する。画像切換装置111は、選択された撮像信号121を記録装置112とカメラ制御装置110に出力する。記録装置112は、撮像信号(画像信号)121を記録するものであり、具体的にはハードディスク、光ディスク、磁気テープ等の記録媒体を含んで構成されている。
【0019】
カメラ103〜106とカメラ制御装置110との間は、双方向の通信が可能な通信ライン117〜120により接続されている。カメラ103〜106からは、通信ライン117〜120を介して各カメラの撮像フレームレートと圧縮符号化レートの状態が、予め設定された短い周期でカメラ制御装置110に逐次入力される。この場合、前記入力は、カメラ制御装置110により撮像フレームレートと圧縮符号化レートの設定を受けたカメラから返される入力である。撮像フレームレートは単位時間内の撮像枚数を示す撮像条件であり、圧縮符号化レートはカメラにより撮像した撮像信号に施す圧縮符号化の程度を示す撮像条件である。
【0020】
更に、カメラ103〜106からは、通信ライン117〜120を介して各カメラのホワイトバランス(WB)の状態が、予め設定された短い周期でカメラ制御装置110に逐次入力される。この場合、前記入力は、カメラ制御装置110によりホワイトバランス情報の設定を受けたカメラから返される入力である。ホワイトバランスに関する制御については第2の実施の形態で後述する。
【0021】
更に、カメラ103〜106からは、通信ライン117〜120を介して各カメラの露光の状態が、予め設定された短い周期でカメラ制御装置110に逐次入力される。この場合、前記入力は、カメラ制御装置110により露出情報の設定を受けたカメラから返される入力である。露出に関する制御については第3の実施の形態で後述する。
【0022】
カメラ制御装置110は、画像切換装置111から出力される撮像信号121の中から被写体101の動きを検出し、被写体101を追尾する。また、カメラ制御装置110は、適宜、被写体101を的確に撮影及び撮影画像を録画できるように、カメラ103〜106の中から被写体101が撮影されているカメラを選択する。また、カメラ制御装置110は、通信ライン117〜120を介してカメラ103〜106の撮像フレームレートと圧縮符号化レートの制御を行う。
【0023】
図2は、撮像システムのカメラの詳細構成を示すブロック図である。
【0024】
図2において、上記図1に示した各カメラ103〜106はそれぞれ図示の構成を有する。即ち、各カメラは、レンズ202、絞り203、撮像素子204、利得制御増幅器(以下GCA:Gain Controlled Amplifier)205、A/D変換器206、輝度信号処理回路207を備える。更に、各カメラは、色分離回路211、ホワイトバランス補正回路212、圧縮符号化器213、色信号処理回路214、撮像制御マイクロプロセッサ(以下MPU)216、タイミングジェネレータ(以下TG)219を備える。
【0025】
被写体101からの光201は、レンズ202を通過して絞り209にて光量が制限され、撮像素子204に入射する。撮像素子204は、光電効果により光を電気信号(撮像信号)に変換し、GCA205に出力する。GCA205は、撮像制御MPU216からのゲイン制御信号210により信号増幅利得(ゲイン)が制御され、ゲイン制御後のアナログ信号をA/D変換器206に出力する。A/D変換器206は、アナログ信号をA/D変換したデジタル信号218を、輝度信号処理回路207、色分離回路211、撮像制御MPU216に出力する。
【0026】
輝度信号処理回路207は、デジタル信号218から輝度信号の分離、ガンマ補正、KNEE補正、ホワイトクリップ等の処理を行い、処理後の信号を圧縮符号化器213に出力する。色分離回路211は、デジタル信号218から色信号を分離し撮像信号をホワイトバランス補正回路212に出力する。ホワイトバランス補正回路212は、撮像信号の白部分をより白く補正するホワイトバランスを行い、色信号処理回路214に出力する。色信号処理回路214は、撮像信号に色ガンマ補正、振幅制限等を行い、圧縮符号化器213に出力する。
【0027】
圧縮符号化器213は、輝度信号処理回路207、色信号処理回路214から出力される撮像信号に圧縮符号化処理を行い、輝度信号208と色信号215を出力する。圧縮符号化器213の詳細については図5により後述する。カメラの撮像出力は、輝度信号208と色信号215を合わせたものとなる。圧縮符号化器213から出力する輝度信号208と色信号215はアナログ信号でもよい。あるいは、圧縮符号化器213から出力する信号は輝度信号208と色信号215を混合したコンポジット信号でもよい。
【0028】
撮像制御MPU216は、A/D変換器206から出力されるデジタル信号218を基に、絞り制御信号209により絞り209を制御し、ゲイン制御信号210によりGCA205を制御する。撮像制御MPU216は、圧縮符号化レート制御信号223を圧縮符号化器213に出力する。また、撮像制御MPU216は、通信ライン217と接続されており、通信ライン217を介してカメラ制御装置110との間で通信を行う。
【0029】
TG219は、撮像素子204を駆動するための各種パルスを発生するものであり、撮像制御MPU216からの電子シャッタ制御信号221により電子シャッタ速度を制御する。また、TG219は、撮像制御MPU216からのフレームレート制御信号222により撮像フレームレートを制御する。
【0030】
なお、撮像制御MPU216は、出力画像信号の明るさに関する自動制御を行う自動露出(AE)制御を、以下により実現する。絞り制御信号209による絞り203の制御、電子シャッタ制御信号221によるTG219を介した撮像素子204の電子シャッタ速度制御、ゲイン制御信号210によるGCA210のゲイン制御、あるいはこれらの制御の組み合わせで実現する。
【0031】
上記のように、各カメラの撮像制御MPU216は、カメラ制御装置110からの制御信号を通信ライン117〜120を介して受信し、フレームレート制御信号222により撮像フレームレートの変更を行う。また、各カメラの撮像制御MPU216は、圧縮符号化レート制御信号223により圧縮符号化の制御を行う。これら以外の制御の詳細は説明を省略する。
【0032】
図3は、撮像システムのカメラ制御装置110の構成を示すブロック図である。
【0033】
図3において、カメラ制御装置110(撮像制御装置)は、フレームメモリ301、動きベクトル検出回路303、カメラ制御マイクロプロセッサ(以下MPU)305(切換手段、制御手段)を備える。画像切換装置111から撮像信号121がカメラ制御装置110に入力される。フレームメモリ301は、撮像信号121から1枚(1フレーム)遅れた画像信号302を取得し、動きベクトル検出回路303に出力する。
【0034】
動きベクトル検出回路303は、下記のように被写体の移動方向ベクトル(動きベクトル)を検出する。動きベクトル検出回路303は、被写体が移動している場合に1フレーム前の画像信号と現在の画像信号との差分を抽出する。動きベクトル検出回路303は、差分の抽出により被写体の移動方向ベクトル(動きベクトル)を示す情報を取得し、動きベクトル検出信号304をカメラ制御MPU305に出力する。
【0035】
カメラ制御MPU305は、動きベクトル検出信号304を基に、カメラ103〜106により被写体101を追尾し撮影画像を録画できるように、通信ライン117〜120を介して制御信号をカメラ103〜106に出力する。また、カメラ制御MPU305は、出力画像切換信号306を画像切換装置111に出力し、撮像信号121を切り換える。また、カメラ制御MPU305は、通信ライン117〜120を介してカメラ103〜106とデータ通信を行う。
【0036】
図4は、撮像システムの画像切換装置111の構成を示すブロック図である。
【0037】
図4において、画像切換装置111は、カメラ制御装置110からの画像切換信号307により、撮像信号を選択するスイッチとして構成されている。即ち、カメラ103〜106から出力される撮像信号113〜116の中から、記録装置112とカメラ制御装置110に送出する撮像信号121を選択的に切り換える。
【0038】
図5は、カメラの圧縮符号化器213の構成を示すブロック図である。
【0039】
図5において、圧縮符号化器213は、動き補償フレーム間予測部502、離散コサイン変換(以下DCT)部503、量子化部504、可変長符号化(以下VLC)部505を備える。本実施の形態では、動画の圧縮符号化方式として一般的であるMPEG(Moving Picture Experts Group)圧縮方式(圧縮性能によりMPEG1、2、4等が普及)による信号処理を例に挙げ概要を説明する。
【0040】
入力信号(撮像信号)501は、輝度信号処理回路207及び色信号処理回路214から出力される信号であり、これらを一括して入力信号として表記している。一般に信号処理を行う際に好都合なことから、光の三原色であるR(赤)、G(緑)、B(青)の三信号ではなく、輝度信号はそのままYとし、色信号は二種類の色差信号R−Y、B−Yとして処理が行われる。
【0041】
まず、動き補償フレーム間予測部502は、被写体に動きのない撮影シーンでは同じ画像を繰り返し使用し、被写体の動きの激しい撮影シーンでは画像を間引くなど、入力信号501の時間方向の圧縮を行う。DCT部503は、動き補償フレーム間予測部502の出力信号を構成する振幅方向のデータを周波数別でのデータに変換する。量子化部506は、人間が画像を見たときに視覚的に目立たない細かい部分の信号を省略する等の処理により、DCT部503の出力信号を圧縮する。
【0042】
VLC部505は、量子化部506の出力信号のデジタルデータとしての冗長性を削減する。即ち、VLC部505は、例えば量子化部506の出力信号が0を連続して多く含む場合は、0をある別の数値符号で置き換える等の処理によりデータの圧縮削減を行う。量子化部506から出力される信号は、圧縮削減された出力信号506となる。出力信号506は、上記図2の輝度信号出力208及び色信号出力215に相当する。
【0043】
量子化部504の圧縮プロセスにおいては、その圧縮程度、即ち信号の各周波数帯域部分単位をどのように省略するかで信号量を削減することができる。一般的には視覚的に目立たなく且つ広い帯域を占有する高周波数帯域部分を削減するが、当然のことながら画像の解像度は低下する。
【0044】
撮像制御MPU216は、圧縮符号化レート制御信号223により圧縮符号化器213における上記制御を行う。圧縮符号化レートが大きい場合(高圧縮の場合)は、記録装置112に撮像信号を記録する際のデータの占有サイズが小さく済み、長時間記録が可能となる。その反面、解像度が低下し、表示装置の画面上の細かい模様が区別できにくくなる不具合が生ずる。また、動き補償フレーム間予測部502で上記処理を行っているので、動く被写体の動解像度も低下する。他方、圧縮符号化レートが小さい場合(低圧縮の場合)は、上記の場合と全く正反対の結果を得ることができる。
【0045】
撮像システムの設置者側で必要とする記録シーンに応じて、撮像制御MPU216で上記圧縮符号化レートを連続的に可変制御することが、被写体の連続的挙動の撮影(把握)に際して極めて有効である。
【0046】
図6は、動きベクトル検出を説明する図である。
【0047】
図6において、被写体101が図1の移動経路102を矢印方向に移動、即ち表示装置の画面601上では左から右に移動する場合を想定する。画面601上の撮影画像は、カメラ制御装置110のカメラ制御MPU305が動きベクトル検出回路303による動きベクトル検出を基に、表示する。画面601を有限数のブロック(本例では横6ブロックと縦4ブロック)に分割し、分割した各ブロックの中で撮影画像が存在する領域をグレー領域602で表示している。被写体101が次の撮像フレームに移動すると撮影画像が存在するグレー領域603も移動する。
【0048】
撮影画像が存在するグレー領域は、604で示すように画面の上下及び左右に前後の撮像フレーム間で移動させることができる。これを示したのが605であり、現在より前の撮像フレームと現在の撮像フレームとの間で矢印で示すブロックの移動が行われている。被写体を各々のロック単位で見ると、606で実線の矢印を表示しているブロックは、移動されたブロックである。606で点線の矢印を表示しているブロックは、前の撮像フレームと変わらずに被写体が存在するブロックである。
【0049】
以上のように、動体(移動する被写体)を含む画像(画面)を有限のブロックに分割し各ブロック毎の変化を前後の撮像フレーム間で抽出し比較する。これにより、動体の存在とその移動方向を把握することが可能となる。
【0050】
図7は、カメラの切り換えを説明する図である。
【0051】
図7において、被写体が図1の移動経路102を矢印方向に移動、即ち表示装置の画面601上では左から右に移動する場合を想定する。当初はカメラ1に被写体101が写っているとする(701)。カメラ2の撮影範囲には被写体101が入っていないため、カメラ2にはまだ被写体101は写っていない(702)。被写体101が画面601上で左から右に移動すると、被写体101はカメラ1の撮影範囲を超えて(703)、カメラ2の撮影範囲に入ってくる(704)。
【0052】
この時点では、カメラ制御装置110は画像切換装置111によりカメラ1を選択しており、記録装置112にはカメラ1の画像が記録されている。被写体101が更に移動してカメラ1の撮影範囲を抜けると(705)、カメラ制御装置110は画像切換装置111によりカメラ2の記録画像に切り換える(706)。
【0053】
以上のように、カメラ制御装置110が被写体の動きを動きベクトル検出回路303により検出しながら追尾し、画像切換装置111により被写体が撮影範囲に入っているカメラの記録画像に適宜切り換える。これにより、被写体を連続的に追尾し画像を記録することが可能となる。
【0054】
本実施の形態では、カメラ制御装置110は以下の制御を行う。被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラの動解像度(動体に対する解像度)に関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。撮像条件は、単位時間内の撮像枚数を示す撮像フレームレート、カメラにより撮像した撮像信号に施す圧縮符号化の程度を示す圧縮符号化レートを含む。
【0055】
また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮影画像の動解像度の急激な変化に伴う不自然な状態(ショック)を低減する制御に移行する。また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外(撮像装置以外)の他のカメラにも送信する。
【0056】
次に、上記のように構成された本実施の形態の撮像システムの動作について図8及び図9を参照しながら説明する。
【0057】
図8は、カメラ制御装置110のカメラ制御MPU305のカメラ切換処理を示すフローチャートである。
【0058】
図8において、本処理では、被写体の移動方向に合わせて適正なカメラを選択しカメラ切換を行うと共に、カメラ切換に伴う画面上のシーン切換時の撮像フレームレートと圧縮符号化レートの急激な変化に伴うショックを低減する制御を行う。カメラ制御MPU305は、システム電源がONとなったことを検出すると、カメラ1により被写体(移動体)の撮像及び画像の記録を開始する(ステップS801)。次に、カメラ制御MPU305は、動きベクトル検出回路303により被写体の動きベクトル(移動方向ベクトル)を検出する(ステップS802)。
【0059】
カメラ制御MPU305は、動きベクトル検出回路303により被写体の動きベクトルを検出、即ち被写体を検出したかどうかを判断する(ステップS803)。被写体を検出していない場合は、ステップS802に戻る。なお、本実施の形態では、カメラ1でのみ被写体の検出を行っているが、撮像システムを構成する全部のカメラまたは複数のカメラにより順次被写体の検出を行い、被写体を検出したカメラにおいて本処理を実行するようにしてもよい。
【0060】
被写体を検出した場合は、カメラ制御MPU305は、対応テーブル(図9参照)を読み出し(ステップS811)、被写体の撮像に適した撮像フレームレートと圧縮符号化レートを決定する(ステップS804)。対応テーブルは、カメラ制御MPU305内の不揮発性記憶部に記憶されている。図9に示すように、被写体の移動速度903が増加すると、撮像フレームレート901は増加し単位時間内の撮像枚数が増加し、圧縮符号化レート902は減少し圧縮率が少なくなる。これにより、動解像度は大幅に向上する一方、使用するデータ量は大幅に増加することになる。
【0061】
次に、カメラ制御MPU305は、決定した撮像フレームレートと圧縮符号化レートを該当するカメラ(本例ではカメラ1)に送信し、撮像フレームレートと圧縮符号化レートを設定する(ステップS805)。次に、カメラ制御MPU305は、被写体の移動方向に切り換え可能なカメラがあるかどうかを判断する(ステップS806)。被写体の移動方向に切り換え可能なカメラが無い場合は、ステップS802に戻る。
【0062】
被写体の移動方向に切り換え可能なカメラがある場合は、カメラ制御MPU305は、被写体の現在の撮影領域が撮影範囲外にはみ出そうになるかどうかを判断する(ステップS807)。被写体の現在の撮影領域が撮影範囲外にはみ出そうでない場合(カメラを切り換える必要がない場合)は、ステップS802に戻る。被写体の現在の撮影領域が撮影範囲外にはみ出そうな場合(カメラを切り換える必要がある場合)は、カメラ制御MPU305は、カメラ1から切り換えるカメラをカメラ2に決定する(ステップS808)。
【0063】
次に、カメラ制御MPU305は、カメラ1の撮像フレームレート及び圧縮符号化レートをカメラ2に送信し、カメラ2の撮像フレームレート及び圧縮符号化レートをカメラ1の撮像フレームレート及び圧縮符号化レートと同期させる(ステップS809)。次に、カメラ制御MPU305は、カメラ出力信号をカメラ1からカメラ2へ切り換える(ステップS810)。この後、ステップS802に戻り、上記一連の処理を繰り返す。
【0064】
以上説明したように、本実施の形態によれば、移動する被写体を複数のカメラの各々の撮影範囲をまたがって追尾し画像を記録する際に、以下の制御を行う。被写体を追尾するカメラを切り換える際に、切り換える前のカメラの撮像フレームレート及び圧縮符号化レートを切り換えた後のカメラに送信することで、撮像フレームレート及び圧縮符号化レートを引き継ぐ。これにより、被写体の移動に応じてそれに対応した撮像フレームレート及び圧縮符号化レートを自動選択した場合でも、カメラの切り換えの前と後で違和感の無い自然な画像を得ることが可能となる。
【0065】
また、撮像システムを監視用として使用する場合において、重要な監視対象である移動する被写体の画像を鮮明に正確に連続的に記録するという目的の達成に大きく寄与することが可能となる。
【0066】
即ち、本実施の形態によれば、被写体の移動に伴い複数のカメラを切り換える動作の前後で、被写体の動解像度の変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【0067】
[第2の実施の形態]
本発明の第2の実施の形態は、上記第1の実施の形態に対して、各カメラに図10に示す構成を装備した点と、後述の各フローチャートに示す処理を行う点において相違する。本実施の形態のその他の要素は、上記第1の実施の形態(図1)の対応するものと同一なので説明を省略する。
【0068】
図10は、本実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【0069】
図10において、上記図1に示した各カメラ103〜106はそれぞれ図示の構成を有する。即ち、各カメラは、レンズ202、絞り203、撮像素子204、GCA205、A/D変換器206、輝度信号処理回路207を備える。更に、各カメラは、色分離回路211、ホワイトバランス補正回路212、色信号処理回路214、撮像制御MPU216を備える。
【0070】
上記第1の実施の形態との相違点のみ説明する。輝度信号処理回路207は、デジタル信号218から輝度信号の分離、ガンマ補正、KNEE補正、ホワイトクリップ等の処理を行い、輝度信号208を出力する。色分離回路211は、デジタル信号218から三つの色信号(R(赤)210、G(緑)209、B(青)222)を分離し、分離した撮像信号をホワイトバランス補正回路212に出力する。
【0071】
ホワイトバランス補正回路212は、撮像信号の白部分をより白く補正するホワイトバランスを行い、色信号処理回路214に出力する。ホワイトバランス補正回路212については後で詳述する。色信号処理回路214は、撮像信号に色ガンマ補正、振幅制限等を行い、再び合成することで色信号215を出力する。
【0072】
カメラの撮像出力は、輝度信号208と色信号215を合わせたものとなる。輝度信号208と色信号215はアナログ信号でもよい。あるいは、輝度信号208と色信号215を混合したコンポジット信号でもよい。
【0073】
撮像制御MPU216は、入力されるデジタル信号218を基に絞り209とGCA205を制御し、出力信号の明るさを一定値に保つ自動露出補正(AE)動作を行うが、この動作は本発明とは直接関係しないので説明を省略する。また、撮像制御MPU216は、通信ライン217と接続されており、通信ライン217を介してカメラ制御装置110との間で通信を行う。
【0074】
本実施の形態では、カメラ制御装置110は以下の制御を行う。被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラのホワイトバランスに関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。
【0075】
また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮影画像のホワイトバランスの急激な変化に伴う画面上の色味が不自然となる状態を低減する自動ホワイトバランス制御に移行する。また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外の他のカメラにも送信する。
【0076】
次に、上記のように構成された本実施の形態の撮像システムの動作について図11乃至図13を参照しながら説明する。
【0077】
図11は、カメラの撮像制御MPU216の自動ホワイトバランス制御(AWB制御)処理を示すフローチャートである。
【0078】
図11において、撮像制御MPU216は、カメラの電源がONとなったことを検出すると(ステップS1101)、白に近い色成分を持つ被写体を検出する(ステップS1102)。白に近い色成分とは、白に近く且つ黒体放射の色温度軸に近い成分であり、換言すれば表示装置の撮影画面上における白にすべき被写体の色成分である。次に、撮像制御MPU216は、被写体を撮影画面内に検出可能かどうか、即ち白を検出可能な被写体の有無を判断する(ステップS1103)。
【0079】
白を検出可能な被写体が存在しない場合は、撮像制御MPU216は、白が無いと判断し、予め設定されたウェイト時間を経て(ステップS1112)、ステップS1102に戻り再度処理を行う。白を検出可能な被写体が存在する場合は、撮像制御MPU216は、白を検出可能な被写体の色成分を抽出する(ステップS1104)。次に、撮像制御MPU216は、R、B各色信号が両方ともG信号と同レベルかどうかを判断する(ステップS1105)。
【0080】
R、B各色信号が両方ともG信号と同レベルの場合、即ちホワイトバランスが取れている場合は、何もせずウェイト時間を経て(ステップS1112)、ステップS1102に戻る。R、B各色信号が両方ともG信号と同レベルでない場合は、撮像制御MPU216は、まず、R信号とG信号のレベルを比較する(ステップS1106)。R信号とG信号のレベルが同等またはRゲインがこれ以上を上げられないまたは下げられない場合は、ステップS1109に進む。
【0081】
R信号のレベルがG信号のレベルより大きい場合は、撮像制御MPU216は、Rゲインを1ステップ減らして(ステップS1108)、ステップS1104に戻る。R信号のレベルがG信号のレベルより小さい場合は、撮像制御MPU216は、Rゲインを1ステップ増やして(ステップS1107)、ステップS1104に戻る。
【0082】
次に、撮像制御MPU216は、B信号とG信号のレベルを比較する(ステップS1109)。B信号とG信号のレベルが同等またはBゲインがこれ以上上げられないまたは下げられない場合は、ウェイト時間を経て(ステップS1112)、ステップS1102に戻る。なお、上記ステップS1112でのウェイトは、単純に動作をシステムの安定のために所定時間遅らせることを意味する。
【0083】
B信号のレベルがG信号のレベルより大きい場合は、撮像制御MPU216は、Bゲインを1ステップ減らして(ステップS1111)、ステップS1104に戻る。B信号のレベルがG信号のレベルより小さい場合は、撮像制御MPU216は、Bゲインを1ステップ増やして(ステップS1110)、ステップS1104に戻る。
【0084】
上記のように、本処理は、最終的にR=G=Bになることにより収束する。また、本処理は、RゲインあるいはBゲインが最小または最大でそれ以上変化できないときはそこで止まる。また、本処理は、撮影画面上に存在する白に近い色を検出しその色に対する処理であり、どの範囲の色までを白にするか、また電源ONしたときはどのような初期条件から始めるか等がこの補正システム構成上の要点である。
【0085】
図12は、カメラ制御装置110のカメラ制御MPU305のカメラ切換処理を示すフローチャートである。
【0086】
図12において、本処理では、被写体の移動方向に合わせて適正なカメラを選択しカメラ切換を行うと共に、カメラ切換に伴う画面上のシーン切換時のホワイトバランスの急激な変化に伴う画面上の色味が不自然になる状態を低減する制御を行う。カメラ制御MPU305は、システム電源がONとなったことを検出すると、カメラ1により被写体被写体(移動体)の撮像及び画像の記録を開始する(ステップS1201)。次に、カメラ制御MPU305は、動きベクトル検出回路303により被写体の移動方向ベクトルを検出する(ステップS1202)。
【0087】
カメラ制御MPU305は、動きベクトル検出回路303により被写体の移動方向ベクトルを検出、即ち被写体を検出したかどうかを判断する(ステップS1203)。被写体を検出していない場合は、ステップS1202に戻る。なお、本実施の形態では、カメラ1でのみ被写体の検出を行っているが、撮像システムを構成する全部のカメラまたは複数のカメラにより順次被写体の検出を行い、被写体を検出したカメラにおいて本処理を実行するようにしてもよい。
【0088】
被写体を検出した場合は、カメラ制御MPU305は、被写体の移動方向に切り換え可能なカメラがあるかどうかを判断する(ステップS1204)。切り換え可能なカメラが無い場合は、ステップS1202に戻る。切り換え可能なカメラがある場合は、カメラ制御MPU305は、被写体の現在の撮影領域が撮影範囲外にはみ出そうになるかどうかを判断する(ステップS1205)。
【0089】
被写体の現在の撮影領域が撮影範囲外にはみ出そうでない場合(カメラを切り換える必要がない場合)は、ステップS1202に戻る。被写体の現在の撮影領域が撮影範囲外にはみ出そうな場合(カメラを切り換える必要がある場合)は、カメラ制御MPU305は、カメラ1から切り換えるカメラをカメラ2に決定する(ステップS1206)。カメラ制御MPU305は、カメラ2の動作を自動ホワイトバランス(AWB)制御から外部制御に切り換える(ステップS1207)。なお、全てのカメラは電源ONではAWBがデフォルトの動作になっている。
【0090】
次に、カメラ制御MPU305は、カメラ2のカメラデータをカメラ1と同期させる(ステップS1208)。カメラデータとは、ホワイトバランスに関する撮像条件としての制御情報(Gに対するR及びBのゲイン)である。なお、ホワイトバランスに関する撮像条件としては、上記ゲイン以外に、光学系(レンズの前)に挿入する色温度変換フィルタに関する情報等があるが、これも同期させる項目として加えてもよい。
【0091】
次に、カメラ制御MPU305は、カメラ画像出力信号をカメラ1からカメラ2へ切り換え(ステップS1209)、最後にカメラ2の動作を外部制御から自動移行モードに切り換える(ステップS1210)。自動移行モードについては以下で説明する。この後、ステップS1202に戻る。
【0092】
図13は、カメラの撮像制御MPU216のカメラ切換後の自動ホワイトバランス制御(AWB制御)への移行処理を示すフローチャートである。
【0093】
図13において、撮像制御MPU216は、カメラ制御MPU305から自動移行モードへの切り換え指示を受けると、この時点で他の被写体を撮像していたカメラからホワイトバランス情報に関する設定を受け継ぐ。次に、撮像制御MPU216は、撮影画像信号からAWB制御時の目標値を算定する(ステップS1301)。これは、上記図11のAWB制御処理で現在の撮影画像のホワイトバランス状態からAWB制御を行ったときに収束すべき最終的なホワイトバランス状態へ移行するにあたり、その目標値を算定するものである。
【0094】
次に、撮像制御MPU216は、カメラの制御値を予め定めた速度で徐々にAWB制御の目標値に移行させる(ステップS1302)。これにより、カメラ切換時の撮影画面の大幅なホワイトバランス(色味)の変化を緩和することができる。
【0095】
次に、撮像制御MPU216は、この時点の撮影画像信号によりAWB制御時の適正値を再算定する(ステップS1303)。これは、被写体は移動体を想定しているので、AWB制御の目標値が逐次変わり、変わった時点で目標値を見直す。
【0096】
次に、撮像制御MPU216は、AWB制御時の適正値に変化があるかどうかを判断する(ステップS1304)。AWB制御時の適正値に変化がある場合は、ステップS1302に戻り、再度更新された目標値に向けて移行する。AWB制御時の適正値に変化がない場合は、AWB制御への完全移行が終了し(ステップS1305)、以後はAWB制御での撮影動作を継続する。
【0097】
以上説明したように、本実施の形態によれば、移動する被写体を複数のカメラの各々の撮影範囲をまたがって追尾し画像を記録する際に、以下の制御を行う。被写体を追尾するカメラを切り換える際に、切り換える前のカメラのホワイトバランス情報を切り換え後のカメラにいったん引き継ぎ、AWB動作に徐々に移行する。これにより、カメラの切り換えの前後においても被写体及びその背景のホワイトバランスに変化の少ない自然な画像を得ることが可能になる。
【0098】
また、撮像システムを監視用として使用する場合において、重要な監視対象である移動する被写体の画像を鮮明に正確に連続的に記録するという目的の達成に大きく寄与することが可能となる。
【0099】
即ち、本実施の形態によれば、被写体の移動に伴い複数のカメラを切り換える動作の前後で、被写体のホワイトバランスの変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【0100】
[第3の実施の形態]
本発明の第3の実施の形態は、上記第1及び第2の実施の形態に対して、各カメラに図14に示す構成を装備した点と、後述の各フローチャートに示す処理を行う点において相違する。本実施の形態のその他の要素は、上記第1及び第2の実施の形態(図1、図10)の対応するものと同一なので説明を省略する。
【0101】
図14は、本実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【0102】
図14において、上記図1に示した各カメラ103〜106はそれぞれ図示の構成を有する。即ち、各カメラは、レンズ202、絞り203、撮像素子204、GCA205、A/D変換器206、輝度信号処理回路207を備える。更に、各カメラは、色分離回路211、ホワイトバランス補正回路212、色信号処理回路214、撮像制御MPU216、TG219を備える。
【0103】
上記第2の実施の形態との相違点のみ説明する。色分離回路211は、デジタル信号218から色信号を分離し撮像信号をホワイトバランス補正回路212に出力する。ホワイトバランス補正回路212は、撮像信号の白部分をより白く補正するホワイトバランスを行い、色信号処理回路214に出力する。
【0104】
撮像制御MPU216は、デジタル信号218を基に、絞り制御信号209により絞り209を制御し、ゲイン制御信号210によりGCA205を制御する。また、撮像制御MPU216は、電子シャッタ制御信号218によりTG219を制御し、撮像素子204の駆動タイミングを変化させて電子シャッタ時間も制御する。なお、本実施の形態では、カメラが電子シャッタを装備した構成を例に挙げているが、これに限定されず、機械シャッタを装備する構成としてもよい。
【0105】
本実施の形態では、カメラ制御装置110は以下の制御を行う。被写体の移動に伴い被写体を撮像していたカメラから他のカメラに切り換えて被写体の撮像を引き継ぐ際に、被写体を撮像していたカメラの露光に関する撮像条件を、撮像を引き継いだカメラの撮像条件として継承する。撮像条件は、絞り、GCA205(撮像信号増幅回路)のゲイン、電子シャッタ速度又は機械シャッタ速度のいずれかを含む。
【0106】
また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮影画像の明るさの急激な変化に伴う不自然な状態(ショック)を低減する自動露出制御に移行する。また、被写体を撮像していたカメラから撮像を引き継いだカメラに切り換えて撮像条件を継承する際に、撮像条件を、撮像を引き継いだカメラ以外の他のカメラにも送信する。
【0107】
次に、上記のように構成された本実施の形態の撮像システムの動作について図15乃至図17を参照しながら説明する。
【0108】
図15は、カメラの撮像制御MPU216の自動露出制御処理を示すフローチャートである。
【0109】
図15において、撮像制御MPU216は、カメラの電源がONとなったことを検出すると(ステップS1501)、絞り203を開放し、GCA205のゲインを最小とし、電子シャッタ速度を最遅状態とする初期化を行う(ステップS1502)。更に、撮像制御MPU216は、予め設定されたAE基準値を記憶部(不図示)から読み込む(ステップS1503)。
【0110】
次に、撮像制御MPU216は、現在の撮像信号レベルを読み込み(ステップS1504)、AE基準値と撮像信号レベルの比較を行う(ステップS1505)。撮像信号レベルが小さい場合は、ゲインを1ステップ上げる(ステップS1506)。また、撮像信号レベルが大きい場合は、ゲインを1ステップ下げる(ステップS1507)。ここで、1ステップとは、予め定めたゲインの制御単位である。
【0111】
更に、AE基準値と撮像信号レベルが同等又はゲインが最小か最大かの場合は、撮像制御MPU216は、再度、AE基準値と撮像信号レベルの比較を行う(ステップS1508)。撮像信号レベルが小さい場合は、絞り203を1ステップ開く(ステップS1509)。 また、撮像信号レベルが大きい場合は、絞り203を1ステップ閉じる(ステップS1510)。
【0112】
更に、AE基準値と撮像信号レベルが同等又は絞り開放あるいは最大絞りの場合は、撮像制御MPU216は、再々度、AE基準値と撮像信号レベルの比較を行う(ステップS1511)。撮像信号レベルが大きい場合は、電子シャッタを1ステップ速くして(ステップS1513)、光量を下げる。撮像信号レベルが小さい場合は、電子シャッタを1ステップ遅くして(ステップS1516)、光量を上げる。
【0113】
更に、AE基準値と撮像信号レベルが同等または電子シャッタ速度が最遅または最速の場合は、撮像制御MPU216は、再度、撮像信号レベルの読み込みを行い(ステップS1504)、ステップS1505以後の処理を繰り返す。
【0114】
上記のように、AE動作において被写体の光量が大きい(明るい)場合は、ゲインはある固定値で絞り203のみの制御により撮像素子204への入射光量を制御する。被写体の光量が更に明るい場合は、電子シャッタ速度を速くする制御を行う。一方、被写体の光量が暗く絞り203が開放で且つ撮像信号レベルが不足している場合は、ゲインを上げる制御を行う。
【0115】
なお、AE動作の最中も、カメラ制御装置110による遠隔制御動作の時も、常に、各カメラから予め設定された一定間隔で絞り203とゲインの設定値が通信ライン117〜120を介してカメラ制御装置110に送出されている。これにより、カメラ制御装置110のカメラ制御MPU305は上記設定値を常に把握している。
【0116】
図16は、カメラ制御装置110のカメラ制御MPU305のカメラ切換処理を示すフローチャートである。
【0117】
図16において、本処理では、被写体の移動方向に合わせて適正なカメラを選択しカメラ切換を行うと共に、カメラ切換に伴う画面上のシーン切換時の明るさの急激な変化に伴うショックを低減する制御を行う。カメラ制御MPU305は、システム電源がONとなったことを検出すると、カメラ1により被写体(移動体)の撮像及び画像の記録を開始する(ステップS1601)。次に、カメラ制御MPU305は、動きベクトル検出回路303により被写体の移動方向ベクトルを検出する(ステップS1602)。
【0118】
カメラ制御MPU305は、動きベクトル検出回路303により被写体(移動方向ベクトル)を検出したかどうかを判断する(ステップS1603)。被写体を検出していない場合は、ステップS1602に戻る。なお、本実施の形態では、カメラ1でのみ被写体の検出を行っているが、撮像システムを構成する全部のカメラまたは複数のカメラにより順次被写体の検出を行い、被写体を検出したカメラにおいて本処理を実行するようにしてもよい。
【0119】
被写体を検出した場合は、カメラ制御MPU305は、被写体の移動方向に切り換え可能なカメラがあるかどうかを判断する(ステップS1604)。切り換え可能なカメラが無い場合は、ステップS1602に戻る。切り換え可能なカメラがある場合は、カメラ制御MPU305は、被写体の現在の撮影領域が撮影範囲外にはみ出そうになるか(カメラを切り換える必要があるか)どうかを判断する(ステップS1605)。
【0120】
カメラを切り換える必要がない場合は、ステップS1602に戻る。カメラを切り換える必要がある場合は、カメラ制御MPU305は、カメラ1から切り換えるカメラをカメラ2に決定する(ステップS1606)。カメラ制御MPU305は、カメラ2の動作を自動露出(AE)制御から外部制御に切り換える(ステップS1607)。なお、全てのカメラは電源ONではAEがデフォルトの動作になっている。
【0121】
次に、カメラ制御MPU305は、カメラ2の露光に関する撮像条件をカメラ1と同期させる(ステップS1608)。露光に関する撮像条件とは、絞り値、ゲイン、電子シャッタ値である。次に、カメラ制御MPU305は、カメラ画像出力信号をカメラ1からカメラ2へ切り換え(ステップS1609)、最後にカメラ2の動作を外部制御から自動移行モードに切り換える(ステップS1610)。自動移行モードについては以下で説明する。この後、ステップS1602に戻る。
【0122】
図17は、カメラの撮像制御MPU216のカメラ切換後の自動露出(AE)制御への移行処理を示すフローチャートである。
【0123】
図17において、撮像制御MPU216は、カメラ制御MPU305から自動移行モードへの切り換え指示を受けると、この時点で他の被写体を撮像していたカメラから露出情報に関する設定を受け継ぐ。次に、撮像制御MPU216は、撮像信号からAE制御時の目標値を算定する(ステップS1701)。これは、現在の撮影画像の露出状態から上記図15のAE制御を行ったときに収束すべき最終的な露出状態へ移行するにあたり、その目標値を算定するものである。
【0124】
次に、撮像制御MPU216は、カメラの制御値を予め定めた速度で徐々にAE制御の目標値に移行させる(ステップS1702)。これにより、カメラ切換時の撮影画面の大幅な輝度の変化を緩和することができる。
【0125】
次に、撮像制御MPU216は、この時点の撮像信号によりAE制御時の適正値を再算定する(ステップS1703)。これは、被写体は移動体を想定しているので、AE制御の目標値が逐次変わり、変わった時点で目標値を見直す。
【0126】
次に、撮像制御MPU216は、AE制御時の適正値に変化があるかどうかを判断する(ステップS1704)。AE制御時の適正値に変化がある場合は、ステップS1702に戻り、再度更新された目標値に向けて移行する。AWB制御時の適正値に変化がない場合は、AE制御への完全移行が終了し(ステップS1705)、以後はAE制御での撮影動作を継続する。
【0127】
以上説明したように、本実施の形態によれば、移動する被写体を複数のカメラの各々の撮影範囲をまたがって追尾し画像を記録する際に、以下の制御を行う。被写体を追尾するカメラを切り換える際に、切り換える前のカメラの露出情報を切り換え後のカメラにいったん引き継ぎ、AE動作に徐々に移行する。これにより、カメラの切り換えの前後においても被写体の明るさに変化の無い自然な画像を得ることが可能になる。
【0128】
また、撮像システムを監視用として使用する場合において、重要な監視対象である移動する被写体の画像を鮮明に正確に連続的に記録するという目的の達成に大きく寄与することが可能となる。
【0129】
即ち、本実施の形態によれば、被写体の移動に伴い複数のカメラを切り換える動作の前後で、被写体の明るさの変化と撮影画面の不自然な変化を最小限に抑えることが可能となる。これにより、被写体の連続的挙動を容易に把握できる撮像システムを実現することが可能となる。
【0130】
[他の実施の形態]
上記各実施の形態では、撮像システムの具体的な用途については言及しなかったが、撮像システムは各種用途に適用することができる。各種用途の具体例としては、建造物の所定区域等における不審者等の出入りの監視用、立ち入り禁止危険区域等における安全確認用、美術館等における立ち入り禁止重要展示区域の監視用等が考えられる。
【図面の簡単な説明】
【0131】
【図1】本発明の第1の実施の形態に係る撮像システムの全体構成を示すブロック図である。
【図2】撮像システムのカメラの詳細構成を示すブロック図である。
【図3】撮像システムのカメラ制御装置の構成を示すブロック図である。
【図4】撮像システムの画像切換装置の構成を示すブロック図である。
【図5】カメラの圧縮符号化器の構成を示すブロック図である。
【図6】動きベクトル検出を説明する図である。
【図7】カメラの切り換えを説明する図である。
【図8】カメラ制御装置のカメラ制御MPUのカメラ切換処理を示すフローチャートである。
【図9】被写体の移動速度に対する撮像フレームレート及び圧縮符号化レートの対応テーブルの一例を示す図である。
【図10】本発明の第2の実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【図11】カメラの撮像制御MPUの自動ホワイトバランス制御処理を示すフローチャートである。
【図12】カメラ制御装置のカメラ制御MPUのカメラ切換処理を示すフローチャートである。
【図13】カメラの撮像制御MPUのカメラ切換後の自動ホワイトバランス制御への移行処理を示すフローチャートである。
【図14】本発明の第3の実施の形態に係る撮像システムのカメラの詳細構成を示すブロック図である。
【図15】カメラの撮像制御MPUの自動露出制御処理を示すフローチャートである。
【図16】カメラ制御装置のカメラ制御MPUのカメラ切換処理を示すフローチャートである。
【図17】カメラの撮像制御MPUのカメラ切換後の自動露出制御への移行処理を示すフローチャートである。
【符号の説明】
【0132】
101 被写体
103〜106 カメラ
110 カメラ制御装置
111 画像切換装置
112 記録装置
204 撮像素子
213 圧縮符号化器
216 撮像制御MPU
303 動きベクトル検出回路
305 カメラ制御MPU
【特許請求の範囲】
【請求項1】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする撮像システム。
【請求項2】
前記撮像条件は、単位時間内の撮像枚数を示す撮像フレームレート、前記撮像装置により撮像した撮像信号に施す圧縮符号化の程度を示す圧縮符号化レートのいずれかを含むことを特徴とする請求項1記載の撮像システム。
【請求項3】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする撮像システム。
【請求項4】
前記被写体を撮像していた撮像装置から前記撮像を引き継いだ撮像装置に切り換えて撮像条件を継承する際に、撮影画像のホワイトバランスの変化に伴う不自然な状態を低減する自動ホワイトバランス制御に移行することを特徴とする請求項3記載の撮像システム。
【請求項5】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする撮像システム。
【請求項6】
前記撮像条件は、絞り、撮像信号増幅回路のゲイン、電子シャッタ速度又は機械シャッタ速度のいずれかを含むことを特徴とする請求項5記載の撮像システム。
【請求項7】
前記被写体を撮像していた撮像装置から前記撮像を引き継いだ撮像装置に切り換えて前記撮像条件を継承する際に、撮影画像の明るさの変化に伴う不自然な状態を低減する自動露出制御に移行することを特徴とする請求項5記載の撮像システム。
【請求項8】
前記被写体を撮像していた撮像装置から前記撮像を引き継いだ撮像装置に切り換えて前記撮像条件を継承する際に、前記撮像条件を、前記撮像を引き継いだ撮像装置以外の他の撮像装置にも送信することを特徴とする請求項1、3、5のいずれかに記載の撮像システム。
【請求項9】
移動する被写体を追尾しながら被写体を撮像する複数の撮像装置を制御する撮像制御装置において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ切換手段と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する制御手段と、を備えることを特徴とする撮像制御装置。
【請求項10】
移動する被写体を追尾しながら被写体を撮像する複数の撮像装置を制御する撮像制御装置において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ切換手段と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する制御手段と、を備えることを特徴とする撮像制御装置。
【請求項11】
移動する被写体を追尾しながら被写体を撮像する複数の撮像装置を制御する撮像制御装置において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ切換手段と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する制御手段と、を備えることを特徴とする撮像制御装置。
【請求項12】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムの制御方法において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ工程と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する工程と、を有することを特徴とする制御方法。
【請求項13】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムの制御方法において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ工程と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する工程と、を有することを特徴とする制御方法。
【請求項14】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムの制御方法において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ工程と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する工程と、を有することを特徴とする制御方法。
【請求項1】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする撮像システム。
【請求項2】
前記撮像条件は、単位時間内の撮像枚数を示す撮像フレームレート、前記撮像装置により撮像した撮像信号に施す圧縮符号化の程度を示す圧縮符号化レートのいずれかを含むことを特徴とする請求項1記載の撮像システム。
【請求項3】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする撮像システム。
【請求項4】
前記被写体を撮像していた撮像装置から前記撮像を引き継いだ撮像装置に切り換えて撮像条件を継承する際に、撮影画像のホワイトバランスの変化に伴う不自然な状態を低減する自動ホワイトバランス制御に移行することを特徴とする請求項3記載の撮像システム。
【請求項5】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムにおいて、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承することを特徴とする撮像システム。
【請求項6】
前記撮像条件は、絞り、撮像信号増幅回路のゲイン、電子シャッタ速度又は機械シャッタ速度のいずれかを含むことを特徴とする請求項5記載の撮像システム。
【請求項7】
前記被写体を撮像していた撮像装置から前記撮像を引き継いだ撮像装置に切り換えて前記撮像条件を継承する際に、撮影画像の明るさの変化に伴う不自然な状態を低減する自動露出制御に移行することを特徴とする請求項5記載の撮像システム。
【請求項8】
前記被写体を撮像していた撮像装置から前記撮像を引き継いだ撮像装置に切り換えて前記撮像条件を継承する際に、前記撮像条件を、前記撮像を引き継いだ撮像装置以外の他の撮像装置にも送信することを特徴とする請求項1、3、5のいずれかに記載の撮像システム。
【請求項9】
移動する被写体を追尾しながら被写体を撮像する複数の撮像装置を制御する撮像制御装置において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ切換手段と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する制御手段と、を備えることを特徴とする撮像制御装置。
【請求項10】
移動する被写体を追尾しながら被写体を撮像する複数の撮像装置を制御する撮像制御装置において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ切換手段と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する制御手段と、を備えることを特徴とする撮像制御装置。
【請求項11】
移動する被写体を追尾しながら被写体を撮像する複数の撮像装置を制御する撮像制御装置において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ切換手段と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する制御手段と、を備えることを特徴とする撮像制御装置。
【請求項12】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムの制御方法において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ工程と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の動解像度に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する工程と、を有することを特徴とする制御方法。
【請求項13】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムの制御方法において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ工程と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置のホワイトバランスに関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する工程と、を有することを特徴とする制御方法。
【請求項14】
移動する被写体を複数の撮像装置により追尾しながら被写体を撮像する撮像システムの制御方法において、
被写体の移動に伴い前記被写体を撮像していた撮像装置から他の撮像装置に切り換えて前記被写体の撮像を引き継ぐ工程と、
前記引き継ぎを行う際に、前記被写体を撮像していた撮像装置の露光に関する撮像条件を、前記撮像を引き継いだ撮像装置の撮像条件として継承する工程と、を有することを特徴とする制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2009−65381(P2009−65381A)
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願番号】特願2007−230579(P2007−230579)
【出願日】平成19年9月5日(2007.9.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成21年3月26日(2009.3.26)
【国際特許分類】
【出願日】平成19年9月5日(2007.9.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]