説明

画像記録システム及び画像記録方法

【課題】処理能力の高いCPUや大規模な信号処理回路を用いることなく、正しく画像の圧縮及び伸張を行うことができ、また大きな転送容量のネットワークを確保することなく画像を転送することができる画像記録システム及び画像記録方法を提供する。
【解決手段】カメラ101から入力される画像に動き検出領域と圧縮対象領域を設定し、動き検出領域をカメラ101の有効撮像領域と同一とし、圧縮対象領域をカメラ101の有効撮像領域の一部とし、動き検出領域でカメラ101から入力される映像信号全体に対して動き検出を行い、圧縮対象領域で映像信号の画像圧縮を行ってハードディスク212に記録又はネットワーク107に送出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視用途に向けた画像記録システム及び画像記録方法に関する。
【背景技術】
【0002】
従来、監視用途における画像記録方法として、幾つかの方法が提案されている。その1つとして、カメラの映像出力を画像データメモリに格納するとともに、画像データメモリ上の画像データに複数の画区を設けて、画像データメモリ上で動きを検出した場合に画像データメモリから該当する画区のデータを読み出して拡大処理を施し、画像データメモリに格納された画像データをCRT(Cathode Ray Tube)や液晶等のモニタに表示する際に、動きが検出された画区を拡大処理した画像と通常の画像とを重複させて表示する方法がある(例えば、特許文献1参照)。
【0003】
【特許文献1】特開平10−322684号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の画像記録方法においては、カメラの映像出力がモニタに表示する画像と同一の解像度であるため、画像全体を圧縮するには莫大な演算量を必要とし、ソフトウェアで圧縮及び伸張を行おうとすると、処理能力の高いCPU(Central Processing Unit)が必要となる。このため、コスト低減の要求に答えられない。この場合、処理能力の低いCPUを使用することでコスト低減は可能であるが、規定時間内での圧縮及び伸張処理が完了しなくなり、コマ落ちが発生してしまう。監視用途においてコマ落ちはその目的から回避させなければならない。また、ハードウェアで画像圧縮を行おうとすると、高解像度の画像を圧縮するための大規模な信号処理回路が必要となり、この場合もコスト低減の要求には答えられない。
【0005】
また、画像全体を圧縮したファイルを扱うことから、遠隔地で監視する場合、大きな転送容量のネットワークを確保しなければならず、システムのコスト要求に答えられない。また、既存のネットワークがあっても、対応できるだけの充分な転送容量を持っていなければ、増量しなければならず、そのためのコストが発生する。また、充分な転送容量を持たないネットワークに高解像度の圧縮ファイルを送出する場合、パケットロスが発生する可能性が高く、伸張時にコマ落ちが発生する可能性が高くなる。
【0006】
本発明は、係る事情に鑑みてなされたものであり、処理能力の高いCPUや大規模な信号処理回路を用いることなく、コマ落ち無しで画像の圧縮及び伸張を行うことができ、また遠隔監視する場合に大きな転送容量のネットワークを確保することなく画像を転送することができる画像記録システム及び画像記録方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的は下記構成又は方法により達成される。
本発明の画像記録システムは、撮像手段の撮像領域全体を動き検出領域として動き検出を行う動き検出手段と、前記動き検出手段で動き検出された前記撮像領域の一部分を圧縮対象領域として取得する圧縮対象領域画像取得手段と、前記圧縮対象領域画像取得手段で取得された前記圧縮対象領域の画像を圧縮する画像圧縮手段と、前記画像圧縮手段で圧縮された画像を記録する記録手段と、を備える。
【0008】
この構成により、撮像手段から入力される画像に動き検出領域と圧縮対象領域を設定し、動き検出領域を撮像手段の有効撮像領域と同一とし、圧縮対象領域を有効撮像領域の一部とし、動き検出領域で動き検出を行い、圧縮対象領域の画像に対して画像圧縮を行って記録するので、撮像手段の有効撮像領域全体を画像圧縮する必要が無くなり、膨大なCPUの演算量もしくは大規模な信号処理回路が不要となる。また、記録手段に格納するファイルのサイズを小さくすることが可能であり、記録手段の有効利用が可能となる。
【0009】
また、本発明の画像記録システムは、前記圧縮対象領域画像取得手段は、前記動き検出領域で動きが検出された場合、動きが有った領域を判定し、判定した領域を含む位置に前記圧縮対象領域を初期設定位置から変更する。
【0010】
この構成により、動き検出領域で動きを検出した場合、圧縮対象領域を初期設定位置から動き判定した領域に変更するので、広い範囲で注目領域(動きを検出した領域)を監視することが可能となる。
【0011】
また、本発明の画像記録システムは、前記圧縮対象領域画像取得手段は、前記動き検出領域をN個(Nは整数)に等分割し、前記動き検出領域で動きが検出された場合、動きが有った領域がN等分した前記動き検出領域の何処であるかを判定し、判定した領域を含む位置に前記圧縮対象領域を初期設定位置から変更する。
【0012】
この構成により、動き検出領域をN個(Nは整数)に等分割し、動き検出領域で動きを検出した場合、圧縮対象領域を初期設定位置から動き判定した領域に変更するので、広い範囲で注目領域(動きを検出した領域)を監視することが可能となる。
【0013】
また、本発明の画像記録システムは、前記圧縮対象領域画像取得手段は、前記動き検出領域で動きが2箇所以上検出された場合、動きが有った全ての領域を判定し、判定した各領域を含むように前記圧縮対象領域を分割し、前記画像圧縮手段は、前記分割された各圧縮対象領域の画像を1枚の画像として合成して画像圧縮を行う。
【0014】
この構成により、動きが2箇所以上あっても、圧縮対象領域を分割してそれぞれに割り当てるので、1度に画像圧縮を行うことができる。
【0015】
また、本発明の画像記録システムは、前記圧縮対象領域画像取得手段は、前記動き検出領域の画像データを現在分と複数フレームの過去分を保持し、前記動き検出領域で動きが検出された場合、動きが有った領域を判定し、動きが検出された時刻から数フレーム分過去の画像データの前記圧縮対象領域を初期設定位置から、該当フレームの画像データにおける動きが検出された領域を含む位置に変更する。
【0016】
この構成により、動き検出領域の画像データを現在分と複数フレームの過去分を保持するので、動き検出した前後の画像を監視することができる。
【0017】
また、本発明の画像記録システムは、前記圧縮対象領域画像取得手段は、前記動き検出領域で動きが検出された場合、前記動き検出領域の画像データを複数フレーム期間保持し、前記動き検出領域内で動きが移動しているかどうかを判定し、移動している場合、その動きの方向に応じて前記圧縮対象領域を変更する。
【0018】
この構成により、動き検出領域で動きが検出された場合、動き検出領域の画像データを複数フレーム期間保持するので、動きが移動してもその動きに圧縮対象領域を追従させることができる。
【0019】
また、本発明の画像記録システムは、前記圧縮対象領域画像取得手段は、操作指示に従い、前記動き検出領域内で前記圧縮対象領域を水平方向又は垂直方向にずらす。
【0020】
この構成により、動き検出領域内で圧縮対象領域を水平方向又は垂直方向にずらせるので、パニング又はチルティングを実現できる。
【0021】
また、本発明の画像記録システムは、インターネットを含むネットワークにデータの送出が可能であり、前記画像圧縮手段で圧縮された前記圧縮対象領域の画像データを前記ネットワークに送出するネットワーク制御手段を備える。
【0022】
この構成により、圧縮対象領域の画像のみを圧縮した画像をネットワークに送出するので、伝送容量の大幅の増強が不要となる。
【0023】
また、本発明の画像記録システムは、前記動き検出手段は、前記撮像手段の撮像領域全体で動き検出を行う際に、動き検出を行う映像信号をサンプリングする。
【0024】
この構成により、撮像手段の撮像領域全体で動き検出を行う際に、動き検出を行う映像信号をサンプリングするので、動き検出する際の演算量を削減することができる。
【0025】
本発明の画像記録方法は、撮像素子の撮像領域全体を動き検出領域として動き検出を行い、動き検出した前記撮像領域の一部分を圧縮対象領域として取得し、取得した圧縮対象領域の画像を圧縮して記録装置に記録する。
【0026】
この方法により、撮像素子の撮像領域全体を動き検出領域として動き検出を行い、動き検出した撮像領域の一部分を圧縮対象領域として取得し、取得した圧縮対象領域の画像を圧縮してハードディスク等の記録装置に記録するので、撮像素子の有効撮像領域全体を画像圧縮する必要が無くなり、膨大なCPUの演算量もしくは大規模な信号処理回路が不要となる。また、記録装置に格納するファイルのサイズを小さくすることが可能であり、ハードディスク等の記録装置の有効利用が可能となる。
【0027】
また、本発明の画像記録方法は、前記動き検出領域で動きを検出した場合、動きが有った領域を含む位置に前記圧縮対象領域を初期設定位置から変更する。
【0028】
この方法により、動き検出領域で動きを検出した場合、圧縮対象領域を初期設定位置から動き判定した領域に変更するので、広い範囲で注目領域(動きを検出した領域)を監視することが可能となる。
【発明の効果】
【0029】
本発明によれば、処理能力の高いCPUや大規模な信号処理回路を用いることなく、コマ落ち無しで画像の圧縮及び伸張を行うことができ、また遠隔監視する場合に大きな転送容量のネットワークを確保することなく画像を転送することができる画像記録システム及び画像記録方法を提供することができる。
【発明を実施するための最良の形態】
【0030】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【0031】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像記録システムの概略構成を示すブロック図である。同図において、本実施の形態の画像記録システムは、カメラ101と、画像蓄積装置102と、モニタ103と、入力部104と、パーソナルコンピュータ(以下、パソコンと呼ぶ)105とを備えて構成される。
【0032】
カメラ101は、被写体106を撮影するものであり、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えており、映像信号を出力する。なお、本システムは監視用途に使用されることから、被写体106は人物、物、駐車場の車など様々である。画像蓄積装置102は、カメラ101から出力される映像信号をJPEG(Joint Photographic Experts Group)又はMPEG(Moving Picture Experts Group)で画像圧縮してハードディスク(記録装置)に記録する機能を備えている。また、ネットワーク107にデータを送出する機能も備えており、カメラ101からの映像信号を圧縮してネットワーク107へ送出する。また、パーソナルコンピュータ(以下、パソコンと呼ぶ)等の外部機器よりネットワーク107を通じてデータ送出要求が有った場合にはハードディスクから特定の映像を読み出してネットワーク107へ送出する機能も有している。
【0033】
モニタ103は、カメラ101からの映像信号を表示したり、画像蓄積装置102に格納された映像を表示したり、カメラ101や画像蓄積装置102などシステム全体の操作、設定変更、制御及びメンテナンスの情報の表示などに使用される。入力部104は、キーボードやタッチパネル、ボタンスイッチなどから構成され、カメラ101や画像蓄積装置102などシステム全体を制御するためのコマンド入力に使用される。パソコン105は、ネットワーク107に接続されており、画像蓄積装置102を遠隔操作できる機能を備えている。例えば画像蓄積装置102のハードディスクに記録された特定の映像を読み出して、ネットワーク107経由で取得する。
【0034】
図2は、画像蓄積装置102の概略構成を示すブロック図である。同図において、画像蓄積装置102は、A/D変換部202と、動き検出部204と、フレームメモリ205と、画像切り出し部207と、画像圧縮部208と、制御部210と、ハードディスク制御部211と、ハードディスク212と、画像伸張部213と、表示制御部214と、ネットワーク制御部215とを備えて構成される。
【0035】
制御部210は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成され、システム全体の制御を行う。A/D変換部202にはカメラ101からの映像信号201が入力される。A/D変換部202は、映像信号201をデジタル変換し、画像データとして動き検出部204及びフレームメモリ205に入力する。動き検出部204は、A/D変換部202から入力された画像データ(A/D変換出力)203より動き検出を行い、その結果を制御部210に入力する。フレームメモリ205は、画像データを複数枚格納できる容量を持ち、画像データの入力順序を変えずに格納するFIFO(First-In First-Out)として機能する。
【0036】
画像切り出し部207は、制御部210の制御に応じてフレームメモリ205からの画像データの一部分を圧縮対象領域として切り出し、画像圧縮部208に入力する。画像圧縮部208は、画像切り出し部207から入力された画像データを圧縮してハードディスク制御部211に入力する。ハードディスク制御部211は、画像圧縮部208から入力された圧縮済みの画像データ(以下、圧縮画像データと呼ぶ)をハードディスク212に格納する。また、ハードディスク制御部211は、制御部210からの指示により、ハードディスク212に格納された圧縮画像データを読み出して画像伸張部213又はネットワーク制御部215に入力する。ハードディスク212は、データの格納及び読み出しが可能な記憶装置である。画像伸張部213は、ハードディスク制御部211から読み出された圧縮画像データを伸張し、表示制御部214に入力する。表示制御部214は、画像伸張部213から入力された画像データをモニタ103(図1参照)に表示可能なフォーマットに変換して入力する。ネットワーク制御部215は、ハードディスク212から読み出された圧縮画像データをネットワーク107に送出する。
【0037】
なお、カメラ101は、撮像手段に対応する。また、動き検出部204及び制御部210は、動き検出手段を構成する。また、フレームメモリ205、画像切り出し部207及び制御部210は、圧縮対象領域画像取得手段を構成する。また、画像圧縮部208は、画像圧縮手段に対応する。また、ハードディスク制御部211及びハードディスク212は、記録手段に対応する。また、ネットワーク制御部215は、ネットワーク制御手段に対応する。
【0038】
次に、図3を参照して、画像切り出し部207の動作について説明する。同図において、符号301は動き検出領域であり、カメラ101のCCDの有効撮像領域と等価であり、複数の動き検出ブロック303から構成される。この図では、水平方向に16個、垂直方向に8個の合計128個の動き検出ブロックから構成されている。符号302は圧縮対象領域であり、動き検出領域301の内側に設定されており、制御部210の制御により、動き検出領域301の内部で位置変更可能となっている。通常時は動き検出領域301の中央に設定され、動き検出領域301中で動きが検出された場合に、動きが検出された動き検出ブロック303を含む位置に設定変更される。複数の動き検出ブロック303は、動き検出領域301の内側に隙間無く並べられており、それぞれを1単位として動き検出が行われる。
【0039】
カメラ101からの入力画像に動き検出領域301と圧縮対象領域302を設ける。上述したように、動き検出領域301は、カメラ101のCCDの有効撮像領域と同一であり、CCDに入力される映像信号全体に対して動き検出を行う。圧縮対象領域302は、CCDの有効撮像領域の一部であり、この領域に入力された映像信号に対して画像圧縮を行い、ハードディスク212に記録もしくはネットワーク107に送出する。このような構成とすることにより、ハードディスク212に記録される画像よりも広い範囲に対して動き検出を行うことが可能となる。
【0040】
さらに、動き検出領域301内で動きが検出された場合に、その検出結果から動きが有った領域を判定し、圧縮対象領域302を初期設定された領域から、動きが検出された領域を含む位置に変更する。このような構成とすることにより、カメラ101のCCDの有効撮像領域全体を画像圧縮する必要が無くなり、広い範囲で注目領域(動きが検出された領域)を監視することが可能となる。したがって、膨大なCPUの演算量もしくは大規模な信号処理回路が不要となる。さらに、ハードディスク212に格納するファイルのサイズもしくはネットワーク107に送出するファイルのサイズを小さくすることが可能となる。
【0041】
また、動き検出領域301の画像データを、現在と過去の複数フレーム分保持し、動き検出領域301内で動きが検出された場合に、その結果から、動きが有った領域を判定し、動きを検出した時刻から数フレーム過去の画像データの圧縮対象領域を初期設定された位置から該当フレームの画像データの動きが検出された領域を含む位置に変更して画像圧縮を行う。これにより、膨大な演算量を使用してカメラ101のCCDの有効撮像領域全体を画像圧縮しなくても、動きが検出された前後の画像を監視することが可能である。さらに、ハードディスク212に格納するファイルのサイズもしくはネットワークに送出するファイルのサイズを小さくすることが可能である。
【0042】
次に、画像蓄積装置102の動作について図4に示すフローチャートを参照して説明する。動き検出部204は、A/D変換部202にてデジタル変換された映像信号201に対して動き検出処理を行う(ステップS401)。例えば、動き入力されるA/D変換出力203の輝度成分の平均値を動き検出ブロック303(図3参照)毎に算出し、フレーム間の差分を算出する。そして、算出した差分から動きの有無を判定する(ステップS402)。該差分が特定の閾値よりも大きかった場合に「動き有り」と判定し、小さかった場合に「動き無し」と判定する。
【0043】
ここで、一般的な動き検出は、式(1)により表すことができる。
AVE(m,n)−AVE(m,n−1)>TH …式(1)
AVE:輝度平均値を表す関数
m:動き検出ブロック番号
n:フレーム番号
TH:閾値
【0044】
なお、輝度成分の平均値を算出する際にサブサンプリングすることにより、動き検出処理に必要な演算量を削減することも可能である。
【0045】
制御部210は、動き検出部204の検出結果から、動きが有った場合はステップS403に遷移し、動きが無かった場合はステップS405に遷移する。ステップS402の判定結果で動きが有った場合、制御部210は、動き検出部204の出力結果から動きが検出された動き検出ブロック303の位置を認識し、画像切り出し部207により圧縮対象領域を切り出すための領域を判定する(ステップS403)。制御部210は、ステップS403の結果を読み出し、動きが有った動き検出ブロックの位置を認識し、動きが有った動き検出ブロックを含むように画像切り出し部207の圧縮対象領域を設定変更する(ステップS404)。切り出し領域判定の詳細については別途説明する。
【0046】
制御部210は、ステップS404での画像切り出し部207への設定変更が完了した後、動き検出領域(CCDなどの撮像素子の有効撮像領域)から圧縮対象領域を切り出すために、フレームメモリ205の読み出しを行う(ステップS406)。フレームメモリ205は、複数フレームの画像を保持できる構成となっている。このような構成を採ることで、動き検出部204で動きが検出されたフレームから数フレーム過去に遡ったフレーム205に対して圧縮対象領域の変更を行い、動きが検出された前後の画像をハードディスク212に記録もしくはオペレータが目視することが可能となる。ここで、フレームメモリ205と、その前後の機能ブロックの詳細については別途説明する。
【0047】
制御部210は、ステップS404で設定変更された画像切り出し部207に対して制御信号を出力し、ステップS406で読み出したフレームメモリ205の出力の画像を切り出す(ステップS407)。制御部210は、画像圧縮部208に対して制御信号を出力し、ステップS407で切り出した画像を取り込んで画像圧縮を行う(ステップS408)。ここで、画像領域の切り出しと画像圧縮の詳細については別途説明する。
【0048】
制御部210は、ハードディスク制御部211を制御して、画像圧縮部208から出力される圧縮画像データに独自なヘッダなどを付加したり、ファイルシステムへの登録を行ったりするなどのハードディスク格納準備処理を行う(ステップS409)。制御部210は、ステップS409で準備されたデータをハードディスク212に格納する(ステップS410)。その後、制御部210は、再度、ステップS401に遷移する。また、ステップS402で動きが検出されなかった場合は圧縮対象領域の設定を変更する必要が無い、もしくは圧縮対象領域の設定を初期設定も戻す必要があるので、画像切り出し部207への制御信号を初期設定と同じ値を設定する(ステップS405)。その後、制御部210はステップS406へ遷移する。
【0049】
<切り出し領域の判定の説明>
以下に、切り出し領域の判定について、動き領域が1箇所の場合と2箇所の場合を例に挙げて説明する。
【0050】
図5を用いて動き領域が1箇所であった場合の例を説明する。符号501は動き検出領域であり、カメラ101のCCDの有効画素領域と等価である。符号502は初期設定時の圧縮対象領域であり、動き検出領域501の中央に位置する。装置起動時もしくは動きが検出されない場合の圧縮対象領域はこの位置に設定される。符号503は動きが有った動き検出ブロックであり、その位置は(C1,R6)である。符号504は設定変更後の圧縮対象領域であり、動きが有った動き検出ブロック503を含むように設定変更される。
【0051】
制御部210は、動き検出部204の出力結果を読み出し、動きが有った動き検出ブロックの位置を認識する。そして、動きが検出された動き検出ブロックが検出ブロック503のみであり、その位置が(C1,R6)のみであることを認識すると、初期設定時の圧縮対象領域502に(C1,R6)が含まれないため、圧縮対象領域502を変更する必要があると判断し、(C1,R6)が含まれる設定変更後の圧縮対象領域504に設定する。
【0052】
次に、図6を用いて動き領域が離れた位置に2箇所あった場合の例を説明する。符号601は動き検出領域であり、カメラ101のCCDの有効画素領域と等価である。符号602は初期設定時の圧縮対象領域であり、その位置は動き検出領域601の中央に位置する。装置起動時もしくは動きが検出されない場合の圧縮対象領域はこの位置に設定される。符号603は動きが有った動き検出ブロックAであり、その位置は(C1,R6)である。符号604は動きが有った動き検出ブロックBであり、その位置は(C3,R2)である。符号605は設定変更後の圧縮対象領域Aであり、動きが有った動き検出ブロックA603を含むように設定される。符号606は設定変更後の圧縮対象領域Bであり、動きが有った動き検出ブロックB604を含むように設定される。
【0053】
制御部210は、動き検出部204の出力結果を読み出し、動きが有った動き検出ブロックの位置を認識する。この場合、動きが検出された動き検出ブロックが動き検出ブロックA603と動き検出ブロックB604であり、それらの位置が(C1,R6)と(C3,R2)であることを認識する。ここで、位置(C1,R6)と(C3,R2)は離れた位置にあり、1つの圧縮対象領域では両方の動き検出ブロックを含むことはできないと判断する。すなわち、初期設定時の圧縮対象領域602に(C1,R6)と(C3,R2)が含まれないため、圧縮対象領域を変更する必要があることを判断し、2つの圧縮対象領域を設定する。1つは(C1,R6)が含まれる設定変更後の圧縮対象領域A605、もう1つは(C3,R2)が含まれる設定変更後の圧縮対象領域B606であり、それぞれ動きが有った動き検出ブロックA603と動き検出ブロックB604が含まれるように設定される。
【0054】
<フレームメモリ205とその前後の機能ブロックのタイミングの説明>
図7を用いてフレームメモリとその前後の機能ブロックのタイミングをフレームメモリ205の遅延が3フレームである場合の例を説明する。
【0055】
図7は、フレームメモリ205とその前後の機能ブロックの出力信号のタイミングを示したタイミングチャートである。上の段から、A/D変換出力203、動き検出部204の出力結果、フレームメモリ出力206、制御部210からの圧縮対象領域変更制御信号、画像切り出し出力218、圧縮画像出力209のタイミングをフレーム単位のタイミングで示す。各映像信号に記載した番号はフレーム番号を示す。
【0056】
A/D変換出力203は順次出力され、フレーム番号(N)で動きが検出された場合、動き検出部204は、フレーム番号(N)の映像信号が入力された次のフレームで動きが有ったことを検出し、検出結果を出力する。フレームメモリ205は、内部に3枚のフレームメモリを有しており、入力からの遅延は3フレームである。したがって、動き検出部204の動き検出結果が出力されるタイミングおけるフレームメモリ出力206のフレーム番号は(N−2)である。
【0057】
<画像領域の切り出しと画像圧縮の説明>
次に、画像領域の切り出し処理と画像圧縮処理について、動き領域が1箇所と動き領域が離れた位置に2箇所ある場合の例を用いて説明する。
【0058】
・動き領域が1箇所であった場合
制御部210は、動き検出部204の出力結果から圧縮対象領域を変更するための制御信号を同じフレーム時間内で出力し、画像切り出し部207で切り出す圧縮対象領域の設定を変更する。画像切り出し部207は、制御部210からの制御を受けて、圧縮対象領域の設定を変更する。設定変更が反映される映像信号のフレーム番号は(N−2)である。画像圧縮部208は、画像切り出し部207の出力信号を取り込んで画像圧縮を行う。画像圧縮部208から出力される圧縮対象領域の変更が反映された圧縮画像出力209のフレーム番号は(N−2)である。したがって、本実施の形態の構成では、動きが発生したフレーム番号(N)よりも2フレーム前のフレーム番号(N−2)の映像信号から圧縮対象領域の設定変更が反映されており、動きが検出される2フレーム前から動きが検出された動き検出ブロックが含まれる画像が圧縮される。
【0059】
・動き領域が離れた位置に2箇所あった場合
図8は、動き領域が離れた位置に2箇所あった場合に画像切り出し部207から出力される画像の例である。図6を用いて説明したように、動き検出された領域が動き検出領域内で離れた位置に2つあった場合、双方の映像を圧縮し、ハードディスク212に格納しなければならない。本実施の形態では、図6の設定変更後の圧縮対象領域A605及び設定変更後の圧縮対象領域B606を切り出し、1枚の画像として貼り合せて、画像圧縮部208に入力する。図6に示したように、設定変更後の圧縮対象領域A605は圧縮対象領域602の半分の面積であり、また設定変更後の圧縮対象領域B606も圧縮対象領域602の半分の面積である。したがって、画像切り出し部207は、双方の圧縮対象領域A605、B606を繋げるように読み出す。符号801は設定変更後の圧縮対象領域Aであり、図6の設定変更後の圧縮対象領域A605である。符号802は設定変更後の圧縮対象領域Bであり、図6の設定変更後の圧縮対象領域B606である。
【0060】
<読み出し動作の説明>
次に、本実施の形態に係る画像記録システムの読み出し動作の例を説明する。図9は、読み出し動作の例を説明するためのフローチャートである。ユーザは入力部104を操作し、希望する時刻の画像を読み出すように制御部210に制御信号を入力する。制御部210は、ハードディスク制御部211に制御信号を入力する。ハードディスク制御部211はハードディスク212から、ユーザが指定した時刻の画像を読み出すための準備を行う(ステップS901)。そして、ハードディスク212からユーザが指定した時刻の圧縮画像データを読み出し、画像伸張部213に入力する(ステップS902)。制御部210は画像伸張部213を起動する。画像伸張部213は、ハードディスク制御部211から入力された圧縮画像データに対して伸張処理を行い、伸張した画像を表示制御部214に入力する(ステップS903)。制御部210は表示制御部214を起動する。表示制御部214は、画像伸張部213から入力された画像をモニタ103で表示するために必要なフォーマットに変換して出力する。モニタ103は、表示制御部214から表示出力216が入力されることで、ユーザが希望する時刻の画像を表示する(ステップS904)。
【0061】
<ネットワーク送出動作の説明>
次に、本実施の形態に係る画像記録システムのネットワーク送出動作の例を説明する。図10は、ネットワーク送出動作の例を説明するためのフローチャートである。ユーザはパソコン105を操作し、希望する時刻の画像を読み出すようにネットワーク107経由で制御部210に制御信号を入力する。制御部210は、ハードディスク制御部211に制御信号を入力する。ハードディスク制御部211は、ハードディスク212からユーザが指定した時刻の画像を読み出すための準備を行う(ステップS1001)。そして、ハードディスク212からユーザが指定した時刻の圧縮画像データを読み出し、ネットワーク制御部215に入力する(ステップS1002)。制御部210はネットワーク制御部215を起動する。ネットワーク制御部215は、ハードディスク制御部211から入力された圧縮画像データをネットワーク107に送出するためにフォーマットを整え、ネットワーク107へ送出する(ステップS1003)。パソコン105は、ネットワーク107へ送出された圧縮画像データを受信し、パソコン105にインストールされた画像伸張ソフトウェアにより画像伸張を行い、パソコン105のモニタに表示する(ステップS1004)。
【0062】
このように、本実施の形態の画像記録システムによれば、カメラ101から入力される画像に動き検出領域と圧縮対象領域を設定し、動き検出領域をカメラ101のCCDの有効撮像領域と同一とし、圧縮対象領域をCCDの有効撮像領域の一部とし、動き検出領域でCCDから入力される映像信号全体に対して動き検出を行い、圧縮対象領域で映像信号の画像圧縮を行ってハードディスク212に記録又はネットワーク107に送出するので、カメラ101のCCDの有効撮像領域全体を画像圧縮する必要が無くなり、膨大なCPUの演算量もしくは大規模な信号処理回路が不要となる。また、ハードディスク212に格納するファイルのサイズもしくはネットワーク107に送出するファイルのサイズを小さくすることが可能であり、ハードディスク212の有効利用が可能となるとともに、伝送容量の大幅の増強が不要となる。
【0063】
(実施の形態2)
次に、本発明の実施の形態2に係る画像記録システムについて説明する。図11は、本実施の形態に係る画像記録システムの動き予想による圧縮対象領域制御を説明するための図である。なお、システム構成は実施の形態1と同様であるので、図2を援用することにする。図11において、符号1101は、動き検出領域であり、3つの動き検出領域は同一のものである。現在のフレーム番号を(N)として説明する。符号1102は、動き検出位置(N−3)であり、現在のフレームよりも3フレーム前に動きが検出された動き検出ブロックの位置である。符号1103は、動き検出位置(N−2)であり、現在のフレームよりも2フレーム前に動きが検出された動き検出ブロックの位置である。符号1104は、動き検出結果(N−1)であり、現在のフレームより1フレーム前に動きが検出された動き検出ブロックの位置である。
【0064】
符号1105は、動きベクトル(N−2)であり、動き検出位置(N−3)1102の座標位置と動き検出位置(N−2)1103との座標位置の差をベクトルで表したものである。符号1106は、動きベクトル(N−1)であり、動き検出位置(N−2)1103の座標位置と動き検出位置(N−1)1103との座標位置の差をベクトルで表したものである。符号1007は、予想ベクトルであり、動きベクトル(N−2)と動きベクト(N−1)から算出される。予想ベクトル1007の算出式の例を以下の式(2)に示す。
【0065】
VP(N)=(V(N−1)+V(N−2))/2 …式(2)
VP(N):Nフレームにおける予想ベクトル
V(N):Nフレームにおける動きベクトル
【0066】
符号1108は、予想動きブロックであり、予想ベクトル1107の終端が位置する動き検出ブロックである。本実施の形態では動き検出ブロック位置(C2,R4)である。符号1109は、圧縮対象領域であり、予想ベクトル1107によって求められた予想動きブロック1108を中央に含むように設定される。なお、符号1110は、予想動き領域である。
【0067】
制御部210は、動き検出部204が出力する動き検出結果を3フレーム期間保持する。そして、動きベクトル(N−2)1105と動きベクトル(N−1)1106から予想ベクトル1107を算出する。予想ベクトル1106の終端が位置する動き検出ブロックは(C2,R4)であるので、制御部210は、画像切り出し部207に制御信号を出力し、圧縮対象領域の設定を変更する。このように、動きベクトルを用いて予想動きブロックを算出することにより、圧縮対象領域の中央に動きがある監視対象を捕らえ、画像圧縮してハードディスク212に記録することが可能となる。
【0068】
(実施の形態3)
次に、本発明の実施の形態3に係る画像記録システムについて説明する。図12は、本実施の形態に係る画像記録システムの画像蓄積装置1200の概略構成を示すブロック図である。本実施の形態はパン、チルト機能を有する点に特徴がある。同図において、画像蓄積装置1200は、A/D変換部1202と、広域フレームメモリ1203と、第1画像切り出し部1204と、動き検出部1205と、フレームメモリ1206と、第2画像切り出し部1207と、画像圧縮部1208と、制御部1209と、ハードディスク制御部1210と、ハードディスク1211と、画像伸張部1212と、表示制御部1213と、ネットワーク制御部1214とを備えて構成される。
【0069】
また、図12において、符号1201は広域映像入力であり、カメラ101が撮影した映像信号である。本実施の形態のカメラ101は広視野を撮影することが可能な広角レンズを搭載し、かつ1フレーム(又はフィールド)期間に広視野の映像を撮影し、映像信号を出力する。なお、カメラ101に搭載されるCCDなどの撮像素子は1枚で広視野の映像信号を撮像できるもの、又は複数枚のCCDなどにより構成される撮像素子であっても良い。
【0070】
制御部1209は、CPU、ROM、RAM等から構成され、システム全体の制御を行う。A/D変換部1202は、アナログ信号である広域映像入力1201をデジタル変換する。広域フレームメモリ1203は、A/D変換部1202から入力される画像データを一旦格納する。第1画像切り出し部1204は、広域フレームメモリ1203に格納された画像データから、制御部1209からの制御に応じて任意の動き検出領域を切り出すことが可能である。動き検出部1205は、第1画像切り出し部1204が切り出した動き検出領域に対して動き検出を行い、その結果を制御部1209に入力する。フレームメモリ1206は、第1画像切り出し部1204が切り出した動き検出領域を複数枚分格納できる容量を持ち、画像データが入力された順序を変えずに画像データを格納するFIFO(First-In First-Out)として機能する。
【0071】
第2画像切り出し部1207は、制御部1209からの制御に応じてフレームメモリ1206の出力の一部分を圧縮対象領域として切り出し、画像圧縮部1208に入力する。画像圧縮部1208は、第2画像切り出し部1207の出力画像を圧縮してハードディスク制御部1210に入力する。ハードディスク制御部1210は、画像圧縮部1208が出力する圧縮画像データをハードディスク1211に格納する。また、ハードディスク1211に格納した画像データを読み出して画像伸張部1211又はネットワーク制御部1214に入力する。
【0072】
ハードディスク1211はデータを格納と読み出しが可能な記録装置である。画像伸張部1212は、ハードディスク制御部1210から入力された圧縮画像データを伸張し、表示制御部1213に入力する。表示制御部1213は、伸張部1212が伸張した画像データをモニタ103に表示可能なフォーマットに変換して出力する。ネットワーク制御部1214は、ハードディスク制御部1210がハードディスク1211から読み出した圧縮画像データをネットワーク107に送出する。
【0073】
次に、図13及び図14を用いて本実施の形態の動作を説明する。制御部1209は、パンやチルトを行うかどうかを判断する(ステップS1301)。パンやチルトを行う場合はステップS1302に遷移し、行わない場合はステップS1304に遷移する。制御部1209は、パンやチルトを行う方向、かつ大きさから動き検出領域を切り出す領域を算出し、第1画像切り出し部1204に制御信号を出力する(ステップS1302)。制御部1209は、ステップS1302で算出したパンやチルト後の動き検出領域1402の位置を第1画像切り出し部1204に設定する(ステップS1303)。なお、パン、チルト機能を実現する第1画像切り出し部1204の制御の詳細については別途説明する。
【0074】
制御部1209は、広域フレームメモリ部1203に格納された広域撮像領域1401(図14参照)の映像信号を読み出し、第1画像切り出し部1204に入力する(ステップS1304)。制御部1209は、ステップS1303で設定した設定に応じて、第1画像切り出し部1204によりステップS1304で読み出した広域撮像領域1401から動き検出領域1402を切り出す(ステップS1305)。制御部1209は、ステップS1305で切り出した動き検出領域1402に対して動き検出部1205で動き検出を行う(ステップS1306)。制御部1209はステップS1306での動き検出結果により、動き検出領域1402に動きが検出されたかどうかを判定する(ステップS1307)。動きが有った場合はステップS1308に遷移し、無かった場合はステップS1309に遷移する。
【0075】
制御部1209は、ステップS1306で検出した動き検出結果に応じて圧縮対象領域1403の位置を算出する(ステップS1308)。制御部1209はステップS1308で算出した圧縮対象領域1403の位置に応じて、第2画像切り出し部1207の設定を変更する(ステップS1310)。制御部1209はフレームメモリ1206に格納された動き検出領域1402の映像信号を読み出し、第2画像切り出し部1207に入力する(ステップS1311)。制御部1209はステップS1310での設定に応じて、第2画像切り出し部1207によりステップS1311で読み出した動き検出領域1402から圧縮対象領域1403を切り出し、画像圧縮部1208に入力する(ステップS1312)。
【0076】
制御部1209はステップS1312で切り出した圧縮対象領域1403の映像信号を画像圧縮部1208により画像圧縮を行い、ハードディスク制御部1210に入力する(ステップS1313)。制御部1209は、ハードディスク制御部1210を制御して、画像圧縮部1208から出力される圧縮画像データに独自なヘッダなどを付加したり、ファイルシステムへの登録を行ったりするなどのハードディスク格納準備処理を行う(ステップS1314)。
【0077】
次に、制御部1209は、ステップS1314で準備されたデータをハードディスク1211に格納する(ステップS1315)。その後、制御部1209は、再度ステップS1301に遷移する。また、ステップS1307で動きが検出されなかった場合は圧縮対象領域の設定を変更する必要が無い、もしくは圧縮対象領域の設定を初期設定も戻す必要があるので、画像切り出し部1207への制御信号を初期設定と同じ値を設定する(ステップS1309)。その後、制御部1209はステップS1311へ遷移する。
【0078】
<パン、チルト機能を実現する第1画像切り出し部1204の制御の説明>
パン及びチルト機能を実現する第1画像切り出し部1204の制御について説明する。
【0079】
図14において、符号1401は広域撮像領域であり、CCDなどにより構成される撮像素子の有効撮像領域と等価である。本実施の形態では、広域撮像領域1401は水平方向に16個、垂直方向に8個、合計128個の領域に分割される。第1画像切り出し部1204は、制御部1209の制御により、分割単位毎に動き検出領域1402を切り出し可能である。動き検出領域1402は、広域撮像領域1401の分割単位毎に設定可能であり、動き検出領域1402の設定を変更することによりパンやチルトを行うことが可能である。動き検出領域1402は動き検出を行う領域であり、動き検出部1205により動き検出が行わる。動き検出領域1402は、水平方向に16個、垂直方向に8個、合計128個の領域に分割される。この分割単位毎に圧縮対象領域1403が設定可能である。圧縮対象領域1403は、第2画像切り出し部1207により切り出され、画像圧縮部1208により画像圧縮される。
【0080】
符号1404はパン方向であり、制御部1209から第1画像切り出し部1204に指示される情報であり、本実施の形態の場合は動き検出領域1402の左端を(P7)から(P3)に移動させる。符号1405はチルト方向であり、制御部1209から第1画像切り出し部1204に指示される情報であり、本実施の形態の場合は動き検出領域1402の上端を(T3)から(T1)に移動させる。符号1406は、設定変更前の動き検出領域であり、符号1407は設定変更後の動き検出領域である。このように、第1画像切り出し部1204の設定を変更することにより、広域撮像領域1401から切り出す動き検出領域1402の位置を変更することで、パンやチルトを実現できる。
【産業上の利用可能性】
【0081】
本発明は、処理能力の高いCPUや大規模な信号処理回路を用いることなく、コマ落ち無しで画像の圧縮及び伸張を行うことができ、また遠隔監視する場合に大きな転送容量のネットワークを確保することなく画像を転送することができるといった効果を有し、監視用の画像記録システムなどへの適用が可能である。
【図面の簡単な説明】
【0082】
【図1】本発明の実施の形態1に係る画像記録システムの概略構成を示すブロック図
【図2】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置の概略構成を示すブロック図
【図3】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置の画像切り出し部の動作を説明するための図
【図4】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置の動作を説明するためのフローチャート
【図5】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置の画像切り出し部の動き領域が1箇所であった場合の動作を説明するための図
【図6】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置の画像切り出し部の動き領域が離れた位置に2箇所あった場合の動作を説明するための図
【図7】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置のフレームメモリとその前後各部の出力信号のタイミングを示すタイミングチャート
【図8】本発明の実施の形態1に係る画像記録システムにおける画像蓄積装置の画像切り出し部において動き領域が離れた位置に2箇所あった場合の出力画像の一例を示す図
【図9】本発明の実施の形態1に係る画像記録システムの画像データ読み出し動作を説明するためのフローチャート
【図10】本発明の実施の形態1に係る画像記録システムのネットワーク送出動作を説明するためのフローチャート
【図11】本発明の実施の形態2に係る画像記録システムの動き予想による圧縮対象領域制御を説明するための図
【図12】本発明の実施の形態3に係る画像記録システムにおける画像蓄積装置の概略構成を示すブロック図
【図13】本発明の実施の形態3に係る画像記録システムにおける画像蓄積装置の動作を説明するためのフローチャート
【図14】本発明の実施の形態3に係る画像記録システムにおける画像蓄積装置のパン、チルト動作を説明するための図
【符号の説明】
【0083】
101 カメラ
102、1200 画像蓄積装置
103 モニタ
104 入力部
105 パソコン
106 被写体
107 ネットワーク
202、1202 A/D変換部
204、1205 動き検出部
205、1206 フレームメモリ
207 画像切り出し部
208、1208 画像圧縮部
210、1209 制御部
211、1210 ハードディスク制御部
212、1211 ハードディスク
213、1212 画像伸張部
214、1213 表示制御部
215、1214 ネットワーク制御部
1203 広域フレームメモリ
1204 第1画像切り出し部
1207 第2画像切り出し部

【特許請求の範囲】
【請求項1】
撮像手段の撮像領域全体を動き検出領域として動き検出を行う動き検出手段と、
前記動き検出手段で動き検出された前記撮像領域の一部分を圧縮対象領域として取得する圧縮対象領域画像取得手段と、
前記圧縮対象領域画像取得手段で取得された前記圧縮対象領域の画像を圧縮する画像圧縮手段と、
前記画像圧縮手段で圧縮された画像を記録する記録手段と、
を備える画像記録システム。
【請求項2】
前記圧縮対象領域画像取得手段は、前記動き検出領域で動きが検出された場合、動きが有った領域を判定し、判定した領域を含む位置に前記圧縮対象領域を初期設定位置から変更する請求項1に記載の画像記録システム。
【請求項3】
前記圧縮対象領域画像取得手段は、前記動き検出領域をN個(Nは整数)に等分割し、前記動き検出領域で動きが検出された場合、動きが有った領域がN等分した前記動き検出領域の何処であるかを判定し、判定した領域を含む位置に前記圧縮対象領域を初期設定位置から変更する請求項2に記載の画像記録システム。
【請求項4】
前記圧縮対象領域画像取得手段は、前記動き検出領域で動きが2箇所以上検出された場合、動きが有った全ての領域を判定し、判定した各領域を含むように前記圧縮対象領域を分割し、
前記画像圧縮手段は、前記分割された各圧縮対象領域の画像を1枚の画像として合成して画像圧縮を行う請求項2又は請求項3に記載の画像記録システム。
【請求項5】
前記圧縮対象領域画像取得手段は、前記動き検出領域の画像データを現在分と複数フレームの過去分を保持し、前記動き検出領域で動きが検出された場合、動きが有った領域を判定し、動きが検出された時刻から数フレーム分過去の画像データの前記圧縮対象領域を初期設定位置から、該当フレームの画像データにおける動きが検出された領域を含む位置に変更する請求項2乃至請求項4のいずれかに記載の画像記録システム。
【請求項6】
前記圧縮対象領域画像取得手段は、前記動き検出領域で動きが検出された場合、前記動き検出領域の画像データを複数フレーム期間保持し、前記動き検出領域内で動きが移動しているかどうかを判定し、移動している場合、その動きの方向に応じて前記圧縮対象領域を変更する請求項2乃至請求項5のいずれかに記載の画像記録システム。
【請求項7】
前記圧縮対象領域画像取得手段は、操作指示に従い、前記動き検出領域内で前記圧縮対象領域を水平方向又は垂直方向にずらす請求項2乃至請求項6のいずれかに記載の画像記録システム。
【請求項8】
インターネットを含むネットワークにデータの送出が可能であり、前記画像圧縮手段で圧縮された前記圧縮対象領域の画像データを前記ネットワークに送出するネットワーク制御手段を備える請求項1乃至請求項7のいずれかに記載の画像記録システム。
【請求項9】
前記動き検出手段は、前記撮像手段の撮像領域全体で動き検出を行う際に、動き検出を行う映像信号をサンプリングする請求項1乃至請求項8のいずれかに記載の画像記録システム。
【請求項10】
撮像素子の撮像領域全体を動き検出領域として動き検出を行い、動き検出した前記撮像領域の一部分を圧縮対象領域として取得し、取得した前記圧縮対象領域の画像を圧縮して記録装置に記録する画像記録方法。
【請求項11】
前記動き検出領域で動きを検出した場合、動きが有った領域を含む位置に前記圧縮対象領域を初期設定位置から変更する請求項10に記載の画像記録方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2007−251540(P2007−251540A)
【公開日】平成19年9月27日(2007.9.27)
【国際特許分類】
【出願番号】特願2006−71383(P2006−71383)
【出願日】平成18年3月15日(2006.3.15)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】