説明

画像の変化の検出方法、検出回路および監視装置

【課題】テレビジョンカメラなどの撮像装置でとらえられた被写体の映像信号をデジタル変換された画素データから成る映像フレームデータである画像の変化有無の検出をリアルタイムに行うことを可能とする検出方法、検出回路、およびこれらを用いた監視装置に関するものである。
【解決手段】前記被写体の映像信号がサンプリングされて、デジタル値に変換された映像信号波形データの値と予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データの値との比較で、前記被写体の画像の変化有無を検出するようにしたものである。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、テレビジョンカメラ(以下、TVカメラと称する)などの撮像装置でとらえられた映像信号をデジタル変換された画素データから成る映像フレームデータである画像の変化有無の検出をリアルタイムに行うことを可能とする検出方法、検出回路、およびこれらを用いた監視装置に関するものである。
【0002】
【従来の技術】TVカメラなどの撮像装置でとらえられた被写体の映像信号は、デジタル変換した画素データから成る映像フレームデータである画像として、たとえば毎秒30フレームの画像が生成される。撮像範囲内に被写体として移動物体が出現したりや被写体の物理的な現象により何らかの変化が生じると、この被写体の画像には、時間と共に画像の輝度や色の情報に、あるいは輪郭の情報などに変化が現れる。
【0003】たとえば、画像の輝度や色の情報の変化を検出して応用されるものとして、侵入物体監視システムがある。これは、TVカメラでとらえられた監視画像に侵入物体監視領域を設定して、この領域に侵入物体が侵入したか否かを検出するものである。その検出方法は、たとえば基準画像と現在の画像との輝度や色の情報の変化で検出することである。
【0004】また、別の応用として輪郭の情報の変化の利用として、外観検査システムがある。たとえば、被写体の外観の歪みや傷の有無の検出、あるいは異形物の検出などを行うものである。これらの検出方法として、当該被写体の画像から輪郭や特徴点を抽出した画像を新たに生成して基準画像との比較などで行うものである。
【0005】ここで、上記の輝度や色の情報から画像の変化を検出する方法の従来技術について三つ挙げて述べる。
【0006】第一の従来技術。
各映像フレームデータとしての画像は、一時フレームバッファに格納される。プロセッサがソフトウェアの処理手順に従って画像を読み出して、画像の変化を次のような手段で検出するものである。第一の検出手段として、隣り合う映像フレームの画像の各画素毎の差分値を求めて所定の閾値で動きの勾配を求め、勾配が大きいときは物体の動きがあると判断する。また、別の検出手段としては、各映像フレームの画像のフーリエ変換やコサイン変換による空間周波数情報を抽出して、その情報の差の時間的な変化で画像の変化有無を検出するものである(たとえば、特開平6―121272がある)。
【0007】第二の従来技術。
ビデオフレームデータの圧縮後のデータ量を評価することによって、ビデオの変化を検出するものである。圧縮後のデータ量の評価と変化の検出は、ソフトまたはハードウェアで実行されるが、それ以外のビデオフレームデータのアクセスや圧縮などはハードウェアで実現されている。その評価と変化有無の検出は、次のようである。
【0008】1ビデオフレーム当たりのデータ量が一定であるビデオフレームデータがフレームFIFOメモリに格納される。圧縮回路が、フレームFIFOメモリからビデオフレームデータを読み出して圧縮する。圧縮後のデータは、後段のFIFOメモリに一時格納されると共に、圧縮後のデータ量の情報が処理装置に読み込まれる。そして、所定タイミングで、大容量の記憶装置に、圧縮後のデータとそのデータ量の情報が共に書き込まれる。処理装置は、過去3フレームの圧縮後のデータ量の情報と現在ビデオフレームデータの圧縮後のデータ量の情報とから圧縮後のデータ量の平均値を算出して、この平均値と一つ前の圧縮後のデータ量の平均値との差の値から、画像の変化有無の検出を行うものである(たとえば、特表平6―508491がある)。
【0009】第三の従来技術。
映像信号の対角線方向の画素の輝度値に対し前フィールドと現フィールドとの差の絶対値が所定値以上であれば、被写体の画像に変化有りとして検出するものである。その変化の検出手段は、映像信号の対角線方向の画素の輝度値を1水平ライン分に格納して、なおかつ遅延器で1フィールド分遅延させ、現フィールドの対角線方向の画素の輝度値と1フィールド分遅延された前フィールドの対角線方向の画素の輝度値との差を求める動作検出部とその差の絶対値が所定値以上か否かを判別する動作判別部とから成るものである。画像の変化有無の検出の方向は上記のように画面の対角線方向ばかりではなく、画面の上端から下端へのいずれかの垂直ラインまたは左端から右端へのいずれかの水平ラインの方向の画素の輝度値によっても可能であるというものである(たとえば、特許第2502895号がある)。
【0010】
【発明が解決しようとする課題】前述した第一または第二の従来技術では、上記のような画像から得られる情報の変化有無を検出するためには、TVカメラがとらえた被写体の映像信号は、デジタルデータとしての画像に変換され、メモリなどの記憶装置に一時格納される。その後、画像は、画像処理装置やパーソナルコンピュータなどのソフトウェア処理手順に従って、逐次記憶装置から1フレームまたは1フィールド期間後に読み出される。そして、読み出された画像は、フーリエ変換、コサイン変換、または画像圧縮による空間周波数情報を得るための画像処理が施される。画像処理の結果得られた情報を元に、時間経過に伴うこのような情報の変化の有無が、基準画像の情報との間の比較で行われる。この際には、大量の画像のアクセスが必要とされて、リアルタイムの画像の変化有無の検出をリアルタイムに行うには、高価なハードウェアを必要とする。
【0011】一方、前述した第三の従来技術によれば、少量の1水平ライン分の画素の輝度値の情報をハードウェアで処理することで、リアルタイムな画像の情報の変化有無の検出が可能となっている。しかし、この検出方法は現フィールドと前フィールドの画素の差の絶対値から判断されるもので、輝度値の差がとられる画素は両フィールド間には1水平ライン分の物理的な位置の相違がある。このために、低輝度エリアと高輝度エリアの境界線の近傍をサンプリングされた画素は、前フィールドを奇数フィールドとした場合には奇数フィールドのn番目の水平ラインのサンプリング位置と、現フィールドを偶数フィールドのとした場合には偶数フィールドのn番目の水平ラインのサンプリング位置のものとなる。そして、その両サンプリング位置の画素との輝度値の差の絶対値は大きくなり、あたかも変化が有りと検出される可能性がある。
【0012】本発明は、安価な構成部品で、なおかつ画像の変化有無の検出をリアルタイムに行うことができる画像の変化の検出方法、検出回路、およびそれらを用いた監視装置を提供することにある。
【0013】
【課題を解決するための手段】本発明は、テレビジョンカメラなどの撮像装置でとらえられた被写体の映像信号がサンプリングされて、所定の範囲内のデジタル値に変換された画素データから成る被写体の画像の変化有無を検出する画像の変化の検出方法において、前記被写体の映像信号がサンプリングされて、デジタル値に変換された映像信号波形データの値と予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データの値との比較で、少量の画像データで容易にリアルタイムに前記被写体の画像の変化有無を検出するようにしたものである。具体的には、次のような検出方法を採るものであるる。
【0014】第一の検出方法は、次のようなものである。所定の少なくとも一つの走査線の映像信号がサンプリングされて、デジタル値に変換された映像信号波形データの値と、前記所定の少なくとも一つの走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる複数の検出許容範囲の上限値または下限値との比較で、前記検出許容範囲外であれば前記被写体の画像には変化有りとして検出をするものである。前記複数の検出許容範囲の上限値または下限値は、平常時の前記被写体の映像信号をサンプリングしてデジタル値に変換された映像信号波形データに所定のプラスオフセット値またはマイナスオフセット値を加えた映像信号波形データの値としたものである。または、前記複数の検出許容範囲の上限値または下限値は、平常時の前記被写体の映像信号をサンプリングしてデジタル値に変換された映像信号波形データに所定のプラスオフセット値またはマイナスオフセット値を加えた映像信号波形データをさらに左右に動かして複数の映像信号波形データを生成し、該複数の映像信号波形データから構成される外郭波形をサンプリングしてデジタル値に変換した映像信号波形データの値としたものである。
【0015】第二の検出方法は、次のようなものである。所定期間毎に所定の少なくとも一つの走査線の映像信号がサンプリングされて、デジタル値に変換された各走査線毎の映像信号波形データの最大値と最小値を抽出し、該各走査線毎の映像信号波形データの最大値または最小値と、前記所定期間毎に前記所定の少なくとも一つの走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる検出最大値または検出最小値との比較で、所定期間毎の前記抽出した最大値が前記検出最大値より大きい場合、または前記抽出した最小値が前記検出最小値より小さい場合には前記被写体の画像の変化有りを検出するようにしたものである。そして、前記所定の走査線毎における所定期間毎の映像信号波形基準データとなる検出最大値または最小値は、平常時の前記被写体の前記所定の走査線毎の所定期間毎の最大値または最小値に各々にプラスオフセット値またはマイナスオフセット値を加えた値としたものである。
【0016】また、上記の第一または第二の検出方法の実現手段の構成を次のようにすることでよりで容易にさらにはリアルタイムに画像の変化有無を検出することができる。
【0017】第一の検出方法の実現手段は、次の構成による画像の変化の検出回路としたものである。
【0018】その検出回路は、前記被写体の映像信号を所定のA/D(Analog/Digital)変換クロックに基づいてサンプリングしてデジタル値に変換された映像信号波形データを生成するA/D変換器と、前記A/D変換器からの映像信号波形データを所定のアクセス信号を受けて格納、出力するFIFO(First In/First Out)メモリと、該FIFOメモリからの映像信号波形データと予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとを元に画像の変化の検出有無を検出すると共に、前記FIFOメモリへの所定のアクセス信号によって前記映像信号波形データをアクセスするため制御信号を出力する変化検出部と、前記映像信号から垂直同期信号と水平同期信号とを抽出する同期信号分離回路と、前記A/D変換器への所定のA/D変換クロックと前記FIFOメモリへの所定のアクセス信号を生成するためのメモリ制御クロックを出力する発振回路と、前記同期信号分離回路からの垂直同期信号と水平同期信号、前記変化検出部からの制御信号、および前記発振回路からのメモリ制御クロックとを受けて、前記FIFOメモリへの所定のアクセス信号を生成するメモリ制御回路と、から成るものである。
【0019】第二の検出方法の実現手段は、次の構成による画像の変化の検出回路としたものである。
【0020】その検出回路は、前記被写体の映像信号を所定のA/D変換クロックに基づいてサンプリングしてデジタル値に変換された映像信号波形データを生成するA/D変換器と、所定期間毎の前記映像信号波形データの中から最大値と最小値を抽出して所定のアクセス信号で出力するピーク検出回路と、該映像信号波形データの最大値を所定のアクセス信号を受けて格納、出力するFIFOメモリと、該映像信号波形データの最小値を所定のアクセス信号を受けて格納、出力するFIFOメモリと、該両FIFOメモリからの最大値または最小値と予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとを元に画像の変化有無を検出すると共に、前記両FIFOメモリへの所定のアクセス信号によって前記映像信号波形データをアクセスするため制御信号を出力する変化検出部と、前記映像信号から垂直同期信号と水平同期信号とを抽出する同期信号分離回路と、前記A/D変換器への所定のA/D変換クロックと前記両FIFOメモリへの所定のアクセス信号を生成するためのメモリ制御クロックを出力する発振回路と前記同期信号分離回路からの垂直同期信号と水平同期信号、前記変化検出部からの制御信号、および前記発信回路からのメモリ制御クロックとを受けて、前記両FIFOメモリと前記ピーク検出回路への前記所定のアクセス信号を生成するメモリ制御回路と、から成るものである。
【0021】そして、撮像装置でとらえられた被写体の変化を監視する監視装置においては、前記第一または第二の画像の変化の検出方法、あるいは前記第一または第二の画像の変化の検出方法の実現手段である画像の変化の検出回路によって得られた画像の変化有りの検出を受けて、前記被写体の画像を記録、表示または伝送媒体へ伝送する、前記画像の変化の検出結果を記録、表示、警報または伝送媒体へ伝送する、あるいは前記被写体の画像認識処理をする、の少なくとも一つを開始する機能を有するようにしたものである。
【0022】
【発明の実施の形態】最初に、本発明が適用される、侵入物体の監視や交通事故有無の定点観測などを行う監視システムの監視装置について述べる。
【0023】監視システムは、監視や観測などからのデータを取り込み、符号化して監視センタなどへ送信する監視装置と、データを受信して復号化して表示したり、警報を鳴らしたりするなどして、監視者が視覚や聴覚で事象発生の判断を行うことができる情報を提供する監視センタから成るものである。
【0024】監視装置は、遠隔地における侵入物体の監視や定点観測などから得られる、画像や音声などのデータを入力手段から取り込みデータの符号化して、監視センタに送信する。一方、監視センタでは、データを受信して復号化し、あるいは表示、警報、記録などをし、併せて監視装置の入力手段への制御情報を生成して監視装置に送信するなどして、監視者が必要とする情報が提供される。
【0025】監視者にとっては、監視装置からのデータを表示して物体の侵入や交通事故のなどの事象の発生を常時監視することは相当な労力を必要とされる。また、このような事象の事後検証ができるように、データを常時記録するとなると膨大な記録装置と検索に時間を相当に要するため、必要最小限の記録データとなるように事象発生の前後のデータのみを記録することが行われる。このためには、このような事象の発生を、前記のデータとしてのTVカメラなどの撮像装置でとらえられた映像信号のデジタルデータとしての画像の変化からリアルタイムに検出して、この検出をトリガとしてデータの記録を開始するようにする必要がある。
【0026】本発明の実施例を、監視装置の画像認識部の一機能として述べる。図13に監視装置のブロック図を示す。
【0027】CPU(Central Processing Unit)301は、バス310を介して接続されている各々の機能を制御して監視装置の機能を実現する。この機能には、後述する被写体の画像の変化有無を検出するための映像信号波形基準データの画像圧縮/伸張部305からの受信と、それを画像認識部303内の変化検出部3へ転送する機能も含まれている。
【0028】画像圧縮/伸張部305は、TVカメラ307からの映像信号を圧縮したり、既に圧縮された画像データを伸張処理してモニタ308へ表示を行う。また、CPU301と入力装置309の指示で、TVカメラ307でとらえられた映像信号のサンプリングされた映像信号波形データをモニタ308に表示する。さらに、画像圧縮/伸張部305は、入力装置309からの指示によりこの映像信号波形データの複製を上下、左右に動かしてモニタ308上に表示し、指定された複製の映像波形をサンプリングして、後述する検出許容範囲を示す上限値と下限値から成る映像信号波形基準データとして、CPU301へ転送する。
【0029】画像認識部303は、後述する変化検出部3A、3Bによって本発明の画像の変化を映像信号から検出し、変化有無の検出情報をバス301に含まれる専用信号線などによって、CPU301、記憶装置306、あるいは画像圧縮/伸張部305へ供給する。また、画像認識部303には、TVカメラ307からの映像信号の画像を元に予め設定された画像処理の手法により侵入物体の認識を行なう被写体認識処理部7も有する。
【0030】記憶装置306は、画像圧縮/伸張部305からの画像の変化有無の検出情報を受けて、前記画像の変化の発生の直前のデータから格納する。あるいは、CPU301は、直ちに圧縮画像または非圧縮画像のデータを通信制御部312を介してネットワーク、電話回線、あるいは無線などの伝送媒体で監視センタ(図示せず)へ送信する制御を行う。メモリ302には、CPU301の処理プログラムやパラメータなどのデータが格納されている。
【0031】通信制御部312は、上記の伝送媒体とのデータ送受信を行う。309は、マウス、キーボードなどの入力装置である。入力装置309は、後述する本発明の画像の変化有無の検出許容範囲を設定する時にモニタ308上を見ながら位置の指定を行うポインティングデバイスとなる。
【0032】以下、画像認識部303の機能である、TVカメラ307でとらえられた映像信号の画像の変化有無を検出する、本発明の実施例につてい述べる。
【0033】図2は、本発明を実現する画像認識部303の第一の実施例のブロック図である。
【0034】図2の画像認識部303は、本発明の機能が実現される画像変化検出回路8Aと被写体認識処理部7とから構成される。以下では、本発明の画像変化検出回路8Aについて述べる。
【0035】TVカメラ307から入力された映像信号Aは、A/D(Analog to Digital)変換器1でディジタルデータに変換されて映像信号波形データBとし出力され、FIFO(First In/First Out)メモリ2に記憶される。変化検出部3Aは、FIFOメモリ2から映像信号波形データCを読み出し、検出許容範囲を示す所定の映像信号波形基準データの上限値と下限値と比較して画像の変化有無を検出する。この検出方法については、後述する。
【0036】同期信号分離回路4は、映像信号Aの垂直同期信号Eと水平同期信号Hを出力する。メモリ制御回路5は、垂直同期信号Eと水平同期信号Hを入力し、この同期信号に同期してFIFOメモリ2への書き込み制御信号の書き込みクロック信号Gと書き込みアドレスリセット信号Hを出力する。また、メモリ制御回路5は、変化検出部3Aからの読み出し制御信号Dに対し、読み出しクロック信号Iと読み出しアドレスリセット信号Jを出力する。発振回路6は、A/D変換クロックLとメモリ制御クロックKを出力する。変化検出部3Aは、 FIFOメモリ2から記憶された映像信号波形データCを読み出すための読み出し制御信号Dをメモリ制御回路5へ供給し、読み出されたFIFOメモリ2の記憶された映像信号波形データCと予め設定された、被写体の画像の変化有無を検出するための映像信号波形基準データとを比較して画像の変化有無を検出する。
【0037】次に、本発明の概念を説明するために、1水平ラインの映像信号による画像の変化有無の検出について、第一の実施例を図1と図2と用いて説明する。
【0038】図1は、映像信号波形データCに変化があるか否かを検出するための検出許容範囲となる映像信号波形基準データの内容を説明する図である。検出許容範囲Rは、曲線Ruと曲線Rlとで囲まれた斜線部である。そして、この曲線Ru、Rlを表すデータが被写体の画像の変化有無を検出するための映像信号波形基準データの上限値(…、RUn−1、RUn、RUn+1、…)と下限値(…、RLn−1、RLn、RLn+1、…)で、変化検出部3Aに予め設定される。映像信号波形データCが検出許容範囲R外に在ると、当該映像信号Aの画像には変化有りと検出する。
【0039】予め設定された検出許容範囲Rには、映像信号Aのジッタやレベル変動、TVカメラ307の位置ずれによる撮像範囲の変化、あるいは被写体の揺らぎや微動などを考慮して、検出許容範囲Rが決定される。これに伴って、検出許容範囲Rを表す映像信号波形基準データが予め設定される。
【0040】この映像信号波形基準データは、平常時の変化の無い状態の映像信号の波形から取得される。映像信号波形基準データは、CPU301によって図3のようにして取得される。画像圧縮/伸張部305で、平常時のTVカメラ307からとらえられた映像信号A(図3R>3(A))のサンプリングされた映像信号波形データBをモニタ308に表示する。入力装置309の指示で、画像圧縮/伸張部305は、この映像信号波形データの複製を上下に動かして、プラスオフセットまたはマイナスオフセットの値が加えられた映像信号波形データをモニタ308上に表示する(図3(B)、(C))。ここで、複数の映像波形の外郭に沿った曲線RU、RLを生成して(図3(B)、(C))サンプリングしたデータ(…、RUn−1、RUn、RUn+1、…)、(…、RLn−1、RLn、RLn+1、…)を、被写体の画像の変化有無を検出するための映像信号波形基準データの上限値と下限値(図3(D))とする。そして、データを画像圧縮/伸張部305でとらえて、上限値と下限値とから成る被写体の画像の変化有無を検出するための映像信号波形基準データとしてCPU301に供給する。CPU301は、取得した映像信号波形基準データを画像認識部303の変化検出部3Aに設定する。また、上限値または下限値の取得の方法は、図4のようにプラスオフセット値またはマイナスオフセット値を加えたのみの近似形の映像信号波形データから取得したものでも良い。
【0041】変化検出部3Aでは、次のようにして変化有無を検出する。上限値と下限値とから成る被写体の画像の変化有無を検出するための映像信号波形基準データが示す検出許容範囲R内に、映像信号波形データCが在れば被写体の映像信号の画像には変化無しと検出する。一方、検出許容範囲R外に、映像信号波形データのサンプリング値が少なくとも一つでもあるいは複数個あれば、被写体の映像信号の画像に変化が有りと検出する。
【0042】また、本発明の別の概念を説明するために、上記と同様に映像信号の1水平ラインの映像信号で第二の実施例について、図5と図6を用いて説明する。
【0043】この第二の実施例は、映像信号Aの所定期間毎の最大値と最小値を検出して、所定期間毎のこの二つの値を映像信号波形データの代表値として、予め設定された被写体の画像の変化有無を検出するための映像信号波形基準データの最大値と最小値との比較により画像の変化有無の検出を行うものである。
【0044】図6は、本発明の第二の実施例のブロック図である。同図は、本発明の第一の実施例の図1の構成に対して、映像信号Aの所定期間毎の代表値となる最大値と最小値を検出するピーク検出回路100とその二つ値をFIFOメモリに記憶するためにFIFOメモリ2aとFIFOメモリ2bとから成っている。同図において、図2と同一の符号が付与されているものは、同一の機能を有する。同図の動作は以下である。
【0045】TVカメラ307からの映像信号Aは、A/D変換器1でディジタルデータに変換された映像信号波形データBとして、ピーク検出回路100に入力される。ピーク検出回路100は、各所定期間(クロックGの周期)Pg内に入力される映像信号波形データBから、各所定期間内の代表値として最大値B2a(B2a1、B2a2、…)と最小値B2b(B2b1、B2b2、…)を抽出して、各々にFIFOメモリ2a、2bに記憶する。
【0046】この動作を図5のピーク検出タイムチャートで示す。クロックGの周期が映像信号波形データBの最大値、最小値を検出する所定期間Pgである。各所定期間Pgで、映像信号Aの映像信号波形データBの最大値B2a(B2a1、B2a2、…)と最小値B2b(B2b1、B2b2、…)がピーク検出回路100で抽出される。そして、これらの値は、各所定期間Pgにおける映像信号Aの映像信号波形データBを代表する代表値として、各々にFIFOメモリ2a、2bに記憶される。変化検出部3Bでは、記憶された最大値B2a、最小値B2bの二つの値と、各所定期間Pgに対する予め設定されている被写体の画像の変化有無を検出するための映像信号波形基準データの最大値および最小値とを比較する。この比較で、少なくとも一つでもあるいは複数個、映像信号波形基準データの最大値より大きい、最小値より小さければ画像に変化有りと検出する。
【0047】ここで、映像信号波形基準データは、平常時の変化のない状態でピーク検出回路100で得られた所定期間毎の最大値と最小値に各々にプラスオフセット値またはマイナスオフセット値を加えた値である。そして、これを変化検出部3Bが取得して記憶するものである。
【0048】次に、画像の水平と垂直のラインで囲まれて限定された検出領域における、画像の変化を検出する実施例を図7、図8、図9、および図10で説明する。検出領域は、図7のモニタ308の画面上に表示される、水平方向のα個の画素と垂直方向のa+1本のラインで囲まれた点線の矩形の領域50とする。
【0049】この検出領域50の映像信号Aの映像信号波形データBを取得するためには、図8(A)および(B)に示すように映像信号Aの走査線のn番目からn+a番目の各走査線における水平同期信号を起点としてβ個の画素後のα個の画素の期間の映像信号をサンプリングすればよい。
【0050】この検出領域50における、画像の変化有無の検出方法は、前述した図1の検出許容範囲Rを表す映像信号波形基準データを平常時の走査線のn番目からのn+a番目の映像信号Aの映像信号波形データBからa+1個取得して変化検出部3に記憶させて、運用時にこの映像信号波形基準データの上限値と下限値と比較して行うというものである。また、別の方法は、図5で述べた、所定期間Pg毎の映像信号波形データの代表値で被写体の画像の変化有無を検出するための映像信号波形基準データとなる最大値と最小値をやはり平常時の走査線のn番目からn+a番目の映像信号Aの映像信号波形データBから取得して変化検出部3に記憶させて、運用時にこの二つの値から成る被写体の画像の変化有無を検出するための映像信号波形基準データで比較して行うというものである。
【0051】そして、変化検出部3Aまたは3Bは、こような比較から、映像信号波形基準データの値より大きいか小さいかが少なくとも一つでもあるいは複数個あれば画像に変化有りと検出して、その旨の情報をバス301に含まれる専用信号線(図示せず)を介してCPU301、画像圧縮/伸張部305、および記録装置306に通知する。
【0052】ここで、画像の変化有無を検出する範囲である検出領域50からの第一の実施例における図2のFIFOメモリ2に格納する映像信号波形データまたは第二の実施例における所定期間毎の最大値と最小値から成る代表値のデータを得る実現手段を図9と図10を用いて説明する。
【0053】図9は、図2および図6のメモリ制御回路5の構成を示している。同図において、図2および図6と同一の符号が付与されているものは、同一の機能を有する。同図の動作は、以下となる。
【0054】カウンタ回路51は、垂直同期信号Eでリセットされ、水平同期信号Fをカウントし、走査線のライン番号Pを出力する。比較回路52は、変化検出部3Aまたは3Bからの制御信号Dで設定される少なくとも一つの走査線のライン番号とカウンタ回路51からのライン番号Pとを比較する。ここでは、走査線のライン番号nからn+aまでのカウント値のとき一致信号Qを出力する。遅延回路53は、変化検出部3Aまたは3Bからの制御信号Dで設定される各走査線の水平同期信号を起点として、変化検出部3Aまたは3Bからの制御信号Dで設定されるβ個の画素の期間をメモリ制御クロックKでカウントすることにより、検出領域50内の映像信号Aの映像信号波形データBを得るサンプル開始信号Uを出力する。ゲート回路54は、サンプル開始信号Uにより、書き込みクロック信号Gを出力する。サンプル数カウンタ55は、変化検出部3Aまたは3Bからの制御信号Dの設定により、一水平ラインの走査期間中のサンプル数をカウントし、検出領域50内のサンプル期間(α個の画素に相当する時間)後にサンプル終了信号Sを出力する。ゲート回路54は、サンプル終了信号Sを受けると書き込みクロック信号Gを停止する。この動作を走査線のライン番号nからn+aまで繰り返すことにより、図7中の点線の検出領域50の映像信号をサンプリングして得られた映像信号波形データまたは最大値または最小値から成る代表値のデータがFIFOメモリ2に記憶される。以上の動作をタイムチャートで示した図が図10である。同図から、n番目の走査線の期間αだけFIFOメモリ2あるいは2a、2bへの書き込みクロック信号Gが出力される。以下、同様にn+1、n+2、…、n+a番目の各走査線の期間αだけFIFOメモリ2、あるいは2a、2bにデータが書き込まれることになる。
【0055】次に、図1の検出許容範囲を示す上限と下限とから成る被写体の画像の変化有無を検出するための映像信号波形基準データにより画像の変化を検出する、図2の変化検出部3Aの実現手段の実施例を図11で示す。
【0056】図11において、FIFOメモリ2は、映像信号Aの映像信号波形データBを格納するメモリ、上限メモリ2fは図1の曲線RUが表している検出許容範囲の映像信号波形基準データの上限値Cmax(…、RUn−1、RUn、RUn+1、…)を格納するメモリ、下限値メモリ2hは図1の曲線RLが表している検出許容範囲の映像信号波形基準データの下限値Cmax(…、RLn−1、RLn、RLn+1、…)を格納するメモリ、である。上限値比較回路201Aは、FIFOメモリ2の映像信号波形データCが上限値メモリ2fの検出許容範囲の映像信号波形基準データの上限値より大きいか否かを比較し大きければ比較結果信号Tmaxを出力する。また、下限値比較回路202AはFIFOメモリ2の映像信号波形データCが下限値メモリ2hの検出許容範囲の映像信号波形基準データより小さいか否かを比較し小さければ比較信号Tminを出力する。
【0057】所定のタイミングでFIFOメモリ2の映像信号波形データCが読み出されると共に、上限値メモリ2f、下限値メモリ2hから各々に検出許容範囲の映像信号波形基準データの上限値Cmaxおよび下限値Cminが読み出される。そして、比較回路201Aで映像信号波形データCの値が検出許容範囲の映像信号波形基準データの上限値Cmaxより大きい場合は、比較結果信号Tmaxを出力して画像の変化有りを検出したことを通知する。同様に、比較回路202Aで映像信号波形データCが検出許容範囲の映像信号基準データの下限値Cminより小さい場合は、比較結果信号Tminを出力して画像の変化有りを検出したことを通知する。
【0058】以上のように、検出許容範囲の映像信号波形基準データの上限値または下限値をメモリなどに格納しておき、各々の値を比較する比較回路を用いることで容易にリアルタイムに画像の変化有無を検出できる。
【0059】また、図2の所定期間毎の最大値と最小値とから成る被写体の画像の変化有無を検出するための映像信号波形基準データにより画像の変化を検出する、図6R>6の変化検出部3Bの実現手段の実施例を図12に示す。
【0060】図12では、前述した図5の所定期間毎の映像信号波形基準データの代表値である最大値と最小値はを最大値最小値メモリ2gに格納される。図12において、FIFOメモリ2aは映像信号Aの映像信号波形データBの所定期間毎の最大値B2aを格納するメモリ、 FIFOメモリ2bは映像信号Aの映像信号波形データBの所定期間毎の最小値B2bを格納するメモリ、最大値最小値メモリ2gは所定期間毎の映像信号波形基準データの最大値または最小値を格納するメモリ、である。最大値比較回路201Bは、FIFOメモリ2aの映像信号波形データB2aの最大値Caが最大値最小値メモリ2gの映像信号波形基準データの最大値BPmaxより大きいか否かを比較し大きければ比較結果信号Tmaxを出力する。また、最小値比較回路202Bは、FIFOメモリ2bの映像信号波形データB2bの最小値Cbが最大値最小値メモリ2gの映像信号波形基準データの最小値BPminより小さいか否かを比較し小さければ比較信号Tminを出力する。
【0061】所定のタイミングでFIFOメモリ2a、2bの所定期間の映像信号波形データCの最大値Ca、Cbが読み出されると共に、最大値最小値値2gから当該所定期間の映像信号波形基準データの最大値BPmax、最小値BPminが読み出される。そして、比較回路201Bで映像信号波形データCの最大値Caが映像信号波形基準データの最大値BPmaxより大きい場合は、比較結果信号Tmaxを出力して画像の変化有りを検出したことを通知する。同様に、比較回路202Bで映像信号波形データCの最小値Cbが映像信号波形基準データの最小値BPminより小さい場合は、比較結果信号Tminを出力して画像の変化有りを検出したことを通知する。
【0062】以上のように、所定期間毎の映像信号波形基準データの最大値または最小値をメモリなどに格納しておき、各々の値を比較する比較回路を用いることで容易にリアルタイムに画像の変化有無を検出できる。
【0063】さらなるリアルタイムの画像の変化の有無の検出を行うために、第一または第二の実施例の画像の変化の検出回路を示す図2または図6の各々のFIFOメモリ2、2a、2bに映像信号波形データBまたは所定期間毎の映像信号波形データBの最大値B2aと最小値B2bを格納せず、直接映像信号波形データBまたは最大値B2aと最小値B2bを各々の変化検出部3A、3Bへ供給するようにしても良い。
【0064】
【発明の効果】本発明によれば、TVカメラでとらえられた映像信号のデジタルデータとしての大量の画像データをアクセスして画像処理することなく、映像信号のサンプリングされた映像信号波形データを得て、この映像信号波形データと、平常時の変化がない映像信号のサンプリングされた映像信号波形データから得られる予め設定された検出許容範囲の映像信号波形基準データである上限値または下限値あるいは所定期間毎の代表値である最大値または最小値との比較で、安価な回路構成でリアルタイムに画像の変化有無の検出を実現することができるようになる。
【0065】これにより、ノイズの重畳や映像信号のサンプリング誤差による画像の変化有無の誤検出がなくなり、特に侵入物体の監視や交通事故有無の定点観測などを行う監視システムでは、即時の監視者への警報信号の生成や、侵入物体の侵入直前や交通事故の発生直前からの映像を記録するための制御信号の生成が適切に行うことができて、や必要な時間帯のみを記録するということで小型化の記憶装置の採用が可能となる。
【0066】また、本発明の別の応用の一つとしての外観検査システムでは、被写体の外観の製造ばらつきや傷の有無や程度などを、予め設定される平常時の変化がない被写体の映像信号のサンプリングされた映像信号波形データから得られる画像の変化有無の検出基準となる検出許容範囲の映像信号波形基準データや所定期間毎の最大値や最小値のデータの中に考慮することができるため、良品を不良品としてしまう過剰な検出の防止を行うことができるようになる。
【図面の簡単な説明】
【図1】 本発明の第一の実施例における映像信号波形データと映像信号波形基準データの例を示す図
【図2】 本発明の第一の実施例における画像の変化の検出回路のブロック図
【図3】 本発明の第一の実施例における映像信号波形基準データの取得の方法を示す図
【図4】 本発明の第一の実施例における映像信号波形基準データの取得の方法を示す図
【図5】 本発明の第二の実施例における映像信号とその最大値および最小値の例を示す図
【図6】 本発明の第二の実施例における画像の変化の検出回路のブロック図
【図7】 本発明の第一および第二の実施例における検出領域の例を示す図
【図8】 本発明の第一および第二の実施例における検出領域の設定の例を示す図
【図9】 本発明の第一および第二の実施例における画像の変化の検出回路のメモリ制御回路のブロックを示す図
【図10】 本発明の第一および第二の実施例における画像の変化の検出回路のメモリ制御回路のブロックの動作タイミングを示す図
【図11】 本発明の第一の実施例における画像の変化の検出回路の変化検出部のブロック図
【図12】 本発明の第二の実施例における画像の変化の検出回路の変化検出部のブロック図
【図13】 本発明の第一または第二の実施例が適用される監視装置のブロック図
【符号の説明】
1:A/D変換器、2:FIFOメモリ、3:変化検出部、4:同期信号分離回路、5:メモリ制御回路、6:発振回路、7:被写体認識処理部、8A、8B:画像変化検出処理部、100:ピーク検出回路、2a:FIFOメモリ、2b:FIFOメモリ、50:検出領域、51:カウンタ回路、52:比較回路、53:遅延回路、54:ゲート回路、55:サンプル数カウンタ、56:メモリアクセスタイミング生成回路、2f:上限値メモリ、2h:下限値メモリ、2g:最大値最小値メモリ、201A:上限値比較回路、202A:下限値比較回路、201B:最大値比較回路、202B:最小値比較回路、203A、203B:制御部、A:映像信号、B:映像信号波形データ、C:映像信号波形データ、D:制御信号、E:垂直同期信号、F:水平同期信号、G:FIFOメモリ書き込みクロック信号、H:FIFOメモリ書き込みアドレスリセット信号、I:FIFOメモリ読み出しクロック信号、J:FIFOメモリ読み出しアドレスリセット信号、K:メモリ制御クロック、L:A/D変換クロック、B2a:映像信号波形データの最大値、B2b:映像信号波形データの最小値、Ca:映像信号波形データの最大値、Cb:映像信号波形データの最小値、P:走査線ライン番号カウント値、Q:一致信号、U:サンプル開始信号、S:サンプル終了信号、Tmax、Tmin:比較結果信号

【特許請求の範囲】
【請求項1】撮像装置でとらえられた被写体の変化を検出する画像の変化の検出方法において、前記撮像装置でとらえられた被写体の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データの値と予め設定された前記被写体の画像の変化の有無を検出するための映像信号波形基準データの値との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項2】請求項1記載の発明において、前記被写体の映像信号波形データと前記映像信号波形基準データとの比較は、リアルタイムで行うことを特徴とする画像の変化の検出方法。
【請求項3】請求項1記載の発明において、前記被写体の所定の1走査線の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データの値と、前記被写体の所定の1走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる検出許容範囲の上限値または下限値の少なくとも一方との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項4】請求項1記載の発明において、前記被写体の所定の複数の走査線の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データの値と、前記被写体の所定の複数の走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる複数の検出許容範囲の上限値または下限値の少なくとも一方との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項5】請求項4記載の発明において、前記被写体の所定の複数の走査線は連続して、該各走査線の映像信号の所定のサンプリング期間から成る検出領域を設定して、該検出領域内の各走査線の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データの値と、前記検出領域内の各走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる複数の検出許容範囲の上限値または下限値の少なくとも一方との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項6】請求項3記載から請求項5記載の発明において、前記検出許容範囲の上限値または下限値は、平常時の前記被写体の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データに所定のプラスオフセット値またはマイナスオフセット値を加えた映像信号波形データの値とすることを特徴とする画像の変化の検出方法。
【請求項7】請求項3記載から請求項5記載の発明において、前記検出許容範囲の上限値または下限値は、平常時の前記被写体の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データに所定のプラスオフセット値またはマイナスオフセット値を加えた映像信号波形データをさらに左右に動かして複数の映像信号波形データを生成し、該複数の映像信号波形データから構成される外郭波形をサンプリングしてデジタル値に変換した映像信号波形データの値とすることを特徴とする画像の変化の検出方法。
【請求項8】撮像装置でとらえられた被写体の変化を検出する画像の変化の検出方法において、所定期間毎に前記被写体の所定の1走査線の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データの最大値と最小値を抽出し、該映像信号波形データの最大値または最小値と、前記所定期間毎に前記被写体の所定の1走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる検出最大値または検出最小値との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項9】撮像装置でとらえられた被写体の変化を検出する画像の変化の検出方法において、所定期間毎に前記被写体の所定の複数の走査線の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データの最大値と最小値を抽出し、該映像信号波形データの最大値または最小値と、前記所定期間毎に前記被写体の所定の複数の走査線の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる検出最大値または検出最小値との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項10】請求項9記載の発明において、前記被写体の所定の複数の走査線は連続して、該各走査線の映像信号の所定のサンプリング期間から成る検出領域を設定して、該検出領域内の各走査線の映像信号をサンプリングして、該映像信号をデジタル値に変換し、該デジタル値に変換された映像信号波形データから所定期間毎に抽出した該映像信号波形データの最大値またた最小値と、前記検出領域内の各走査線の所定期間毎の映像信号に対応する予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとなる検出最大値または検出最小値との比較で、前記被写体の画像の変化有無を検出することを特徴とする画像の変化の検出方法。
【請求項11】請求項8記載から請求項10記載までの発明において、前記被写体の所定の走査線毎における所定期間毎の映像信号波形基準データとなる検出最大値または最小値は、平常時の前記被写体の前記所定の走査線毎の所定期間毎の最大値または最小値に各々にプラスオフセット値またはマイナスオフセット値を加えた値とすることを特徴とする画像の変化の検出方法。
【請求項12】撮像装置でとらえられた被写体の変化を検出する画像の変化の検出回路において、前記被写体の映像信号を所定のA/D(Analog/Digital)変換クロックに基づいてサンプリングしてデジタル値に変換された映像信号波形データを生成するA/D変換器と、前記A/D変換器からの映像信号波形データを所定のアクセス信号を受けて格納、出力するFIFO(First In/First Out)メモリと、該FIFOメモリからの映像信号波形データと予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとを元に画像の変化の検出有無を検出すると共に、前記FIFOメモリへの所定のアクセス信号によって前記映像信号波形データをアクセスするため制御信号を出力する変化検出部と、前記映像信号から垂直同期信号と水平同期信号とを抽出する同期信号分離回路と、前記A/D変換器への所定のA/D変換クロックと前記FIFOメモリへの所定のアクセス信号を生成するためのメモリ制御クロックを出力する発振回路と、前記同期信号分離回路からの垂直同期信号と水平同期信号、前記変化検出部からの制御信号、および前記発振回路からのメモリ制御クロックとを受けて、前記FIFOメモリへの所定のアクセス信号を生成するメモリ制御回路と、を具備したことを特徴とする画像の変化の検出回路。
【請求項13】撮像装置でとらえられた被写体の変化を検出する画像の変化の検出回路において、前記被写体の映像信号を所定のA/D変換クロックに基づいてサンプリングしてデジタル値に変換された映像信号波形データを生成するA/D変換器と、所定期間毎の前記映像信号波形データの中から最大値と最小値を抽出して所定のアクセス信号で出力するピーク検出回路と、該映像信号波形データの最大値を所定のアクセス信号を受けて格納、出力するFIFOメモリと、該映像信号波形データの最小値を所定のアクセス信号を受けて格納、出力するFIFOメモリと、該両FIFOメモリからの最大値または最小値と予め設定された前記被写体の画像の変化有無を検出するための映像信号波形基準データとを元に画像の変化有無を検出すると共に、前記両FIFOメモリへの所定のアクセス信号によって前記映像信号波形データをアクセスするため制御信号を出力する変化検出部と、前記映像信号から垂直同期信号と水平同期信号とを抽出する同期信号分離回路と、前記A/D変換器への所定のA/D変換クロックと前記両FIFOメモリへの所定のアクセス信号を生成するためのメモリ制御クロックを出力する発振回路と前記同期信号分離回路からの垂直同期信号と水平同期信号、前記変化検出部からの制御信号、および前記発信回路からのメモリ制御クロックとを受けて、前記両FIFOメモリと前記ピーク検出回路への前記所定のアクセス信号を生成するメモリ制御回路と、を具備したことを特徴とする画像の変化の検出回路。
【請求項14】請求項12記載または請求項13記載の発明において、画像の変化を該画像の所定の検出領域で検出する時の該検出領域内の映像信号の映像信号波形データを前記FIFOメモリに格納するための前記メモリ制御回路で生成される前記所定のアクセス信号の内の書き込みクロックの発生手段は、前記垂直同期信号でカウント動作がリセットされ、前記水平同期信号でカウントして走査線のライン番号を出力するカウンタ回路と、該カウンタ回路からのライン番号と予め設定された少なくとも一つの走査線のライン番号とを比較し一致したならば一致信号を出力する比較回路と、前記予め設定された少なくとも一つの走査線の水平同期信号を起点として、予め設定された前記映像信号の所定のサンプリング期間を前記メモリ制御クロックでカウントして、前記検出領域内の映像信号のサンプリング開始信号を出力する遅延回路と、該サンプリング開始信号を受けて映像信号波形データを前記両FIFOメモリに書き込む書き込みクロックを出力するゲート回路と、前記検出領域内の映像信号波形データのサンプル数を予め設定された所定個カウントして、該所定個に達したならばサンプル終了信号を前記ゲート回路に供給して前記ゲート回路の書き込みクロックの出力を停止させるサンプル数カウンタと、から成ることを特徴とする画像の変化の検出回路。
【請求項15】請求項12記載の発明において前記変化検出部は、前記映像信号波形データの値が、前記予め設定された被写体の画像の変化有無を検出するための映像信号波形基準データの内で、所定の上限値より大きければ画像に変化有りを検出させる検出許容範囲の上限値を格納する上限値メモリと、前記映像信号波形データの値が、前記予め設定された被写体の画像の変化有無を検出するための映像信号波形基準データの内で、所定の下限値より小さければ画像に変化有りを検出させる検出許容範囲の下限値を格納する下限値メモリと、前記映像信号波形データの値が前記映像信号波形基準データの検出許容範囲の上限値より大きければ比較結果信号を出力する上限値比較回路と、前記映像信号波形データの値が前記映像信号波形基準データの検出許容範囲の下限値より小さければ比較結果信号を出力する下限値比較回路と、前記FIFOメモリへの前記映像信号波形データをアクセスするためアクセス信号を前記メモリ制御回路で生成するための制御信号を出力する制御部と、から成ることを特徴とする画像の変化の検出回路。
【請求項16】請求項13記載の発明において前記変化検出部は、前記映像信号波形データの値が、前記予め設定された被写体の画像の変化有無を検出するための映像信号波形基準データの内で、所定の最大値より大きいか、または前記映像信号波形データの値が前記映像信号波形基準データの内で所定の最小値より小さいかのいずれか一方の判断が得られたならば画像に変化有りを検出させる、前記所定の最大値または所定の最小値から成る検出最大値最小値のデータを格納する最大値最小値メモリと、前記映像信号波形データの値が前記所定の最大値より大きければ比較結果信号を出力する最大値比較回路と、前記映像信号波形データの値が前記所定の最小値より小さければ比較結果信号を出力する最小値比較回路と、前記FIFOメモリへの前記映像信号波形データをアクセスするためアクセス信号を前記メモリ制御回路で生成するための制御信号を出力する制御部と、から成ることを特徴とする画像の変化の検出回路。
【請求項17】撮像装置でとらえられた被写体の変化を監視する監視装置において、請求項1から請求項11のいずれか1項記載の画像の変化の検出方法によって得られた画像の変化有りの検出を受けて、前記被写体の画像を記録、表示、または伝送媒体へ伝送する、前記画像の変化の検出結果を記録、表示、警報または伝送媒体へ伝送する、あるいは前記被写体の画像認識処理をする、の少なくとも一つを開始することを特徴とする監視装置。
【請求項18】撮像装置でとらえられた被写体の変化を監視する監視装置において、請求項12から請求項16のいずれか1項記載の画像の変化の検出回路を有して得られた画像の変化有りの検出を受けて、前記被写体の画像を記録、表示または伝送媒体へ伝送する、前記画像の変化の検出結果を記録、表示、警報または伝送媒体へ伝送する、あるいは前記被写体の画像認識処理をする、の少なくとも一つを開始することを特徴とする監視装置。

【図1】
image rotate


【図2】
image rotate


【図7】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【図9】
image rotate


【図11】
image rotate


【図6】
image rotate


【図8】
image rotate


【図10】
image rotate


【図12】
image rotate


【図13】
image rotate


【公開番号】特開2002−288673(P2002−288673A)
【公開日】平成14年10月4日(2002.10.4)
【国際特許分類】
【出願番号】特願2001−90447(P2001−90447)
【出願日】平成13年3月27日(2001.3.27)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】