画像伝送装置及び画像伝送システム
画像伝送装置において、ビデオカメラにより撮像されたデジタルフレーム画像及び同期信号が入力される複数の入力端子と、複数の第１フレームバッファと、デジタルフレーム画像を同期信号に基づいて対応する第１フレームバッファに書き込みをする書き込み制御部と、読み出しクロックを生成する読み出しクロック生成部と、読み出しクロック生成部が生成した読み出しクロックに基づいて、複数の第１フレームバッファを順次イネーブルにして、複数のデジタルフレーム画像を所定時間内に読み出し、１フレームに多重化して、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、多重情報が示す多重化データに収容されたデジタルフレーム画像の符号化をする画像圧縮部と、画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部とを具備して構成する。
【発明の詳細な説明】
【技術分野】
アナログ映像信号からデジタル処理をする画像伝送装置において、デジタル画像データを共通的なバス構成とすることで複数のアプリケーションに効率良く、リアルタイムに供給可能な画像伝送装置及び画像伝送システムに関する。
【背景技術】
近年、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に代表されるデジタルネットワークの急速な普及、高速化により、映像コンテンツ配信、監視システムなど映像伝送の需要が高まりつつある。同時に映像の利用範囲も単なる伝送することに加え、高度なプロセッサを用いた画像処理を行い、侵入者検知など応用システムが増えてきている。これらを実現する装置も従来の高価な専用装置から小型の卓上装置、ＰＣ実装タイプのアドインボードなど用途により広がりを見せている。今後は、複数の画像入力に対する、画像認識、画像圧縮、画像蓄積などのデータ処理を行うアプリケーションが融合して高付加価値なシステムが出現するものと予想される。
図９は従来の画像伝送方式を示す図である。図９に示すように、カメラ２は撮像画像を、例えば、ＮＴＳＣ信号により出力する。ビデオデコーダ４は、ＮＴＳＣ信号から、所定の規格に従って、デジタルフレーム画像、例えば、ＲＥＣ６０１にアナログ／デジタル変換をする。画像圧縮・伝送部６は、ＲＥＣ６０１のデジタルフレーム画像を入力すると、所定の方式、例えば、ＭＰＥＧ方式により符号化する。画像圧縮・伝送部６は、符号化されたフレーム画像データをＩＰパケット化して、ネットワークを通して監視センタなどに伝送する。監視センタは、ＩＰパケットを受信すると、復号化して、画面などに画像を表示する。このように、通常、デジタル映像データは、ビデオデコーダ４の出力と画像圧縮・伝送部６などのデータ処理部間で１対１接続される場合が殆どである。
しかしながら、従来の画像伝送方式は、ビデオデコーダ４とデータ処理部６間で１対１接続されるため、複数のカメラで撮像した複数の映像入力が発生した場合には、１装置にビデオデコーダ及びデータ処理部を複数個実装しなければならない。そのため、回路規模が大きくなり、装置として無駄が多く高コストとなる。
また、単一の映像データに対して、複数の画像処理をするには、画像処理部を１つのデバイスでは構成できないことから、複数の画像処理部を設け、それぞれに映像データを入力する必要がある。そのため、回路規模が大きくなり、装置として無駄が多く高コストとなる。
また、複数のカメラで撮像した複数の映像に対して、複数のデータ処理部間で連携してデータ処理を行うとき、例えば、侵入者検知などの画像認識を画像毎に設けられた複数の画像認識部により行う必要があること、画像認識の結果、例えば、画像に侵入者が検知された場合には、複数の画像から侵入者検出画像の選択及び侵入者検知を示す文字メッセージの付加などを行う画像合成部が必要となる。そのため、装置構成が複雑になるという問題点があった。
更に、複数のカメラで撮像した複数の映像を１画像に合成して伝送する場合には、通常のカメラでは、映像画像フレームは非同期で転送されることから同期を取る必要がある。そのため、外部に設けたタイムベースコレクタにより非同期で転送された複数の画像フレームの同期を取ること、ゲンロックカメラにより出力画像フレーム自体の同期を取る必要があり、コストがかかるという問題点があった。
先行技術文献としては、以下のものがあった。
特許文献１は、アナログ映像信号を時分割多重して送出する手段を備えた複数のビデオカメラとマスタ制御装置とを一本のバスラインで接続して、マスタ制御装置で時分割多重信号を復調して映像表示することを開示している。
特許文献２は、ボード上にローカルバスを設け、インタフェース手段を介してローカルバスとＰＣとを接続することにより、表示用メモリや、圧縮伸長手段などを容易に拡張できるマルチメディアシステムを提供することを開示している。
特許文献３は、アナログの動画を入力する１台の画像入力装置、ビデオデコーダ、デジタル化された動画像を圧縮動画像に変換する動画圧縮部、圧縮動画像を主記憶に転送する動画入力インタフェース部などを開示している。
【特許文献１】 特開平６−６７９８号公報
【特許文献２】 特開平５−２４４２２３２号公報
【特許文献３】 国際公開ＷＯ９７／２３０９３号公報
しかしながら、特許文献１では、アナログ映像を時分割多重する手段をカメラに備えていることからゲンロックカメラと同様にカメラが高価になること、カメラに備えられた時分割多重する手段は、特許文献１の図４に示すように、多重化されるデジタル映像データの個数及びその収容順が固定されていることから、デジタル映像データの数、即ち、カメラの台数を可変にしてディスプレイに表示することができない。また、マスタ制御装置には１台のモニタが接続されているのみであり、アナログ映像信号を複数台のモニタに表示する、例えば、単一のアナログ映像信号を複数台のモニタに表示することはできない。更に、複数の画像処理部に関する構成を開示していないために、例えば、画像認識部の認識結果に基づいて他の画像処理部、例えば、画像圧縮部が画像処理をすることができない。
特許文献２では、複数台のカメラで撮像した映像信号を多重化することに関する技術を開示していないことから、複数台のカメラで撮像した映像信号を同時にディスプレイに表示することはできない。また、単一のアナログ映像信号を複数台のモニタに表示することはできない。更に、複数の画像処理部に関する構成を開示していないために、例えば、画像認識部の認識結果に基づいて他の画像処理部、例えば、画像圧縮部が画像処理をすることができない。
特許文献３は、従来技術で最初に説明したものと同等のものであるため、上述した課題を解決することはできない。
【発明の開示】
本発明の目的は、複数のフレーム画像を１個のデータ処理部により処理することができ、低コスト化・軽量化を図ることのできる画像伝送装置を提供することである。
本発明の側面によれば、画像伝送装置であって、ビデオカメラにより撮像された所定時間内に１フレームのデジタルフレーム画像及び当該デジタルフレーム画像に同期した同期信号が入力される複数の入力端子と、前記複数の入力端子に対応して設けられた複数の第１フレームバッファと、所定時間内に前記複数の入力端子のそれぞれ入力された前記デジタルフレーム画像を該デジタルフレーム画像に同期した同期信号に基づいて対応する前記第１フレームバッファに書き込みをする書き込み制御部と、読み出しクロックを生成する読み出しクロック生成部と、前記読み出しクロック生成部が生成した読み出しクロックに基づいて、前記複数の第１フレームバッファを順次イネーブルにして、前記複数の第１フレームバッファに書き込まれた前記複数のデジタルフレーム画像を前記所定時間内に読み出し、１フレームに多重化して、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、前記多重情報が示す前記多重化データに収容されたデジタルフレーム画像を符号化する画像圧縮部と、前記画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部とを具備したことを特徴とする画像伝送装置が提供される。
好ましくは、第２フレームバッファと、前記多重化データに収容される各デジタルフレーム画像を前記多重情報に基づいて前記第２フレームバッファに書き込み、前記多重化データに収容される前記デジタルフレーム画像の個数に基づき、当該第２フレームバッファに書き込まれた前記各デジタルフレーム画像を横及び縦方向に間引きして、複数のデジタルフレーム画像を１フレームの合成フレーム画像に合成する画像合成部とを更に具備し、前記画像圧縮部は前記画像合成部により作成された前記合成画像データを符号化する。
【図面の簡単な説明】
図１は本発明の原理図；
図２は本発明の実施形態による画像伝送システムの構成図；
図３は図２中のフレームバッファの構成図；
図４は図２中のバス制御部の構成図；
図５は図２中のデータ処理部の構成図；
図６は画像フレームの書き込みのタイムチャート；
図７は画像フレームの読み出しのタイムチャート；
図８は図２の動作説明図；
図９は従来の画像伝送装置の構成図である；
発明を実施するための最良の態様
本発明の実施形態の説明をする前に本発明の原理の説明をする。図１は本発明の原理図である。図１に示すように、画像伝送装置は、複数の第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）、書き込み制御部５２、読み出しクロック生成部５４、読み出し制御部５６、第２フレームバッファ５８、画像合成部６０、画像圧縮部６２及び画像伝送部６４を有する。各入力端子４８＃ｉ（ｉ＝１，…，ｎ）には、ビデオカメラにより撮像された、所定時間内に１フレームのデジタルフレーム画像が入力される。書き込み制御部５２は、各入力端子４８＃ｉ（ｉ＝１，…，ｎ）に入力されるデジタルフレーム画像を第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）に書き込む。
読み出しクロック生成部５４は、読み出しクロックを生成する。読み出し制御部５６は、読み出しクロック生成部５４が生成した読み出しクロックに基づいて、複数の第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）を順次イネーブルにして、各第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）に書き込まれた入力デジタルフレーム画像を所定時間内に読み出してデジタルフレーム画像を１フレームに多重化して、多重化データ及び当該多重化データに収容されるフレーム画像の収容位置を示す多重情報を出力する。
画像合成部６０は、多重化データに収容される各デジタルフレーム画像を多重情報に基づいて前記第２フレームバッファ５８に書き込み、多重化データに収容されるデジタルフレーム画像の数に基づいて、当該第２フレームバッファ５８に書き込まれた各デジタルフレーム画像を横及び縦方向に間引きして、所定時間内に含まれるデジタル画像データ数をビデオカメラにより撮像した１フレーム画像データ数に合わせて、合成画像データを作成する。画像圧縮部６２は、画像合成部６０により合成された合成画像データを符号化する。画像伝送部６４は、符号化部が符号化した画像データを伝送する。このように複数のフレーム画像を多重化して、画像合成部６０などのデータ処理部に渡すので、フレーム画像毎にデータ処理部を設ける必要がなくなる。
図２は本発明の実施形態による画像伝送システムの構成図である。図２に示すように、画像伝送システムは、複数台のカメラ１００＃ｉ（ｉ＝１，２，３）、複数台のビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）、画像バス１０４及びデータ処理部１０６を具備する。複数台、例えば、３台のカメラ１００＃ｉ（ｉ＝１，２，３）は、ビル内などに配置されて、一定時間間隔、例えば、１／３０秒毎に撮像した所定形式のアナログ画像信号、例えば、ＮＴＳＣ信号を出力する。複数のビデオコーダ１０２＃ｉ（ｉ＝１，２，３）は、カメラ１００＃ｉ（ｉ＝１，２，３）毎に設けられ、ＮＴＳＣ信号を所定規格のデジタルフレーム画像、例えば、ＲＥＣ６０１にアナログ信号をデジタル信号に変換する。ここで、カメラ１００＃ｉからは非同期にＮＴＳＣ信号が出力されるため、ビデオデコーダ１０２＃ｉはＲＥＣ６０１を非同期に出力する。ＲＥＣ６０１には、フレーム画像信号に加えて、各ラインの最後を示す水平同期信号、フレーム画像の最後を示す垂直同期信号及びフレーム画像信号の各ビットを示すクロックが含まれる。
画像バス１０４は、複数の入力端子１４８＃ｉ，１４９＃ｉ（ｉ＝１，２，３）、複数のフレームバッファ１５０＃ｉ（ｉ＝１，２，３）及びバス制御部１５４を有する。入力端子１４８＃ｉ，１４９＃ｉ（ｉ＝１，２，３）はビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）の出力に接続される。フレームバッファ１５０＃ｉ（ｉ＝１，２，３）は、入力端子１４８＃ｉ（ｉ＝１，２，３）に入力データ線により接続される。バス制御部１５４は、入力端子１４９＃ｉ（ｉ＝１，２，３）に入力制御線により接続される。フレームバッファ１５０＃ｉ（ｉ＝１，２，３）は、バス制御部１５４に書き込み制御線及び読み出し制御線により接続される。フレームバッファ１５０＃ｉ（ｉ＝１，２，３）及び文字ジェネレータ１５２の出力は、１本の出力データ線に接続されている。出力データ線は、データ処理部１０６に接続されている。文字ジェネレータ１５２は、バス制御部１５４に書き込み制御線により接続されている。バス制御部１５４の出力制御線は、データ処理部１０６に接続されている。
図３は図２中のフレームバッファ１５０＃ｉの構成図である。図３に示すように、フレームバッファ１５０＃ｉは、フレーム画像を少なくとも２枚含むことのできるサイズのメモリ領域を有するデュアルポートメモリである。画像フレームデータの読み出しと書き込みが同時に行うことができるためである。フレームバッファ１５０＃ｉは、書き込み制御線より、書き込みアドレスＷａｄｄｉ及び書き込みクロックＷＣＬＫｉ、並びに入力データ線より書き込み画像データＶｉ＿Ｄａｔａが入力されると、書き込みクロックＷＣＬＫｉに同期して、書き込みアドレスＷａｄｄｉの領域に書き込み画像データＶｉ＿Ｄａｔａが書き込まれる。また、読み出し制御線より、読み出しアドレスＲａｄｄ、読み出しイネーブル信号ＥＮ＿Ｂｉ及び読み出しクロックＲＣＬＫが入力されると、読み出しイネーブル信号ＥＮ＿Ｂｉが有効になると、読み出しクロックＲＣＬＫに同期して、読み出しアドレスＲａｄｄの領域より読み出し画像データＶ＿Ｄａｔａが出力される。
文字ジェネレータ１５２は、読み出し制御線より入力された読み出しイネーブル信号ＥＮ＿ＣＧが有効になると、読み出しクロックＲＣＬＫに同期して、読み出しアドレスＲａｄｄに該当する文字画像データを出力することにより、画像フレーム上の所定の位置に特定の文字、例えば、「侵入者検出」の文字を含む文字画像フレームデータＶ＿Ｄａｔａを出力する。尚、文字ジェネレータ１５２の代わりに、文字画像データを予めフレームバッファに格納しておき、それを読み出すようにしても良い。この場合、フレームバッファは読み出し専用であることから１フレームバッファで良い。
図４はバス制御部１５２の構成図である。図４に示すように、バス制御部１５４は、書き込みアドレス生成部２００、可変クロック生成部２０２及び読み出し制御部２０４を有する。書き込みアドレス生成部２００は、入力端子１４９＃ｉ（ｉ＝１，２，３）に接続される入力制御線より、クロックＷＣＬＫｉ、水平同期信号Ｖｉ＿ＨＳ及び垂直同期信号Ｖｉ＿ＶＳを入力して、水平同期信号Ｖｉ＿ＨＳが示すパルスまでを１ライン、垂直同期信号Ｖｉ＿ＶＳが示すパルスを１フレームのフレーム画像の最後として、クロックＷＣＬＫｉに従ってカウントアップし、書き込みアドレスＷａｄｄｉを出力する。フレームバッファ１５０＃ｉの最後まで書き込みが行われると、先頭から書き込まれるよう書き込みアドレスＷａｄｄｉを生成する。
可変クロック生成部２０２は、次の機能を有する。（１）入力されるフレーム画像の個数を、例えば、活きているクロックＷＣＬＫｉの個数、即ち、レベル変化をしているクロックＷＣＬＫｉの個数を検出する。画像バス１０４は、ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）と接続するための入力端子１４８＃ｉ，１４９＃ｉ（ｉ＝１，２，３）を、例えば、最大３個持っているが、運用によってはその全てが使用されるとは限らないことから、ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）が接続されている入力端子より入力されたフレーム画像のみ多重化することにより、例えば、読み出しクロックＲＣＬＫの周波数を最小限にして消費電力の低減化を図るためである。（２）検出されたフレーム画像の個数ｎより活きているクロックの１つ、例えば、クロックＷＣＬＫ１のクロック周波数の（ｎ＋１）倍の周波数の読み出しクロックＲＣＬＫを生成する。
読み出し制御部２０４は、読み出しアドレス生成部２１０、イネーブル信号生成部２１２及び多重情報生成部２１４を有する。読み出しアドレス生成部２１０は、後述するイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧが有効になっている期間について、クロックＲＣＬＫに従ってカウントアップし、１フレームのフレーム画像を読み出すための読み出しアドレスＲａｄｄを生成する。読み出しアドレスＲａｄｄがフレームバッファ１５０＃ｉの最終アドレスに一致すると、フレームバッファ１５０＃ｉの先頭から読み出すように読み出しアドレスＲａｄｄを生成する。このとき、読み出しクロックＲＣＬＫの周波数が書き込みクロックＷＣＬＫｉの４倍の周波数であることから、フレーム画像が書き込み速度の４倍の速度で読み出される。
イネーブル信号生成部２１２は、順次、活きているクロックＷＣＬＫｉに対応するフレームバッファ１５０＃ｉについて、読み出しクロックＲＣＬＫをカウントして、１フレーム画像分の読み出し時間（ＲＥＣ６０１による１フレームの時間／（ｎ＋１））だけ読み出しイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３）を有効にする。その後、１フレーム画像分の読み出し時間だけイネーブル信号ＥＮ＿ＣＧを有効にする。これにより、ＲＥＣ６０１による１フレームの時間、即ち、１／３０秒に、活きているクロックＷＣＬＫｉの個数分のフレーム画像データ及び文字フレーム画像データＶ＿Ｄａｔａが多重化される。このとき、各フレーム画像や文字フレーム画像はイネーブル信号ＥＮ＿Ｂｉ，ＥＮ＿ＣＧが有効になっている期間に先頭から最後まで順次読み出されることから、多重化データＶ＿Ｄａｔａに収容されるフレーム画像や文字フレーム画像は同期が取られている。これを繰り返す。多重情報生成部２１４は、読み出しクロックＲＣＬＫ、多重化された各フレーム画像の先頭位置及び各フレーム画像について各ラインの最後の位置を示す情報を多重情報ＭＵＸＩＮＦとして生成する。
図６は図２中のデータ処理部１０６の構成図である。データ処理部１０６は複数の入力端子１５８＃ｉ（ｉ＝１，２），１５９＃ｉ（ｉ＝１，２）に接続される複数の画像処理部、例えば、画像圧縮・伝送部１６０及び画像認識部１６２を有する。入力端子１５８＃ｉ（ｉ＝１，２）には、多重化データＶ＿Ｄａｔａを入力するものである。入力端子１５９＃ｉ（ｉ＝１，２）は多重情報ＭＵＸＩＮＦを入力するためのものである。画像処理部は、１つ又は複数のモニタに表示するためのモニタ制御部、圧縮された符号化画像データを蓄積する画像蓄積部等の他のものであっても良い。
画像圧縮・伝送部１６０は、フレームバッファ２５０、画像合成部２５２、画像圧縮部２５４及び画像伝送部２５６を有する。フレームバッファ２５０は、多重化データＶ＿Ｄａｔａを格納するデュアルポートメモリであり、少なくとも２フレーム分の格納エリアを有する。
画像合成部２５２は、以下の機能を有する。（１）多重情報ＭＩＸＩＮＦを元に、多重化データＶ＿Ｄａｔａに収容される各フレーム画像の各ライン毎に画像データをフレームバッファ２５０に書き込む。（２）画像認識部１６２より画像認識結果、例えば、侵入者が検出された旨がその侵入者を含む画像フレームの番号と共に通知された場合には、侵入者を含むフレーム画像と文字画像フレームとを合成する。合成とは、文字画像フレーム中の文字部分のみを侵入者を含むフレーム画像に上書きすることをいう。（３）画像認識部１６２より、例えば、侵入者検出がされていない場合には、全フレーム画像が１枚のフレームに収まるように合成する。このとき、入力されるフレーム画像の数が可変であることより、多重化データに収容されているフレーム数より、複数のフレーム画像がディスプレイに表示される形態、即ち、何分割された画面に表示されるかを求め、フレームバッアァ２５０に格納された画像フレームを間引きする割合、例えば、３枚のフレーム画像が多重化されているときは、画面を上下・左右に４分割して、各分割された画面に該当フレーム画像を表示するので、各画像フレームを横及び縦方向に１／２に間引くことにより合成フレーム画像を生成する。
画像圧縮部２５４は、画像合成部２５２により合成されたフレーム画像をＭＰＥＧ方式などにより符号化して、画像圧縮する。画像伝送部２５６は、画像圧縮部２５４により圧縮された画像をＩＰパケット化して、インターネットを介して接続される監視センタなどに伝送する。
画像認識部１６２は、フレーム画像よりエッジ抽出、フレーム間差分、パターンマッチングなどの処理を行い、意図する画像を認識するものであり、例えば、フレームバッファ３００及び侵入者検出部３０２を有する。フレームバッファ３００はフレームバッファ２５０と実質的に同一である。侵入者検出部３０２は、監視用画像認識を行うものであり、フレームバッファ３００に格納された各画像フレームについて、複数（本例では３台）のカメラ画像を随時監視して、侵入者を検出する。侵入者が検出されると、その旨と共に侵入者を含む多重化データＶ＿Ｄａｔａに収容されている順番を出力する。
図６は図２の動作説明図である。ビルなどに設置された３台のカメラ１００＃ｉ（ｉ＝１，２，３）はアナログ画像フレームをＮＴＳＣ信号により出力する。ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）はＮＴＳＣ信号をＲＥＣ６０１に変換して、フレーム画像データＶｉ＿Ｄａｔａ、クロック信号ＷＣＬＫｉ、水平同期信号Ｖｉ＿ＨＳ及び垂直同期信号Ｖｉ＿ＶＳを出力する。
図７はフレーム画像データの書き込みタイムチャートである。バス制御部１５４は、各ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）より出力され、入力端子１４８＃ｉ（ｉ＝１，２，３）より入力されるフレーム画像データＶｉ＿Ｄａｔａを入力端子１４９＃ｉ（ｉ＝１，２，３）より入力されるクロック信号ＷＣＬＫｉ、水平同期信号Ｖｉ＿ＨＳ及び垂直同期信号Ｖｉ＿ＶＳに同期して、書き込みアドレスＷａｄｄｉを生成して、フレームバッファ１５０＃ｉ（ｉ＝１，２，３）に書き込む。
図８はフレーム画像データの読み出しのタイムチャートである。バス制御部１５４は、ビデオデコーダ１５２＃ｉ（ｉ＝１，２，３）に接続される入力端子１４９＃ｉ（ｉ＝１，２，３）より入力されるクロックＷＣＬＫｉ（ｉ＝１，２，３）などより入力画像の個数を求める。ここでは、３個であることが求められる。入力されるクロックの１つ、例えば、クロックＷＣＬＫ１から４倍のクロック周波数の読み出しクロックＲＣＬＫを生成する。読み出しクロックＲＣＬＫに同期して、１フレーム時間（１／３０秒）を４分割した各時間において有効となるように読み出しイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧ及び読み出しアドレスＲａｄｄを順次生成する。
例えば、フレームバッファ１５０＃１，１５０＃２，１５０＃３、文字ジェネレータ１５２の順に読み出し信号イネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧを生成する。読み出しアドレスＲａｄｄについては、フレームバッファ１５０＃１，１５０＃２，１５０＃３及び文字ジェネレータ１５２毎に生成されるが、各読み出しイネーブルブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３）が有効である期間において、読み出しアドレスＲａｄｄはフレーム画像の最初から最後までの該当アドレスであり、互いに順次同じアドレスとなる。また、読み出しイネーブル信号ＥＮ＿ＣＧは有効である期間において、文字画像フレームの最初から最後までの該当アドレスである。
フレームバッファ１５０＃ｉは、読み出しイネーブル信号ＥＮ＿Ｂｉが有効になると、読み出しアドレスＲａｄｄに該当する領域から画像データＤａｔａｉを読み出す。文字ジェネレータ１５２は、読み出しイネーブル信号ＥＮ＿ＣＧが有効になると、読み出しアドレスＲａｄｄに該当する文字データＣＧを生成する。これにより、フレームバッファ１５０＃ｉ（ｉ＝１，２，３），文字ジェネレータ１５２より出力される４個のフレーム画像Ｄａｔａｉ（ｉ＝１，２，３）及びＣＧが、図８に示すように多重化データＶ＿Ｄａｔａａに多重化されるとともに、読み出しアドレスＲａｄｄが、読み出しイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧの各有効期間において、フレームの先頭アドレスから最終アドレスまでであることから、多重化された画像フレームの同期が取れる。
バス制御部１５４は、多重化データＶ＿Ｄａｔａに多重化されている画像フレームＤａｔａｉ（ｉ＝１，２，３）及びＣＧの先頭及び各ラインの終了を示す多重情報ＭＵＸＩＮＦを読み出しクロックＲＣＬＫと共にデータ処理部１０６に出力する。画像認識部１６２は、多重化データＶ＿Ｄａｔａの各フレーム画像Ｄａｔａｉ（ｉ＝１，２，３）を多重情報ＭＵＸＩＮＦに従って入力し、各フレーム画像について、前後のフレーム画像の差分演算を行うことにより侵入者を検出する。侵入者が検出されると、多重化データＶ＿Ｄａｔａに収容されている侵入者検出画像の収容番号をその旨と共に出力する。例えば、図６に示すように、カメラ１００＃２により撮像された画像フレームに侵入者が検出されたとすると、カメラ１００＃２（収容番号２）に侵入者検出された旨を画像圧縮・伝送部１６０に出力する。
画像圧縮・伝送部１６０は、画像認識部１６２より侵入者検出通知がされていない場合は、各フレーム画像が多重化データＶ＿Ｄａｔａの画像フレーム数で画面分割された該当画面に表示されることから、多重情報ＭＵＸＩＮＦに従って多重化データＶ＿Ｄａｔａに収容された各フレーム画像を間引きして、１フレーム画像としてから、ＭＰＥＧ方式などにより符号化して画像圧縮する。例えば、図６に示すように、３台のカメラ１００＃１，１００＃２，１００＃３により撮像された各フレーム画像は、４分割された該当画面に表示されるので、各画像フレームの横・縦方向に１／２に間引きされる。また、画像認識部１６２により侵入者検出が通知されると、多重化データＶ＿Ｄａｔａに収容されている侵入者検出フレーム画像及び文字フレーム画像を１フレーム画像に合成してから、ＭＰＥＧ方式などにより符号化して画像圧縮する。
そして、画像圧縮・伝送部１６０は、画像圧縮された画像データをＩＰパケット化して、インターネットなどを介して図示しない監視センタなどに送出する。ＩＰパケットは監視センタなどで受信されて復号化され、図６に示すように、画面に表示される。侵入者が検出されていない場合は、３フレーム画像が画面に表示される。例えば、カメラ１００＃ｉ（ｉ＝１，２，３）より撮像されたフレーム画像は、図６に示すように、（ｉ）（ｉ＝１，２，３）に示す画像領域に表示される。侵入者が検出された場合は、図６に示すように、カメラ１００＃２により撮像された侵入者検出フレーム画像が“侵入者検出”の文字と共に画面に表示される。
以上説明した実施形態によれば、画像バスにより複数フレーム画像の同期を取り多重化するので、一つのデータ処理部のデバイスにて複数の映像を処理可能となり、画像の合成を行うことができ、軽量・低コストが実現できる。データ処理部内にて、画像認識結果を元に同一の画像を加工することにより軽量・低コストな構成により高付加価値な複合型画像伝送装置を提供できる。
また、本実施形態では複数カメラが撮像したフレーム画像を多重化する場合を例に説明したが１台のカメラが撮像した単一のアナログ画像信号に対しても、図２の構成を何ら変更することなく実現できるので、一つのデータ処理部のデバイスにて複数のアプリケーションを処理可能、例えば、複数の画像処理部を複数のモニタへ表示制御を行う画像表示制御部とし、画像表示制御部の出力端子にモニタを接続することにより、複数のモニタに単一の映像を表示することも可能となる。
【産業上の利用可能性】
以上説明したように、本発明によれば、画像バスにより複数フレーム画像の同期を取り多重化するので、一つのデータ処理部のデバイスにて複数の映像を処理可能となり、画像の合成を行うことができ、軽量・低コストが実現できる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【技術分野】
アナログ映像信号からデジタル処理をする画像伝送装置において、デジタル画像データを共通的なバス構成とすることで複数のアプリケーションに効率良く、リアルタイムに供給可能な画像伝送装置及び画像伝送システムに関する。
【背景技術】
近年、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に代表されるデジタルネットワークの急速な普及、高速化により、映像コンテンツ配信、監視システムなど映像伝送の需要が高まりつつある。同時に映像の利用範囲も単なる伝送することに加え、高度なプロセッサを用いた画像処理を行い、侵入者検知など応用システムが増えてきている。これらを実現する装置も従来の高価な専用装置から小型の卓上装置、ＰＣ実装タイプのアドインボードなど用途により広がりを見せている。今後は、複数の画像入力に対する、画像認識、画像圧縮、画像蓄積などのデータ処理を行うアプリケーションが融合して高付加価値なシステムが出現するものと予想される。
図９は従来の画像伝送方式を示す図である。図９に示すように、カメラ２は撮像画像を、例えば、ＮＴＳＣ信号により出力する。ビデオデコーダ４は、ＮＴＳＣ信号から、所定の規格に従って、デジタルフレーム画像、例えば、ＲＥＣ６０１にアナログ／デジタル変換をする。画像圧縮・伝送部６は、ＲＥＣ６０１のデジタルフレーム画像を入力すると、所定の方式、例えば、ＭＰＥＧ方式により符号化する。画像圧縮・伝送部６は、符号化されたフレーム画像データをＩＰパケット化して、ネットワークを通して監視センタなどに伝送する。監視センタは、ＩＰパケットを受信すると、復号化して、画面などに画像を表示する。このように、通常、デジタル映像データは、ビデオデコーダ４の出力と画像圧縮・伝送部６などのデータ処理部間で１対１接続される場合が殆どである。
しかしながら、従来の画像伝送方式は、ビデオデコーダ４とデータ処理部６間で１対１接続されるため、複数のカメラで撮像した複数の映像入力が発生した場合には、１装置にビデオデコーダ及びデータ処理部を複数個実装しなければならない。そのため、回路規模が大きくなり、装置として無駄が多く高コストとなる。
また、単一の映像データに対して、複数の画像処理をするには、画像処理部を１つのデバイスでは構成できないことから、複数の画像処理部を設け、それぞれに映像データを入力する必要がある。そのため、回路規模が大きくなり、装置として無駄が多く高コストとなる。
また、複数のカメラで撮像した複数の映像に対して、複数のデータ処理部間で連携してデータ処理を行うとき、例えば、侵入者検知などの画像認識を画像毎に設けられた複数の画像認識部により行う必要があること、画像認識の結果、例えば、画像に侵入者が検知された場合には、複数の画像から侵入者検出画像の選択及び侵入者検知を示す文字メッセージの付加などを行う画像合成部が必要となる。そのため、装置構成が複雑になるという問題点があった。
更に、複数のカメラで撮像した複数の映像を１画像に合成して伝送する場合には、通常のカメラでは、映像画像フレームは非同期で転送されることから同期を取る必要がある。そのため、外部に設けたタイムベースコレクタにより非同期で転送された複数の画像フレームの同期を取ること、ゲンロックカメラにより出力画像フレーム自体の同期を取る必要があり、コストがかかるという問題点があった。
先行技術文献としては、以下のものがあった。
特許文献１は、アナログ映像信号を時分割多重して送出する手段を備えた複数のビデオカメラとマスタ制御装置とを一本のバスラインで接続して、マスタ制御装置で時分割多重信号を復調して映像表示することを開示している。
特許文献２は、ボード上にローカルバスを設け、インタフェース手段を介してローカルバスとＰＣとを接続することにより、表示用メモリや、圧縮伸長手段などを容易に拡張できるマルチメディアシステムを提供することを開示している。
特許文献３は、アナログの動画を入力する１台の画像入力装置、ビデオデコーダ、デジタル化された動画像を圧縮動画像に変換する動画圧縮部、圧縮動画像を主記憶に転送する動画入力インタフェース部などを開示している。
【特許文献１】 特開平６−６７９８号公報
【特許文献２】 特開平５−２４４２２３２号公報
【特許文献３】 国際公開ＷＯ９７／２３０９３号公報
しかしながら、特許文献１では、アナログ映像を時分割多重する手段をカメラに備えていることからゲンロックカメラと同様にカメラが高価になること、カメラに備えられた時分割多重する手段は、特許文献１の図４に示すように、多重化されるデジタル映像データの個数及びその収容順が固定されていることから、デジタル映像データの数、即ち、カメラの台数を可変にしてディスプレイに表示することができない。また、マスタ制御装置には１台のモニタが接続されているのみであり、アナログ映像信号を複数台のモニタに表示する、例えば、単一のアナログ映像信号を複数台のモニタに表示することはできない。更に、複数の画像処理部に関する構成を開示していないために、例えば、画像認識部の認識結果に基づいて他の画像処理部、例えば、画像圧縮部が画像処理をすることができない。
特許文献２では、複数台のカメラで撮像した映像信号を多重化することに関する技術を開示していないことから、複数台のカメラで撮像した映像信号を同時にディスプレイに表示することはできない。また、単一のアナログ映像信号を複数台のモニタに表示することはできない。更に、複数の画像処理部に関する構成を開示していないために、例えば、画像認識部の認識結果に基づいて他の画像処理部、例えば、画像圧縮部が画像処理をすることができない。
特許文献３は、従来技術で最初に説明したものと同等のものであるため、上述した課題を解決することはできない。
【発明の開示】
本発明の目的は、複数のフレーム画像を１個のデータ処理部により処理することができ、低コスト化・軽量化を図ることのできる画像伝送装置を提供することである。
本発明の側面によれば、画像伝送装置であって、ビデオカメラにより撮像された所定時間内に１フレームのデジタルフレーム画像及び当該デジタルフレーム画像に同期した同期信号が入力される複数の入力端子と、前記複数の入力端子に対応して設けられた複数の第１フレームバッファと、所定時間内に前記複数の入力端子のそれぞれ入力された前記デジタルフレーム画像を該デジタルフレーム画像に同期した同期信号に基づいて対応する前記第１フレームバッファに書き込みをする書き込み制御部と、読み出しクロックを生成する読み出しクロック生成部と、前記読み出しクロック生成部が生成した読み出しクロックに基づいて、前記複数の第１フレームバッファを順次イネーブルにして、前記複数の第１フレームバッファに書き込まれた前記複数のデジタルフレーム画像を前記所定時間内に読み出し、１フレームに多重化して、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、前記多重情報が示す前記多重化データに収容されたデジタルフレーム画像を符号化する画像圧縮部と、前記画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部とを具備したことを特徴とする画像伝送装置が提供される。
好ましくは、第２フレームバッファと、前記多重化データに収容される各デジタルフレーム画像を前記多重情報に基づいて前記第２フレームバッファに書き込み、前記多重化データに収容される前記デジタルフレーム画像の個数に基づき、当該第２フレームバッファに書き込まれた前記各デジタルフレーム画像を横及び縦方向に間引きして、複数のデジタルフレーム画像を１フレームの合成フレーム画像に合成する画像合成部とを更に具備し、前記画像圧縮部は前記画像合成部により作成された前記合成画像データを符号化する。
【図面の簡単な説明】
図１は本発明の原理図；
図２は本発明の実施形態による画像伝送システムの構成図；
図３は図２中のフレームバッファの構成図；
図４は図２中のバス制御部の構成図；
図５は図２中のデータ処理部の構成図；
図６は画像フレームの書き込みのタイムチャート；
図７は画像フレームの読み出しのタイムチャート；
図８は図２の動作説明図；
図９は従来の画像伝送装置の構成図である；
発明を実施するための最良の態様
本発明の実施形態の説明をする前に本発明の原理の説明をする。図１は本発明の原理図である。図１に示すように、画像伝送装置は、複数の第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）、書き込み制御部５２、読み出しクロック生成部５４、読み出し制御部５６、第２フレームバッファ５８、画像合成部６０、画像圧縮部６２及び画像伝送部６４を有する。各入力端子４８＃ｉ（ｉ＝１，…，ｎ）には、ビデオカメラにより撮像された、所定時間内に１フレームのデジタルフレーム画像が入力される。書き込み制御部５２は、各入力端子４８＃ｉ（ｉ＝１，…，ｎ）に入力されるデジタルフレーム画像を第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）に書き込む。
読み出しクロック生成部５４は、読み出しクロックを生成する。読み出し制御部５６は、読み出しクロック生成部５４が生成した読み出しクロックに基づいて、複数の第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）を順次イネーブルにして、各第１フレームバッファ５０＃ｉ（ｉ＝１，…，ｎ）に書き込まれた入力デジタルフレーム画像を所定時間内に読み出してデジタルフレーム画像を１フレームに多重化して、多重化データ及び当該多重化データに収容されるフレーム画像の収容位置を示す多重情報を出力する。
画像合成部６０は、多重化データに収容される各デジタルフレーム画像を多重情報に基づいて前記第２フレームバッファ５８に書き込み、多重化データに収容されるデジタルフレーム画像の数に基づいて、当該第２フレームバッファ５８に書き込まれた各デジタルフレーム画像を横及び縦方向に間引きして、所定時間内に含まれるデジタル画像データ数をビデオカメラにより撮像した１フレーム画像データ数に合わせて、合成画像データを作成する。画像圧縮部６２は、画像合成部６０により合成された合成画像データを符号化する。画像伝送部６４は、符号化部が符号化した画像データを伝送する。このように複数のフレーム画像を多重化して、画像合成部６０などのデータ処理部に渡すので、フレーム画像毎にデータ処理部を設ける必要がなくなる。
図２は本発明の実施形態による画像伝送システムの構成図である。図２に示すように、画像伝送システムは、複数台のカメラ１００＃ｉ（ｉ＝１，２，３）、複数台のビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）、画像バス１０４及びデータ処理部１０６を具備する。複数台、例えば、３台のカメラ１００＃ｉ（ｉ＝１，２，３）は、ビル内などに配置されて、一定時間間隔、例えば、１／３０秒毎に撮像した所定形式のアナログ画像信号、例えば、ＮＴＳＣ信号を出力する。複数のビデオコーダ１０２＃ｉ（ｉ＝１，２，３）は、カメラ１００＃ｉ（ｉ＝１，２，３）毎に設けられ、ＮＴＳＣ信号を所定規格のデジタルフレーム画像、例えば、ＲＥＣ６０１にアナログ信号をデジタル信号に変換する。ここで、カメラ１００＃ｉからは非同期にＮＴＳＣ信号が出力されるため、ビデオデコーダ１０２＃ｉはＲＥＣ６０１を非同期に出力する。ＲＥＣ６０１には、フレーム画像信号に加えて、各ラインの最後を示す水平同期信号、フレーム画像の最後を示す垂直同期信号及びフレーム画像信号の各ビットを示すクロックが含まれる。
画像バス１０４は、複数の入力端子１４８＃ｉ，１４９＃ｉ（ｉ＝１，２，３）、複数のフレームバッファ１５０＃ｉ（ｉ＝１，２，３）及びバス制御部１５４を有する。入力端子１４８＃ｉ，１４９＃ｉ（ｉ＝１，２，３）はビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）の出力に接続される。フレームバッファ１５０＃ｉ（ｉ＝１，２，３）は、入力端子１４８＃ｉ（ｉ＝１，２，３）に入力データ線により接続される。バス制御部１５４は、入力端子１４９＃ｉ（ｉ＝１，２，３）に入力制御線により接続される。フレームバッファ１５０＃ｉ（ｉ＝１，２，３）は、バス制御部１５４に書き込み制御線及び読み出し制御線により接続される。フレームバッファ１５０＃ｉ（ｉ＝１，２，３）及び文字ジェネレータ１５２の出力は、１本の出力データ線に接続されている。出力データ線は、データ処理部１０６に接続されている。文字ジェネレータ１５２は、バス制御部１５４に書き込み制御線により接続されている。バス制御部１５４の出力制御線は、データ処理部１０６に接続されている。
図３は図２中のフレームバッファ１５０＃ｉの構成図である。図３に示すように、フレームバッファ１５０＃ｉは、フレーム画像を少なくとも２枚含むことのできるサイズのメモリ領域を有するデュアルポートメモリである。画像フレームデータの読み出しと書き込みが同時に行うことができるためである。フレームバッファ１５０＃ｉは、書き込み制御線より、書き込みアドレスＷａｄｄｉ及び書き込みクロックＷＣＬＫｉ、並びに入力データ線より書き込み画像データＶｉ＿Ｄａｔａが入力されると、書き込みクロックＷＣＬＫｉに同期して、書き込みアドレスＷａｄｄｉの領域に書き込み画像データＶｉ＿Ｄａｔａが書き込まれる。また、読み出し制御線より、読み出しアドレスＲａｄｄ、読み出しイネーブル信号ＥＮ＿Ｂｉ及び読み出しクロックＲＣＬＫが入力されると、読み出しイネーブル信号ＥＮ＿Ｂｉが有効になると、読み出しクロックＲＣＬＫに同期して、読み出しアドレスＲａｄｄの領域より読み出し画像データＶ＿Ｄａｔａが出力される。
文字ジェネレータ１５２は、読み出し制御線より入力された読み出しイネーブル信号ＥＮ＿ＣＧが有効になると、読み出しクロックＲＣＬＫに同期して、読み出しアドレスＲａｄｄに該当する文字画像データを出力することにより、画像フレーム上の所定の位置に特定の文字、例えば、「侵入者検出」の文字を含む文字画像フレームデータＶ＿Ｄａｔａを出力する。尚、文字ジェネレータ１５２の代わりに、文字画像データを予めフレームバッファに格納しておき、それを読み出すようにしても良い。この場合、フレームバッファは読み出し専用であることから１フレームバッファで良い。
図４はバス制御部１５２の構成図である。図４に示すように、バス制御部１５４は、書き込みアドレス生成部２００、可変クロック生成部２０２及び読み出し制御部２０４を有する。書き込みアドレス生成部２００は、入力端子１４９＃ｉ（ｉ＝１，２，３）に接続される入力制御線より、クロックＷＣＬＫｉ、水平同期信号Ｖｉ＿ＨＳ及び垂直同期信号Ｖｉ＿ＶＳを入力して、水平同期信号Ｖｉ＿ＨＳが示すパルスまでを１ライン、垂直同期信号Ｖｉ＿ＶＳが示すパルスを１フレームのフレーム画像の最後として、クロックＷＣＬＫｉに従ってカウントアップし、書き込みアドレスＷａｄｄｉを出力する。フレームバッファ１５０＃ｉの最後まで書き込みが行われると、先頭から書き込まれるよう書き込みアドレスＷａｄｄｉを生成する。
可変クロック生成部２０２は、次の機能を有する。（１）入力されるフレーム画像の個数を、例えば、活きているクロックＷＣＬＫｉの個数、即ち、レベル変化をしているクロックＷＣＬＫｉの個数を検出する。画像バス１０４は、ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）と接続するための入力端子１４８＃ｉ，１４９＃ｉ（ｉ＝１，２，３）を、例えば、最大３個持っているが、運用によってはその全てが使用されるとは限らないことから、ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）が接続されている入力端子より入力されたフレーム画像のみ多重化することにより、例えば、読み出しクロックＲＣＬＫの周波数を最小限にして消費電力の低減化を図るためである。（２）検出されたフレーム画像の個数ｎより活きているクロックの１つ、例えば、クロックＷＣＬＫ１のクロック周波数の（ｎ＋１）倍の周波数の読み出しクロックＲＣＬＫを生成する。
読み出し制御部２０４は、読み出しアドレス生成部２１０、イネーブル信号生成部２１２及び多重情報生成部２１４を有する。読み出しアドレス生成部２１０は、後述するイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧが有効になっている期間について、クロックＲＣＬＫに従ってカウントアップし、１フレームのフレーム画像を読み出すための読み出しアドレスＲａｄｄを生成する。読み出しアドレスＲａｄｄがフレームバッファ１５０＃ｉの最終アドレスに一致すると、フレームバッファ１５０＃ｉの先頭から読み出すように読み出しアドレスＲａｄｄを生成する。このとき、読み出しクロックＲＣＬＫの周波数が書き込みクロックＷＣＬＫｉの４倍の周波数であることから、フレーム画像が書き込み速度の４倍の速度で読み出される。
イネーブル信号生成部２１２は、順次、活きているクロックＷＣＬＫｉに対応するフレームバッファ１５０＃ｉについて、読み出しクロックＲＣＬＫをカウントして、１フレーム画像分の読み出し時間（ＲＥＣ６０１による１フレームの時間／（ｎ＋１））だけ読み出しイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３）を有効にする。その後、１フレーム画像分の読み出し時間だけイネーブル信号ＥＮ＿ＣＧを有効にする。これにより、ＲＥＣ６０１による１フレームの時間、即ち、１／３０秒に、活きているクロックＷＣＬＫｉの個数分のフレーム画像データ及び文字フレーム画像データＶ＿Ｄａｔａが多重化される。このとき、各フレーム画像や文字フレーム画像はイネーブル信号ＥＮ＿Ｂｉ，ＥＮ＿ＣＧが有効になっている期間に先頭から最後まで順次読み出されることから、多重化データＶ＿Ｄａｔａに収容されるフレーム画像や文字フレーム画像は同期が取られている。これを繰り返す。多重情報生成部２１４は、読み出しクロックＲＣＬＫ、多重化された各フレーム画像の先頭位置及び各フレーム画像について各ラインの最後の位置を示す情報を多重情報ＭＵＸＩＮＦとして生成する。
図６は図２中のデータ処理部１０６の構成図である。データ処理部１０６は複数の入力端子１５８＃ｉ（ｉ＝１，２），１５９＃ｉ（ｉ＝１，２）に接続される複数の画像処理部、例えば、画像圧縮・伝送部１６０及び画像認識部１６２を有する。入力端子１５８＃ｉ（ｉ＝１，２）には、多重化データＶ＿Ｄａｔａを入力するものである。入力端子１５９＃ｉ（ｉ＝１，２）は多重情報ＭＵＸＩＮＦを入力するためのものである。画像処理部は、１つ又は複数のモニタに表示するためのモニタ制御部、圧縮された符号化画像データを蓄積する画像蓄積部等の他のものであっても良い。
画像圧縮・伝送部１６０は、フレームバッファ２５０、画像合成部２５２、画像圧縮部２５４及び画像伝送部２５６を有する。フレームバッファ２５０は、多重化データＶ＿Ｄａｔａを格納するデュアルポートメモリであり、少なくとも２フレーム分の格納エリアを有する。
画像合成部２５２は、以下の機能を有する。（１）多重情報ＭＩＸＩＮＦを元に、多重化データＶ＿Ｄａｔａに収容される各フレーム画像の各ライン毎に画像データをフレームバッファ２５０に書き込む。（２）画像認識部１６２より画像認識結果、例えば、侵入者が検出された旨がその侵入者を含む画像フレームの番号と共に通知された場合には、侵入者を含むフレーム画像と文字画像フレームとを合成する。合成とは、文字画像フレーム中の文字部分のみを侵入者を含むフレーム画像に上書きすることをいう。（３）画像認識部１６２より、例えば、侵入者検出がされていない場合には、全フレーム画像が１枚のフレームに収まるように合成する。このとき、入力されるフレーム画像の数が可変であることより、多重化データに収容されているフレーム数より、複数のフレーム画像がディスプレイに表示される形態、即ち、何分割された画面に表示されるかを求め、フレームバッアァ２５０に格納された画像フレームを間引きする割合、例えば、３枚のフレーム画像が多重化されているときは、画面を上下・左右に４分割して、各分割された画面に該当フレーム画像を表示するので、各画像フレームを横及び縦方向に１／２に間引くことにより合成フレーム画像を生成する。
画像圧縮部２５４は、画像合成部２５２により合成されたフレーム画像をＭＰＥＧ方式などにより符号化して、画像圧縮する。画像伝送部２５６は、画像圧縮部２５４により圧縮された画像をＩＰパケット化して、インターネットを介して接続される監視センタなどに伝送する。
画像認識部１６２は、フレーム画像よりエッジ抽出、フレーム間差分、パターンマッチングなどの処理を行い、意図する画像を認識するものであり、例えば、フレームバッファ３００及び侵入者検出部３０２を有する。フレームバッファ３００はフレームバッファ２５０と実質的に同一である。侵入者検出部３０２は、監視用画像認識を行うものであり、フレームバッファ３００に格納された各画像フレームについて、複数（本例では３台）のカメラ画像を随時監視して、侵入者を検出する。侵入者が検出されると、その旨と共に侵入者を含む多重化データＶ＿Ｄａｔａに収容されている順番を出力する。
図６は図２の動作説明図である。ビルなどに設置された３台のカメラ１００＃ｉ（ｉ＝１，２，３）はアナログ画像フレームをＮＴＳＣ信号により出力する。ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）はＮＴＳＣ信号をＲＥＣ６０１に変換して、フレーム画像データＶｉ＿Ｄａｔａ、クロック信号ＷＣＬＫｉ、水平同期信号Ｖｉ＿ＨＳ及び垂直同期信号Ｖｉ＿ＶＳを出力する。
図７はフレーム画像データの書き込みタイムチャートである。バス制御部１５４は、各ビデオデコーダ１０２＃ｉ（ｉ＝１，２，３）より出力され、入力端子１４８＃ｉ（ｉ＝１，２，３）より入力されるフレーム画像データＶｉ＿Ｄａｔａを入力端子１４９＃ｉ（ｉ＝１，２，３）より入力されるクロック信号ＷＣＬＫｉ、水平同期信号Ｖｉ＿ＨＳ及び垂直同期信号Ｖｉ＿ＶＳに同期して、書き込みアドレスＷａｄｄｉを生成して、フレームバッファ１５０＃ｉ（ｉ＝１，２，３）に書き込む。
図８はフレーム画像データの読み出しのタイムチャートである。バス制御部１５４は、ビデオデコーダ１５２＃ｉ（ｉ＝１，２，３）に接続される入力端子１４９＃ｉ（ｉ＝１，２，３）より入力されるクロックＷＣＬＫｉ（ｉ＝１，２，３）などより入力画像の個数を求める。ここでは、３個であることが求められる。入力されるクロックの１つ、例えば、クロックＷＣＬＫ１から４倍のクロック周波数の読み出しクロックＲＣＬＫを生成する。読み出しクロックＲＣＬＫに同期して、１フレーム時間（１／３０秒）を４分割した各時間において有効となるように読み出しイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧ及び読み出しアドレスＲａｄｄを順次生成する。
例えば、フレームバッファ１５０＃１，１５０＃２，１５０＃３、文字ジェネレータ１５２の順に読み出し信号イネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧを生成する。読み出しアドレスＲａｄｄについては、フレームバッファ１５０＃１，１５０＃２，１５０＃３及び文字ジェネレータ１５２毎に生成されるが、各読み出しイネーブルブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３）が有効である期間において、読み出しアドレスＲａｄｄはフレーム画像の最初から最後までの該当アドレスであり、互いに順次同じアドレスとなる。また、読み出しイネーブル信号ＥＮ＿ＣＧは有効である期間において、文字画像フレームの最初から最後までの該当アドレスである。
フレームバッファ１５０＃ｉは、読み出しイネーブル信号ＥＮ＿Ｂｉが有効になると、読み出しアドレスＲａｄｄに該当する領域から画像データＤａｔａｉを読み出す。文字ジェネレータ１５２は、読み出しイネーブル信号ＥＮ＿ＣＧが有効になると、読み出しアドレスＲａｄｄに該当する文字データＣＧを生成する。これにより、フレームバッファ１５０＃ｉ（ｉ＝１，２，３），文字ジェネレータ１５２より出力される４個のフレーム画像Ｄａｔａｉ（ｉ＝１，２，３）及びＣＧが、図８に示すように多重化データＶ＿Ｄａｔａａに多重化されるとともに、読み出しアドレスＲａｄｄが、読み出しイネーブル信号ＥＮ＿Ｂｉ（ｉ＝１，２，３），ＥＮ＿ＣＧの各有効期間において、フレームの先頭アドレスから最終アドレスまでであることから、多重化された画像フレームの同期が取れる。
バス制御部１５４は、多重化データＶ＿Ｄａｔａに多重化されている画像フレームＤａｔａｉ（ｉ＝１，２，３）及びＣＧの先頭及び各ラインの終了を示す多重情報ＭＵＸＩＮＦを読み出しクロックＲＣＬＫと共にデータ処理部１０６に出力する。画像認識部１６２は、多重化データＶ＿Ｄａｔａの各フレーム画像Ｄａｔａｉ（ｉ＝１，２，３）を多重情報ＭＵＸＩＮＦに従って入力し、各フレーム画像について、前後のフレーム画像の差分演算を行うことにより侵入者を検出する。侵入者が検出されると、多重化データＶ＿Ｄａｔａに収容されている侵入者検出画像の収容番号をその旨と共に出力する。例えば、図６に示すように、カメラ１００＃２により撮像された画像フレームに侵入者が検出されたとすると、カメラ１００＃２（収容番号２）に侵入者検出された旨を画像圧縮・伝送部１６０に出力する。
画像圧縮・伝送部１６０は、画像認識部１６２より侵入者検出通知がされていない場合は、各フレーム画像が多重化データＶ＿Ｄａｔａの画像フレーム数で画面分割された該当画面に表示されることから、多重情報ＭＵＸＩＮＦに従って多重化データＶ＿Ｄａｔａに収容された各フレーム画像を間引きして、１フレーム画像としてから、ＭＰＥＧ方式などにより符号化して画像圧縮する。例えば、図６に示すように、３台のカメラ１００＃１，１００＃２，１００＃３により撮像された各フレーム画像は、４分割された該当画面に表示されるので、各画像フレームの横・縦方向に１／２に間引きされる。また、画像認識部１６２により侵入者検出が通知されると、多重化データＶ＿Ｄａｔａに収容されている侵入者検出フレーム画像及び文字フレーム画像を１フレーム画像に合成してから、ＭＰＥＧ方式などにより符号化して画像圧縮する。
そして、画像圧縮・伝送部１６０は、画像圧縮された画像データをＩＰパケット化して、インターネットなどを介して図示しない監視センタなどに送出する。ＩＰパケットは監視センタなどで受信されて復号化され、図６に示すように、画面に表示される。侵入者が検出されていない場合は、３フレーム画像が画面に表示される。例えば、カメラ１００＃ｉ（ｉ＝１，２，３）より撮像されたフレーム画像は、図６に示すように、（ｉ）（ｉ＝１，２，３）に示す画像領域に表示される。侵入者が検出された場合は、図６に示すように、カメラ１００＃２により撮像された侵入者検出フレーム画像が“侵入者検出”の文字と共に画面に表示される。
以上説明した実施形態によれば、画像バスにより複数フレーム画像の同期を取り多重化するので、一つのデータ処理部のデバイスにて複数の映像を処理可能となり、画像の合成を行うことができ、軽量・低コストが実現できる。データ処理部内にて、画像認識結果を元に同一の画像を加工することにより軽量・低コストな構成により高付加価値な複合型画像伝送装置を提供できる。
また、本実施形態では複数カメラが撮像したフレーム画像を多重化する場合を例に説明したが１台のカメラが撮像した単一のアナログ画像信号に対しても、図２の構成を何ら変更することなく実現できるので、一つのデータ処理部のデバイスにて複数のアプリケーションを処理可能、例えば、複数の画像処理部を複数のモニタへ表示制御を行う画像表示制御部とし、画像表示制御部の出力端子にモニタを接続することにより、複数のモニタに単一の映像を表示することも可能となる。
【産業上の利用可能性】
以上説明したように、本発明によれば、画像バスにより複数フレーム画像の同期を取り多重化するので、一つのデータ処理部のデバイスにて複数の映像を処理可能となり、画像の合成を行うことができ、軽量・低コストが実現できる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【特許請求の範囲】
【請求項１】
画像伝送装置であって、
所定時間内に１フレームのデジタルフレーム画像及び当該デジタルフレーム画像に同期した同期信号が入力される複数の入力端子と、
前記複数の入力端子に対応して設けられた複数の第１フレームバッファと、
前記複数の入力端子のそれぞれ入力された前記デジタルフレーム画像を該デジタルフレーム画像に同期した前記同期信号に基づいて対応する前記第１フレームバッファに書き込みをする書き込み制御部と、
読み出しクロックを生成する読み出しクロック生成部と、
前記読み出しクロック生成部が生成した読み出しクロックに基づいて、前記複数の第１フレームバッファを順次イネーブルにして、前記複数の第１フレームバッファに書き込まれた前記複数のデジタルフレーム画像を前記所定時間内に読み出して１フレームに多重化し、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、
前記多重情報が示す前記多重化データに収容されたデジタルフレーム画像を符号化する画像圧縮部と、
前記画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部と、
を具備したことを特徴とする画像伝送装置。
【請求項２】
第２フレームバッファと、前記多重化データに収容される各デジタルフレーム画像を前記多重情報に基づいて前記第２フレームバッファに書き込み、前記多重化データに収容される前記デジタルフレーム画像の個数に基づき、当該第２フレームバッファに書き込まれた前記各デジタルフレーム画像を横及び縦方向に間引きして、複数のデジタルフレーム画像を１フレームの合成画像データに合成する画像合成部とを更に具備し、前記画像圧縮部は前記画像合成部により作成された前記合成画像データを符号化することを特徴とする請求項１記載の画像伝送装置。
【請求項３】
前記読み出し制御部の制御に従って、所定の文字を含む文字画像フレームを生成する文字ジェネレータを更に具備し、前記読み出し制御部は前記多重化データに前記所定時間内に前記文字画像フレームが多重化されるよう前記文字ジェネレータを制御することを特徴とする請求項２記載の画像伝送装置。
【請求項４】
前記読み出しクロック生成部は、前記複数の入力端子の中で前記デジタルフレーム画像が入力されている入力端子の個数に基づき、前記読み出しクロックの周波数を決定してから、前記読み出しクロックを生成し、前記読み出し制御部は前記デジタルフレーム画像が書き込まれる前記第１フレームバッファのみをイネーブルにすることを特徴とする請求項１記載の画像伝送装置。
【請求項５】
前記多重情報に基づき、前記多重化データに含まれる各デジタルフレーム画像から侵入者を検出し、侵入者が検出された場合、前記画像合成部に侵入者が検出された旨及び該侵入者が検出された前記多重化データに収容されるデジタルフレーム画像を示す情報を通知する画像認識部を更に具備したことを特徴とする請求項３記載の画像伝送装置。
【請求項６】
前記画像合成部は、前記画像認識部より侵入者が検出された旨の通知を受けていないとき、前記第２フレームバッファに格納された前記文字画像データを除くフレーム画像データを合成し、前記画像認識部より侵入者が検出された旨の通知を受けたとき、前記第２フレームバッファに格納されている、当該侵入者が検出されたデジタルフレーム画像及び文字フレーム画像を合成することを特徴とする請求項５記載の画像伝送装置。
【請求項７】
前記読み出しクロック生成部は前記入力デジタルフレーム画像とともに入力される一つの書き込みクロックを元に前記読み出しクロックを生成することを特徴とする請求項４記載の画像伝送装置。
【請求項８】
それぞれが前記多重化データ及び前記多重情報が入力される信号線に接続された複数の第２入力端子と、前記各第２入力端子に接続され、該第２入力端子に入力された前記多重情報に基づいて、前記多重化データに収容される各デジタルフレーム画像に対して画像処理を行う複数の画像処理部とを具備したことを特徴とする請求項１記載の画像伝送装置。
【請求項９】
画像伝送システムであって、
アナログフレーム画像を出力する複数のビデオカメラと、
前記アナログフレーム画像を所定時間内に１フレームのデジタルフレーム画像及び当該デジタルフレーム画像に同期した同期信号を出力する複数のビデオデコーダと、
前記複数のビデオデコーダの出力に接続され、前記デジタルフレーム画像及び同期信号が入力される複数の入力端子と、
前記複数の入力端子に対応して設けられた複数の第１フレームバッファと、
所定時間内に前記複数の入力端子のそれぞれ入力された前記デジタルフレーム画像を該デジタルフレーム画像に同期した同期信号に基づいて対応する前記第１フレームバッファに書き込みをする書き込み制御部と、
読み出しクロックを生成する読み出しクロック生成部と、
前記読み出しクロック生成部が生成した読み出しクロックに基づいて、前記複数の第１フレームバッファを順次イネーブルにして、前記複数の第１フレームバッファに書き込まれた前記複数のデジタルフレーム画像を前記所定時間内に読み出し、１フレームに多重化して、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、
前記多重情報が示す前記多重化データに収容されたデジタルフレーム画像を符号化する画像圧縮部と、
前記画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部と、
を具備したことを特徴とする画像伝送システム。
【請求項１】
画像伝送装置であって、
所定時間内に１フレームのデジタルフレーム画像及び当該デジタルフレーム画像に同期した同期信号が入力される複数の入力端子と、
前記複数の入力端子に対応して設けられた複数の第１フレームバッファと、
前記複数の入力端子のそれぞれ入力された前記デジタルフレーム画像を該デジタルフレーム画像に同期した前記同期信号に基づいて対応する前記第１フレームバッファに書き込みをする書き込み制御部と、
読み出しクロックを生成する読み出しクロック生成部と、
前記読み出しクロック生成部が生成した読み出しクロックに基づいて、前記複数の第１フレームバッファを順次イネーブルにして、前記複数の第１フレームバッファに書き込まれた前記複数のデジタルフレーム画像を前記所定時間内に読み出して１フレームに多重化し、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、
前記多重情報が示す前記多重化データに収容されたデジタルフレーム画像を符号化する画像圧縮部と、
前記画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部と、
を具備したことを特徴とする画像伝送装置。
【請求項２】
第２フレームバッファと、前記多重化データに収容される各デジタルフレーム画像を前記多重情報に基づいて前記第２フレームバッファに書き込み、前記多重化データに収容される前記デジタルフレーム画像の個数に基づき、当該第２フレームバッファに書き込まれた前記各デジタルフレーム画像を横及び縦方向に間引きして、複数のデジタルフレーム画像を１フレームの合成画像データに合成する画像合成部とを更に具備し、前記画像圧縮部は前記画像合成部により作成された前記合成画像データを符号化することを特徴とする請求項１記載の画像伝送装置。
【請求項３】
前記読み出し制御部の制御に従って、所定の文字を含む文字画像フレームを生成する文字ジェネレータを更に具備し、前記読み出し制御部は前記多重化データに前記所定時間内に前記文字画像フレームが多重化されるよう前記文字ジェネレータを制御することを特徴とする請求項２記載の画像伝送装置。
【請求項４】
前記読み出しクロック生成部は、前記複数の入力端子の中で前記デジタルフレーム画像が入力されている入力端子の個数に基づき、前記読み出しクロックの周波数を決定してから、前記読み出しクロックを生成し、前記読み出し制御部は前記デジタルフレーム画像が書き込まれる前記第１フレームバッファのみをイネーブルにすることを特徴とする請求項１記載の画像伝送装置。
【請求項５】
前記多重情報に基づき、前記多重化データに含まれる各デジタルフレーム画像から侵入者を検出し、侵入者が検出された場合、前記画像合成部に侵入者が検出された旨及び該侵入者が検出された前記多重化データに収容されるデジタルフレーム画像を示す情報を通知する画像認識部を更に具備したことを特徴とする請求項３記載の画像伝送装置。
【請求項６】
前記画像合成部は、前記画像認識部より侵入者が検出された旨の通知を受けていないとき、前記第２フレームバッファに格納された前記文字画像データを除くフレーム画像データを合成し、前記画像認識部より侵入者が検出された旨の通知を受けたとき、前記第２フレームバッファに格納されている、当該侵入者が検出されたデジタルフレーム画像及び文字フレーム画像を合成することを特徴とする請求項５記載の画像伝送装置。
【請求項７】
前記読み出しクロック生成部は前記入力デジタルフレーム画像とともに入力される一つの書き込みクロックを元に前記読み出しクロックを生成することを特徴とする請求項４記載の画像伝送装置。
【請求項８】
それぞれが前記多重化データ及び前記多重情報が入力される信号線に接続された複数の第２入力端子と、前記各第２入力端子に接続され、該第２入力端子に入力された前記多重情報に基づいて、前記多重化データに収容される各デジタルフレーム画像に対して画像処理を行う複数の画像処理部とを具備したことを特徴とする請求項１記載の画像伝送装置。
【請求項９】
画像伝送システムであって、
アナログフレーム画像を出力する複数のビデオカメラと、
前記アナログフレーム画像を所定時間内に１フレームのデジタルフレーム画像及び当該デジタルフレーム画像に同期した同期信号を出力する複数のビデオデコーダと、
前記複数のビデオデコーダの出力に接続され、前記デジタルフレーム画像及び同期信号が入力される複数の入力端子と、
前記複数の入力端子に対応して設けられた複数の第１フレームバッファと、
所定時間内に前記複数の入力端子のそれぞれ入力された前記デジタルフレーム画像を該デジタルフレーム画像に同期した同期信号に基づいて対応する前記第１フレームバッファに書き込みをする書き込み制御部と、
読み出しクロックを生成する読み出しクロック生成部と、
前記読み出しクロック生成部が生成した読み出しクロックに基づいて、前記複数の第１フレームバッファを順次イネーブルにして、前記複数の第１フレームバッファに書き込まれた前記複数のデジタルフレーム画像を前記所定時間内に読み出し、１フレームに多重化して、多重化データ及び当該多重化データに収容される各デジタルフレーム画像の収容位置を示す多重情報を出力する読み出し制御部と、
前記多重情報が示す前記多重化データに収容されたデジタルフレーム画像を符号化する画像圧縮部と、
前記画像圧縮部が符号化したデジタルフレーム画像を伝送する画像伝送部と、
を具備したことを特徴とする画像伝送システム。
【国際公開番号】ＷＯ２００５／０２７５１８
【国際公開日】平成１７年３月２４日（２００５．３．２４）
【発行日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−５０８９２２（Ｐ２００５−５０８９２２）
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１１６６４
【国際出願日】平成１５年９月１１日（２００３．９．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【国際公開日】平成１７年３月２４日（２００５．３．２４）
【発行日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１１６６４
【国際出願日】平成１５年９月１１日（２００３．９．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]