画像符号化装置及び画像伝送システム
【課題】複数の画像データから一つの圧縮データを生成する際に生じる遅延を小さくすることができる技術を提供することを課題とする。
【解決手段】画像符号化装置２には、カメラ１ａ，１ｂが生成した非圧縮画像データ３１ａ，３１ｂが同期して入力される。画像符号化装置２は、非圧縮画像データ３１ａのマクロブロックを区分単位に基づいてＭＢグループに区分する。同様に、非圧縮画像データ３１ｂのマクロブロックが区分単位に基づいてＭＢグループに区分される。非圧縮画像データ３１ａ，３１ｂのＭＢグループが交互に繰り返されるように、非圧縮画像データ３１ａ，３１ｂのマクロブロックの符号化順序が決定される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを、符号化順序に基づいてＭＢグループごとに符号化する。符号化マクロブロックが符号化された順に配列されることにより、多重化圧縮データ３３が生成される。
【解決手段】画像符号化装置２には、カメラ１ａ，１ｂが生成した非圧縮画像データ３１ａ，３１ｂが同期して入力される。画像符号化装置２は、非圧縮画像データ３１ａのマクロブロックを区分単位に基づいてＭＢグループに区分する。同様に、非圧縮画像データ３１ｂのマクロブロックが区分単位に基づいてＭＢグループに区分される。非圧縮画像データ３１ａ，３１ｂのＭＢグループが交互に繰り返されるように、非圧縮画像データ３１ａ，３１ｂのマクロブロックの符号化順序が決定される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを、符号化順序に基づいてＭＢグループごとに符号化する。符号化マクロブロックが符号化された順に配列されることにより、多重化圧縮データ３３が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データを符号化して一つの圧縮画像データを出力する画像符号化装置、及びこの画像符号化装置を用いた画像伝送システムに関する。
【背景技術】
【０００２】
金融機関の店舗に設けられるＡＴＭ（ａｕｔｏｍａｔｅｄ ｔｅｌｌｅｒ ｍａｃｈｉｎｅ）コーナーなどを監視する際に、複数のカメラが設置されることがある。複数のカメラを用いて異なる角度から監視することにより、死角の発生を防ぐことができる。
【０００３】
各カメラが生成した映像信号は、伝送路の帯域などが制限されているため、符号化された上で伝送される。各カメラの映像を同時に表示させて監視する必要があるため、各カメラに対応する複数の映像信号を多重化して伝送する必要がある。
【０００４】
下記特許文献１には、各カメラから入力される複数のフレーム映像を１系統の圧縮データに変換する映像信号符号化装置が開示されている。
【０００５】
特許文献１に係る映像信号符号化装置は、各カメラから入力されるフレーム映像から符号化しないフレーム映像を間引き、符号化対象のフレーム映像を抽出する。抽出されたフレーム映像は、カメラごとに配列されて、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位で符号化される。これにより、各カメラから入力される複数のフレーム映像が、１系統の圧縮データに変換される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１８４４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１では、各映像信号を記録媒体に長時間記録することを目的としており、各カメラの映像をリアルタイムに伝送することを想定していない。
【０００８】
上述したように、上記特許文献１に係る映像信号符号化装置は、符号化対象のフレーム映像を抽出する。映像信号符号化装置は、ＧＯＰを生成できる数の符号化対象のフレーム映像を抽出するまで、圧縮データを生成することができない。この結果、フレーム映像が映像信号符号化装置に入力されてから圧縮データとして出力されるまでの時間（遅延）が長くなるため、各カメラの映像をリアルタイムに伝送することが困難である。
【０００９】
本発明の目的は、上記問題点に鑑み、複数の画像データから圧縮データを生成する際に生じる遅延を小さくすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１記載の発明は、第１画像データと第２画像データとを圧縮する画像符号化装置であって、設定された区分単位に基づいて、前記第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、前記第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部と、第１符号化グループと第２符号化グループとが交互に繰り返されるように、前記第１マクロブロック及び前記第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、前記符号化順序に基づいて、第１符号化グループごとに前記第１マクロブロックを符号化し、前記第２符号化グループごとに前記第２マクロブロックを符号化する符号化部と、符号化された前記第１マクロブロック及び前記第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。
【００１１】
請求項２記載の発明は、請求項１に記載の画像符号化装置において、前記符号化順序決定部は、前記第１マクロブロックの数が前記第２マクロブロックの数よりも多い場合、前記第１符号化グループが連続するように符号化順序を決定することを許可する。
【００１２】
請求項３記載の発明は、請求項２に記載の画像符号化装置において、前記符号化順序決定部は、前記第１マクロブロックの数と前記第２マクロブロックの数との比率に基づいて、前記符号化順序を決定する。
【００１３】
請求項４記載の発明は、請求項１に記載の画像符号化装置において、前記第１画像データと前記第２画像データとは、フレームレートが互いに異なり、前記符号化順序決定部は、前記第１画像データの第１フレームと前記第２画像データの第２フレームとが同期して入力された場合、前記第１フレームに対応する第１符号化グループと前記第２フレームに対応する第２符号化グループとが交互に繰り返されるように、前記符号化順序を決定する。
【００１４】
請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像符号化装置において、前記グループ生成部は、前記第１画像データの特性及び前記第２画像データの特性に応じて、前記区分単位を変更する。
【００１５】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の画像符号化装置において、前記区分単位が、フレーム単位で前記グループ生成部に設定されている。
【００１６】
請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載の画像符号化装置において、前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている。
【００１７】
請求項８記載の発明は、請求項１ないし請求項５のいずれかに記載の画像符号化装置において、前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている。
【００１８】
請求項９記載の発明は、画像伝送システムであって、請求項１ないし請求項８のいずれかに記載の画像符号化装置と、画像復号化装置と、を備え、前記画像符号化装置は、さらに、前記多重化圧縮データを前記画像復号化装置に送信する送信部、を備え、前記画像復号化装置は、前記多重化圧縮データを受信する受信部と、符号化された前記第１マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部と、符号化された前記第１マクロブロックを抽出された順に復号化する復号化部と、前記第１マクロブロックの復号化画像データと、前記第２マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第１マクロブロックの復号化画像データを第１表示装置に出力する出力制御部と、を備える。
【００１９】
請求項１０記載の発明は、請求項９に記載の画像伝送システムにおいて、前記逆多重化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、前記復号化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを抽出された順に復号化する。
【００２０】
請求項１１記載の発明は、請求項１０に記載の画像伝送システムにおいて、前記出力制御部は、前記第１マクロブロックの復号化画像データを前記第１表示装置へ出力し、前記第２マクロブロックの復号化画像データを第２表示装置へ出力する。
【００２１】
請求項１２記載の発明は、第１〜第Ｎ画像データを圧縮する画像符号化装置であって、ｋを１からＮまでの自然数とした場合において、設定された区分単位に基づいて第ｋ画像データの第ｋマクロブロックを区分して、第ｋ符号化グループを生成するグループ生成部と、第１符号化グループから第ｎ符号化グループまでが交互に繰り返されるように、第１マクロブロックから第ｎマクロブロックを符号化する符号化順序を決定する符号化順序決定部と、前記符号化順序に基づいて、前記第ｋ符号化グループごとに前記第ｋマクロブロックを符号化する符号化部と、符号化された前記第ｋマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。
【発明の効果】
【００２２】
本発明に係る画像符号化装置は、第１画像データのうち第１符号化グループに対応するデータと、第２画像データのうち第２符号化グループに対応するデータとが入力されていれば、第１画像データ及び第２画像データの符号化を開始できる。したがって、第１画像データ及び第２画像データの符号化に伴う遅延を短くすることができる。
【００２３】
本発明に係る画像伝送システムにおいて、画像復号化装置は、符号化された第１マクロブロックを多重化圧縮データから抽出された順に復号化する。第１符号化グループの符号化された第１マクロブロックを全て受信することなく復号化を開始できるため、画像復号化装置は、復号化に伴う遅延を短縮することができる。画像復号化装置は、第１マクロブロック及び第２マクロブロックの両方の復号画像データを表示可能となったときに、第１マクロブロックの復号画像データを表示装置に出力する。これにより、第１画像データ及び第２画像データを同期表示することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る画像伝送システムの構成を示す図である。
【図２】図１に示す画像符号化装置の機能的構成を示すブロック図である。
【図３】画像符号化装置に入力される非圧縮画像データのマクロブロックの構成を示す図である。
【図４】マクロブロックグループの符号化順序を示す図である。
【図５】マクロブロックグループの符号化順序を示す図である。
【図６】マクロブロックグループの符号化順序を示す図である。
【図７】多重化圧縮データの構成を模式的に示す図である。
【図８】監視装置の機能的構成を示すブロック図である。
【図９】符号化データの復号化に要する時間をマクロブロックの区分単位ごとに示す図である。
【図１０】本発明の第２の実施の形態に係る非圧縮画像データのマクロブロックの構成を示す図である。
【図１１】マクロブロックグループの符号化順序を示す図である。
【図１２】本発明の第２の実施の形態における非圧縮画像データのマクロブロックの構成の変形例を示す図である。
【図１３】マクロブロックグループの符号化順序を示す図である。
【図１４】本発明の第３の実施の形態において非圧縮画像データが画像符号化装置に入力されるタイミングを示す図である。
【図１５】マクロブロックグループの符号化順序を示す図である。
【図１６】本発明の第４の実施の形態に係るモニタ管理装置の機能的構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
［第１の実施の形態］
｛１．画像伝送システムの全体構成｝
図１は、本発明の実施の形態に係る画像伝送システムの構成を示す図である。図１に示す画像伝送システム１００は、カメラ１ａ，１ｂと、画像符号化装置２と、監視装置４ａ，４ｂとを備える。画像伝送システム１００は、金融機関の店舗に設けられたＡＴＭコーナーをリアルタイムに監視するシステムである。
【００２７】
カメラ１ａ，１ｂは、ＡＴＭコーナーを異なる角度から撮影できるように取り付けられる。カメラ１ａ，１ｂは、ＡＴＭコーナーの様子を撮影して、非圧縮画像データ３１ａ，３１ｂを生成する。画像符号化装置２は、カメラ１ａ，１ｂとともに、ＡＴＭコーナーに設置される。画像符号化装置２には、非圧縮画像データ３１ａ，３１ｂのフレームが同期して入力される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂの符号化及び多重化を行って、多重化圧縮データ３３を生成する。多重化圧縮データ３３は、無線通信網などを介して、ＡＴＭコーナーを監視するモニタ室へ送信される。
【００２８】
監視装置４ａ，４ｂは、モニタ室に設置され、多重化圧縮データ３３を受信する。監視装置４ａ，４ｂは、多重化圧縮データ３３に対して逆多重化及び復号化処理を行って、カメラ１ａ，１ｂに対応する映像を表示する。カメラ１ａ，１ｂは、同じ場所（ＡＴＭコーナー）を異なる角度から撮影している。このため、カメラ１ａ，１ｂの映像を表示するタイミングがずれないように、監視装置４ａ，４ｂは、カメラ１ａ，１ｂの映像を同期して表示させる。モニタ室に常駐する監視員は、監視装置４ａ，４ｂに表示される映像をモニタして、ＡＴＭコーナーを監視する。
【００２９】
本実施の形態では、カメラ１ａ，１ｂの両者の映像を監視装置４ａのモニタに表示させる例を中心に説明する。カメラ１ａの映像を監視装置４ａに表示させ、カメラ１ｂの映像を監視装置４ｂに表示させる例については、後述する。
【００３０】
画像符号化装置２は、非圧縮画像データ３１ａのマクロブロックを設定された区分単位に基づいて区分して、一つ以上のマクロブロックで構成されるマクロブロックグループ（以下、「ＭＢグループ」と呼ぶ。）を生成する。画像符号化装置２は、区分単位に基づいて非圧縮画像データ３１ｂのマクロブロックを区分して、ＭＢグループを生成する。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのＭＢグループを符号化する符号化順序を決定する。画像符号化装置２は、符号化順序に従って、非圧縮画像データ３１ａ，３１ｂのマクロブロックをＭＢグループごとに符号化する。符号化されたマクロブロックがＭＢグループごとに配列されることにより、多重化圧縮データ３３が生成される。
【００３１】
画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのうち、ＭＢグループに対応する画像が入力されれば、非圧縮画像データ３１ａ，３１ｂの符号化を開始することができる。非圧縮画像データ３１ａ，３１ｂの符号化が開始されるまでの時間が短縮されるため、監視装置４ａ、４ｂにカメラ１ａ，１ｂの映像が表示されるまでの遅延を短縮することができる。
【００３２】
｛２．画像符号化装置２の詳細｝
以下、画像符号化装置２の構成及び動作について詳しく説明する。
【００３３】
｛２．１．画像符号化装置２の構成｝
図２は、画像符号化装置２の機能的構成を示すブロック図である。図２に示すように、画像符号化装置２は、符号化制御部２１と、符号化部２２と、多重化部２３と、通信部２４とを備える。
【００３４】
符号化制御部２１は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを符号化する順序を決定する。符号化制御部２１は、グループ生成部２１１と、符号化順序決定部２１２とを備える。
【００３５】
グループ生成部２１１は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを、設定された区分単位に基づいて区分して、ＭＢグループを生成する。
【００３６】
符号化順序決定部２１２は、非圧縮画像データ３１ａ，３１ｂの各マクロブロックを符号化する符号化順序を、ＭＢグループごとに決定する。このとき、非圧縮画像データ３１ａのＭＢグループ（第１ＭＢグループ）と、非圧縮画像データ３１ｂのＭＢグループ（第２ＭＢグループ）とが、交互に繰り返されるように符号化順序が決定される。
【００３７】
符号化部２２は、非圧縮画像データ３１ａ，３１ｂを、決定された符号化順序に基づいてＭＢグループごとに符号化する。非圧縮画像データ３１ａ，３１ｂの符号化には、例えば、Ｈ．２６４あるいはＭＰＥＧ２などの符号化方式が用いられる。
【００３８】
多重化部２３は、符号化された非圧縮画像データ３１ａ，３１ｂのマクロブロックを符号化された順に配列することにより、多重化圧縮データ３３を生成する。
【００３９】
通信部２４は、多重化圧縮データ３３に対して誤り訂正信号の付加、及びデジタル変調などを行う。通信部２４は、デジタル変調された多重化圧縮データ３３を、無線通信を利用して監視装置４ａ，４ｂに送信する。
【００４０】
｛２．２．グループ生成部２１１の処理内容｝
グループ生成部２１１の処理内容について説明する。図３は、非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。図３に示すように、非圧縮画像データ３１ａ，３１ｂが、２４個のマクロブロックで構成されている。非圧縮画像データ３１ａ，３１ｂのフレームレートは、同一であるとする。
【００４１】
非圧縮画像データ３１ａ，３１ｂは、横６個×縦４個のマクロブロックで構成されている。非圧縮画像データ３１ａのマクロブロックには、左上から右下に向かってＭａ０〜Ｍａ２３の番号が付与されている。非圧縮画像データ３１ｂのマクロブロックには、左上から右下に向かってＭｂ０〜Ｍｂ２３の番号が付与されている。
【００４２】
グループ生成部２１１には、非圧縮画像データ３１ａ，３１ｂのマクロブロックの区分に用いられる区分単位が設定されている。非圧縮画像データ３１ａ，３１ｂのマクロブロックが区分単位に基づいて区分されることにより、ＭＢグループが生成される。
【００４３】
区分単位として、フレーム、マクロブロックライン、及びマクロブロックのいずれかを設定することができる。マクロブロックライン（以下、「ＭＢライン」と呼ぶ。）は、非圧縮画像データ３１ａ，３１ｂの横方向に一列に並ぶ複数のマクロブロックにより構成される。後述するように、区分単位は、フレーム、ＭＢライン、及びマクロブロックに限定されない。
【００４４】
区分単位としてフレームが設定されていた場合、非圧縮画像データ３１ａのマクロブロックＭａ０〜Ｍａ２３が、第１ＭＢグループとして区分される。非圧縮画像データ３１ｂのマクロブロックＭｂ０〜Ｍｂ２３が、第２ＭＢグループとして区分される。
【００４５】
区分単位としてＭＢラインが設定されていた場合、マクロブロックＭａ０〜Ｍａ２３は、第１ＭＢグループとしてＭＢラインＬａ１，Ｌａ２，Ｌａ３，Ｌａ４のいずれかに区分される。マクロブロックＭｂ０〜Ｍｂ２３は、第２ＭＢグループとしてＭＢラインＬｂ１，Ｌｂ２，Ｌｂ３，Ｌｂ４のいずれかに区分される。
【００４６】
区分単位としてマクロブロックが設定されていた場合、マクロブロックＭａ０〜Ｍａ２３のそれぞれが第１ＭＢグループとして区分される。マクロブロックＭｂ０〜Ｍｂ２３のそれぞれが第２ＭＢグループとして区分される。
【００４７】
区分単位は、一つ以上のマクロブロックによりＭＢグループが構成されるように設定されていればよい。たとえば、区分単位として４個のマクロブロックが設定されている場合、非圧縮画像データ３１ａのマクロブロックＭａ０〜Ｍａ３，Ｍａ４〜Ｍａ７などが、第１ＭＢグループとして区分される。
【００４８】
｛２．３．符号化順序決定部２１２の処理内容｝
符号化順序決定部２１２の処理内容について説明する。上述したように、符号化順序決定部２１２は、マクロブロックの符号化順序を決定する。
【００４９】
非圧縮画像データ３１ａ，３１ｂのフレームは、同期がとれた状態で画像符号化装置２に入力される。同期して入力された非圧縮画像データ３１ａ，３１ｂのフレームが、決定された符号化順序に従ってＭＢグループごとに符号化される。
【００５０】
以下、第１ＭＢグループ及び第２ＭＢグループが、フレーム単位、ＭＢライン単位及びマクロブロック単位で生成された場合における、ＭＢグループの符号化順序について説明する。
【００５１】
図４は、フレーム単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、非圧縮画像データ３１ａのマクロブロックＭａ０〜Ｍａ２３が第１ＭＢグループとして区分される。非圧縮画像データ３１ｂのマクロブロックＭｂ０〜Ｍｂ２３が第２ＭＢグループとして区分される。
【００５２】
符号化順序決定部２１２は、マクロブロックＭａ０〜Ｍａ２３（第１ＭＢグループ）を最初に符号化した後に、マクロブロックＭｂ０〜Ｍｂ２３（第２ＭＢグループ）を符号化するように符号化順序を決定する。つまり、同期して入力された非圧縮画像データ３１ａのフレームＦａと、非圧縮画像データ３１ｂのフレームＦｂとが交互に符号化される。
【００５３】
図５は、ＭＢライン単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部２１２は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，Ｌｂ２，・・・，Ｌａ４，Ｌｂ４の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ３１ａのＭＢラインと非圧縮画像データ３１ｂのＭＢラインとが交互に符号化されるように、符号化順序が決定される。
【００５４】
図６は、マクロブロック単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部２１２は、マクロブロックＭａ０，Ｍｂ０，Ｍａ１，Ｍｂ１，Ｍａ２，Ｍｂ２，・・・，Ｍｂ２２，Ｍａ２３，Ｍｂ２３の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ３１ａのマクロブロックと非圧縮画像データ３１ｂのマクロブロックとが交互に符号化されるように、符号化順序が決定される。
【００５５】
このように、符号化順序決定部２１２は、第１ＭＢグループ及び第２ＭＢグループが交互に符号化されるように、ＭＢグループの符号化順序を決定する。
【００５６】
｛２．４．符号化部２２及び多重化部２３の処理内容｝
符号化部２２及び多重化部２３の処理内容について詳しく説明する。以下、ＭＢライン単位でＭＢグループが生成された場合を例にして、図５を参照しながら説明する。
【００５７】
符号化制御部２１は、ＭＢグループ情報５１及び順序情報５２を符号化部２２に出力する。ＭＢグループ情報５１は、第１ＭＢグループ及び第２ＭＢグループを構成するマクロブロックを特定する情報である。順序情報５２は、第１ＭＢグループ及び第２ＭＢグループの符号化順序を示す情報である。
【００５８】
符号化部２２は、順序情報５２に基づいて、最初に符号化するＭＢラインＬａ１を特定する。符号化部２２は、ＭＢラインＬａ１を構成するマクロブロックＭａ０〜Ｍａ５をＭＢグループ情報５１に基づいて特定して符号化する。符号化されたマクロブロックＭａ０〜Ｍａ５は、非圧縮画像データ３１ａの符号化データ３２ａとして多重化部２３へ出力される。
【００５９】
符号化部２２は、順序情報５２に基づいて、ＭＢラインＬａ１の次に符号化するＭＢラインＬｂ１を特定する。符号化部２２は、ＭＢラインＬｂ１を構成するマクロブロックＭｂ０〜Ｍｂ５をＭＢグループ情報５１に基づいて特定して符号化する。符号化されたマクロブロックＭｂ０〜Ｍｂ５は、非圧縮画像データ３１ｂの符号化データ３２ｂとして多重化部２３へ出力される。以下、図５に示す順序に従って、ＭＢラインＬａ２，Ｌｂ２，Ｌｂ３・・・を構成するマクロブロックが符号化される。
【００６０】
多重化部２３は、ＭＢグループ情報５１を入力する。ＭＢラインＬａ１に対応する符号化データ３２ａが、多重化部２３に最初に入力される。次に、ＭＢラインＬｂ１に対応する符号化データ３２ｂが、多重化部２３に入力される。多重化部２３は、入力された順に符号化データ３２ａ，３２ｂを配列して、多重化圧縮データ３３を生成する。
【００６１】
図７は、多重化圧縮データ３３の構成を示す模式図である。多重化圧縮データ３３は、ストリームヘッダ３４と、ストリームデータＳａ１，Ｓｂ１，Ｓａ２，・・・とを備える。ストリームヘッダ３４は、多重化圧縮データ３３の再生時に使用する制御情報などを含む。
【００６２】
ストリームデータＳａ１，Ｓｂ１，Ｓａ２，・・・は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，・・・に対応する。ストリームデータＳａ１において、符号化データ３２ａは、ＭＢラインＬａ１のマクロブロックＭａ０〜Ｍａ５が符号化されたデータである。ストリームデータＳａ１のグループヘッダ３５は、ＭＢグループ情報５１に基づいて生成され、非圧縮画像データ３１ａの識別情報と、ＭＢラインＬａ１を特定する情報とを含む。
【００６３】
ストリームデータＳｂ１において、符号化データ３２ｂは、ＭＢラインＬｂ１のマクロブロックＭｂ０〜Ｍｂ５が符号化されたデータである。グループヘッダ３５は、非圧縮画像データ３１ｂの識別情報と、ＭＢラインＬｂ１を特定する情報とを含む。
【００６４】
このように、ＭＢグループごと符号化されたマクロブロックが符号化順に配列されることにより、多重化圧縮データ３３が生成される。多重化部２３は、符号化データ３２ａ，３２ｂが入力されるたびにストリームデータを生成する。生成されたストリームデータは、多重化圧縮データ３３として監視装置４ａ，４ｂへ順次送信される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのうちＭＢグループに対応するデータが入力されていれば、非圧縮画像データ３１ａ，３１ｂの符号化を開始することができる。したがって、非圧縮画像データ３１ａ，３１ｂの符号化に伴って発生する遅延を短縮することができる。
【００６５】
ＭＢグループがフレーム単位で構成された場合、及びマクロブロック単位で構成された場合における符号化部２２及び多重化部２３の処理は、符号化データ３２ａ，３２ｂがフレーム単位またはマクロブロック単位で生成される点を除いて上記と同様である。
【００６６】
｛３．監視装置４ａの詳細｝
監視装置４ａ，４ｂは、多重化圧縮データ３３を受信する。監視装置４ａ，４ｂは、受信した多重化圧縮データ３３の逆多重化及び復号化を行って、カメラ１ａ，１ｂに対応する復号化データを生成する。これにより、カメラ１ａ，１ｂの映像が、監視装置４ａに表示される。監視装置４ａは、カメラ１ａ，１ｂの映像が同期して表示されるように、カメラ１ａ，１ｂに対応する復号化データの表示タイミングを制御する。
【００６７】
上述したように、監視装置４ａがカメラ１ａ，１ｂが撮影した映像を同期して表示するケースを例として、監視装置４ａの詳細を説明する。監視装置４ｂの構成及び動作は、監視装置４ａと同様であるため、その詳細な説明を省略する。
【００６８】
｛３．１．監視装置４ａの構成｝
図８は、監視装置４ａの機能的構成を示すブロック図である。監視装置４ａは、通信部４１と、逆多重化部４２と、復号化部４３と、表示制御部４４と、表示部４５とを備える。
【００６９】
通信部４１は、無線通信を利用して、多重化圧縮データ３３を受信する。逆多重化部４２は、多重化圧縮データ３３を逆多重化する。カメラ１ａ，１ｂに対応する符号化データ３２ａ，３２ｂと、グループヘッダ３５とが、多重化圧縮データ３３から抽出される。
【００７０】
復号化部４３は、符号化データ３２ａ，３２ｂを復号化して復号化データ３６ａ，３６ｂを生成する。復号化データ３６ａは、非圧縮画像データ３１ａの第１ＭＢグループを構成するマクロブロックの復号画像に対応する。復号化データ３６ｂは、非圧縮画像データ３１ｂの第２ＭＢグループを構成するマクロブロックの復号画像に対応する。
【００７１】
表示制御部４４は、多重化圧縮データ３３に含まれるグループヘッダ３５に基づいて、復号化データ３６ａ、３６ｂを表示部４５に表示するタイミングを制御する。
【００７２】
｛３．２．表示タイミングの制御｝
監視装置４ａにおいて、復号化部４３の数は一つであるため、符号化データ３２ａ，３２ｂは、同時に復号化されない。復号化部４３は、符号化データ３２ａ、３２ｂを交互に符号化する。
【００７３】
具体的には、通信部４１は、多重化圧縮データ３３を継続的に受信している。監視装置４ａは、ストリームデータＳａ１，Ｓｂ１，・・・（図７参照）を受信するたびに、符号化データ３２ａ，３２ｂを抽出して復号化する。図７に示すように、多重化圧縮データ３３において、符号化データ３２ａ，３２ｂは、生成された順に交互に配列されている。したがって、符号化データ３２ａ，３２ｂは、画像符号化装置２により符号化された順に復号化される。
【００７４】
上述したように、カメラ１ａ，１ｂが生成した非圧縮画像データ３１ａ，３１ｂのフレームは、同期して画像符号化装置２に入力される。監視装置４ａ，４ｂでカメラ１ａ，１ｂの映像をリアルタイムに表示する場合、復号化データ３６ａ，３６ｂを同期して表示部４５に表示する必要がある。
【００７５】
しかし、復号化部４３が符号化データ３２ａ，３２ｂを交互に復号化して復号化データ３６ａ，３６ｂを生成するため、復号化データ３６ａ，３６ｂを表示部４５に表示可能となるタイミングにずれが生じる。このため、表示制御部４４は、復号化データ３６ａ，３６ｂが同期して表示部４５に表示されるように、復号化データ３６ａ，３６ｂを復号化部４３から出力するタイミングを制御する。
【００７６】
以下、復号化データ３６ａ，３６ｂの表示タイミングを、図９を用いて、ＭＢグループの区分単位ごとに詳しく説明する。
【００７７】
図９は、符号化データ３２ａ，３２ｂが復号化される期間を、ＭＢグループを生成した区分単位ごとに示した図である。図９において、上から順に、フレーム単位、ＭＢライン単位、及び一つのマクロブロック単位のＭＢグループを示している。太い実線は、符号化データ３２ａ，３２ｂが復号化される期間を示す。図９において、マクロブロックの符号の表示を一部省略している。
【００７８】
符号化データ３２ａ，３２ｂの復号化に要する時間（ＭＢ復号化時間）は、全てのマクロブロックで同じであると仮定する。ＭＢ復号化時間は、１マクロブロックの復号画像を表示部４５に表示するために必要な時間（ＭＢ表示時間）よりも短いと仮定する。
【００７９】
（フレーム単位でＭＢグループが生成された場合）
フレーム単位でＭＢグループが生成された場合、非圧縮画像データ３１ａのフレームＦａ、非圧縮画像データ３１ｂのフレームＦｂの順に符号化される（図４参照）。このため、フレームＦａに対応する符号化データ３２ａは、時刻Ｔ０〜Ｔ７の期間に最初に復号化される。符号化データ３２ａの復号化が終了した時刻Ｔ７の時点で、フレームＦａは、表示部４５に表示されない。これは、フレームＦａ，Ｆｂを同期して監視装置４ａの表示部４５に表示させるためである。
【００８０】
フレームＦｂに対応する符号化データ３２ｂの復号化は、時刻Ｔ７から開始される。フレームＦｂの先頭マクロブロック（マクロブロックＭｂ０）の復号化が終了する時刻Ｔ８において、表示制御部４４は、復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。この理由は、ＭＢ復号化時間がＭＢ表示時間よりも短いため、マクロブロックＭｂ０の復号化が終了した後に、符号化データ３２ｂの復号化と、マクロブロックＭｂ１〜Ｍｂ２３の復号画像の表示とを並行して行うことが可能となるためである。
【００８１】
したがって、カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ８から開始される。フレーム単位でＭＢグループが生成された場合、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ８−Ｔ０（ミリ秒）となる。
【００８２】
（ＭＢライン単位でＭＢグループが生成された場合）
上述したように、非圧縮画像データ３１ａのＭＢラインＬａ１〜Ｌａ４と、非圧縮画像データ３１ｂのＭＢラインＬｂ１〜Ｌｂ４は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，Ｌｂ２，・・・の順に符号化される（図５参照）。このため、ＭＢラインＬａ１に対応する符号化データ３２ａが最初に復号化される。次に、ＭＢラインＬｂ１に対応する符号化データ３２ｂが復号化される。
【００８３】
図９に示すように、ＭＢラインＬａ１に対応する符号化データ３２ａは、時刻Ｔ０〜Ｔ３の期間に復号化される。ＭＢラインＬａ１，Ｌｂ１を同期表示するため、表示制御部４４は、時刻Ｔ３の時点で、ＭＢラインＬａ１を表示部４５に表示されない。
【００８４】
ＭＢラインＬｂ１に対応する符号化データ３２ｂの復号化は、時刻Ｔ３から開始される。ＭＢラインＬｂ１の先頭マクロブロック（マクロブロックＭｂ０）の復号化が終了する時刻Ｔ４に、表示制御部４４は、ＭＢラインＬａ１，Ｌｂ１に対応する復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。この理由は、時刻Ｔ８にフレームＦａ，Ｆｂの表示を開始する理由と同じである。カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ４に開始される。以下、他のＭＢラインの同期表示が、同様に実行される。ＭＢライン単位でＭＢグループが生成された場合、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ４−Ｔ０（ミリ秒）となる。
【００８５】
（マクロブロック単位でＭＢグループが構成された場合）
上述したように、非圧縮画像データ３１ａのマクロブロックＭａ０，Ｍａ１，・・・と、非圧縮画像データ３１ｂのマクロブロックＭｂ０，Ｍｂ１，・・・とが交互に符号化される（図６参照）。このため、マクロブロックＭａ０に対応する符号化データ３２ａが最初に復号化される。次に、マクロブロックＭｂ０に対応する符号化データ３２ｂが復号化される。
【００８６】
図９に示すように、マクロブロックＭａ１に対応する符号化データ３２ａは、時刻Ｔ０〜Ｔ１の期間に復号化される。マクロブロックＭａ０，Ｍｂ０を同期表示するため、表示制御部４４は、時刻Ｔ１の時点で、マクロブロックＭａ０を表示部４５に表示させない。
【００８７】
マクロブロックＭｂ０に対応する符号化データ３２ｂの復号化は、時刻Ｔ１から開始される。表示制御部４４は、マクロブロックＭｂ０の復号化が終了する時刻Ｔ２に、マクロブロックＭａ０，Ｍｂ０に対応する復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。したがって、カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ２に開始される。以下、他のマクロブロックの同期表示が、同様に実行される。この結果、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ２−Ｔ０（ミリ秒）となる。
【００８８】
図９に示すように、ＭＢグループの区分単位が細かくなるにつれて、同期表示が開始されるまでの時間が短くなる。つまり、区分単位を細かくすることにより、カメラ１ａ，１ｂの映像が表示部４５に表示されるまでの遅延時間を短くすることができる。区分単位を細かく設定した場合、多重化圧縮データ３３から符号化データ３２ａ，３２ｂを抽出する回数が増加する。このように、区分単位を細かく設定した場合、逆多重化処理などでオーバーヘッドが増加するため、監視装置４ａの負荷が増加する。
【００８９】
このため、画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂの特性に応じて区分単位を設定することが望ましい。グループ生成部２１１が、非圧縮画像データ３１ａ，３１ｂの動きの大きさを検出し、検出した動きの大きさに基づいて区分単位を変更してもよい。非圧縮画像データ３１ａ，３１ｂが動きの大きい画像であれば、画像符号化装置２は、リアルタイム性を重視して、区分単位としてマクロブロックを設定する。非圧縮画像データ３１ａ，３１ｂが動きの少ない画像であれば、監視装置４ａの負荷を小さくするために、区分単位としてフレームを設定する。非圧縮画像データ３１ａ，３１ｂの動きが中間程度であれば、区分単位としてＭＢラインを設定すればよい。また、カメラ１ａ，１ｂが非圧縮画像データ３１ａ，３１ｂとともに、区分単位を指定する情報を画像符号化装置２に出力してもよい。
【００９０】
本実施の形態では、監視装置４ａがカメラ１ａ，１ｂの両者の映像を表示する例を説明した。しかし、監視装置４ａにカメラ１ａの映像のみを表示させ、監視装置４ｂにカメラ１ｂの映像のみを表示させることも可能である。この場合であっても、上述の表示タイミングの制御が実行されることにより、監視装置４ａ，４ｂにおいて、カメラ１ａ，カメラ１ｂの映像を同期表示することが可能となる。
【００９１】
たとえば、ＭＢライン単位で非圧縮画像データ３１ａ，３１ｂが符号化されていた場合、監視装置４ａの表示部４５には、時刻Ｔ４からＭＢラインＬａ１の表示が開始される。監視装置４ｂの表示部４５には、時刻Ｔ４からＭＢラインＬｂ１の表示が開始される。監視装置４ａ，４ｂで符号化データ３２ａ，３２ｂの復号化をそれぞれ行うことにより、カメラ１ａ，１ｂの映像を同期表示することができる。したがって、同期表示のために監視装置４ａ，４ｂの間で通信等を行わなくてもよい。
【００９２】
監視装置４ａは、表示対象のカメラに対応する符号化データの復号化のみを行ってもよい。監視装置４ａは、符号化データの復号化が終了し、かつ１個のマクロブロックの復号化が終了した時間が経過した後に、復号化データを表示部４５に表示させればよい。
【００９３】
［第２の実施の形態］
以下、本発明の第２の実施の形態について説明する。上記第１の実施の形態では、非圧縮画像データ３１ａ，３１ｂのマクロブロック数が同じであるときの処理を説明した。本実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが同じであるが、マクロブロック数が異なる場合を説明する。以下、上記実施の形態と共通の点についてはその説明を省略する。
【００９４】
図１０は、本実施の形態に係る非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。非圧縮画像データ３１ａのマクロブロックの構成は、図３と同様である。非圧縮画像データ３１ｂは、横４個×縦３個の１２個のマクロブロックＭｂ０〜Ｍｂ１２で構成されている。つまり、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の２倍（整数倍）となっている。
【００９５】
｛ＭＢグループの構成｝
フレーム単位及びマクロブロック単位でＭＢグループが生成される場合、ＭＢグループの生成処理は、上記第１の実施の形態と同様である。
【００９６】
ＭＢライン単位でＭＢグループが生成される場合、ＭＢグループは、画像サイズが小さい非圧縮画像データ３１ｂのＭＢラインに合わせて生成される。非圧縮画像データ３１ｂのＭＢラインにおいて、マクロブロックの数は４個である。図１０において、実線は、非圧縮画像データ３１ａ，３１ｂのマクロブロックがＭＢライン単位で区分された状態を示す。非圧縮画像データ３１ａのＭＢグループ（第１ＭＢグループ）と、非圧縮画像データ３１ｂのＭＢグループ（第２ＭＢグループ）とは、４個のマクロブロックにより構成されていることがわかる。
【００９７】
｛ＭＢグループの符号化順序の決定｝
図１０に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループの符号化順序について、区分単位ごとに説明する。
【００９８】
ＭＢグループがフレーム単位で生成された場合、上記実施の形態と同様に、フレームＦａ，Ｆｂが交互に符号化されるように符号化順序が決定される。
【００９９】
ＭＢグループがマクロブロック単位またはＭＢライン単位で生成された場合、符号化順序決定部２１２は、非圧縮画像データ３１ａ，３１ｂのマクロブロック数の比率に基づいて、符号化順序を決定する。以下、ＭＢグループがマクロブロック単位で生成されたケースを例にして符号化順序について説明する。
【０１００】
図１１は、図１０に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループをマクロブロック単位で生成した場合における符号化順序を示す図である。図１１に示すように、符号化順序決定部２１２は、マクロブロックＭａ０，Ｍａ１，Ｍｂ０，Ｍａ２，Ｍａ３，Ｍｂ１，・・・の順に符号化されるように、符号化順序を決定する。つまり、２個の第１ＭＢグループが符号化された後に、１個の第２ＭＢグループが符号化される。
【０１０１】
非圧縮画像データ３１ａと非圧縮画像データ３１ｂとのマクロブロックの比率が２：１である（図１０参照）。このため、符号化順序決定部２１２は、第１ＭＢグループと第２ＭＢグループとが２：１の比率で符号化されるように、符号化順序を決定する。ただし、マクロブロック数の少ない非圧縮画像データ３１ｂの第２ＭＢグループは、連続して符号化されないことが条件となる。
【０１０２】
監視装置４ａでは、マクロブロックＭａ０，Ｍａ１に対応する符号化データ３２ａが最初に復号化される。次に、マクロブロックＭｂ０に対応する符号化データ３２ｂが復号化される。マクロブロックＭｂ０（第２ＭＢグループの先頭マクロブロック）の復号化が終了したときに、復号化されたマクロブロックＭａ０，Ｍａ１，Ｍｂ０が表示部４５に表示される。これにより、監視装置４ａでカメラ１ａ，１ｂの映像を同期表示させる場合に、カメラ１ａ，１ｂの映像フレームの表示が開始される時間と、映像フレームの表示が完了する時間とを揃えることができる。
【０１０３】
｛マクロブロックの比率が整数倍でない場合｝
本実施の形態では、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の整数倍である場合を説明した。しかし、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の整数倍でなくてもよい。
【０１０４】
図１２は、非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。非圧縮画像データ３１ａのマクロブロックの構成は、図３と同様である。非圧縮画像データ３１ｂは、横５個×縦３個の１５個のマクロブロックＭｂ０〜Ｍｂ１４で構成されている。非圧縮画像データ３１ａのマクロブロックの数は、非圧縮画像データ３１ｂのマクロブロック数の整数倍となっていない。
【０１０５】
図１３は、図１２に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループをマクロブロック単位で生成した場合における、符号化順序を示す図である。図１３に示すように、符号化順序は、マクロブロックＭａ０，Ｍａ１，Ｍｂ０，Ｍａ２，Ｍｂ１，Ｍａ３，・・・の順となっている。つまり、マクロブロック数の少ない非圧縮画像データ３１ｂのＭＢグループが連続して符号化されることのないように、符号化順序が決定される。
【０１０６】
［第３の実施の形態］
以下、本発明の第３の実施の形態について説明する。上記第１の実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが同じであるケースを説明した。本実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが異なる場合における、ＭＢグループの符号化順序の決定について説明する。符号化順序の決定以外の処理については、上記実施の形態と同様である。
【０１０７】
図１４は、非圧縮画像データ３１ａ，３１ｂの各フレームが画像符号化装置２に入力されるタイミングを示す図である。非圧縮画像データ３１ａのフレームレートを６０ｆｐｓ、非圧縮画像データ３１ｂのフレームレートを３０ｆｐｓとする。
【０１０８】
図１４に示すように、時刻Ｔ０，Ｔｆ，２Ｔｆにおいて、非圧縮画像データ３１ａのフレームＦａと、非圧縮画像データ３１ｂのフレームＦｂとが同期して画像符号化装置２に入力される。時刻０．５Ｔｆ，１．５Ｔｆ，２．５Ｔｆに、フレームＦａのみが画像符号化装置２に入力される。ここで、フレームＦｂに同期しているフレームＦａを、フレームＦａ０とする。フレームＦｂと同期しないフレームＦａを、フレームＦａ１とする。
【０１０９】
図１５は、非圧縮画像データ３１ａ，３１ｂのフレームレートが異なる場合における、符号化順序の一例を示す図である。図１５は、ＭＢライン単位でＭＢグループが生成された場合における符号化順序を示している。
【０１１０】
まず、符号化順序決定部２１２は、同期して入力されたフレームＦａ０，ＦｂがＭＢラインごとに交互に符号化されるように、ＭＢラインの符号化順序を決定する。具体的には、フレームＦａ０に対応するＭＢラインＬａ１が最初に符号化される。次に、フレームＦｂに対応するＭＢラインＬｂ１が符号化される。以下、フレームＦａ０，ＦｂのＭＢラインが交互に符号化される。
【０１１１】
フレームＦｂのＭＢラインＭｂ４の符号化が終了した後に、フレームＦａ１のＭＢラインＬａ１〜Ｌａ４が符号化される。この結果、同期して画像符号化装置２に入力されたフレームＦａ０，Ｆｂを、監視装置４ａ，４ｂで同期して表示させることができる。
【０１１２】
［第４の実施の形態］
以下、本発明の第４の実施の形態について説明する。本実施の形態において、画像伝送システム１００は、監視装置４ａ，４ｂに代えて、モニタ管理装置６を用いる。
【０１１３】
図１６は、モニタ管理装置６の機能的構成を示すブロック図である。モニタ管理装置６及びモニタ６１ａ，６１ｂは、カメラ１ａ，１ｂが設置されたＡＴＭコーナーを遠隔監視するモニタ室に設置される。モニタ管理装置６と、モニタ６１ａ，６１ｂとは、映像伝送用のケーブルで接続されている。
【０１１４】
モニタ管理装置６は、通信部４１と、逆多重化部４２と、復号化部４３と、出力制御部６２とを備える。モニタ管理装置６は、多重化圧縮データ３３を受信し、多重化圧縮データ３１の逆多重化及び復号化を行う。多重化圧縮データ３３の逆多重化及び復号化は、上記実施の形態と同様に行われる。
【０１１５】
出力制御部６２は、カメラ１ａに対応する復号化データ３６ａをモニタ６１ａに出力し、カメラ１ｂに対応する復号化データ３６ｂをモニタ６１ｂに出力する。このとき、出力制御部４２は、監視装置４ａ，４ｂと同様に、カメラ１ａ，１ｂに表示される映像が同期するように、復号化データ３６ａ，３６ｂを出力するタイミングを制御する。このように、モニタ管理装置６を用いることによって、カメラ１ａ，１ｂの映像を複数のモニタに同期して表示させることができる。
【０１１６】
上記実施の形態では、二つの画像データ（非圧縮画像データ３１ａ，３１ｂ）が画像符号化装置２に入力される例を説明した。しかし、画像符号化装置２に入力される非圧縮画像データの数は、三つ以上でもよい。この場合、入力された非圧縮画像データごとにＭＢグループが生成される。画像符号化装置は、各非圧縮画像データのＭＢグループが順番に符号化されるように符号化順序を決定する。
【０１１７】
上記実施の形態では、フレームが同期した非圧縮画像データ３１ａ，３１ｂがカメラ１ａ，１ｂから画像符号化装置２に入力される例を説明した。しかし、画像符号化装置２が、自装置の内部で、フレームが同期した非圧縮画像データ３１ａ，３１ｂを生成してもよい。
【符号の説明】
【０１１８】
１ａ，１ｂ カメラ
２ 画像符号化装置
４ａ，４ｂ 監視装置
６ モニタ管理装置
２１ 符号化制御部
２２ 符号化部
２３ 多重化部
２４，４１ 通信部
４２ 逆多重化部
４３ 復号化部
４４ 表示制御部
４５ 表示部
６１ａ，６１ｂ モニタ
６２ 出力制御部
２１１ グループ生成部
２１２ 符号化順序決定部
【技術分野】
【０００１】
本発明は、複数の画像データを符号化して一つの圧縮画像データを出力する画像符号化装置、及びこの画像符号化装置を用いた画像伝送システムに関する。
【背景技術】
【０００２】
金融機関の店舗に設けられるＡＴＭ（ａｕｔｏｍａｔｅｄ ｔｅｌｌｅｒ ｍａｃｈｉｎｅ）コーナーなどを監視する際に、複数のカメラが設置されることがある。複数のカメラを用いて異なる角度から監視することにより、死角の発生を防ぐことができる。
【０００３】
各カメラが生成した映像信号は、伝送路の帯域などが制限されているため、符号化された上で伝送される。各カメラの映像を同時に表示させて監視する必要があるため、各カメラに対応する複数の映像信号を多重化して伝送する必要がある。
【０００４】
下記特許文献１には、各カメラから入力される複数のフレーム映像を１系統の圧縮データに変換する映像信号符号化装置が開示されている。
【０００５】
特許文献１に係る映像信号符号化装置は、各カメラから入力されるフレーム映像から符号化しないフレーム映像を間引き、符号化対象のフレーム映像を抽出する。抽出されたフレーム映像は、カメラごとに配列されて、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位で符号化される。これにより、各カメラから入力される複数のフレーム映像が、１系統の圧縮データに変換される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１８４４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１では、各映像信号を記録媒体に長時間記録することを目的としており、各カメラの映像をリアルタイムに伝送することを想定していない。
【０００８】
上述したように、上記特許文献１に係る映像信号符号化装置は、符号化対象のフレーム映像を抽出する。映像信号符号化装置は、ＧＯＰを生成できる数の符号化対象のフレーム映像を抽出するまで、圧縮データを生成することができない。この結果、フレーム映像が映像信号符号化装置に入力されてから圧縮データとして出力されるまでの時間（遅延）が長くなるため、各カメラの映像をリアルタイムに伝送することが困難である。
【０００９】
本発明の目的は、上記問題点に鑑み、複数の画像データから圧縮データを生成する際に生じる遅延を小さくすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１記載の発明は、第１画像データと第２画像データとを圧縮する画像符号化装置であって、設定された区分単位に基づいて、前記第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、前記第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部と、第１符号化グループと第２符号化グループとが交互に繰り返されるように、前記第１マクロブロック及び前記第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、前記符号化順序に基づいて、第１符号化グループごとに前記第１マクロブロックを符号化し、前記第２符号化グループごとに前記第２マクロブロックを符号化する符号化部と、符号化された前記第１マクロブロック及び前記第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。
【００１１】
請求項２記載の発明は、請求項１に記載の画像符号化装置において、前記符号化順序決定部は、前記第１マクロブロックの数が前記第２マクロブロックの数よりも多い場合、前記第１符号化グループが連続するように符号化順序を決定することを許可する。
【００１２】
請求項３記載の発明は、請求項２に記載の画像符号化装置において、前記符号化順序決定部は、前記第１マクロブロックの数と前記第２マクロブロックの数との比率に基づいて、前記符号化順序を決定する。
【００１３】
請求項４記載の発明は、請求項１に記載の画像符号化装置において、前記第１画像データと前記第２画像データとは、フレームレートが互いに異なり、前記符号化順序決定部は、前記第１画像データの第１フレームと前記第２画像データの第２フレームとが同期して入力された場合、前記第１フレームに対応する第１符号化グループと前記第２フレームに対応する第２符号化グループとが交互に繰り返されるように、前記符号化順序を決定する。
【００１４】
請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像符号化装置において、前記グループ生成部は、前記第１画像データの特性及び前記第２画像データの特性に応じて、前記区分単位を変更する。
【００１５】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の画像符号化装置において、前記区分単位が、フレーム単位で前記グループ生成部に設定されている。
【００１６】
請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載の画像符号化装置において、前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている。
【００１７】
請求項８記載の発明は、請求項１ないし請求項５のいずれかに記載の画像符号化装置において、前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている。
【００１８】
請求項９記載の発明は、画像伝送システムであって、請求項１ないし請求項８のいずれかに記載の画像符号化装置と、画像復号化装置と、を備え、前記画像符号化装置は、さらに、前記多重化圧縮データを前記画像復号化装置に送信する送信部、を備え、前記画像復号化装置は、前記多重化圧縮データを受信する受信部と、符号化された前記第１マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部と、符号化された前記第１マクロブロックを抽出された順に復号化する復号化部と、前記第１マクロブロックの復号化画像データと、前記第２マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第１マクロブロックの復号化画像データを第１表示装置に出力する出力制御部と、を備える。
【００１９】
請求項１０記載の発明は、請求項９に記載の画像伝送システムにおいて、前記逆多重化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、前記復号化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを抽出された順に復号化する。
【００２０】
請求項１１記載の発明は、請求項１０に記載の画像伝送システムにおいて、前記出力制御部は、前記第１マクロブロックの復号化画像データを前記第１表示装置へ出力し、前記第２マクロブロックの復号化画像データを第２表示装置へ出力する。
【００２１】
請求項１２記載の発明は、第１〜第Ｎ画像データを圧縮する画像符号化装置であって、ｋを１からＮまでの自然数とした場合において、設定された区分単位に基づいて第ｋ画像データの第ｋマクロブロックを区分して、第ｋ符号化グループを生成するグループ生成部と、第１符号化グループから第ｎ符号化グループまでが交互に繰り返されるように、第１マクロブロックから第ｎマクロブロックを符号化する符号化順序を決定する符号化順序決定部と、前記符号化順序に基づいて、前記第ｋ符号化グループごとに前記第ｋマクロブロックを符号化する符号化部と、符号化された前記第ｋマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。
【発明の効果】
【００２２】
本発明に係る画像符号化装置は、第１画像データのうち第１符号化グループに対応するデータと、第２画像データのうち第２符号化グループに対応するデータとが入力されていれば、第１画像データ及び第２画像データの符号化を開始できる。したがって、第１画像データ及び第２画像データの符号化に伴う遅延を短くすることができる。
【００２３】
本発明に係る画像伝送システムにおいて、画像復号化装置は、符号化された第１マクロブロックを多重化圧縮データから抽出された順に復号化する。第１符号化グループの符号化された第１マクロブロックを全て受信することなく復号化を開始できるため、画像復号化装置は、復号化に伴う遅延を短縮することができる。画像復号化装置は、第１マクロブロック及び第２マクロブロックの両方の復号画像データを表示可能となったときに、第１マクロブロックの復号画像データを表示装置に出力する。これにより、第１画像データ及び第２画像データを同期表示することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る画像伝送システムの構成を示す図である。
【図２】図１に示す画像符号化装置の機能的構成を示すブロック図である。
【図３】画像符号化装置に入力される非圧縮画像データのマクロブロックの構成を示す図である。
【図４】マクロブロックグループの符号化順序を示す図である。
【図５】マクロブロックグループの符号化順序を示す図である。
【図６】マクロブロックグループの符号化順序を示す図である。
【図７】多重化圧縮データの構成を模式的に示す図である。
【図８】監視装置の機能的構成を示すブロック図である。
【図９】符号化データの復号化に要する時間をマクロブロックの区分単位ごとに示す図である。
【図１０】本発明の第２の実施の形態に係る非圧縮画像データのマクロブロックの構成を示す図である。
【図１１】マクロブロックグループの符号化順序を示す図である。
【図１２】本発明の第２の実施の形態における非圧縮画像データのマクロブロックの構成の変形例を示す図である。
【図１３】マクロブロックグループの符号化順序を示す図である。
【図１４】本発明の第３の実施の形態において非圧縮画像データが画像符号化装置に入力されるタイミングを示す図である。
【図１５】マクロブロックグループの符号化順序を示す図である。
【図１６】本発明の第４の実施の形態に係るモニタ管理装置の機能的構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２６】
［第１の実施の形態］
｛１．画像伝送システムの全体構成｝
図１は、本発明の実施の形態に係る画像伝送システムの構成を示す図である。図１に示す画像伝送システム１００は、カメラ１ａ，１ｂと、画像符号化装置２と、監視装置４ａ，４ｂとを備える。画像伝送システム１００は、金融機関の店舗に設けられたＡＴＭコーナーをリアルタイムに監視するシステムである。
【００２７】
カメラ１ａ，１ｂは、ＡＴＭコーナーを異なる角度から撮影できるように取り付けられる。カメラ１ａ，１ｂは、ＡＴＭコーナーの様子を撮影して、非圧縮画像データ３１ａ，３１ｂを生成する。画像符号化装置２は、カメラ１ａ，１ｂとともに、ＡＴＭコーナーに設置される。画像符号化装置２には、非圧縮画像データ３１ａ，３１ｂのフレームが同期して入力される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂの符号化及び多重化を行って、多重化圧縮データ３３を生成する。多重化圧縮データ３３は、無線通信網などを介して、ＡＴＭコーナーを監視するモニタ室へ送信される。
【００２８】
監視装置４ａ，４ｂは、モニタ室に設置され、多重化圧縮データ３３を受信する。監視装置４ａ，４ｂは、多重化圧縮データ３３に対して逆多重化及び復号化処理を行って、カメラ１ａ，１ｂに対応する映像を表示する。カメラ１ａ，１ｂは、同じ場所（ＡＴＭコーナー）を異なる角度から撮影している。このため、カメラ１ａ，１ｂの映像を表示するタイミングがずれないように、監視装置４ａ，４ｂは、カメラ１ａ，１ｂの映像を同期して表示させる。モニタ室に常駐する監視員は、監視装置４ａ，４ｂに表示される映像をモニタして、ＡＴＭコーナーを監視する。
【００２９】
本実施の形態では、カメラ１ａ，１ｂの両者の映像を監視装置４ａのモニタに表示させる例を中心に説明する。カメラ１ａの映像を監視装置４ａに表示させ、カメラ１ｂの映像を監視装置４ｂに表示させる例については、後述する。
【００３０】
画像符号化装置２は、非圧縮画像データ３１ａのマクロブロックを設定された区分単位に基づいて区分して、一つ以上のマクロブロックで構成されるマクロブロックグループ（以下、「ＭＢグループ」と呼ぶ。）を生成する。画像符号化装置２は、区分単位に基づいて非圧縮画像データ３１ｂのマクロブロックを区分して、ＭＢグループを生成する。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのＭＢグループを符号化する符号化順序を決定する。画像符号化装置２は、符号化順序に従って、非圧縮画像データ３１ａ，３１ｂのマクロブロックをＭＢグループごとに符号化する。符号化されたマクロブロックがＭＢグループごとに配列されることにより、多重化圧縮データ３３が生成される。
【００３１】
画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのうち、ＭＢグループに対応する画像が入力されれば、非圧縮画像データ３１ａ，３１ｂの符号化を開始することができる。非圧縮画像データ３１ａ，３１ｂの符号化が開始されるまでの時間が短縮されるため、監視装置４ａ、４ｂにカメラ１ａ，１ｂの映像が表示されるまでの遅延を短縮することができる。
【００３２】
｛２．画像符号化装置２の詳細｝
以下、画像符号化装置２の構成及び動作について詳しく説明する。
【００３３】
｛２．１．画像符号化装置２の構成｝
図２は、画像符号化装置２の機能的構成を示すブロック図である。図２に示すように、画像符号化装置２は、符号化制御部２１と、符号化部２２と、多重化部２３と、通信部２４とを備える。
【００３４】
符号化制御部２１は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを符号化する順序を決定する。符号化制御部２１は、グループ生成部２１１と、符号化順序決定部２１２とを備える。
【００３５】
グループ生成部２１１は、非圧縮画像データ３１ａ，３１ｂのマクロブロックを、設定された区分単位に基づいて区分して、ＭＢグループを生成する。
【００３６】
符号化順序決定部２１２は、非圧縮画像データ３１ａ，３１ｂの各マクロブロックを符号化する符号化順序を、ＭＢグループごとに決定する。このとき、非圧縮画像データ３１ａのＭＢグループ（第１ＭＢグループ）と、非圧縮画像データ３１ｂのＭＢグループ（第２ＭＢグループ）とが、交互に繰り返されるように符号化順序が決定される。
【００３７】
符号化部２２は、非圧縮画像データ３１ａ，３１ｂを、決定された符号化順序に基づいてＭＢグループごとに符号化する。非圧縮画像データ３１ａ，３１ｂの符号化には、例えば、Ｈ．２６４あるいはＭＰＥＧ２などの符号化方式が用いられる。
【００３８】
多重化部２３は、符号化された非圧縮画像データ３１ａ，３１ｂのマクロブロックを符号化された順に配列することにより、多重化圧縮データ３３を生成する。
【００３９】
通信部２４は、多重化圧縮データ３３に対して誤り訂正信号の付加、及びデジタル変調などを行う。通信部２４は、デジタル変調された多重化圧縮データ３３を、無線通信を利用して監視装置４ａ，４ｂに送信する。
【００４０】
｛２．２．グループ生成部２１１の処理内容｝
グループ生成部２１１の処理内容について説明する。図３は、非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。図３に示すように、非圧縮画像データ３１ａ，３１ｂが、２４個のマクロブロックで構成されている。非圧縮画像データ３１ａ，３１ｂのフレームレートは、同一であるとする。
【００４１】
非圧縮画像データ３１ａ，３１ｂは、横６個×縦４個のマクロブロックで構成されている。非圧縮画像データ３１ａのマクロブロックには、左上から右下に向かってＭａ０〜Ｍａ２３の番号が付与されている。非圧縮画像データ３１ｂのマクロブロックには、左上から右下に向かってＭｂ０〜Ｍｂ２３の番号が付与されている。
【００４２】
グループ生成部２１１には、非圧縮画像データ３１ａ，３１ｂのマクロブロックの区分に用いられる区分単位が設定されている。非圧縮画像データ３１ａ，３１ｂのマクロブロックが区分単位に基づいて区分されることにより、ＭＢグループが生成される。
【００４３】
区分単位として、フレーム、マクロブロックライン、及びマクロブロックのいずれかを設定することができる。マクロブロックライン（以下、「ＭＢライン」と呼ぶ。）は、非圧縮画像データ３１ａ，３１ｂの横方向に一列に並ぶ複数のマクロブロックにより構成される。後述するように、区分単位は、フレーム、ＭＢライン、及びマクロブロックに限定されない。
【００４４】
区分単位としてフレームが設定されていた場合、非圧縮画像データ３１ａのマクロブロックＭａ０〜Ｍａ２３が、第１ＭＢグループとして区分される。非圧縮画像データ３１ｂのマクロブロックＭｂ０〜Ｍｂ２３が、第２ＭＢグループとして区分される。
【００４５】
区分単位としてＭＢラインが設定されていた場合、マクロブロックＭａ０〜Ｍａ２３は、第１ＭＢグループとしてＭＢラインＬａ１，Ｌａ２，Ｌａ３，Ｌａ４のいずれかに区分される。マクロブロックＭｂ０〜Ｍｂ２３は、第２ＭＢグループとしてＭＢラインＬｂ１，Ｌｂ２，Ｌｂ３，Ｌｂ４のいずれかに区分される。
【００４６】
区分単位としてマクロブロックが設定されていた場合、マクロブロックＭａ０〜Ｍａ２３のそれぞれが第１ＭＢグループとして区分される。マクロブロックＭｂ０〜Ｍｂ２３のそれぞれが第２ＭＢグループとして区分される。
【００４７】
区分単位は、一つ以上のマクロブロックによりＭＢグループが構成されるように設定されていればよい。たとえば、区分単位として４個のマクロブロックが設定されている場合、非圧縮画像データ３１ａのマクロブロックＭａ０〜Ｍａ３，Ｍａ４〜Ｍａ７などが、第１ＭＢグループとして区分される。
【００４８】
｛２．３．符号化順序決定部２１２の処理内容｝
符号化順序決定部２１２の処理内容について説明する。上述したように、符号化順序決定部２１２は、マクロブロックの符号化順序を決定する。
【００４９】
非圧縮画像データ３１ａ，３１ｂのフレームは、同期がとれた状態で画像符号化装置２に入力される。同期して入力された非圧縮画像データ３１ａ，３１ｂのフレームが、決定された符号化順序に従ってＭＢグループごとに符号化される。
【００５０】
以下、第１ＭＢグループ及び第２ＭＢグループが、フレーム単位、ＭＢライン単位及びマクロブロック単位で生成された場合における、ＭＢグループの符号化順序について説明する。
【００５１】
図４は、フレーム単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、非圧縮画像データ３１ａのマクロブロックＭａ０〜Ｍａ２３が第１ＭＢグループとして区分される。非圧縮画像データ３１ｂのマクロブロックＭｂ０〜Ｍｂ２３が第２ＭＢグループとして区分される。
【００５２】
符号化順序決定部２１２は、マクロブロックＭａ０〜Ｍａ２３（第１ＭＢグループ）を最初に符号化した後に、マクロブロックＭｂ０〜Ｍｂ２３（第２ＭＢグループ）を符号化するように符号化順序を決定する。つまり、同期して入力された非圧縮画像データ３１ａのフレームＦａと、非圧縮画像データ３１ｂのフレームＦｂとが交互に符号化される。
【００５３】
図５は、ＭＢライン単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部２１２は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，Ｌｂ２，・・・，Ｌａ４，Ｌｂ４の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ３１ａのＭＢラインと非圧縮画像データ３１ｂのＭＢラインとが交互に符号化されるように、符号化順序が決定される。
【００５４】
図６は、マクロブロック単位でＭＢグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部２１２は、マクロブロックＭａ０，Ｍｂ０，Ｍａ１，Ｍｂ１，Ｍａ２，Ｍｂ２，・・・，Ｍｂ２２，Ｍａ２３，Ｍｂ２３の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ３１ａのマクロブロックと非圧縮画像データ３１ｂのマクロブロックとが交互に符号化されるように、符号化順序が決定される。
【００５５】
このように、符号化順序決定部２１２は、第１ＭＢグループ及び第２ＭＢグループが交互に符号化されるように、ＭＢグループの符号化順序を決定する。
【００５６】
｛２．４．符号化部２２及び多重化部２３の処理内容｝
符号化部２２及び多重化部２３の処理内容について詳しく説明する。以下、ＭＢライン単位でＭＢグループが生成された場合を例にして、図５を参照しながら説明する。
【００５７】
符号化制御部２１は、ＭＢグループ情報５１及び順序情報５２を符号化部２２に出力する。ＭＢグループ情報５１は、第１ＭＢグループ及び第２ＭＢグループを構成するマクロブロックを特定する情報である。順序情報５２は、第１ＭＢグループ及び第２ＭＢグループの符号化順序を示す情報である。
【００５８】
符号化部２２は、順序情報５２に基づいて、最初に符号化するＭＢラインＬａ１を特定する。符号化部２２は、ＭＢラインＬａ１を構成するマクロブロックＭａ０〜Ｍａ５をＭＢグループ情報５１に基づいて特定して符号化する。符号化されたマクロブロックＭａ０〜Ｍａ５は、非圧縮画像データ３１ａの符号化データ３２ａとして多重化部２３へ出力される。
【００５９】
符号化部２２は、順序情報５２に基づいて、ＭＢラインＬａ１の次に符号化するＭＢラインＬｂ１を特定する。符号化部２２は、ＭＢラインＬｂ１を構成するマクロブロックＭｂ０〜Ｍｂ５をＭＢグループ情報５１に基づいて特定して符号化する。符号化されたマクロブロックＭｂ０〜Ｍｂ５は、非圧縮画像データ３１ｂの符号化データ３２ｂとして多重化部２３へ出力される。以下、図５に示す順序に従って、ＭＢラインＬａ２，Ｌｂ２，Ｌｂ３・・・を構成するマクロブロックが符号化される。
【００６０】
多重化部２３は、ＭＢグループ情報５１を入力する。ＭＢラインＬａ１に対応する符号化データ３２ａが、多重化部２３に最初に入力される。次に、ＭＢラインＬｂ１に対応する符号化データ３２ｂが、多重化部２３に入力される。多重化部２３は、入力された順に符号化データ３２ａ，３２ｂを配列して、多重化圧縮データ３３を生成する。
【００６１】
図７は、多重化圧縮データ３３の構成を示す模式図である。多重化圧縮データ３３は、ストリームヘッダ３４と、ストリームデータＳａ１，Ｓｂ１，Ｓａ２，・・・とを備える。ストリームヘッダ３４は、多重化圧縮データ３３の再生時に使用する制御情報などを含む。
【００６２】
ストリームデータＳａ１，Ｓｂ１，Ｓａ２，・・・は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，・・・に対応する。ストリームデータＳａ１において、符号化データ３２ａは、ＭＢラインＬａ１のマクロブロックＭａ０〜Ｍａ５が符号化されたデータである。ストリームデータＳａ１のグループヘッダ３５は、ＭＢグループ情報５１に基づいて生成され、非圧縮画像データ３１ａの識別情報と、ＭＢラインＬａ１を特定する情報とを含む。
【００６３】
ストリームデータＳｂ１において、符号化データ３２ｂは、ＭＢラインＬｂ１のマクロブロックＭｂ０〜Ｍｂ５が符号化されたデータである。グループヘッダ３５は、非圧縮画像データ３１ｂの識別情報と、ＭＢラインＬｂ１を特定する情報とを含む。
【００６４】
このように、ＭＢグループごと符号化されたマクロブロックが符号化順に配列されることにより、多重化圧縮データ３３が生成される。多重化部２３は、符号化データ３２ａ，３２ｂが入力されるたびにストリームデータを生成する。生成されたストリームデータは、多重化圧縮データ３３として監視装置４ａ，４ｂへ順次送信される。画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂのうちＭＢグループに対応するデータが入力されていれば、非圧縮画像データ３１ａ，３１ｂの符号化を開始することができる。したがって、非圧縮画像データ３１ａ，３１ｂの符号化に伴って発生する遅延を短縮することができる。
【００６５】
ＭＢグループがフレーム単位で構成された場合、及びマクロブロック単位で構成された場合における符号化部２２及び多重化部２３の処理は、符号化データ３２ａ，３２ｂがフレーム単位またはマクロブロック単位で生成される点を除いて上記と同様である。
【００６６】
｛３．監視装置４ａの詳細｝
監視装置４ａ，４ｂは、多重化圧縮データ３３を受信する。監視装置４ａ，４ｂは、受信した多重化圧縮データ３３の逆多重化及び復号化を行って、カメラ１ａ，１ｂに対応する復号化データを生成する。これにより、カメラ１ａ，１ｂの映像が、監視装置４ａに表示される。監視装置４ａは、カメラ１ａ，１ｂの映像が同期して表示されるように、カメラ１ａ，１ｂに対応する復号化データの表示タイミングを制御する。
【００６７】
上述したように、監視装置４ａがカメラ１ａ，１ｂが撮影した映像を同期して表示するケースを例として、監視装置４ａの詳細を説明する。監視装置４ｂの構成及び動作は、監視装置４ａと同様であるため、その詳細な説明を省略する。
【００６８】
｛３．１．監視装置４ａの構成｝
図８は、監視装置４ａの機能的構成を示すブロック図である。監視装置４ａは、通信部４１と、逆多重化部４２と、復号化部４３と、表示制御部４４と、表示部４５とを備える。
【００６９】
通信部４１は、無線通信を利用して、多重化圧縮データ３３を受信する。逆多重化部４２は、多重化圧縮データ３３を逆多重化する。カメラ１ａ，１ｂに対応する符号化データ３２ａ，３２ｂと、グループヘッダ３５とが、多重化圧縮データ３３から抽出される。
【００７０】
復号化部４３は、符号化データ３２ａ，３２ｂを復号化して復号化データ３６ａ，３６ｂを生成する。復号化データ３６ａは、非圧縮画像データ３１ａの第１ＭＢグループを構成するマクロブロックの復号画像に対応する。復号化データ３６ｂは、非圧縮画像データ３１ｂの第２ＭＢグループを構成するマクロブロックの復号画像に対応する。
【００７１】
表示制御部４４は、多重化圧縮データ３３に含まれるグループヘッダ３５に基づいて、復号化データ３６ａ、３６ｂを表示部４５に表示するタイミングを制御する。
【００７２】
｛３．２．表示タイミングの制御｝
監視装置４ａにおいて、復号化部４３の数は一つであるため、符号化データ３２ａ，３２ｂは、同時に復号化されない。復号化部４３は、符号化データ３２ａ、３２ｂを交互に符号化する。
【００７３】
具体的には、通信部４１は、多重化圧縮データ３３を継続的に受信している。監視装置４ａは、ストリームデータＳａ１，Ｓｂ１，・・・（図７参照）を受信するたびに、符号化データ３２ａ，３２ｂを抽出して復号化する。図７に示すように、多重化圧縮データ３３において、符号化データ３２ａ，３２ｂは、生成された順に交互に配列されている。したがって、符号化データ３２ａ，３２ｂは、画像符号化装置２により符号化された順に復号化される。
【００７４】
上述したように、カメラ１ａ，１ｂが生成した非圧縮画像データ３１ａ，３１ｂのフレームは、同期して画像符号化装置２に入力される。監視装置４ａ，４ｂでカメラ１ａ，１ｂの映像をリアルタイムに表示する場合、復号化データ３６ａ，３６ｂを同期して表示部４５に表示する必要がある。
【００７５】
しかし、復号化部４３が符号化データ３２ａ，３２ｂを交互に復号化して復号化データ３６ａ，３６ｂを生成するため、復号化データ３６ａ，３６ｂを表示部４５に表示可能となるタイミングにずれが生じる。このため、表示制御部４４は、復号化データ３６ａ，３６ｂが同期して表示部４５に表示されるように、復号化データ３６ａ，３６ｂを復号化部４３から出力するタイミングを制御する。
【００７６】
以下、復号化データ３６ａ，３６ｂの表示タイミングを、図９を用いて、ＭＢグループの区分単位ごとに詳しく説明する。
【００７７】
図９は、符号化データ３２ａ，３２ｂが復号化される期間を、ＭＢグループを生成した区分単位ごとに示した図である。図９において、上から順に、フレーム単位、ＭＢライン単位、及び一つのマクロブロック単位のＭＢグループを示している。太い実線は、符号化データ３２ａ，３２ｂが復号化される期間を示す。図９において、マクロブロックの符号の表示を一部省略している。
【００７８】
符号化データ３２ａ，３２ｂの復号化に要する時間（ＭＢ復号化時間）は、全てのマクロブロックで同じであると仮定する。ＭＢ復号化時間は、１マクロブロックの復号画像を表示部４５に表示するために必要な時間（ＭＢ表示時間）よりも短いと仮定する。
【００７９】
（フレーム単位でＭＢグループが生成された場合）
フレーム単位でＭＢグループが生成された場合、非圧縮画像データ３１ａのフレームＦａ、非圧縮画像データ３１ｂのフレームＦｂの順に符号化される（図４参照）。このため、フレームＦａに対応する符号化データ３２ａは、時刻Ｔ０〜Ｔ７の期間に最初に復号化される。符号化データ３２ａの復号化が終了した時刻Ｔ７の時点で、フレームＦａは、表示部４５に表示されない。これは、フレームＦａ，Ｆｂを同期して監視装置４ａの表示部４５に表示させるためである。
【００８０】
フレームＦｂに対応する符号化データ３２ｂの復号化は、時刻Ｔ７から開始される。フレームＦｂの先頭マクロブロック（マクロブロックＭｂ０）の復号化が終了する時刻Ｔ８において、表示制御部４４は、復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。この理由は、ＭＢ復号化時間がＭＢ表示時間よりも短いため、マクロブロックＭｂ０の復号化が終了した後に、符号化データ３２ｂの復号化と、マクロブロックＭｂ１〜Ｍｂ２３の復号画像の表示とを並行して行うことが可能となるためである。
【００８１】
したがって、カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ８から開始される。フレーム単位でＭＢグループが生成された場合、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ８−Ｔ０（ミリ秒）となる。
【００８２】
（ＭＢライン単位でＭＢグループが生成された場合）
上述したように、非圧縮画像データ３１ａのＭＢラインＬａ１〜Ｌａ４と、非圧縮画像データ３１ｂのＭＢラインＬｂ１〜Ｌｂ４は、ＭＢラインＬａ１，Ｌｂ１，Ｌａ２，Ｌｂ２，・・・の順に符号化される（図５参照）。このため、ＭＢラインＬａ１に対応する符号化データ３２ａが最初に復号化される。次に、ＭＢラインＬｂ１に対応する符号化データ３２ｂが復号化される。
【００８３】
図９に示すように、ＭＢラインＬａ１に対応する符号化データ３２ａは、時刻Ｔ０〜Ｔ３の期間に復号化される。ＭＢラインＬａ１，Ｌｂ１を同期表示するため、表示制御部４４は、時刻Ｔ３の時点で、ＭＢラインＬａ１を表示部４５に表示されない。
【００８４】
ＭＢラインＬｂ１に対応する符号化データ３２ｂの復号化は、時刻Ｔ３から開始される。ＭＢラインＬｂ１の先頭マクロブロック（マクロブロックＭｂ０）の復号化が終了する時刻Ｔ４に、表示制御部４４は、ＭＢラインＬａ１，Ｌｂ１に対応する復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。この理由は、時刻Ｔ８にフレームＦａ，Ｆｂの表示を開始する理由と同じである。カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ４に開始される。以下、他のＭＢラインの同期表示が、同様に実行される。ＭＢライン単位でＭＢグループが生成された場合、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ４−Ｔ０（ミリ秒）となる。
【００８５】
（マクロブロック単位でＭＢグループが構成された場合）
上述したように、非圧縮画像データ３１ａのマクロブロックＭａ０，Ｍａ１，・・・と、非圧縮画像データ３１ｂのマクロブロックＭｂ０，Ｍｂ１，・・・とが交互に符号化される（図６参照）。このため、マクロブロックＭａ０に対応する符号化データ３２ａが最初に復号化される。次に、マクロブロックＭｂ０に対応する符号化データ３２ｂが復号化される。
【００８６】
図９に示すように、マクロブロックＭａ１に対応する符号化データ３２ａは、時刻Ｔ０〜Ｔ１の期間に復号化される。マクロブロックＭａ０，Ｍｂ０を同期表示するため、表示制御部４４は、時刻Ｔ１の時点で、マクロブロックＭａ０を表示部４５に表示させない。
【００８７】
マクロブロックＭｂ０に対応する符号化データ３２ｂの復号化は、時刻Ｔ１から開始される。表示制御部４４は、マクロブロックＭｂ０の復号化が終了する時刻Ｔ２に、マクロブロックＭａ０，Ｍｂ０に対応する復号化データ３６ａ，３６ｂの出力を復号化部４３に指示する。したがって、カメラ１ａ，１ｂの映像の同期表示は、時刻Ｔ２に開始される。以下、他のマクロブロックの同期表示が、同様に実行される。この結果、多重化圧縮データ３３の復号化に伴って発生する遅延時間は、Ｔ２−Ｔ０（ミリ秒）となる。
【００８８】
図９に示すように、ＭＢグループの区分単位が細かくなるにつれて、同期表示が開始されるまでの時間が短くなる。つまり、区分単位を細かくすることにより、カメラ１ａ，１ｂの映像が表示部４５に表示されるまでの遅延時間を短くすることができる。区分単位を細かく設定した場合、多重化圧縮データ３３から符号化データ３２ａ，３２ｂを抽出する回数が増加する。このように、区分単位を細かく設定した場合、逆多重化処理などでオーバーヘッドが増加するため、監視装置４ａの負荷が増加する。
【００８９】
このため、画像符号化装置２は、非圧縮画像データ３１ａ，３１ｂの特性に応じて区分単位を設定することが望ましい。グループ生成部２１１が、非圧縮画像データ３１ａ，３１ｂの動きの大きさを検出し、検出した動きの大きさに基づいて区分単位を変更してもよい。非圧縮画像データ３１ａ，３１ｂが動きの大きい画像であれば、画像符号化装置２は、リアルタイム性を重視して、区分単位としてマクロブロックを設定する。非圧縮画像データ３１ａ，３１ｂが動きの少ない画像であれば、監視装置４ａの負荷を小さくするために、区分単位としてフレームを設定する。非圧縮画像データ３１ａ，３１ｂの動きが中間程度であれば、区分単位としてＭＢラインを設定すればよい。また、カメラ１ａ，１ｂが非圧縮画像データ３１ａ，３１ｂとともに、区分単位を指定する情報を画像符号化装置２に出力してもよい。
【００９０】
本実施の形態では、監視装置４ａがカメラ１ａ，１ｂの両者の映像を表示する例を説明した。しかし、監視装置４ａにカメラ１ａの映像のみを表示させ、監視装置４ｂにカメラ１ｂの映像のみを表示させることも可能である。この場合であっても、上述の表示タイミングの制御が実行されることにより、監視装置４ａ，４ｂにおいて、カメラ１ａ，カメラ１ｂの映像を同期表示することが可能となる。
【００９１】
たとえば、ＭＢライン単位で非圧縮画像データ３１ａ，３１ｂが符号化されていた場合、監視装置４ａの表示部４５には、時刻Ｔ４からＭＢラインＬａ１の表示が開始される。監視装置４ｂの表示部４５には、時刻Ｔ４からＭＢラインＬｂ１の表示が開始される。監視装置４ａ，４ｂで符号化データ３２ａ，３２ｂの復号化をそれぞれ行うことにより、カメラ１ａ，１ｂの映像を同期表示することができる。したがって、同期表示のために監視装置４ａ，４ｂの間で通信等を行わなくてもよい。
【００９２】
監視装置４ａは、表示対象のカメラに対応する符号化データの復号化のみを行ってもよい。監視装置４ａは、符号化データの復号化が終了し、かつ１個のマクロブロックの復号化が終了した時間が経過した後に、復号化データを表示部４５に表示させればよい。
【００９３】
［第２の実施の形態］
以下、本発明の第２の実施の形態について説明する。上記第１の実施の形態では、非圧縮画像データ３１ａ，３１ｂのマクロブロック数が同じであるときの処理を説明した。本実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが同じであるが、マクロブロック数が異なる場合を説明する。以下、上記実施の形態と共通の点についてはその説明を省略する。
【００９４】
図１０は、本実施の形態に係る非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。非圧縮画像データ３１ａのマクロブロックの構成は、図３と同様である。非圧縮画像データ３１ｂは、横４個×縦３個の１２個のマクロブロックＭｂ０〜Ｍｂ１２で構成されている。つまり、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の２倍（整数倍）となっている。
【００９５】
｛ＭＢグループの構成｝
フレーム単位及びマクロブロック単位でＭＢグループが生成される場合、ＭＢグループの生成処理は、上記第１の実施の形態と同様である。
【００９６】
ＭＢライン単位でＭＢグループが生成される場合、ＭＢグループは、画像サイズが小さい非圧縮画像データ３１ｂのＭＢラインに合わせて生成される。非圧縮画像データ３１ｂのＭＢラインにおいて、マクロブロックの数は４個である。図１０において、実線は、非圧縮画像データ３１ａ，３１ｂのマクロブロックがＭＢライン単位で区分された状態を示す。非圧縮画像データ３１ａのＭＢグループ（第１ＭＢグループ）と、非圧縮画像データ３１ｂのＭＢグループ（第２ＭＢグループ）とは、４個のマクロブロックにより構成されていることがわかる。
【００９７】
｛ＭＢグループの符号化順序の決定｝
図１０に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループの符号化順序について、区分単位ごとに説明する。
【００９８】
ＭＢグループがフレーム単位で生成された場合、上記実施の形態と同様に、フレームＦａ，Ｆｂが交互に符号化されるように符号化順序が決定される。
【００９９】
ＭＢグループがマクロブロック単位またはＭＢライン単位で生成された場合、符号化順序決定部２１２は、非圧縮画像データ３１ａ，３１ｂのマクロブロック数の比率に基づいて、符号化順序を決定する。以下、ＭＢグループがマクロブロック単位で生成されたケースを例にして符号化順序について説明する。
【０１００】
図１１は、図１０に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループをマクロブロック単位で生成した場合における符号化順序を示す図である。図１１に示すように、符号化順序決定部２１２は、マクロブロックＭａ０，Ｍａ１，Ｍｂ０，Ｍａ２，Ｍａ３，Ｍｂ１，・・・の順に符号化されるように、符号化順序を決定する。つまり、２個の第１ＭＢグループが符号化された後に、１個の第２ＭＢグループが符号化される。
【０１０１】
非圧縮画像データ３１ａと非圧縮画像データ３１ｂとのマクロブロックの比率が２：１である（図１０参照）。このため、符号化順序決定部２１２は、第１ＭＢグループと第２ＭＢグループとが２：１の比率で符号化されるように、符号化順序を決定する。ただし、マクロブロック数の少ない非圧縮画像データ３１ｂの第２ＭＢグループは、連続して符号化されないことが条件となる。
【０１０２】
監視装置４ａでは、マクロブロックＭａ０，Ｍａ１に対応する符号化データ３２ａが最初に復号化される。次に、マクロブロックＭｂ０に対応する符号化データ３２ｂが復号化される。マクロブロックＭｂ０（第２ＭＢグループの先頭マクロブロック）の復号化が終了したときに、復号化されたマクロブロックＭａ０，Ｍａ１，Ｍｂ０が表示部４５に表示される。これにより、監視装置４ａでカメラ１ａ，１ｂの映像を同期表示させる場合に、カメラ１ａ，１ｂの映像フレームの表示が開始される時間と、映像フレームの表示が完了する時間とを揃えることができる。
【０１０３】
｛マクロブロックの比率が整数倍でない場合｝
本実施の形態では、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の整数倍である場合を説明した。しかし、非圧縮画像データ３１ａのマクロブロック数が、非圧縮画像データ３１ｂのマクロブロック数の整数倍でなくてもよい。
【０１０４】
図１２は、非圧縮画像データ３１ａ，３１ｂのマクロブロックの構成を示す図である。非圧縮画像データ３１ａのマクロブロックの構成は、図３と同様である。非圧縮画像データ３１ｂは、横５個×縦３個の１５個のマクロブロックＭｂ０〜Ｍｂ１４で構成されている。非圧縮画像データ３１ａのマクロブロックの数は、非圧縮画像データ３１ｂのマクロブロック数の整数倍となっていない。
【０１０５】
図１３は、図１２に示す非圧縮画像データ３１ａ，３１ｂのＭＢグループをマクロブロック単位で生成した場合における、符号化順序を示す図である。図１３に示すように、符号化順序は、マクロブロックＭａ０，Ｍａ１，Ｍｂ０，Ｍａ２，Ｍｂ１，Ｍａ３，・・・の順となっている。つまり、マクロブロック数の少ない非圧縮画像データ３１ｂのＭＢグループが連続して符号化されることのないように、符号化順序が決定される。
【０１０６】
［第３の実施の形態］
以下、本発明の第３の実施の形態について説明する。上記第１の実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが同じであるケースを説明した。本実施の形態では、非圧縮画像データ３１ａ，３１ｂのフレームレートが異なる場合における、ＭＢグループの符号化順序の決定について説明する。符号化順序の決定以外の処理については、上記実施の形態と同様である。
【０１０７】
図１４は、非圧縮画像データ３１ａ，３１ｂの各フレームが画像符号化装置２に入力されるタイミングを示す図である。非圧縮画像データ３１ａのフレームレートを６０ｆｐｓ、非圧縮画像データ３１ｂのフレームレートを３０ｆｐｓとする。
【０１０８】
図１４に示すように、時刻Ｔ０，Ｔｆ，２Ｔｆにおいて、非圧縮画像データ３１ａのフレームＦａと、非圧縮画像データ３１ｂのフレームＦｂとが同期して画像符号化装置２に入力される。時刻０．５Ｔｆ，１．５Ｔｆ，２．５Ｔｆに、フレームＦａのみが画像符号化装置２に入力される。ここで、フレームＦｂに同期しているフレームＦａを、フレームＦａ０とする。フレームＦｂと同期しないフレームＦａを、フレームＦａ１とする。
【０１０９】
図１５は、非圧縮画像データ３１ａ，３１ｂのフレームレートが異なる場合における、符号化順序の一例を示す図である。図１５は、ＭＢライン単位でＭＢグループが生成された場合における符号化順序を示している。
【０１１０】
まず、符号化順序決定部２１２は、同期して入力されたフレームＦａ０，ＦｂがＭＢラインごとに交互に符号化されるように、ＭＢラインの符号化順序を決定する。具体的には、フレームＦａ０に対応するＭＢラインＬａ１が最初に符号化される。次に、フレームＦｂに対応するＭＢラインＬｂ１が符号化される。以下、フレームＦａ０，ＦｂのＭＢラインが交互に符号化される。
【０１１１】
フレームＦｂのＭＢラインＭｂ４の符号化が終了した後に、フレームＦａ１のＭＢラインＬａ１〜Ｌａ４が符号化される。この結果、同期して画像符号化装置２に入力されたフレームＦａ０，Ｆｂを、監視装置４ａ，４ｂで同期して表示させることができる。
【０１１２】
［第４の実施の形態］
以下、本発明の第４の実施の形態について説明する。本実施の形態において、画像伝送システム１００は、監視装置４ａ，４ｂに代えて、モニタ管理装置６を用いる。
【０１１３】
図１６は、モニタ管理装置６の機能的構成を示すブロック図である。モニタ管理装置６及びモニタ６１ａ，６１ｂは、カメラ１ａ，１ｂが設置されたＡＴＭコーナーを遠隔監視するモニタ室に設置される。モニタ管理装置６と、モニタ６１ａ，６１ｂとは、映像伝送用のケーブルで接続されている。
【０１１４】
モニタ管理装置６は、通信部４１と、逆多重化部４２と、復号化部４３と、出力制御部６２とを備える。モニタ管理装置６は、多重化圧縮データ３３を受信し、多重化圧縮データ３１の逆多重化及び復号化を行う。多重化圧縮データ３３の逆多重化及び復号化は、上記実施の形態と同様に行われる。
【０１１５】
出力制御部６２は、カメラ１ａに対応する復号化データ３６ａをモニタ６１ａに出力し、カメラ１ｂに対応する復号化データ３６ｂをモニタ６１ｂに出力する。このとき、出力制御部４２は、監視装置４ａ，４ｂと同様に、カメラ１ａ，１ｂに表示される映像が同期するように、復号化データ３６ａ，３６ｂを出力するタイミングを制御する。このように、モニタ管理装置６を用いることによって、カメラ１ａ，１ｂの映像を複数のモニタに同期して表示させることができる。
【０１１６】
上記実施の形態では、二つの画像データ（非圧縮画像データ３１ａ，３１ｂ）が画像符号化装置２に入力される例を説明した。しかし、画像符号化装置２に入力される非圧縮画像データの数は、三つ以上でもよい。この場合、入力された非圧縮画像データごとにＭＢグループが生成される。画像符号化装置は、各非圧縮画像データのＭＢグループが順番に符号化されるように符号化順序を決定する。
【０１１７】
上記実施の形態では、フレームが同期した非圧縮画像データ３１ａ，３１ｂがカメラ１ａ，１ｂから画像符号化装置２に入力される例を説明した。しかし、画像符号化装置２が、自装置の内部で、フレームが同期した非圧縮画像データ３１ａ，３１ｂを生成してもよい。
【符号の説明】
【０１１８】
１ａ，１ｂ カメラ
２ 画像符号化装置
４ａ，４ｂ 監視装置
６ モニタ管理装置
２１ 符号化制御部
２２ 符号化部
２３ 多重化部
２４，４１ 通信部
４２ 逆多重化部
４３ 復号化部
４４ 表示制御部
４５ 表示部
６１ａ，６１ｂ モニタ
６２ 出力制御部
２１１ グループ生成部
２１２ 符号化順序決定部
【特許請求の範囲】
【請求項１】
第１画像データと第２画像データとを圧縮する画像符号化装置であって、
設定された区分単位に基づいて、前記第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、前記第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部と、
第１符号化グループと第２符号化グループとが交互に繰り返されるように、前記第１マクロブロック及び前記第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、
前記符号化順序に基づいて、第１符号化グループごとに前記第１マクロブロックを符号化し、前記第２符号化グループごとに前記第２マクロブロックを符号化する符号化部と、
符号化された前記第１マクロブロック及び前記第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、
を備える画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記符号化順序決定部は、前記第１マクロブロックの数が前記第２マクロブロックの数よりも多い場合、前記第１符号化グループが連続するように符号化順序を決定することを許可する画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記符号化順序決定部は、前記第１マクロブロックの数と前記第２マクロブロックの数との比率に基づいて、前記符号化順序を決定する画像符号化装置。
【請求項４】
請求項１に記載の画像符号化装置において、
前記第１画像データと前記第２画像データとは、フレームレートが互いに異なり、
前記符号化順序決定部は、前記第１画像データの第１フレームと前記第２画像データの第２フレームとが同期して入力された場合、前記第１フレームに対応する第１符号化グループと前記第２フレームに対応する第２符号化グループとが交互に繰り返されるように、前記符号化順序を決定する画像符号化装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像符号化装置において、
前記グループ生成部は、前記第１画像データの特性及び前記第２画像データの特性に応じて、前記区分単位を変更する画像符号化装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像符号化装置において、
前記区分単位が、フレーム単位で前記グループ生成部に設定されている画像符号化装置。
【請求項７】
請求項１ないし請求項５のいずれかに記載の画像符号化装置において、
前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている画像符号化装置。
【請求項８】
請求項１ないし請求項５のいずれかに記載の画像符号化装置において、
前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている画像符号化装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像符号化装置と、
画像復号化装置と、
を備え、
前記画像符号化装置は、さらに、
前記多重化圧縮データを前記画像復号化装置に送信する送信部、
を備え、
前記画像復号化装置は、
前記多重化圧縮データを受信する受信部と、
符号化された前記第１マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部と、
符号化された前記第１マクロブロックを抽出された順に復号化する復号化部と、
前記第１マクロブロックの復号化画像データと、前記第２マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第１マクロブロックの復号化画像データを第１表示装置に出力する出力制御部と、
を備える画像伝送システム。
【請求項１０】
請求項９に記載の画像伝送システムにおいて、
前記逆多重化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、
前記復号化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを抽出された順に復号化する画像伝送システム。
【請求項１１】
請求項１０に記載の画像伝送システムにおいて、
前記出力制御部は、前記第１マクロブロックの復号化画像データを前記第１表示装置へ出力し、前記第２マクロブロックの復号化画像データを第２表示装置へ出力する画像伝送システム。
【請求項１２】
第１〜第Ｎ画像データを圧縮する画像符号化装置であって、
ｋを１からＮまでの自然数とした場合において、設定された区分単位に基づいて第ｋ画像データの第ｋマクロブロックを区分して、第ｋ符号化グループを生成するグループ生成部と、
第１符号化グループから第ｎ符号化グループまでが交互に繰り返されるように、第１マクロブロックから第ｎマクロブロックを符号化する符号化順序を決定する符号化順序決定部と、
前記符号化順序に基づいて、前記第ｋ符号化グループごとに前記第ｋマクロブロックを符号化する符号化部と、
符号化された前記第ｋマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、
を備える画像符号化装置。
【請求項１】
第１画像データと第２画像データとを圧縮する画像符号化装置であって、
設定された区分単位に基づいて、前記第１画像データの第１マクロブロックを区分して第１符号化グループを生成し、前記第２画像データの第２マクロブロックを区分して第２符号化グループを生成するグループ生成部と、
第１符号化グループと第２符号化グループとが交互に繰り返されるように、前記第１マクロブロック及び前記第２マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、
前記符号化順序に基づいて、第１符号化グループごとに前記第１マクロブロックを符号化し、前記第２符号化グループごとに前記第２マクロブロックを符号化する符号化部と、
符号化された前記第１マクロブロック及び前記第２マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、
を備える画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記符号化順序決定部は、前記第１マクロブロックの数が前記第２マクロブロックの数よりも多い場合、前記第１符号化グループが連続するように符号化順序を決定することを許可する画像符号化装置。
【請求項３】
請求項２に記載の画像符号化装置において、
前記符号化順序決定部は、前記第１マクロブロックの数と前記第２マクロブロックの数との比率に基づいて、前記符号化順序を決定する画像符号化装置。
【請求項４】
請求項１に記載の画像符号化装置において、
前記第１画像データと前記第２画像データとは、フレームレートが互いに異なり、
前記符号化順序決定部は、前記第１画像データの第１フレームと前記第２画像データの第２フレームとが同期して入力された場合、前記第１フレームに対応する第１符号化グループと前記第２フレームに対応する第２符号化グループとが交互に繰り返されるように、前記符号化順序を決定する画像符号化装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像符号化装置において、
前記グループ生成部は、前記第１画像データの特性及び前記第２画像データの特性に応じて、前記区分単位を変更する画像符号化装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像符号化装置において、
前記区分単位が、フレーム単位で前記グループ生成部に設定されている画像符号化装置。
【請求項７】
請求項１ないし請求項５のいずれかに記載の画像符号化装置において、
前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている画像符号化装置。
【請求項８】
請求項１ないし請求項５のいずれかに記載の画像符号化装置において、
前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている画像符号化装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画像符号化装置と、
画像復号化装置と、
を備え、
前記画像符号化装置は、さらに、
前記多重化圧縮データを前記画像復号化装置に送信する送信部、
を備え、
前記画像復号化装置は、
前記多重化圧縮データを受信する受信部と、
符号化された前記第１マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部と、
符号化された前記第１マクロブロックを抽出された順に復号化する復号化部と、
前記第１マクロブロックの復号化画像データと、前記第２マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第１マクロブロックの復号化画像データを第１表示装置に出力する出力制御部と、
を備える画像伝送システム。
【請求項１０】
請求項９に記載の画像伝送システムにおいて、
前記逆多重化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、
前記復号化部は、符号化された前記第１マクロブロック及び前記第２マクロブロックを抽出された順に復号化する画像伝送システム。
【請求項１１】
請求項１０に記載の画像伝送システムにおいて、
前記出力制御部は、前記第１マクロブロックの復号化画像データを前記第１表示装置へ出力し、前記第２マクロブロックの復号化画像データを第２表示装置へ出力する画像伝送システム。
【請求項１２】
第１〜第Ｎ画像データを圧縮する画像符号化装置であって、
ｋを１からＮまでの自然数とした場合において、設定された区分単位に基づいて第ｋ画像データの第ｋマクロブロックを区分して、第ｋ符号化グループを生成するグループ生成部と、
第１符号化グループから第ｎ符号化グループまでが交互に繰り返されるように、第１マクロブロックから第ｎマクロブロックを符号化する符号化順序を決定する符号化順序決定部と、
前記符号化順序に基づいて、前記第ｋ符号化グループごとに前記第ｋマクロブロックを符号化する符号化部と、
符号化された前記第ｋマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、
を備える画像符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１７６７０９（Ｐ２０１１−１７６７０９Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−４０３１４（Ｐ２０１０−４０３１４）
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]