画像処理装置
【課題】特殊効果処理を施された画像の再生に要する負荷を低減できる画像処理装置を提供する。
【解決手段】取り込み手段１は、複数の画像を取り込む。第１作成手段２は、第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを取り込み手段１によって取り込まれた複数の画像に基づいて作成する。処理手段３は、取り込み手段１によって取り込まれた画像に特殊効果処理を施す。第２作成手段４は、処理手段３によって処理された画像のうち第１作成手段２によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する。代替手段５は、第２作成手段４によって作成された第２イントラ符号化画像を第１作成手段２によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる。
【解決手段】取り込み手段１は、複数の画像を取り込む。第１作成手段２は、第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを取り込み手段１によって取り込まれた複数の画像に基づいて作成する。処理手段３は、取り込み手段１によって取り込まれた画像に特殊効果処理を施す。第２作成手段４は、処理手段３によって処理された画像のうち第１作成手段２によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する。代替手段５は、第２作成手段４によって作成された第２イントラ符号化画像を第１作成手段２によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に監視カメラシステムを構成する符号化装置に適用され、外部から取り込まれた画像に特殊効果処理を施す、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、カメラ部で撮影する範囲内にプライバシに関係する画像部分Ｐが存在する場合、画像部分Ｐの位置情報が映像信号と共に画像受信装置に伝送される。伝送された画像部分Ｐの位置情報はエリア位置データ記憶部に記憶され、伝送された映像信号は記録部に記録される。記録部から再生された映像信号は、エリア位置データ記憶部に記憶された位置情報を参照したマスク処理を施される。この結果、映像は、画像部分Ｐがマスクされた状態でモニタに表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８０６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、画像部分Ｐを継続的にマスクしようとすると、再生された映像信号に共通のマスク処理を継続的に施す必要があり、これによって負荷が増大するおそれがある。
【０００５】
それゆえに、この発明の主たる目的は、特殊効果処理を施された画像の再生に要する負荷を低減できる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、複数の画像を取り込む取り込み手段(12, 14)、第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを取り込み手段によって取り込まれた複数の画像に基づいて作成する第１作成手段(24)、取り込み手段によって取り込まれた画像に特殊効果処理を施す処理手段(16)、処理手段によって処理された画像のうち第１作成手段によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する第２作成手段(28)、および第２作成手段によって作成された第２イントラ符号化画像を第１作成手段によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる代替手段(S11, S13)を備える。
【０００７】
好ましくは、代替手段によって挿入された第２イントラ符号化画像を含むデータストリームを外部装置(40)に送信する第１送信手段(S25)、および代替手段によって抜き取られた第１イントラ符号化画像を第１送信手段の送信処理に関連して外部装置に送信する第２送信手段(S27)がさらに備えられる。
【０００８】
好ましくは、第１作成手段は第１イントラ符号化画像に現在時刻を示す第１時刻情報を割り当てる第１時刻情報割り当て手段(24t)を含み、第２作成手段は第２イントラ符号化画像に現在時刻を示す第２時刻情報を割り当てる第２時刻情報割り当て手段(28t)を含む。
【０００９】
好ましくは、取り込み手段によって取り込まれる複数の画像は共通の被写界を表し、特殊効果処理はマスク処理に相当する。
【００１０】
好ましくは、取り込み手段によって取り込まれる画像は監視カメラから出力された画像に相当する。
【００１１】
好ましくは、第２作成手段はＪＰＥＧ方式に従って符号化処理を実行する。
【発明の効果】
【００１２】
この発明によれば、データストリームを復号すると、第２イントラ符号化画像に対応する復号画像に加えて、インター符号化画像に対応する復号画像も、特殊効果処理の影響を受ける。特殊効果は、復号された複数の画像に継続的に現れる。これによって、特殊効果処理を施された画像の再生に要する負荷を低減できる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】監視ゾーンの一例を示す図解図である。
【図４】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図５】（Ａ）はマスク処理を施されていない入力画像の一例を示す図解図であり、（Ｂ）はマスク処理を施された入力画像の一例を示す図解図であり、
【図６】（Ａ）はデータストリームの一例を示す図解図であり、（Ｂ）はデータストリームと並列して作成されるＪＰＥＧデータの一例を示す図解図であり、（Ｃ）は修正データストリームの一例を示す図解図であり、（Ｄ）は修正データストリームと並列して作成されるマスク解除データの一例を示す図解図である。
【図７】図２実施例から送信された符号化データを復号する復号装置の一例を示すブロック図である。
【図８】図７実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１１】図７実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１６】
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段１は、複数の画像を取り込む。第１作成手段２は、第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを取り込み手段１によって取り込まれた複数の画像に基づいて作成する。処理手段３は、取り込み手段１によって取り込まれた画像に特殊効果処理を施す。第２作成手段４は、処理手段３によって処理された画像のうち第１作成手段２によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する。代替手段５は、第２作成手段４によって作成された第２イントラ符号化画像を第１作成手段２によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる。
【００１７】
したがって、データストリームを復号すると、第２イントラ符号化画像に対応する復号画像に加えて、インター符号化画像に対応する復号画像も、特殊効果処理の影響を受ける。特殊効果は、復号された複数の画像に継続的に現れる。これによって、特殊効果処理を施された画像の再生に要する負荷を低減できる。
［実施例］
【００１８】
図２を参照して、この実施例の符号化装置１０は、監視カメラ（図示せず）から周期的に出力されたコンポジット画像データを入力する入力端子Ｔ１と、マイクロフォン（図示せず）から連続的に出力された音声データを入力する入力端子Ｔ２とを含む。監視カメラは図３に示す監視ゾーンの天井に設けられ、マイクロフォンは監視カメラの近傍に設けられる。
【００１９】
監視カメラの撮像面は壁面に掛けられた絵画ＰＩＣを捉え、監視カメラから出力されるコンポジット画像データは図３に示す撮像枠ＦＰ内の物体（具体的には壁面の一部と絵画ＰＩＣ）を表す。コンポジット画像データはまた、同期信号が重畳された状態で、かつ飛び越し走査態様で監視カメラから出力される。
【００２０】
画像入力回路１２は、入力端子Ｔ１からコンポジット画像データを取り込み、コンポジット画像データから画像データを抽出するとともに、コンポジット画像データに重畳された同期信号に基づいて垂直同期信号Ｖｓｙｎｃ１を生成する。垂直同期信号Ｖｓｙｎｃ１は、１フレームに１回の割合で生成され、Ｈ２６４エンコーダ２４およびＣＰＵ３２に与えられる。
【００２１】
Ｉ／Ｐ変換回路１４は、画像入力回路１２から抽出された画像データの走査態様を飛び越し走査態様から順次走査態様に変換する。変換された走査態様を有する画像データは、メモリ制御回路２０によってＳＤＲＡＭ２２の入力画像エリア２２ａ（図４参照）に書き込まれるとともに、マスク処理回路１６によるマスク処理を経た後、メモリ制御回路２０によってＳＤＲＡＭ２２の入力画像エリア２２ｂ（図４参照）に書き込まれる。
【００２２】
マスク処理は、絵画ＰＩＣを表す一部の画像をマスクするために実行される。この結果、入力画像エリア２２ａに格納された画像データは図５（Ａ）に示す画像を表す一方、入力画像エリア２２ｂに格納された画像データは図５（Ｂ）に示す画像を表す。
【００２３】
入力端子Ｔ２から入力された音声データは、音声入力回路１８による既定の音声処理を経た後、メモリ制御回路２０によってＳＤＲＡＭ２２の音声入力エリア２２ｃ（図４参照）に書き込まれる。
【００２４】
ＣＰＵ３２は、符号化制御タスクの下でＨ２６４エンコーダ２４を継続的に起動する。起動されたＨ２６４エンコーダ２４は、垂直同期信号Ｖｓｙｎｃ１が与えられる毎にメモリ制御回路２０を通して入力画像エリア２２ａから画像データを読み出し、読み出された画像データをＨ２６４方式で符号化する。符号化画像データつまりＨ２６４データは、イントラ符号化ピクチャ（＝Ｉピクチャ）およびインター符号化ピクチャ（＝ＰピクチャまたはＢピクチャ）が混在したデータストリームである。また、データストリームは複数のＧＯＰ(Group Of Pictures)によって形成され、各ＧＯＰは先頭のＩピクチャとこれに続く複数のＰピクチャおよび／またはＢピクチャによって形成される。
【００２５】
時計回路２６は、現在時刻を示すタイムコードをＨ２６４エンコーダ２４に与える。Ｈ２６４エンコーダ２４に設けられたタイムスタンプ回路２４ｔは、与えられたタイムコードに対応するタイムスタンプを生成し、生成されたタイムスタンプを上述したＩピクチャ，ＰピクチャおよびＢピクチャの各々に割り当てる。
【００２６】
ＣＰＵ３２は、現フレームがＧＯＰの先頭フレームに相当するとき、つまり現フレームのＨ２６４データがＩピクチャに相当するとき、ＳＤＲＡＭ２２の退避エリア２２ｅ（図４参照）を現フレームのＨ２６４データの書き込み先として指定する。ＣＰＵ３２はまた、現フレームがＧＯＰの先頭フレームと異なるフレームに相当するとき、つまり現フレームのＨ２６４データがＰピクチャまたはＢピクチャに相当するとき、ＳＤＲＡＭ２２のＨ２６４エリア２２ｄ（図４参照）を現フレームのＨ２６４データの書き込み先として指定する。
【００２７】
したがって、Ｈ２６４エンコーダ２４から出力されたデータストリームのうち、Ｉピクチャはメモリ制御回路２０を経て退避エリア２２ｅに書き込まれ、ＰピクチャおよびＢピクチャはメモリ制御回路２０を経てＨ２６４エリア２２ｄに書き込まれる。
【００２８】
ＣＰＵ３２はまた、Ｈ２６４エンコーダ２４によるＩピクチャの生成処理に対応して、ＪＰＥＧエンコーダ２８を一時的に起動する。起動されたＪＰＥＧエンコーダ２８は、メモリ制御回路２０を通して入力画像エリア２２ｂから画像データを読み出し、読み出された画像データをＪＰＥＧ方式で符号化する。符号化画像データつまりＪＰＥＧデータは、イントラ符号化ピクチャ（＝Ｉピクチャ）に相当する。
【００２９】
時計回路２６によって生成されたタイムコードは、ＪＰＥＧエンコーダ２８にも与えられる。タイムコードに対応するタイムスタンプは、ＪＰＥＧエンコーダ２８に設けられたタイムスタンプ回路２８ｔによって生成され、ＪＰＥＧデータ（＝Ｉピクチャ）に割り当てられる。
【００３０】
ＪＰＥＧエンコーダ２８はＨ２６４エンコーダ２４によるＩピクチャの生成処理に対応してＩピクチャを作成するため、タイムスタンプの値はＨ２６４エンコーダ２４によって作成されたＩピクチャとＪＰＥＧエンコーダ２８によって作成されたＩピクチャとの間で一致する。
【００３１】
ＣＰＵ３２は、こうして生成されたＪＰＥＧデータの書き込み先としてＨ２６４エリア２２ｄを指定する。したがって、ＪＰＥＧエンコーダ２８から出力されたＪＰＥＧデータは、メモリ制御回路２０によってＨ２６４エリア２２ｄに書き込まれる。
【００３２】
データストリームが図６（Ａ）に示すタイミングでＨ２６４エンコーダ２４から出力されるとき、ＪＰＥＧデータは図６（Ｂ）に示すタイミングでＪＰＥＧエンコーダ２８から出力される。データストリームおよびＪＰＥＧデータの書き込み先は、ＣＰＵ３２によって上述の要領で指定される。このため、Ｈ２６４エリア２２ｄには、ＪＰＥＧエンコーダ２８によって生成されたＩピクチャが代替的に挿入された修正データストリームが、図６（Ｃ）に示す要領で書き込まれる。また、退避エリア２２ｅには、データストリームから図６（Ｄ）に示す要領で抜き取られたＩピクチャが、マスク解除データとして書き込まれる。
【００３３】
符号化制御タスクと並列する通信制御タスクの下で、ＣＰＵ３２は、Ｈ２６４エリア２２ｄの空き容量が閾値ＴＨを下回る毎に、既定ＧＯＰ数に相当する修正データストリームとこれに対応するマスク解除データおよび音声データの送信を通信Ｉ／Ｆ３０に要求する。
【００３４】
通信Ｉ／Ｆ３０は、指定された修正データストリーム，マスク解除データおよび音声データをメモリ制御回路２０を通してＨ２６４エリア２２ｄ，退避エリア２２ｅおよび入力音声エリア２２ｃから読み出し、読み出された修正データストリーム，マスク解除データおよび音声データを通信ネットワークに接続された出力端子Ｔ３から送出する。
【００３５】
送出された修正データストリーム，マスク解除データおよび音声データは、図７に示す復号装置４０の入力端子Ｔ４を経て通信Ｉ／Ｆ４２に与えられる。通信Ｉ／Ｆ４２は、与えられた修正データストリーム，マスク解除データおよび音声データを、メモリ制御回路４４を通してＳＤＲＡＭ４６に書き込む。図８を参照して、修正データストリームはＨ２６４エリア４６ａに書き込まれ、マスク解除データは拡張エリア４６ｂに書き込まれ、そして音声データは入力音声エリア４６ｃに書き込まれる。
【００３６】
音声出力回路５４は、入力音声エリア４６ｃに格納された音声データをメモリ制御回路を通して読み出し、読み出された音声データに基づいてスピーカ５６を駆動する。この結果、監視ゾーンで発生した音声がスピーカ５６から出力される。
【００３７】
ＣＰＵ５８は、復号制御タスクの下でＨ２６４デコーダ４８を継続的に起動し、図示しないＳＧ(Signal Generator)から垂直同期信号Ｖｓｙｎｃ２が発生される毎に今回の復号対象がＩピクチャ，ＰピクチャおよびＢピクチャのいずれであるかを判別する。
【００３８】
復号対象がＩピクチャであれば、マスク設定が有効であるか否かが判別される。キー入力装置６０の操作によってマスク設定が有効化されていれば、ＣＰＵ５８は、Ｈ２６４エリア４６ａを復号対象の読み出し先として指定する。一方、キー入力装置５４の操作によってマスク設定が無効化されていれば、ＣＰＵ５８は、拡張エリア４６ｂを復号対象の読み出し先として指定する。
【００３９】
Ｈ２６４デコーダ４８は、修正データストリームまたはマスク解除データに割り当てられたタイムスタンプを参照して復号対象であるＩピクチャを特定し、特定されたＩピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａまたは拡張エリア４６ｂから読み出す。Ｈ２６４デコーダ４８はさらに、読み出されたＩピクチャを復号し、復号画像データをメモリ制御回路４４を通してＳＤＲＡＭ４６の復号画像エリア４６ｄ（図８参照）に書き込む。
【００４０】
復号対象がＰピクチャまたはＢピクチャであれば、ＣＰＵ５８は、Ｈ２６４エリア４６ａを復号対象の読み出し先として指定する。Ｈ２６４デコーダ４８は、修正データストリームに割り当てられたタイムスタンプを参照して復号対象であるＰピクチャまたはＢピクチャを特定し、特定されたＰピクチャまたはＢピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａから読み出す。Ｈ２６４デコーダ４８はさらに、読み出されたＰピクチャまたはＢピクチャを復号し、復号画像データをメモリ制御回路４４を通して復号画像エリア４６ｄに書き込む。
【００４１】
マスク設定が有効であれば、修正データストリームを形成するＩピクチャ，ＰピクチャおよびＢピクチャがＨ２６４デコーダ４８によって復号される。図６（Ａ）〜図６（Ｃ）から分かるように、修正データストリームを形成するＩピクチャはマスク処理を施された画像データに対応し、ＰピクチャおよびＢピクチャはこのようなＩピクチャを参照しつつ復号される。このため、Ｉピクチャに基づく復号画像データだけでなく、Ｐピクチャに基づく復号画像データおよびＢピクチャに基づく復号画像データもまた、マスク処理の影響を受ける。
【００４２】
これに対して、マスク設定が無効であれば、Ｈ２６４デコーダ４８は、修正データストリームを形成するＩピクチャをマスク解除データに代替させ、これによって復旧されたデータストリームを復号する。図６（Ａ）から分かるように、復旧されたデータストリームを形成するＩピクチャ，ＰピクチャおよびＢピクチャはマスク処理を施されていない画像データに対応する。このため、復旧されたデータストリームに基づく復号画像データはマスク処理の影響を免れる。
【００４３】
ＬＣＤドライバ５０は、このような復号画像データをメモリ制御回路４４を通して復号画像エリア４６ｄから読み出し、読み出された復号画像データに基づいてＬＣＤモニタ５２を駆動する。この結果、マスク設定が有効であれば絵画ＰＩＣがマスクされた監視画像がモニタ画面に表示され、マスク設定が無効であれば絵画ＰＩＣが現れた監視画像がモニタ画面に表示される。
【００４４】
符号化装置１０に設けられたＣＰＵ３２によって実行される符号化制御タスクおよび通信制御タスクは、具体的には図９および図１０に示すように構成される。また、これらのタスクに対応する制御プログラムは、図２に示すフラッシュメモリ３４に記憶される。
【００４５】
図９を参照して、ステップＳ１ではＨ２６４エンコーダ２４を継続的に起動し、ステップＳ３では画像入力回路１２から垂直同期信号Ｖｓｙｎｃ１が与えられたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進み、現フレームがＧＯＰの先頭フレームであるか否かを判別する。
【００４６】
現フレームがＧＯＰの先頭フレームと異なるフレームであればステップＳ５からステップＳ７に進み、現フレームのＨ２６４データの書き込み先としてＨ２６４エリア２２ｄを指定する。指定処理が完了すると、ステップＳ３に戻る。
【００４７】
Ｈ２６４エンコーダ２４は、メモリ制御回路２０を通して入力画像エリア２２ａから１フレームの画像データを読み出し、読み出された画像データをＨ２６４方式で符号化し、そしてＨ２６４データ（＝ＰピクチャまたはＢピクチャ）をメモリ制御回路２０を通してＨ２６４エリア２２ｄに書き込む。
【００４８】
現フレームがＧＯＰの先頭フレームであればステップＳ５からステップＳ９に進み、ＪＰＥＧエンコーダ２８を一時的に起動する。ステップＳ１１では現フレームのＪＰＥＧデータの書き込み先としてＨ２６４エリア２２ｄを指定し、ステップＳ１３では現フレームのＨ２６４データの書き込み先として退避エリア２２ｅを指定する。ステップＳ１３の処理が完了すると、ステップＳ３に戻る。
【００４９】
ＪＰＥＧエンコーダ２８は、メモリ制御回路２０を通して入力画像エリア２２ｂから１フレームの画像データを読み出し、読み出された画像データをＪＰＥＧ方式で符号化し、そしてＪＰＥＧデータ（＝Ｉピクチャ）をメモリ制御回路２０を通してＨ２６４エリア２２ｄに書き込む。Ｈ２６４エンコーダ２４は、メモリ制御回路２０を通して入力画像エリア２２ａから１フレームの画像データを読み出し、読み出された画像データをＨ２６４方式で符号化し、そしてＨ２６４データ（＝Ｉピクチャ）をメモリ制御回路２０を通して退避エリア２２ｅに書き込む。
【００５０】
図１０を参照して、ステップＳ２１ではＨ２６４エリア２２ｄの空き容量を検出し、ステップＳ２３では検出された空き容量が閾値ＴＨを下回るか否かを判別する。判別結果がＮＯであればそのままステップＳ２１に戻り、判別結果がＹＥＳであればステップＳ２５〜Ｓ２９の処理を経てステップＳ２１に戻る。
【００５１】
ステップＳ２５では、既定ＧＯＰ数に相当する修正Ｈ２６４データの送信を通信Ｉ／Ｆ３０に要求する。ステップＳ２７では、ステップＳ２５で指定された修正Ｈ２６４データに対応するマスク解除データの送信を通信Ｉ／Ｆ３０に要求する。ステップＳ２９では、ステップＳ２５で指定された修正Ｈ２６４データに対応する音声データの送信を通信Ｉ／Ｆ３０に要求する。
【００５２】
通信Ｉ／Ｆ３０は、ステップＳ２５〜Ｓ２９で指定された修正Ｈ２６４データ，マスク解除データおよび音声データをメモリ制御回路２０を通してＨ２６４エリア２２ｄ，退避エリア２２ｅおよび入力音声エリア２２ｃから読み出し、読み出された修正Ｈ２６４データ，マスク解除データおよび音声データを出力端子Ｔ３から送出する。
【００５３】
復号装置４０に設けられたＣＰＵ５８によって実行される復号制御タスクは、具体的には図１１に示すように構成される。このタスクに対応する制御プログラムは、図７に示すフラッシュメモリ６２に記憶される。
【００５４】
図１１を参照して、ステップＳ３１ではＨ２６４デコーダ４８を継続的に起動し、ステップＳ３３では垂直同期信号Ｖｓｙｎｃ２が図示しないＳＧ(Signal Generator)から発生されたか否かを判別する。垂直同期信号Ｖｓｙｎｃ２が発生するとステップＳ３５に進み、今回の復号対象がＩピクチャであるか否かを判別する。判別結果がＮＯであれば、つまり復号対象がＰピクチャまたはＢピクチャであれば、ステップＳ３５からステップＳ３７に進み、Ｈ２６４エリア４６ａを復号対象の読み出し先として指定する。指定処理が完了すると、ステップＳ３３に戻る。
【００５５】
Ｈ２６４デコーダ４８は、復号対象であるＰピクチャまたはＢピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａから読み出し、読み出されたＰピクチャまたはＢピクチャを復号し、そして復号画像データをメモリ制御回路４４を通して復号画像エリア４６ｄに書き込む。
【００５６】
ステップＳ３５の判別結果がＹＥＳであれば、つまり復号対象がＩピクチャであれば、ステップＳ３５からステップＳ３９に進み、マスク設定が有効であるか否かを判別する。キー入力装置５４の操作によってマスク設定が有効化されていればステップＳ４１に進み、キー入力装置５４の操作によってマスク設定が無効化されていればステップＳ４３に進む。ステップＳ４１ではＨ２６４エリア４６ａを復号対象の読み出し先として指定し、ステップＳ４３では拡張エリア４６ｂを復号対象の読み出し先として指定する。このような指定処理が完了すると、ステップＳ３３に戻る。
【００５７】
Ｈ２６４デコーダ４８は、復号対象であるＩピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａまたは拡張エリア４６ｂから読み出し、読み出されたＩピクチャを復号し、復号された画像データをメモリ制御回路４４を通して復号画像エリア４６ｄに書き込む。
【００５８】
以上の説明から分かるように、Ｉ／Ｐ変換回路１４は、画像入力回路１２によって周期的に入力された画像データの走査態様をと飛び越し走査態様から順次走査態様に変換する。Ｈ２６４エンコーダ２４は、イントラ符号化ピクチャとインター符号化ピクチャとが混在したデータストリームをＩ／Ｐ変換回路１４から出力された画像データに基づいて作成する。マスク処理回路１６は、Ｉ／Ｐ変換回路１４から出力された画像データにマスク処理を施す。ＪＰＥＧエンコーダ２８は、マスク処理を施された画像データのうちＨ２６４エンコーダ２４によって作成されたイントラ符号化ピクチャに対応する一部の画像データに基づいてイントラ符号化ピクチャを作成する。ＣＰＵ３２は、ＪＰＥＧエンコーダ２８によって作成されたイントラ符号化ピクチャをＨ２６４エンコーダ２４によって作成されたデータストリームを形成するイントラ符号化ピクチャに代替させる。
【００５９】
したがって、Ｈ２６４エンコーダ２４によって作成されたデータストリームを復号すると、イントラ符号化ピクチャに対応する復号画像に加えて、インター符号化ピクチャに対応する復号画像も、マスク処理の影響を受ける。マスク効果は、複数フレームの復号画像に継続的に現れる。これによって、マスク処理を施された画像の再生に要する負荷を低減できる。また、マスク効果は、ＣＰＵ３２によってデータストリームから抜き取られたイントラ符号化ピクチャを元に戻すことで解除される。これによって、マスク効果の設定／解除に関する柔軟性が向上する。
【００６０】
なお、この実施例では、Ｈ２６４エンコーダ２４およびＪＰＥＧエンコーダ２８を符号化装置１０に設け、マスク処理を施された画像データをＪＰＥＧエンコーダ２８によって符号化するようにしている。しかし、ＪＰＥＧエンコーダ２８に代えて別のＨ２６４エンコーダを設け、マスク処理を施された画像データをこのＨ２６４エンコーダによって符号化し、これによって生成されたＩピクチャを利用して修正データストリームを作成するようにしてもよい。
【符号の説明】
【００６１】
１０ …符号化装置
１４ …画像入力回路
１８ …マスク処理回路
２４ …Ｈ２６４エンコーダ
２８ …ＪＰＥＧエンコーダ
３２ …ＣＰＵ
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に監視カメラシステムを構成する符号化装置に適用され、外部から取り込まれた画像に特殊効果処理を施す、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、カメラ部で撮影する範囲内にプライバシに関係する画像部分Ｐが存在する場合、画像部分Ｐの位置情報が映像信号と共に画像受信装置に伝送される。伝送された画像部分Ｐの位置情報はエリア位置データ記憶部に記憶され、伝送された映像信号は記録部に記録される。記録部から再生された映像信号は、エリア位置データ記憶部に記憶された位置情報を参照したマスク処理を施される。この結果、映像は、画像部分Ｐがマスクされた状態でモニタに表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８０６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、画像部分Ｐを継続的にマスクしようとすると、再生された映像信号に共通のマスク処理を継続的に施す必要があり、これによって負荷が増大するおそれがある。
【０００５】
それゆえに、この発明の主たる目的は、特殊効果処理を施された画像の再生に要する負荷を低減できる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、複数の画像を取り込む取り込み手段(12, 14)、第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを取り込み手段によって取り込まれた複数の画像に基づいて作成する第１作成手段(24)、取り込み手段によって取り込まれた画像に特殊効果処理を施す処理手段(16)、処理手段によって処理された画像のうち第１作成手段によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する第２作成手段(28)、および第２作成手段によって作成された第２イントラ符号化画像を第１作成手段によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる代替手段(S11, S13)を備える。
【０００７】
好ましくは、代替手段によって挿入された第２イントラ符号化画像を含むデータストリームを外部装置(40)に送信する第１送信手段(S25)、および代替手段によって抜き取られた第１イントラ符号化画像を第１送信手段の送信処理に関連して外部装置に送信する第２送信手段(S27)がさらに備えられる。
【０００８】
好ましくは、第１作成手段は第１イントラ符号化画像に現在時刻を示す第１時刻情報を割り当てる第１時刻情報割り当て手段(24t)を含み、第２作成手段は第２イントラ符号化画像に現在時刻を示す第２時刻情報を割り当てる第２時刻情報割り当て手段(28t)を含む。
【０００９】
好ましくは、取り込み手段によって取り込まれる複数の画像は共通の被写界を表し、特殊効果処理はマスク処理に相当する。
【００１０】
好ましくは、取り込み手段によって取り込まれる画像は監視カメラから出力された画像に相当する。
【００１１】
好ましくは、第２作成手段はＪＰＥＧ方式に従って符号化処理を実行する。
【発明の効果】
【００１２】
この発明によれば、データストリームを復号すると、第２イントラ符号化画像に対応する復号画像に加えて、インター符号化画像に対応する復号画像も、特殊効果処理の影響を受ける。特殊効果は、復号された複数の画像に継続的に現れる。これによって、特殊効果処理を施された画像の再生に要する負荷を低減できる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】監視ゾーンの一例を示す図解図である。
【図４】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図５】（Ａ）はマスク処理を施されていない入力画像の一例を示す図解図であり、（Ｂ）はマスク処理を施された入力画像の一例を示す図解図であり、
【図６】（Ａ）はデータストリームの一例を示す図解図であり、（Ｂ）はデータストリームと並列して作成されるＪＰＥＧデータの一例を示す図解図であり、（Ｃ）は修正データストリームの一例を示す図解図であり、（Ｄ）は修正データストリームと並列して作成されるマスク解除データの一例を示す図解図である。
【図７】図２実施例から送信された符号化データを復号する復号装置の一例を示すブロック図である。
【図８】図７実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１１】図７実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１６】
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段１は、複数の画像を取り込む。第１作成手段２は、第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを取り込み手段１によって取り込まれた複数の画像に基づいて作成する。処理手段３は、取り込み手段１によって取り込まれた画像に特殊効果処理を施す。第２作成手段４は、処理手段３によって処理された画像のうち第１作成手段２によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する。代替手段５は、第２作成手段４によって作成された第２イントラ符号化画像を第１作成手段２によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる。
【００１７】
したがって、データストリームを復号すると、第２イントラ符号化画像に対応する復号画像に加えて、インター符号化画像に対応する復号画像も、特殊効果処理の影響を受ける。特殊効果は、復号された複数の画像に継続的に現れる。これによって、特殊効果処理を施された画像の再生に要する負荷を低減できる。
［実施例］
【００１８】
図２を参照して、この実施例の符号化装置１０は、監視カメラ（図示せず）から周期的に出力されたコンポジット画像データを入力する入力端子Ｔ１と、マイクロフォン（図示せず）から連続的に出力された音声データを入力する入力端子Ｔ２とを含む。監視カメラは図３に示す監視ゾーンの天井に設けられ、マイクロフォンは監視カメラの近傍に設けられる。
【００１９】
監視カメラの撮像面は壁面に掛けられた絵画ＰＩＣを捉え、監視カメラから出力されるコンポジット画像データは図３に示す撮像枠ＦＰ内の物体（具体的には壁面の一部と絵画ＰＩＣ）を表す。コンポジット画像データはまた、同期信号が重畳された状態で、かつ飛び越し走査態様で監視カメラから出力される。
【００２０】
画像入力回路１２は、入力端子Ｔ１からコンポジット画像データを取り込み、コンポジット画像データから画像データを抽出するとともに、コンポジット画像データに重畳された同期信号に基づいて垂直同期信号Ｖｓｙｎｃ１を生成する。垂直同期信号Ｖｓｙｎｃ１は、１フレームに１回の割合で生成され、Ｈ２６４エンコーダ２４およびＣＰＵ３２に与えられる。
【００２１】
Ｉ／Ｐ変換回路１４は、画像入力回路１２から抽出された画像データの走査態様を飛び越し走査態様から順次走査態様に変換する。変換された走査態様を有する画像データは、メモリ制御回路２０によってＳＤＲＡＭ２２の入力画像エリア２２ａ（図４参照）に書き込まれるとともに、マスク処理回路１６によるマスク処理を経た後、メモリ制御回路２０によってＳＤＲＡＭ２２の入力画像エリア２２ｂ（図４参照）に書き込まれる。
【００２２】
マスク処理は、絵画ＰＩＣを表す一部の画像をマスクするために実行される。この結果、入力画像エリア２２ａに格納された画像データは図５（Ａ）に示す画像を表す一方、入力画像エリア２２ｂに格納された画像データは図５（Ｂ）に示す画像を表す。
【００２３】
入力端子Ｔ２から入力された音声データは、音声入力回路１８による既定の音声処理を経た後、メモリ制御回路２０によってＳＤＲＡＭ２２の音声入力エリア２２ｃ（図４参照）に書き込まれる。
【００２４】
ＣＰＵ３２は、符号化制御タスクの下でＨ２６４エンコーダ２４を継続的に起動する。起動されたＨ２６４エンコーダ２４は、垂直同期信号Ｖｓｙｎｃ１が与えられる毎にメモリ制御回路２０を通して入力画像エリア２２ａから画像データを読み出し、読み出された画像データをＨ２６４方式で符号化する。符号化画像データつまりＨ２６４データは、イントラ符号化ピクチャ（＝Ｉピクチャ）およびインター符号化ピクチャ（＝ＰピクチャまたはＢピクチャ）が混在したデータストリームである。また、データストリームは複数のＧＯＰ(Group Of Pictures)によって形成され、各ＧＯＰは先頭のＩピクチャとこれに続く複数のＰピクチャおよび／またはＢピクチャによって形成される。
【００２５】
時計回路２６は、現在時刻を示すタイムコードをＨ２６４エンコーダ２４に与える。Ｈ２６４エンコーダ２４に設けられたタイムスタンプ回路２４ｔは、与えられたタイムコードに対応するタイムスタンプを生成し、生成されたタイムスタンプを上述したＩピクチャ，ＰピクチャおよびＢピクチャの各々に割り当てる。
【００２６】
ＣＰＵ３２は、現フレームがＧＯＰの先頭フレームに相当するとき、つまり現フレームのＨ２６４データがＩピクチャに相当するとき、ＳＤＲＡＭ２２の退避エリア２２ｅ（図４参照）を現フレームのＨ２６４データの書き込み先として指定する。ＣＰＵ３２はまた、現フレームがＧＯＰの先頭フレームと異なるフレームに相当するとき、つまり現フレームのＨ２６４データがＰピクチャまたはＢピクチャに相当するとき、ＳＤＲＡＭ２２のＨ２６４エリア２２ｄ（図４参照）を現フレームのＨ２６４データの書き込み先として指定する。
【００２７】
したがって、Ｈ２６４エンコーダ２４から出力されたデータストリームのうち、Ｉピクチャはメモリ制御回路２０を経て退避エリア２２ｅに書き込まれ、ＰピクチャおよびＢピクチャはメモリ制御回路２０を経てＨ２６４エリア２２ｄに書き込まれる。
【００２８】
ＣＰＵ３２はまた、Ｈ２６４エンコーダ２４によるＩピクチャの生成処理に対応して、ＪＰＥＧエンコーダ２８を一時的に起動する。起動されたＪＰＥＧエンコーダ２８は、メモリ制御回路２０を通して入力画像エリア２２ｂから画像データを読み出し、読み出された画像データをＪＰＥＧ方式で符号化する。符号化画像データつまりＪＰＥＧデータは、イントラ符号化ピクチャ（＝Ｉピクチャ）に相当する。
【００２９】
時計回路２６によって生成されたタイムコードは、ＪＰＥＧエンコーダ２８にも与えられる。タイムコードに対応するタイムスタンプは、ＪＰＥＧエンコーダ２８に設けられたタイムスタンプ回路２８ｔによって生成され、ＪＰＥＧデータ（＝Ｉピクチャ）に割り当てられる。
【００３０】
ＪＰＥＧエンコーダ２８はＨ２６４エンコーダ２４によるＩピクチャの生成処理に対応してＩピクチャを作成するため、タイムスタンプの値はＨ２６４エンコーダ２４によって作成されたＩピクチャとＪＰＥＧエンコーダ２８によって作成されたＩピクチャとの間で一致する。
【００３１】
ＣＰＵ３２は、こうして生成されたＪＰＥＧデータの書き込み先としてＨ２６４エリア２２ｄを指定する。したがって、ＪＰＥＧエンコーダ２８から出力されたＪＰＥＧデータは、メモリ制御回路２０によってＨ２６４エリア２２ｄに書き込まれる。
【００３２】
データストリームが図６（Ａ）に示すタイミングでＨ２６４エンコーダ２４から出力されるとき、ＪＰＥＧデータは図６（Ｂ）に示すタイミングでＪＰＥＧエンコーダ２８から出力される。データストリームおよびＪＰＥＧデータの書き込み先は、ＣＰＵ３２によって上述の要領で指定される。このため、Ｈ２６４エリア２２ｄには、ＪＰＥＧエンコーダ２８によって生成されたＩピクチャが代替的に挿入された修正データストリームが、図６（Ｃ）に示す要領で書き込まれる。また、退避エリア２２ｅには、データストリームから図６（Ｄ）に示す要領で抜き取られたＩピクチャが、マスク解除データとして書き込まれる。
【００３３】
符号化制御タスクと並列する通信制御タスクの下で、ＣＰＵ３２は、Ｈ２６４エリア２２ｄの空き容量が閾値ＴＨを下回る毎に、既定ＧＯＰ数に相当する修正データストリームとこれに対応するマスク解除データおよび音声データの送信を通信Ｉ／Ｆ３０に要求する。
【００３４】
通信Ｉ／Ｆ３０は、指定された修正データストリーム，マスク解除データおよび音声データをメモリ制御回路２０を通してＨ２６４エリア２２ｄ，退避エリア２２ｅおよび入力音声エリア２２ｃから読み出し、読み出された修正データストリーム，マスク解除データおよび音声データを通信ネットワークに接続された出力端子Ｔ３から送出する。
【００３５】
送出された修正データストリーム，マスク解除データおよび音声データは、図７に示す復号装置４０の入力端子Ｔ４を経て通信Ｉ／Ｆ４２に与えられる。通信Ｉ／Ｆ４２は、与えられた修正データストリーム，マスク解除データおよび音声データを、メモリ制御回路４４を通してＳＤＲＡＭ４６に書き込む。図８を参照して、修正データストリームはＨ２６４エリア４６ａに書き込まれ、マスク解除データは拡張エリア４６ｂに書き込まれ、そして音声データは入力音声エリア４６ｃに書き込まれる。
【００３６】
音声出力回路５４は、入力音声エリア４６ｃに格納された音声データをメモリ制御回路を通して読み出し、読み出された音声データに基づいてスピーカ５６を駆動する。この結果、監視ゾーンで発生した音声がスピーカ５６から出力される。
【００３７】
ＣＰＵ５８は、復号制御タスクの下でＨ２６４デコーダ４８を継続的に起動し、図示しないＳＧ(Signal Generator)から垂直同期信号Ｖｓｙｎｃ２が発生される毎に今回の復号対象がＩピクチャ，ＰピクチャおよびＢピクチャのいずれであるかを判別する。
【００３８】
復号対象がＩピクチャであれば、マスク設定が有効であるか否かが判別される。キー入力装置６０の操作によってマスク設定が有効化されていれば、ＣＰＵ５８は、Ｈ２６４エリア４６ａを復号対象の読み出し先として指定する。一方、キー入力装置５４の操作によってマスク設定が無効化されていれば、ＣＰＵ５８は、拡張エリア４６ｂを復号対象の読み出し先として指定する。
【００３９】
Ｈ２６４デコーダ４８は、修正データストリームまたはマスク解除データに割り当てられたタイムスタンプを参照して復号対象であるＩピクチャを特定し、特定されたＩピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａまたは拡張エリア４６ｂから読み出す。Ｈ２６４デコーダ４８はさらに、読み出されたＩピクチャを復号し、復号画像データをメモリ制御回路４４を通してＳＤＲＡＭ４６の復号画像エリア４６ｄ（図８参照）に書き込む。
【００４０】
復号対象がＰピクチャまたはＢピクチャであれば、ＣＰＵ５８は、Ｈ２６４エリア４６ａを復号対象の読み出し先として指定する。Ｈ２６４デコーダ４８は、修正データストリームに割り当てられたタイムスタンプを参照して復号対象であるＰピクチャまたはＢピクチャを特定し、特定されたＰピクチャまたはＢピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａから読み出す。Ｈ２６４デコーダ４８はさらに、読み出されたＰピクチャまたはＢピクチャを復号し、復号画像データをメモリ制御回路４４を通して復号画像エリア４６ｄに書き込む。
【００４１】
マスク設定が有効であれば、修正データストリームを形成するＩピクチャ，ＰピクチャおよびＢピクチャがＨ２６４デコーダ４８によって復号される。図６（Ａ）〜図６（Ｃ）から分かるように、修正データストリームを形成するＩピクチャはマスク処理を施された画像データに対応し、ＰピクチャおよびＢピクチャはこのようなＩピクチャを参照しつつ復号される。このため、Ｉピクチャに基づく復号画像データだけでなく、Ｐピクチャに基づく復号画像データおよびＢピクチャに基づく復号画像データもまた、マスク処理の影響を受ける。
【００４２】
これに対して、マスク設定が無効であれば、Ｈ２６４デコーダ４８は、修正データストリームを形成するＩピクチャをマスク解除データに代替させ、これによって復旧されたデータストリームを復号する。図６（Ａ）から分かるように、復旧されたデータストリームを形成するＩピクチャ，ＰピクチャおよびＢピクチャはマスク処理を施されていない画像データに対応する。このため、復旧されたデータストリームに基づく復号画像データはマスク処理の影響を免れる。
【００４３】
ＬＣＤドライバ５０は、このような復号画像データをメモリ制御回路４４を通して復号画像エリア４６ｄから読み出し、読み出された復号画像データに基づいてＬＣＤモニタ５２を駆動する。この結果、マスク設定が有効であれば絵画ＰＩＣがマスクされた監視画像がモニタ画面に表示され、マスク設定が無効であれば絵画ＰＩＣが現れた監視画像がモニタ画面に表示される。
【００４４】
符号化装置１０に設けられたＣＰＵ３２によって実行される符号化制御タスクおよび通信制御タスクは、具体的には図９および図１０に示すように構成される。また、これらのタスクに対応する制御プログラムは、図２に示すフラッシュメモリ３４に記憶される。
【００４５】
図９を参照して、ステップＳ１ではＨ２６４エンコーダ２４を継続的に起動し、ステップＳ３では画像入力回路１２から垂直同期信号Ｖｓｙｎｃ１が与えられたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進み、現フレームがＧＯＰの先頭フレームであるか否かを判別する。
【００４６】
現フレームがＧＯＰの先頭フレームと異なるフレームであればステップＳ５からステップＳ７に進み、現フレームのＨ２６４データの書き込み先としてＨ２６４エリア２２ｄを指定する。指定処理が完了すると、ステップＳ３に戻る。
【００４７】
Ｈ２６４エンコーダ２４は、メモリ制御回路２０を通して入力画像エリア２２ａから１フレームの画像データを読み出し、読み出された画像データをＨ２６４方式で符号化し、そしてＨ２６４データ（＝ＰピクチャまたはＢピクチャ）をメモリ制御回路２０を通してＨ２６４エリア２２ｄに書き込む。
【００４８】
現フレームがＧＯＰの先頭フレームであればステップＳ５からステップＳ９に進み、ＪＰＥＧエンコーダ２８を一時的に起動する。ステップＳ１１では現フレームのＪＰＥＧデータの書き込み先としてＨ２６４エリア２２ｄを指定し、ステップＳ１３では現フレームのＨ２６４データの書き込み先として退避エリア２２ｅを指定する。ステップＳ１３の処理が完了すると、ステップＳ３に戻る。
【００４９】
ＪＰＥＧエンコーダ２８は、メモリ制御回路２０を通して入力画像エリア２２ｂから１フレームの画像データを読み出し、読み出された画像データをＪＰＥＧ方式で符号化し、そしてＪＰＥＧデータ（＝Ｉピクチャ）をメモリ制御回路２０を通してＨ２６４エリア２２ｄに書き込む。Ｈ２６４エンコーダ２４は、メモリ制御回路２０を通して入力画像エリア２２ａから１フレームの画像データを読み出し、読み出された画像データをＨ２６４方式で符号化し、そしてＨ２６４データ（＝Ｉピクチャ）をメモリ制御回路２０を通して退避エリア２２ｅに書き込む。
【００５０】
図１０を参照して、ステップＳ２１ではＨ２６４エリア２２ｄの空き容量を検出し、ステップＳ２３では検出された空き容量が閾値ＴＨを下回るか否かを判別する。判別結果がＮＯであればそのままステップＳ２１に戻り、判別結果がＹＥＳであればステップＳ２５〜Ｓ２９の処理を経てステップＳ２１に戻る。
【００５１】
ステップＳ２５では、既定ＧＯＰ数に相当する修正Ｈ２６４データの送信を通信Ｉ／Ｆ３０に要求する。ステップＳ２７では、ステップＳ２５で指定された修正Ｈ２６４データに対応するマスク解除データの送信を通信Ｉ／Ｆ３０に要求する。ステップＳ２９では、ステップＳ２５で指定された修正Ｈ２６４データに対応する音声データの送信を通信Ｉ／Ｆ３０に要求する。
【００５２】
通信Ｉ／Ｆ３０は、ステップＳ２５〜Ｓ２９で指定された修正Ｈ２６４データ，マスク解除データおよび音声データをメモリ制御回路２０を通してＨ２６４エリア２２ｄ，退避エリア２２ｅおよび入力音声エリア２２ｃから読み出し、読み出された修正Ｈ２６４データ，マスク解除データおよび音声データを出力端子Ｔ３から送出する。
【００５３】
復号装置４０に設けられたＣＰＵ５８によって実行される復号制御タスクは、具体的には図１１に示すように構成される。このタスクに対応する制御プログラムは、図７に示すフラッシュメモリ６２に記憶される。
【００５４】
図１１を参照して、ステップＳ３１ではＨ２６４デコーダ４８を継続的に起動し、ステップＳ３３では垂直同期信号Ｖｓｙｎｃ２が図示しないＳＧ(Signal Generator)から発生されたか否かを判別する。垂直同期信号Ｖｓｙｎｃ２が発生するとステップＳ３５に進み、今回の復号対象がＩピクチャであるか否かを判別する。判別結果がＮＯであれば、つまり復号対象がＰピクチャまたはＢピクチャであれば、ステップＳ３５からステップＳ３７に進み、Ｈ２６４エリア４６ａを復号対象の読み出し先として指定する。指定処理が完了すると、ステップＳ３３に戻る。
【００５５】
Ｈ２６４デコーダ４８は、復号対象であるＰピクチャまたはＢピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａから読み出し、読み出されたＰピクチャまたはＢピクチャを復号し、そして復号画像データをメモリ制御回路４４を通して復号画像エリア４６ｄに書き込む。
【００５６】
ステップＳ３５の判別結果がＹＥＳであれば、つまり復号対象がＩピクチャであれば、ステップＳ３５からステップＳ３９に進み、マスク設定が有効であるか否かを判別する。キー入力装置５４の操作によってマスク設定が有効化されていればステップＳ４１に進み、キー入力装置５４の操作によってマスク設定が無効化されていればステップＳ４３に進む。ステップＳ４１ではＨ２６４エリア４６ａを復号対象の読み出し先として指定し、ステップＳ４３では拡張エリア４６ｂを復号対象の読み出し先として指定する。このような指定処理が完了すると、ステップＳ３３に戻る。
【００５７】
Ｈ２６４デコーダ４８は、復号対象であるＩピクチャをメモリ制御回路４４を通してＨ２６４エリア４６ａまたは拡張エリア４６ｂから読み出し、読み出されたＩピクチャを復号し、復号された画像データをメモリ制御回路４４を通して復号画像エリア４６ｄに書き込む。
【００５８】
以上の説明から分かるように、Ｉ／Ｐ変換回路１４は、画像入力回路１２によって周期的に入力された画像データの走査態様をと飛び越し走査態様から順次走査態様に変換する。Ｈ２６４エンコーダ２４は、イントラ符号化ピクチャとインター符号化ピクチャとが混在したデータストリームをＩ／Ｐ変換回路１４から出力された画像データに基づいて作成する。マスク処理回路１６は、Ｉ／Ｐ変換回路１４から出力された画像データにマスク処理を施す。ＪＰＥＧエンコーダ２８は、マスク処理を施された画像データのうちＨ２６４エンコーダ２４によって作成されたイントラ符号化ピクチャに対応する一部の画像データに基づいてイントラ符号化ピクチャを作成する。ＣＰＵ３２は、ＪＰＥＧエンコーダ２８によって作成されたイントラ符号化ピクチャをＨ２６４エンコーダ２４によって作成されたデータストリームを形成するイントラ符号化ピクチャに代替させる。
【００５９】
したがって、Ｈ２６４エンコーダ２４によって作成されたデータストリームを復号すると、イントラ符号化ピクチャに対応する復号画像に加えて、インター符号化ピクチャに対応する復号画像も、マスク処理の影響を受ける。マスク効果は、複数フレームの復号画像に継続的に現れる。これによって、マスク処理を施された画像の再生に要する負荷を低減できる。また、マスク効果は、ＣＰＵ３２によってデータストリームから抜き取られたイントラ符号化ピクチャを元に戻すことで解除される。これによって、マスク効果の設定／解除に関する柔軟性が向上する。
【００６０】
なお、この実施例では、Ｈ２６４エンコーダ２４およびＪＰＥＧエンコーダ２８を符号化装置１０に設け、マスク処理を施された画像データをＪＰＥＧエンコーダ２８によって符号化するようにしている。しかし、ＪＰＥＧエンコーダ２８に代えて別のＨ２６４エンコーダを設け、マスク処理を施された画像データをこのＨ２６４エンコーダによって符号化し、これによって生成されたＩピクチャを利用して修正データストリームを作成するようにしてもよい。
【符号の説明】
【００６１】
１０ …符号化装置
１４ …画像入力回路
１８ …マスク処理回路
２４ …Ｈ２６４エンコーダ
２８ …ＪＰＥＧエンコーダ
３２ …ＣＰＵ
【特許請求の範囲】
【請求項１】
複数の画像を取り込む取り込み手段、
第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを前記取り込み手段によって取り込まれた複数の画像に基づいて作成する第１作成手段、
前記取り込み手段によって取り込まれた画像に特殊効果処理を施す処理手段、
前記処理手段によって処理された画像のうち前記第１作成手段によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する第２作成手段、および
前記第２作成手段によって作成された第２イントラ符号化画像を前記第１作成手段によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる代替手段を備える、画像処理装置。
【請求項２】
前記代替手段によって挿入された第２イントラ符号化画像を含むデータストリームを外部装置に送信する第１送信手段、および
前記代替手段によって抜き取られた第１イントラ符号化画像を前記第１送信手段の送信処理に関連して前記外部装置に送信する第２送信手段をさらに備える、請求項１記載の画像処理装置。
【請求項３】
前記第１作成手段は前記第１イントラ符号化画像に現在時刻を示す第１時刻情報を割り当てる第１時刻情報割り当て手段を含み、
前記第２作成手段は前記第２イントラ符号化画像に前記現在時刻を示す第２時刻情報を割り当てる第２時刻情報割り当て手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記取り込み手段によって取り込まれる複数の画像は共通の被写界を表し、
前記特殊効果処理はマスク処理に相当する、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記取り込み手段によって取り込まれる画像は監視カメラから出力された画像に相当する、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記第２作成手段はＪＰＥＧ方式に従って符号化処理を実行する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項１】
複数の画像を取り込む取り込み手段、
第１イントラ符号化画像とインター符号化画像とが混在したデータストリームを前記取り込み手段によって取り込まれた複数の画像に基づいて作成する第１作成手段、
前記取り込み手段によって取り込まれた画像に特殊効果処理を施す処理手段、
前記処理手段によって処理された画像のうち前記第１作成手段によって作成された第１イントラ符号化画像に対応する一部の画像に基づいて第２イントラ符号化画像を作成する第２作成手段、および
前記第２作成手段によって作成された第２イントラ符号化画像を前記第１作成手段によって作成されたデータストリームを形成する第１イントラ符号化画像に代替させる代替手段を備える、画像処理装置。
【請求項２】
前記代替手段によって挿入された第２イントラ符号化画像を含むデータストリームを外部装置に送信する第１送信手段、および
前記代替手段によって抜き取られた第１イントラ符号化画像を前記第１送信手段の送信処理に関連して前記外部装置に送信する第２送信手段をさらに備える、請求項１記載の画像処理装置。
【請求項３】
前記第１作成手段は前記第１イントラ符号化画像に現在時刻を示す第１時刻情報を割り当てる第１時刻情報割り当て手段を含み、
前記第２作成手段は前記第２イントラ符号化画像に前記現在時刻を示す第２時刻情報を割り当てる第２時刻情報割り当て手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記取り込み手段によって取り込まれる複数の画像は共通の被写界を表し、
前記特殊効果処理はマスク処理に相当する、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記取り込み手段によって取り込まれる画像は監視カメラから出力された画像に相当する、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記第２作成手段はＪＰＥＧ方式に従って符号化処理を実行する、請求項１ないし５のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１５１６９２（Ｐ２０１１−１５１６９２Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１２６８８（Ｐ２０１０−１２６８８）
【出願日】平成２２年１月２５日（２０１０．１．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２５日（２０１０．１．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]