符号化装置および復号装置
【課題】
Ｉピクチャが存在しないストリームにおいても、早送り、巻き戻し、ポーズなどの特殊再生処理が可能な装置を安価に実現する。
【解決手段】
所定のエリア内の画像のみで復号処理が完結するフレーム内予測画像群を数フレーム期間で、１フレーム空間を巡回されている場合に、特殊再生時には、上記フレーム内予測画像群のみを復号し、表示を更新することで特殊再生を実現する。
Ｉピクチャが存在しないストリームにおいても、早送り、巻き戻し、ポーズなどの特殊再生処理が可能な装置を安価に実現する。
【解決手段】
所定のエリア内の画像のみで復号処理が完結するフレーム内予測画像群を数フレーム期間で、１フレーム空間を巡回されている場合に、特殊再生時には、上記フレーム内予測画像群のみを復号し、表示を更新することで特殊再生を実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画像圧縮伸張技術に関する。
【背景技術】
【０００２】
背景技術として、例えば、特開平７−３２２２６６号公報（特許文献１）がある。該公報には、「［目的］リフレッシュの際の急激なデータ量の増加を抑制する。［構成］連続するＮフレームにわたって、各フレームに部分的にリフレッシュ・エリアを設定し、そのエリアをリフレッシュする。各画面で、リフレッシュ・エリアを、動き補償予測の補償可能範囲以上にオーバーラップさせながら、シフトする。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３２２２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を低遅延で伝送する際、復号のための遅延時間を増長するＩピクチャ（イントラフレーム）を送らずに、イントラ画像で定期的に巡回させることで、伝送エラーを復帰させる技術が公開されている。一般に、動画像圧縮規格においては、イントラフレームは動き予測を行わないため、動き予測を行う他のフレームに比べ多くの符号量を必要とする。このため、限られた伝送帯域を持つ伝送路に符号化データを入力画像を順次リアルタイムに圧縮符号化しながら送信する際、受信し復号する側の装置が画像を途切れさせることなく画像を復号表示するためには、Ｉピクチャのデータが枯渇しない程度に受信データをバッファリングしてから復号を開始する必要がある。このため、Ｉピクチャは画像圧縮伸張を伴う伝送の遅延増加の要因となる。一方で、途中に伝送エラーなどが発生した場合には、正しく復号されないフレームが発生する。このフレームを他のフレームが動き予測の参照画像として用いる場合、その後のフレームが正しく復号できずエラーが伝播する。このエラーの伝播を避けるためには他のフレームを参照しないＩピクチャを定期的に挿入することが有効であるが、前述の遅延増加を招く。これらの問題を避けるため、面内予測のみを用いる部分領域を設け、各フレーム毎に座標位置をオーバラップさせながら少しずつシフトさせることで、エラーから復帰させる手法が提案されている。特開平７−３２２２６６号公報（特許文献１）では、画面内の垂直方向にイントラ符号化ブロックを並べ、フレームが進むにつれて、イントラ符号化ブロックを水平方向に移動することで、リフレッシュを行う手法が提示されている。本手法ではエラーのリカバリには有効であるが、低遅延伝送後の符号化データの録画再生を考えた際、Ｉピクチャが存在しないため、早送り、巻き戻し、任意画像のポーズ画像作成が困難であるという課題があった。
【０００５】
そこで、Ｉピクチャが長期間にわたり含まれないような圧縮符号化を行い復号し再生する際、高速早送り、高速巻き戻し、あるいは任意フレームのポーズ表示を安価なシステムで実現する。
【課題を解決するための手段】
【０００６】
上記課題は特許請求の範囲に記載の発明により解決または改善される。
【発明の効果】
【０００７】
本発明によれば、例えば、Ｉピクチャが含まれない画像符号化データを高速早送り、高速巻き戻し、あるいは任意フレームのポーズ表示が実現可能である。
【０００８】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の構成を説明する図。
【図２】画像符号化装置１から送信される符号化データの予測モードの制御方法について説明する図。
【図３】ＣＩＭＢＢの配置および巡回の一例を示す図。
【図４】ＣＩＭＢＢおよびＩＭＢＢの配置および巡回の一例を示す図。
【図５】各フレームの情報開始直後の符号化データの並びを示す図。
【図６】ＩＭＢＢ，ＣＩＭＢＢとして扱うイントラＭＢを説明する図。
【図７】特殊再生画像が得られる様子を説明する図。
【図８】ポーズ画像作成を説明する図。
【図９】早送り、巻戻し時の画像作成を説明する図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１１】
図１に本実施例の構成を示す。画像符号化装置１からは、入力端子１１から入力された動画像データが、画像符号化部１２に圧縮符号化され、ネットワーク送信部１３においてネットワーク送信のためのパケット変換、変調がおおなわれた後、出力端子１４からネットワークに符号化データが出力される。このとき、符号化される画像データは、Ｈ．２６４／ＡＶＣやＭＰＥＧ２などの動画像符号化規格に準拠するものを想定し、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）に接続されたものを想定する。
【００１２】
画像復号Ｈ装置２に符号化データが伝送され、画像復号装置２においては伝送されていきた画像を極力低遅延で復号し出力するリアルタイム復号モードと、いったんハードディスク２３に記録した符号化データを再生する再生モードとを有する。
【００１３】
リアルタイム復号モードの場合には、入力端子２１から入力された符号化データを復調およびパケット分離部２２において復号可能なデータフォーマットに変換しスイッチ２４を介して画像復号部２５に送信する。画像復号部２５では、受信した符号化データを圧縮符号化規格に則り復号する。また、これと同時に後に再生可能なように復調部およびパケット分離部から符号化データは、ハードディスク２３に送信され記録される。
【００１４】
画像復号装置２が再生モードで動作する際には、ハードディスク２３から記録された符号化データが読み出され、スイッチ２４を介して画像復号部２５にデータが送信され復号される。このとき、図示されていないユーザインタフェース部からの指示により早送り、巻き戻し、ポーズ処理などの特殊再生処理を行う機能を有する。
【００１５】
図２を用いて、画像符号化装置１から送信される符号化データの予測モードの制御方法について説明する。ここでは、Ｈ．２６４／ＡＶＣによる圧縮符号化を前提とする。Ｈ．２６４／ＡＶＣによる規格では、各ＭＢ（マクロブロック）は面内画像を用いたイントラ予測モードを用いるイントラＭＢとフレーム間予測を用いるインターＭＢに分離される。本実施例では、イントラ予測モードを用いるＭＢ帯（ＩＭＢＢ： Ｉｎｔｒａ ＭＢ Ｂａｎｄ）を設け、図２のＰｉｃ１からＰｉｃＮ内でに水平方向にその座標位置を順次シフトさせていく。特に、そのＩＭＢＢ内の画像のみでＩＭＢＢ内の復号を完結できるものを完結型イントラＭＢ帯（ＣＩＭＢＢ：Ｃｌｏｓｅｄ Ｉｎｔｒａ ＭＢ Ｂａｎｄ）と定義する。たとえば、Ｈ．２６４／ＡＶＣであれば、イントラＭＢであっても復号済みの周辺ＭＢをイントラ予測に用いることが可能であり、図２の３２の部分のようにインター予測を含む部分３１の画像領域を参照する場合は、ＩＭＢＢとなり、ＩＭＢＢの左端をすべてスライスの境界にするもしくは３０のように左部がすべてフレーム境界部になり、領域外からのイントラ予測を行わない等、符号化時に制限をかけることでＣＩＭＢＢとすることが可能である。
【００１６】
本実施例では、ＣＩＭＢＢを含むピクチャをスタートフレームとしてＮ（Ｎは自然数）枚のピクチャで１フレーム分の領域をＩＭＢＢ領域で巡回させるものとする。
【００１７】
また、ＣＩＭＢＢ、ＩＭＢＢ以外の領域はインターＭＢ、もしくはイントラＭＢで構成するものとする。インターＭＢでは、そのフレームのひとつ前のフレームを参照画像として用いる予測モードとし、各ＭＢに対して、水平方向に＋−Ｗ画素分の動き探索を参照フレームに対して行い動きベクトルを定義し、予測符号化を行うものとする。また、水平方向へのシフト量をｄ、ＣＩＭＢＢ、ＩＭＢＢの水平方向の幅をＨとする。このとき、Ｗ＋ｄ＜＝Ｈであれば、動き予測をＩＭＢＢ，ＣＩＭＢＢの左側に属する部分は、３１、３３，３５，．．．３７の領域、およびＩＭＢＢ３２、３４、３６，．．．３８はスタートフレーム以降にエラーの発生がなければ、ＣＩＭＢＢを起点とするインター予測およびイントラ予測の連鎖により正しく復号画像を得られる。以上のように、画像符号化装置では、ＣＩＭＢＢおよびＩＭＢＢによるイントラＭＢの帯を巡回させることで、スタートフレーム以前に伝送エラーが生じた際、Ｉピクチャを要することなく、ＣＩＭＢＢを含むスタートフレーム以降、エラーの伝播を防ぐという効果を有する。
【００１８】
従来の技術では、ＭＰＥＧ２のイントラＭＢを矩形状に配置し、巡回する方法が開示されているが、その場合は、本実施例上の語句を用いると、図３に示すようなＣＩＭＢＢが毎フレーム挿入されることになる。ＣＩＭＢＢの方が左方からの予測に制限がはいるため、ＩＭＢＢより符号化効率が落ちる。このため、ＩＭＢＢ内にＣＩＭＢＢを定期的に配する本実施例のほうが、全体的な符号化効率を向上させることが可能であり、また定期的なリフレッシュも同時に実現可能となる。
【００１９】
図４は、ＣＩＭＢＢの挿入周期（Ｍ）を３フレーム、ＩＭＢＢもしくはＣＩＭＢＢにより１フレーム領域を巡回させるための周期（Ｎ）を９フレームにした場合である。この場合、図２の実施形態に比べ、ＣＩＭＢＢの出現頻度が３倍になるため、エラーになった際の画像の復帰までのインターバルが短くなるという効果がある。
【００２０】
また、本実施例の画像符号化装置１内の画像符号化部１２では、ＣＩＭＢＢ、ＩＭＢＢの有無および位置情報を符号化し、ストリーム内に埋め込む。またその位置情報を、各ピクチャの符号化データ群のうち、最初のＭＢデータを送出前に出力する。例えば、Ｈ．２６４／ＡＶＣの場合、図５に示すように、各Ｉピクチャの先頭付近にユーザデータとして格納することで、復号装置が後に復号する際、ヘッダ近傍のみをサーチ復号することで、ＩＭＢＢ、ＣＩＭＢＢの有無およびそのフレーム中の座標およびサイズ情報を得ることが可能となり、特殊再生のためのデータ検索の処理コストを軽減するのに役立つ。
【００２１】
図５では、各フレームの情報開始直後の符号化データの並びを示している。ピクチャの符号化開始部Ａｎ Ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ ＮＡＬ ｕｎｉｔ以降、ＰＰＳ ＮＡＬ ｕｎｉｔ 直後のＳＥＩ ＮＡＬ ｕｎｉｔに、その直後のピクチャがＣＩＭＢＢ、ＩＭＢＢのどちらを含むかを示すＣＩＭＢＢフラグ、その面内でどの位置に、ＣＩＭＢＢもしくは、ＩＭＢＢを持つかを示す座標位置、ＣＩＭＢＢもしくはＩＭＢＢのサイズ情報、ＣＩＭＢＢの挿入周期（Ｎ）、ＩＭＢＢの挿入周期（Ｍ）、ＩＭＢＢポジション（ＣＩＭＢＢから数えて何フレームか）の情報をユーザ情報をとして格納する。これにより、復号側では、ＳＥＩ ＮＡＬ ｕｎｉｔをパターンサーチにより抽出することで、ＣＩＭＢＢ，ＩＭＢＢの有無、これらを用いた特殊再生に必要な情報を容易に検知、管理情報として扱うことが可能となる。なお、本実施例の以外であっても、ピクチャの先頭近傍に同等の意味を持つ情報を持つのであれば、可変長符号の有無、情報の順序に寄らず、本発明の意味する構成となり、同様の効果をもたらす。
【００２２】
特に、図６に示すように、ＩＭＢＢ，ＣＩＭＢＢとして扱うイントラＭＢがどの部分かを、符号化効率上配置されている非連続に出現するイントラＭＢ部から分離してあらかじめ識別することができるため、イントラＭＢ部の連続性からＣＩＭＢＢ，ＩＭＢＢ部を特定するより効率的にしかも一意に復号すべき箇所を特定することが可能となる。これは、特殊再生時のデコード処理の簡素化に役立つ。
【００２３】
なお、本実施例では、Ｈ．２６４／ＡＶＣを想定して記載しているが、それ以外の画像符号化規格ＭＰＥＧ１Ｖｉｄｅｏ、ＭＰＥＧ４などフレーム間動き予測を用いる画像符号化規格を用いる場合には、一般的に本発明の効果は保たれる。
【００２４】
次に、画像復号装置２において、いったんハードディスク２３に記録した符号化データをどのように特殊再生するかを説明する。想定として、図２に記載のＣＩＭＢＢ、ＩＭＢＢの配置（Ｎ＝９）を考える。あらかじめハードディスク２３に記録された符号化データは、特殊再生を行うデータ群がその先頭位置から、読み出される。なおハードディスクへの記録時には、符号化データの各データの時刻情報とハードディスク内の格納位置を管理情報として記録しておき、再生時には、上記管理情報よりデータを読み出し、所望のデータを抽出して読み出すことで画像復号部２５にスイッチ２４を介して送出する。
【００２５】
画像復号部２５における、画像再生手順を解説する。画像復号部２５は、再生中の符号化データのうち各ピクチャのヘッダ部分を解析し、ＣＩＭＢＢの有無を解析する。ＣＩＭＢＢが含まれる画像はその後のＭＢごとの復号処理に進み、ＣＩＭＢＢが含まれない場合には、次のピクチャヘッダサーチを行い、ＣＩＭＢＢの有無の解析を行う。
【００２６】
ＣＩＭＢＢが含まれる画像については、ＭＢ単位処理し、ＣＩＭＢＢ内に該当するＭＢの場合には、符号化データに基づいて復号処理を行い、該当するＭＢ領域の復号画像を得る。一方、ＣＩＭＢＢに該当しない部分については、復号画像処理を行わず、特殊再生中に直前に表示されたフレームの同位置の画像を再度表示するようにする。これは、参照画像領域、もしくは表示画像領域のフレームバッファを設け、復号した画像を格納しておくことで、次のフレームで必要に応じて再読み出しすることで実現可能である。
【００２７】
上記の手順で復号を行った場合、図７に示すように４１、４２、４３、そして４４と順次特殊再生画像が得られる。
【００２８】
これによりＣＩＭＢＢを新たに復号した部分のみ画像が更新され、それ以外の画像は直前のフレームの内容が表示される。また、本実施例の場合は、３フレーム毎にＣＩＭＢＢが現れるため、３フレームにつき１回の復号画像を作成し、表示することになる。このため、みかけ上３倍速で画面倍速で一部が早送りされた動作になる。これにより、Ｉピクチャはないが、画像中の一部分が完全復元された画像が巡回しながら更新されることで、どのような画像の内容か概要を得る事が可能となる。
【００２９】
さらに、符号化データをハードディスクに記録する時に、各ピクチャのＣＩＭＢＢの有無と、ピクチャ先頭位置の格納情報位置との対応情報を特殊再生制御部２６で構築し、ハードディスクに記録する。この情報を特殊再生時に参照しつつ、所望の倍速表示を実現するＣＩＭＢＢのピクチャ先頭の格納位置を特定しその部分から各ピクチャの画像を読み出し、表示することで逆方向の特殊再生も可能となる。
【００３０】
具体的には、再生時にＰｉｃ９、Ｐｉｃ６、Ｐｉｃ４，Ｐｉｃ１とＣＩＭＢＢを含む画像を断続的にＨＤＤより再生し、上記と同様にＣＩＭＢＢ部のみを復号、再生、他のエリアについては直前に表示されたフレーム画像を再表示することで、逆方向の早戻し再生が可能となる。
【００３１】
さらに、ＣＩＭＢＢを含むピクチャを読み出すピクチャ間隔を広げることで、見かけの再生速度を増やすことができ、更なる高速早戻し、巻き戻し再生も可能となる。
【００３２】
さらに、上記の特殊再生中に図示されない一時停止ボタン押下により、ポーズ画像表示が要求された場合には、復号したＣＩＭＢＢの表示更新を停止すれば、概略の画像が確認できるポーズ画像を得ることが可能である。
【００３３】
上記のような復号手段により、全ＭＢがイントラＭＢとなるＩピクチャが含まれない符号化ストリームであっても、定期的にエラー伝送からの復帰処理を行い、かつ低遅延伝送を行い、伝送後の画像を記録して再生する際の特殊再生を実現することが可能となる。
【００３４】
次に、本発明第２の実施例について述べる。本実施例では、早送り、巻戻しなどの表示及びブロック公正などは第１の実施例と同等であるが、ポーズ画像の作成が異なる。
【００３５】
以下に、本実施例におけるポーズ画像の作成手順について説明する。ポーズ画像は、特殊再生時などに図示されていないユーザインタフェースより一時停止ボタンが押下された際、そのタイミングで表示されていたピクチャを静止画再生するものであるが、上記実施例画像では、スタートフレーム中のＣＩＭＢＢ部のみを更新するため、早送り、もしくは巻戻しの途中で再生中画像をスチル再生した場合、ポーズ画像が複数フレーム内容で構築させるためこのままでは、使い勝手が悪い。したがって、本実施例では以下の方法でポーズ画像を作成する。
【００３６】
まず、通常再生時、もしくは早送り、もしくは巻戻し中に一時停止ボタンが押下された場合、この動作を停止させる。これ以降の工程を図８を用いて説明する。図８は、ＣＩＭＢＢを含むスタートフレームの出現頻度が３枚に一回（Ｍ＝３）、ＩＭＢＢにより１フレーム描画領域が１巡回するのに９フレーム（Ｎ＝９）される場合を想定する。一時停止が押下された際、更新したＣＩＭＢＢを含むスタートフレームがＮｏ．１３のピクチャであった場合、そのＣＩＭＢＢを含むＮ＝９枚分さかのぼったＮｏ．４のスタートピクチャの格納位置を上述のＨＤＤの管理情報より読み出し、その位置からピクチャを１枚ずつ再生する。Ｎｏ．１３の画像は、その画像を含まないＮ枚分の画像を復号することにより、参照画像として用いる可能性のあるＮｏ．１２が完全復号されるため、エラー無しに復号されることができる。
【００３７】
１枚の画像を作成するにあたり、複数の画像をデコードするため表示には時間がかかるが、早送り、巻戻しのように高速に画像を更新する必要がないため、実用上の使い勝手への影響は少なく、ポーズ時に完全に一枚の画像が復元できるという利点を得る。
【００３８】
また、次に一枚次のピクチャを再生するようなコマ送り動作を必要とする際には、Ｎｏ．１３の画像を参照フレームバッファに格納し、これを動き予測のための参照画像として用いながら復号するとＮｏ．１４の画像を得ることが可能となる。
【００３９】
上記のように、ストリーム中の任意の一枚は、その一枚を含むＭ枚のスタートフレームからなるフレーム集合のＮ枚分の画像までさかのぼり、その画像分を再生し、参照画像を得た後に、復号することで本実施例では、完全に復号することが可能であることから、これを繰り返すことで、コマ送り、コマ戻しの動作も実現可能となる。
【００４０】
上記の実施により、Ｉピクチャを含まないストリームであっても、早送り、巻き戻し、ポーズ画像表示、コマ送り、さらにコマ戻しを実現させることが可能となる。これは、本実施例のようにＩピクチャが長期間もしくはまったく存在しないストリームにおいても、ＣＩＭＢＢの格納位置情報をＨＤＤの管理情報部に存在させるあるいは、あらかじめストリームの符号化規則として、ＣＩＭＢＢの出現頻度ＭとＩＭＢＢにより１フレーム描画領域が巡回するのに必要なフレーム数Ｎを定義することで、もたらされる効果である。
【００４１】
次に、本発明の第３の実施例について説明する。本実施例においては、第１、第２の実施例とブロック構成としては同じであるが、早送り、巻戻し時も、完全な画像を再生する。第１の実施例中で例示したストリームと同等のＣＩＭＢＢ，ＩＭＢＢ間隔のストリームを早送り再生する場合、８１、８２に示すフレーム郡をその先頭のフレームより順次復号し、最終画像（Ｎｏ．６およびＮｏ．１８）のみを表示させることで早送りに相当する画像表示をおこなうことが可能である。
【００４２】
このときの倍速（通常再生に比べた高速再生スピード）は、表示する画像の抽出間隔をＬフレーム、一枚を繰り返し表示する回数をＰ回とすると、Ｌ／Ｐ倍と計算できる。このため、Ｌ＞＝Ｎで、Ｐ＞＝Ｎであれば、リアルタイムに復号するスピードを持つ復号装置であれば、Ｌ／Ｐ倍速表示を実現すること可能である。すなわち、１枚の表示画像を作成するために、スタートフレームからＮ枚分を順次復号し、最終フレームとなるピクチャを復号する。この間、その直前に復号した画像を繰り返し表示し続け、Ｐフレームのインターバルごとに新規に復号した画像を更新することができる。復号スループットとしては、Ｎ／Ｐ（＜＝１）枚分の画像を１フレーム期間中にデコードすればよい。
【００４３】
実際のブロック上の動作としては、再生すべき倍速は、図示されていないユーザインタフェースにより指示され、表示に必要なＮ枚の画像データを特殊再生制御部２６において割り出し、該当するＮ枚の先頭スタートピクチャの格納位置をＨＤＤの管理情報より特殊再生制御部２６において計算し、順次Ｎフレーム分のデータをＨＤＤより読み出す。例えば、図９の８１で抽出されたＮフレーム分の画像データは、画像復号部２５にスイッチ２４経由で送出され、復号処理が行われる。
【００４４】
画像復号部２５では、Ｐフレームの間、直前に復号した画像を表示し、その間、内部の参照フレームを用いてＮ枚分の復号処理を行う。Ｐフレーム期間終了後、表示するフレームを復号した画像に画像復号部２５ではスイッチする。一方、特殊再生制御部２６では、図９の８２に示すように次のＮ枚のフレーム群の格納場所をＨＤＤの管理情報より抽出し、その情報に対応したデータをＨＤＤより読み出し、画像復号部へのデータ供給を継続する。
【００４５】
図９の８１、８２の間隔でフレーム群を抽出（Ｎ＝６、Ｌ＝１２）し、復号した画像の更新する期間を６フレーム期間（Ｐ＝６）とし、６フレームごとに表示を切り替えると、通常再生に比べＬ／Ｐ＝２倍の速度を持つ早送り処理ができる。
【００４６】
また、図示されていないユーザインタフェースよりスピードを上げるように指示された場合には、特殊再生制御部２６がＨＤＤより読み出す間隔Ｌを８４、８５に示すように大きくすることで早送りのスピードを上げることができる。
【００４７】
図９の８４、８５の場合は、Ｌ＝１８となり、Ｌ／Ｐ＝１８／６＝３倍速となり、表示画像８６に示すような再生画像が得られる。以上のように本実施例では、高速再生時の各表示画像が短冊上に区切れることなく完全なる一枚が再生されるため、一枚の画像確認が重要な使用用途においては、ユーザの使い勝手を向上させることが可能である。
【００４８】
また、高速再生中の更新レートを高くすることが要求される場合には、実施例１に示すように、ＣＩＭＢＢ部のみの更新による特殊再生を行い、倍速スピードが高くなった後は、本実施例中の再生方法を行うような復号および表示方法を切り替えることで、低速時には、更新レートを高くし、高速時には、視認性を上げるという効果をもたらすことも可能である。
【００４９】
また、さらに将来的に復号装置の処理能力が飛躍的に向上した場合、Ｉフレームが長期間存在しないフレームにおいても上記のようにＣＩＭＢＢから始まるＮ枚の期間を１フレーム期間に復号処理し、表示するフレームを作成することにより、従来のＩピクチャ画像復号によって得られていたような全フレーム完全再生による特殊再生が、低速（すなわちＰ感覚が小さい）の場合の早送り、巻き戻しにおいても実現可能となる。これもＣＩＭＢＢをストリーム中に配置し、格納位置を管理情報に保持することでもたらせる効果である。
【００５０】
上記実施例では、ネットワークで接続された送受信装置の実施形態を用いて、Ｉピクチャを含まないストリームの有義性を示しているが、本発明の特徴のための制限ではなく、ネットワーク接続がされていない記録再生装置であっても、圧縮率向上のためにＩピクチャを長期間で含まない記録を行うような場合、本発明による効果は十分もたらされる。また、既存のＭＰＥＧ１，ＭＰＥＧ２，Ｈ．２６４／ＡＶＣなどの規格での活用は言うまでもなく、現存しない規格中のストリーム符号化として本実施例に記載と同等の意味を持つストリーム情報を用いることで同等の効果を得ることが可能である。
【００５１】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５２】
１…画像符号化装置、２…画像復号装置、１１…画像入力端子、１２…画像符号化部、１３…ネットワーク送信部、１４…出力端子、２１…入力端子、２２…ネットワーク受信部、２３…ハードディスク、２４…スイッチ、２５…画像復号部、２６…特殊再生制御部、２７…復号画像出力端子
【技術分野】
【０００１】
本発明は、画像の画像圧縮伸張技術に関する。
【背景技術】
【０００２】
背景技術として、例えば、特開平７−３２２２６６号公報（特許文献１）がある。該公報には、「［目的］リフレッシュの際の急激なデータ量の増加を抑制する。［構成］連続するＮフレームにわたって、各フレームに部分的にリフレッシュ・エリアを設定し、そのエリアをリフレッシュする。各画面で、リフレッシュ・エリアを、動き補償予測の補償可能範囲以上にオーバーラップさせながら、シフトする。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３２２２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を低遅延で伝送する際、復号のための遅延時間を増長するＩピクチャ（イントラフレーム）を送らずに、イントラ画像で定期的に巡回させることで、伝送エラーを復帰させる技術が公開されている。一般に、動画像圧縮規格においては、イントラフレームは動き予測を行わないため、動き予測を行う他のフレームに比べ多くの符号量を必要とする。このため、限られた伝送帯域を持つ伝送路に符号化データを入力画像を順次リアルタイムに圧縮符号化しながら送信する際、受信し復号する側の装置が画像を途切れさせることなく画像を復号表示するためには、Ｉピクチャのデータが枯渇しない程度に受信データをバッファリングしてから復号を開始する必要がある。このため、Ｉピクチャは画像圧縮伸張を伴う伝送の遅延増加の要因となる。一方で、途中に伝送エラーなどが発生した場合には、正しく復号されないフレームが発生する。このフレームを他のフレームが動き予測の参照画像として用いる場合、その後のフレームが正しく復号できずエラーが伝播する。このエラーの伝播を避けるためには他のフレームを参照しないＩピクチャを定期的に挿入することが有効であるが、前述の遅延増加を招く。これらの問題を避けるため、面内予測のみを用いる部分領域を設け、各フレーム毎に座標位置をオーバラップさせながら少しずつシフトさせることで、エラーから復帰させる手法が提案されている。特開平７−３２２２６６号公報（特許文献１）では、画面内の垂直方向にイントラ符号化ブロックを並べ、フレームが進むにつれて、イントラ符号化ブロックを水平方向に移動することで、リフレッシュを行う手法が提示されている。本手法ではエラーのリカバリには有効であるが、低遅延伝送後の符号化データの録画再生を考えた際、Ｉピクチャが存在しないため、早送り、巻き戻し、任意画像のポーズ画像作成が困難であるという課題があった。
【０００５】
そこで、Ｉピクチャが長期間にわたり含まれないような圧縮符号化を行い復号し再生する際、高速早送り、高速巻き戻し、あるいは任意フレームのポーズ表示を安価なシステムで実現する。
【課題を解決するための手段】
【０００６】
上記課題は特許請求の範囲に記載の発明により解決または改善される。
【発明の効果】
【０００７】
本発明によれば、例えば、Ｉピクチャが含まれない画像符号化データを高速早送り、高速巻き戻し、あるいは任意フレームのポーズ表示が実現可能である。
【０００８】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の構成を説明する図。
【図２】画像符号化装置１から送信される符号化データの予測モードの制御方法について説明する図。
【図３】ＣＩＭＢＢの配置および巡回の一例を示す図。
【図４】ＣＩＭＢＢおよびＩＭＢＢの配置および巡回の一例を示す図。
【図５】各フレームの情報開始直後の符号化データの並びを示す図。
【図６】ＩＭＢＢ，ＣＩＭＢＢとして扱うイントラＭＢを説明する図。
【図７】特殊再生画像が得られる様子を説明する図。
【図８】ポーズ画像作成を説明する図。
【図９】早送り、巻戻し時の画像作成を説明する図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１１】
図１に本実施例の構成を示す。画像符号化装置１からは、入力端子１１から入力された動画像データが、画像符号化部１２に圧縮符号化され、ネットワーク送信部１３においてネットワーク送信のためのパケット変換、変調がおおなわれた後、出力端子１４からネットワークに符号化データが出力される。このとき、符号化される画像データは、Ｈ．２６４／ＡＶＣやＭＰＥＧ２などの動画像符号化規格に準拠するものを想定し、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）に接続されたものを想定する。
【００１２】
画像復号Ｈ装置２に符号化データが伝送され、画像復号装置２においては伝送されていきた画像を極力低遅延で復号し出力するリアルタイム復号モードと、いったんハードディスク２３に記録した符号化データを再生する再生モードとを有する。
【００１３】
リアルタイム復号モードの場合には、入力端子２１から入力された符号化データを復調およびパケット分離部２２において復号可能なデータフォーマットに変換しスイッチ２４を介して画像復号部２５に送信する。画像復号部２５では、受信した符号化データを圧縮符号化規格に則り復号する。また、これと同時に後に再生可能なように復調部およびパケット分離部から符号化データは、ハードディスク２３に送信され記録される。
【００１４】
画像復号装置２が再生モードで動作する際には、ハードディスク２３から記録された符号化データが読み出され、スイッチ２４を介して画像復号部２５にデータが送信され復号される。このとき、図示されていないユーザインタフェース部からの指示により早送り、巻き戻し、ポーズ処理などの特殊再生処理を行う機能を有する。
【００１５】
図２を用いて、画像符号化装置１から送信される符号化データの予測モードの制御方法について説明する。ここでは、Ｈ．２６４／ＡＶＣによる圧縮符号化を前提とする。Ｈ．２６４／ＡＶＣによる規格では、各ＭＢ（マクロブロック）は面内画像を用いたイントラ予測モードを用いるイントラＭＢとフレーム間予測を用いるインターＭＢに分離される。本実施例では、イントラ予測モードを用いるＭＢ帯（ＩＭＢＢ： Ｉｎｔｒａ ＭＢ Ｂａｎｄ）を設け、図２のＰｉｃ１からＰｉｃＮ内でに水平方向にその座標位置を順次シフトさせていく。特に、そのＩＭＢＢ内の画像のみでＩＭＢＢ内の復号を完結できるものを完結型イントラＭＢ帯（ＣＩＭＢＢ：Ｃｌｏｓｅｄ Ｉｎｔｒａ ＭＢ Ｂａｎｄ）と定義する。たとえば、Ｈ．２６４／ＡＶＣであれば、イントラＭＢであっても復号済みの周辺ＭＢをイントラ予測に用いることが可能であり、図２の３２の部分のようにインター予測を含む部分３１の画像領域を参照する場合は、ＩＭＢＢとなり、ＩＭＢＢの左端をすべてスライスの境界にするもしくは３０のように左部がすべてフレーム境界部になり、領域外からのイントラ予測を行わない等、符号化時に制限をかけることでＣＩＭＢＢとすることが可能である。
【００１６】
本実施例では、ＣＩＭＢＢを含むピクチャをスタートフレームとしてＮ（Ｎは自然数）枚のピクチャで１フレーム分の領域をＩＭＢＢ領域で巡回させるものとする。
【００１７】
また、ＣＩＭＢＢ、ＩＭＢＢ以外の領域はインターＭＢ、もしくはイントラＭＢで構成するものとする。インターＭＢでは、そのフレームのひとつ前のフレームを参照画像として用いる予測モードとし、各ＭＢに対して、水平方向に＋−Ｗ画素分の動き探索を参照フレームに対して行い動きベクトルを定義し、予測符号化を行うものとする。また、水平方向へのシフト量をｄ、ＣＩＭＢＢ、ＩＭＢＢの水平方向の幅をＨとする。このとき、Ｗ＋ｄ＜＝Ｈであれば、動き予測をＩＭＢＢ，ＣＩＭＢＢの左側に属する部分は、３１、３３，３５，．．．３７の領域、およびＩＭＢＢ３２、３４、３６，．．．３８はスタートフレーム以降にエラーの発生がなければ、ＣＩＭＢＢを起点とするインター予測およびイントラ予測の連鎖により正しく復号画像を得られる。以上のように、画像符号化装置では、ＣＩＭＢＢおよびＩＭＢＢによるイントラＭＢの帯を巡回させることで、スタートフレーム以前に伝送エラーが生じた際、Ｉピクチャを要することなく、ＣＩＭＢＢを含むスタートフレーム以降、エラーの伝播を防ぐという効果を有する。
【００１８】
従来の技術では、ＭＰＥＧ２のイントラＭＢを矩形状に配置し、巡回する方法が開示されているが、その場合は、本実施例上の語句を用いると、図３に示すようなＣＩＭＢＢが毎フレーム挿入されることになる。ＣＩＭＢＢの方が左方からの予測に制限がはいるため、ＩＭＢＢより符号化効率が落ちる。このため、ＩＭＢＢ内にＣＩＭＢＢを定期的に配する本実施例のほうが、全体的な符号化効率を向上させることが可能であり、また定期的なリフレッシュも同時に実現可能となる。
【００１９】
図４は、ＣＩＭＢＢの挿入周期（Ｍ）を３フレーム、ＩＭＢＢもしくはＣＩＭＢＢにより１フレーム領域を巡回させるための周期（Ｎ）を９フレームにした場合である。この場合、図２の実施形態に比べ、ＣＩＭＢＢの出現頻度が３倍になるため、エラーになった際の画像の復帰までのインターバルが短くなるという効果がある。
【００２０】
また、本実施例の画像符号化装置１内の画像符号化部１２では、ＣＩＭＢＢ、ＩＭＢＢの有無および位置情報を符号化し、ストリーム内に埋め込む。またその位置情報を、各ピクチャの符号化データ群のうち、最初のＭＢデータを送出前に出力する。例えば、Ｈ．２６４／ＡＶＣの場合、図５に示すように、各Ｉピクチャの先頭付近にユーザデータとして格納することで、復号装置が後に復号する際、ヘッダ近傍のみをサーチ復号することで、ＩＭＢＢ、ＣＩＭＢＢの有無およびそのフレーム中の座標およびサイズ情報を得ることが可能となり、特殊再生のためのデータ検索の処理コストを軽減するのに役立つ。
【００２１】
図５では、各フレームの情報開始直後の符号化データの並びを示している。ピクチャの符号化開始部Ａｎ Ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ ＮＡＬ ｕｎｉｔ以降、ＰＰＳ ＮＡＬ ｕｎｉｔ 直後のＳＥＩ ＮＡＬ ｕｎｉｔに、その直後のピクチャがＣＩＭＢＢ、ＩＭＢＢのどちらを含むかを示すＣＩＭＢＢフラグ、その面内でどの位置に、ＣＩＭＢＢもしくは、ＩＭＢＢを持つかを示す座標位置、ＣＩＭＢＢもしくはＩＭＢＢのサイズ情報、ＣＩＭＢＢの挿入周期（Ｎ）、ＩＭＢＢの挿入周期（Ｍ）、ＩＭＢＢポジション（ＣＩＭＢＢから数えて何フレームか）の情報をユーザ情報をとして格納する。これにより、復号側では、ＳＥＩ ＮＡＬ ｕｎｉｔをパターンサーチにより抽出することで、ＣＩＭＢＢ，ＩＭＢＢの有無、これらを用いた特殊再生に必要な情報を容易に検知、管理情報として扱うことが可能となる。なお、本実施例の以外であっても、ピクチャの先頭近傍に同等の意味を持つ情報を持つのであれば、可変長符号の有無、情報の順序に寄らず、本発明の意味する構成となり、同様の効果をもたらす。
【００２２】
特に、図６に示すように、ＩＭＢＢ，ＣＩＭＢＢとして扱うイントラＭＢがどの部分かを、符号化効率上配置されている非連続に出現するイントラＭＢ部から分離してあらかじめ識別することができるため、イントラＭＢ部の連続性からＣＩＭＢＢ，ＩＭＢＢ部を特定するより効率的にしかも一意に復号すべき箇所を特定することが可能となる。これは、特殊再生時のデコード処理の簡素化に役立つ。
【００２３】
なお、本実施例では、Ｈ．２６４／ＡＶＣを想定して記載しているが、それ以外の画像符号化規格ＭＰＥＧ１Ｖｉｄｅｏ、ＭＰＥＧ４などフレーム間動き予測を用いる画像符号化規格を用いる場合には、一般的に本発明の効果は保たれる。
【００２４】
次に、画像復号装置２において、いったんハードディスク２３に記録した符号化データをどのように特殊再生するかを説明する。想定として、図２に記載のＣＩＭＢＢ、ＩＭＢＢの配置（Ｎ＝９）を考える。あらかじめハードディスク２３に記録された符号化データは、特殊再生を行うデータ群がその先頭位置から、読み出される。なおハードディスクへの記録時には、符号化データの各データの時刻情報とハードディスク内の格納位置を管理情報として記録しておき、再生時には、上記管理情報よりデータを読み出し、所望のデータを抽出して読み出すことで画像復号部２５にスイッチ２４を介して送出する。
【００２５】
画像復号部２５における、画像再生手順を解説する。画像復号部２５は、再生中の符号化データのうち各ピクチャのヘッダ部分を解析し、ＣＩＭＢＢの有無を解析する。ＣＩＭＢＢが含まれる画像はその後のＭＢごとの復号処理に進み、ＣＩＭＢＢが含まれない場合には、次のピクチャヘッダサーチを行い、ＣＩＭＢＢの有無の解析を行う。
【００２６】
ＣＩＭＢＢが含まれる画像については、ＭＢ単位処理し、ＣＩＭＢＢ内に該当するＭＢの場合には、符号化データに基づいて復号処理を行い、該当するＭＢ領域の復号画像を得る。一方、ＣＩＭＢＢに該当しない部分については、復号画像処理を行わず、特殊再生中に直前に表示されたフレームの同位置の画像を再度表示するようにする。これは、参照画像領域、もしくは表示画像領域のフレームバッファを設け、復号した画像を格納しておくことで、次のフレームで必要に応じて再読み出しすることで実現可能である。
【００２７】
上記の手順で復号を行った場合、図７に示すように４１、４２、４３、そして４４と順次特殊再生画像が得られる。
【００２８】
これによりＣＩＭＢＢを新たに復号した部分のみ画像が更新され、それ以外の画像は直前のフレームの内容が表示される。また、本実施例の場合は、３フレーム毎にＣＩＭＢＢが現れるため、３フレームにつき１回の復号画像を作成し、表示することになる。このため、みかけ上３倍速で画面倍速で一部が早送りされた動作になる。これにより、Ｉピクチャはないが、画像中の一部分が完全復元された画像が巡回しながら更新されることで、どのような画像の内容か概要を得る事が可能となる。
【００２９】
さらに、符号化データをハードディスクに記録する時に、各ピクチャのＣＩＭＢＢの有無と、ピクチャ先頭位置の格納情報位置との対応情報を特殊再生制御部２６で構築し、ハードディスクに記録する。この情報を特殊再生時に参照しつつ、所望の倍速表示を実現するＣＩＭＢＢのピクチャ先頭の格納位置を特定しその部分から各ピクチャの画像を読み出し、表示することで逆方向の特殊再生も可能となる。
【００３０】
具体的には、再生時にＰｉｃ９、Ｐｉｃ６、Ｐｉｃ４，Ｐｉｃ１とＣＩＭＢＢを含む画像を断続的にＨＤＤより再生し、上記と同様にＣＩＭＢＢ部のみを復号、再生、他のエリアについては直前に表示されたフレーム画像を再表示することで、逆方向の早戻し再生が可能となる。
【００３１】
さらに、ＣＩＭＢＢを含むピクチャを読み出すピクチャ間隔を広げることで、見かけの再生速度を増やすことができ、更なる高速早戻し、巻き戻し再生も可能となる。
【００３２】
さらに、上記の特殊再生中に図示されない一時停止ボタン押下により、ポーズ画像表示が要求された場合には、復号したＣＩＭＢＢの表示更新を停止すれば、概略の画像が確認できるポーズ画像を得ることが可能である。
【００３３】
上記のような復号手段により、全ＭＢがイントラＭＢとなるＩピクチャが含まれない符号化ストリームであっても、定期的にエラー伝送からの復帰処理を行い、かつ低遅延伝送を行い、伝送後の画像を記録して再生する際の特殊再生を実現することが可能となる。
【００３４】
次に、本発明第２の実施例について述べる。本実施例では、早送り、巻戻しなどの表示及びブロック公正などは第１の実施例と同等であるが、ポーズ画像の作成が異なる。
【００３５】
以下に、本実施例におけるポーズ画像の作成手順について説明する。ポーズ画像は、特殊再生時などに図示されていないユーザインタフェースより一時停止ボタンが押下された際、そのタイミングで表示されていたピクチャを静止画再生するものであるが、上記実施例画像では、スタートフレーム中のＣＩＭＢＢ部のみを更新するため、早送り、もしくは巻戻しの途中で再生中画像をスチル再生した場合、ポーズ画像が複数フレーム内容で構築させるためこのままでは、使い勝手が悪い。したがって、本実施例では以下の方法でポーズ画像を作成する。
【００３６】
まず、通常再生時、もしくは早送り、もしくは巻戻し中に一時停止ボタンが押下された場合、この動作を停止させる。これ以降の工程を図８を用いて説明する。図８は、ＣＩＭＢＢを含むスタートフレームの出現頻度が３枚に一回（Ｍ＝３）、ＩＭＢＢにより１フレーム描画領域が１巡回するのに９フレーム（Ｎ＝９）される場合を想定する。一時停止が押下された際、更新したＣＩＭＢＢを含むスタートフレームがＮｏ．１３のピクチャであった場合、そのＣＩＭＢＢを含むＮ＝９枚分さかのぼったＮｏ．４のスタートピクチャの格納位置を上述のＨＤＤの管理情報より読み出し、その位置からピクチャを１枚ずつ再生する。Ｎｏ．１３の画像は、その画像を含まないＮ枚分の画像を復号することにより、参照画像として用いる可能性のあるＮｏ．１２が完全復号されるため、エラー無しに復号されることができる。
【００３７】
１枚の画像を作成するにあたり、複数の画像をデコードするため表示には時間がかかるが、早送り、巻戻しのように高速に画像を更新する必要がないため、実用上の使い勝手への影響は少なく、ポーズ時に完全に一枚の画像が復元できるという利点を得る。
【００３８】
また、次に一枚次のピクチャを再生するようなコマ送り動作を必要とする際には、Ｎｏ．１３の画像を参照フレームバッファに格納し、これを動き予測のための参照画像として用いながら復号するとＮｏ．１４の画像を得ることが可能となる。
【００３９】
上記のように、ストリーム中の任意の一枚は、その一枚を含むＭ枚のスタートフレームからなるフレーム集合のＮ枚分の画像までさかのぼり、その画像分を再生し、参照画像を得た後に、復号することで本実施例では、完全に復号することが可能であることから、これを繰り返すことで、コマ送り、コマ戻しの動作も実現可能となる。
【００４０】
上記の実施により、Ｉピクチャを含まないストリームであっても、早送り、巻き戻し、ポーズ画像表示、コマ送り、さらにコマ戻しを実現させることが可能となる。これは、本実施例のようにＩピクチャが長期間もしくはまったく存在しないストリームにおいても、ＣＩＭＢＢの格納位置情報をＨＤＤの管理情報部に存在させるあるいは、あらかじめストリームの符号化規則として、ＣＩＭＢＢの出現頻度ＭとＩＭＢＢにより１フレーム描画領域が巡回するのに必要なフレーム数Ｎを定義することで、もたらされる効果である。
【００４１】
次に、本発明の第３の実施例について説明する。本実施例においては、第１、第２の実施例とブロック構成としては同じであるが、早送り、巻戻し時も、完全な画像を再生する。第１の実施例中で例示したストリームと同等のＣＩＭＢＢ，ＩＭＢＢ間隔のストリームを早送り再生する場合、８１、８２に示すフレーム郡をその先頭のフレームより順次復号し、最終画像（Ｎｏ．６およびＮｏ．１８）のみを表示させることで早送りに相当する画像表示をおこなうことが可能である。
【００４２】
このときの倍速（通常再生に比べた高速再生スピード）は、表示する画像の抽出間隔をＬフレーム、一枚を繰り返し表示する回数をＰ回とすると、Ｌ／Ｐ倍と計算できる。このため、Ｌ＞＝Ｎで、Ｐ＞＝Ｎであれば、リアルタイムに復号するスピードを持つ復号装置であれば、Ｌ／Ｐ倍速表示を実現すること可能である。すなわち、１枚の表示画像を作成するために、スタートフレームからＮ枚分を順次復号し、最終フレームとなるピクチャを復号する。この間、その直前に復号した画像を繰り返し表示し続け、Ｐフレームのインターバルごとに新規に復号した画像を更新することができる。復号スループットとしては、Ｎ／Ｐ（＜＝１）枚分の画像を１フレーム期間中にデコードすればよい。
【００４３】
実際のブロック上の動作としては、再生すべき倍速は、図示されていないユーザインタフェースにより指示され、表示に必要なＮ枚の画像データを特殊再生制御部２６において割り出し、該当するＮ枚の先頭スタートピクチャの格納位置をＨＤＤの管理情報より特殊再生制御部２６において計算し、順次Ｎフレーム分のデータをＨＤＤより読み出す。例えば、図９の８１で抽出されたＮフレーム分の画像データは、画像復号部２５にスイッチ２４経由で送出され、復号処理が行われる。
【００４４】
画像復号部２５では、Ｐフレームの間、直前に復号した画像を表示し、その間、内部の参照フレームを用いてＮ枚分の復号処理を行う。Ｐフレーム期間終了後、表示するフレームを復号した画像に画像復号部２５ではスイッチする。一方、特殊再生制御部２６では、図９の８２に示すように次のＮ枚のフレーム群の格納場所をＨＤＤの管理情報より抽出し、その情報に対応したデータをＨＤＤより読み出し、画像復号部へのデータ供給を継続する。
【００４５】
図９の８１、８２の間隔でフレーム群を抽出（Ｎ＝６、Ｌ＝１２）し、復号した画像の更新する期間を６フレーム期間（Ｐ＝６）とし、６フレームごとに表示を切り替えると、通常再生に比べＬ／Ｐ＝２倍の速度を持つ早送り処理ができる。
【００４６】
また、図示されていないユーザインタフェースよりスピードを上げるように指示された場合には、特殊再生制御部２６がＨＤＤより読み出す間隔Ｌを８４、８５に示すように大きくすることで早送りのスピードを上げることができる。
【００４７】
図９の８４、８５の場合は、Ｌ＝１８となり、Ｌ／Ｐ＝１８／６＝３倍速となり、表示画像８６に示すような再生画像が得られる。以上のように本実施例では、高速再生時の各表示画像が短冊上に区切れることなく完全なる一枚が再生されるため、一枚の画像確認が重要な使用用途においては、ユーザの使い勝手を向上させることが可能である。
【００４８】
また、高速再生中の更新レートを高くすることが要求される場合には、実施例１に示すように、ＣＩＭＢＢ部のみの更新による特殊再生を行い、倍速スピードが高くなった後は、本実施例中の再生方法を行うような復号および表示方法を切り替えることで、低速時には、更新レートを高くし、高速時には、視認性を上げるという効果をもたらすことも可能である。
【００４９】
また、さらに将来的に復号装置の処理能力が飛躍的に向上した場合、Ｉフレームが長期間存在しないフレームにおいても上記のようにＣＩＭＢＢから始まるＮ枚の期間を１フレーム期間に復号処理し、表示するフレームを作成することにより、従来のＩピクチャ画像復号によって得られていたような全フレーム完全再生による特殊再生が、低速（すなわちＰ感覚が小さい）の場合の早送り、巻き戻しにおいても実現可能となる。これもＣＩＭＢＢをストリーム中に配置し、格納位置を管理情報に保持することでもたらせる効果である。
【００５０】
上記実施例では、ネットワークで接続された送受信装置の実施形態を用いて、Ｉピクチャを含まないストリームの有義性を示しているが、本発明の特徴のための制限ではなく、ネットワーク接続がされていない記録再生装置であっても、圧縮率向上のためにＩピクチャを長期間で含まない記録を行うような場合、本発明による効果は十分もたらされる。また、既存のＭＰＥＧ１，ＭＰＥＧ２，Ｈ．２６４／ＡＶＣなどの規格での活用は言うまでもなく、現存しない規格中のストリーム符号化として本実施例に記載と同等の意味を持つストリーム情報を用いることで同等の効果を得ることが可能である。
【００５１】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５２】
１…画像符号化装置、２…画像復号装置、１１…画像入力端子、１２…画像符号化部、１３…ネットワーク送信部、１４…出力端子、２１…入力端子、２２…ネットワーク受信部、２３…ハードディスク、２４…スイッチ、２５…画像復号部、２６…特殊再生制御部、２７…復号画像出力端子
【特許請求の範囲】
【請求項１】
符号化映像信号の復号装置であり、その領域内の情報のみで画像を復号可能である画像領域を検知し、各フレームの復号時には、該領域のみを表示し、他の領域は同位置の以前表示した画像を表示すること、
を特徴とする符号化映像信号の復号装置。
【請求項２】
請求項１に記載の符号化映像信号の復号装置であり、
上記画像領域の位置が巡回されている際には、周期的に１フレーム全体を上記画像領域が移動するよう、復号させる画像を選択すること、
を特徴とする復号装置。
【請求項３】
請求項２に記載の符号化映像信号の復号装置であり、
入力される符号化ストリームが、その領域内の情報のみで画像を復号可能である画像領域をもち、上記画像領域の位置を巡回させており、さらに所定のフレームから１フレーム領域全体が巡回されるまで、複数フレームを復号すると、１フレームの復号画像が得られるフレーム群の集合である際、特殊再生のポーズ時には、ポーズすべきフレームが参照する最古の参照画面が含まれるフレーム群の一つ前のフレーム群の先頭フレームにさかのぼり、再生することでポーズ画面を作成することを特徴とする符号化映像信号の復号装置。
【請求項４】
請求項３に記載の符号化映像信号の復号装置であり、
高速で早送りもしくは巻き戻しする際には、上記ポーズ画面と同様の出力を断続的に繰り返し、画像を更新することを特徴とする復号装置。
【請求項５】
請求項４に記載の符号化映像信号の復号装置であり、入力される符号化ストリームが、その領域内の情報のみで画像を復号可能である画像領域をもち、上記画像領域の位置を巡回させており、どのフレームから復号しても、１フレーム領域全体が巡回されるまで、複数フレームを復号すると、１フレームの復号画像が得られる際、特殊再生のポーズ時には、ポーズすべきフレームが参照する最古の参照画面が復元できるまで、デコードする画像をさかのぼり再生することでポーズ画面を作成することを特徴とする符号化映像信号の復号装置。
【請求項６】
符号化映像信号の符号化装置であり、その領域内の情報のみで画像を復号可能である画像領域を設け、概画像領域の位置情報をストリーム中に符号化する機能を有することを特徴とする符号化装置。
【請求項７】
請求項６に記載の符号化装置であり、上記画像領域の位置を巡回させ、周期的に１フレーム全体を上記画像領域が移動するよう、符号化することを特徴とする符号化装置。
【請求項８】
請求項７に記載の符号化装置であり、上記画像領域の位置を巡回させる際、所定のフレームから１フレーム領域全体が巡回されるまで、複数フレームを復号すると、最後の１フレームの復号画像がエラー無しで復号できるスタートフレームを設けることを特徴とする符号化装置。
【請求項９】
請求項８に記載の符号化装置であり、上記スタートフレームであることを示すコードを符号化することを特徴とする符号化映像信号の符号化装置。
【請求項１】
符号化映像信号の復号装置であり、その領域内の情報のみで画像を復号可能である画像領域を検知し、各フレームの復号時には、該領域のみを表示し、他の領域は同位置の以前表示した画像を表示すること、
を特徴とする符号化映像信号の復号装置。
【請求項２】
請求項１に記載の符号化映像信号の復号装置であり、
上記画像領域の位置が巡回されている際には、周期的に１フレーム全体を上記画像領域が移動するよう、復号させる画像を選択すること、
を特徴とする復号装置。
【請求項３】
請求項２に記載の符号化映像信号の復号装置であり、
入力される符号化ストリームが、その領域内の情報のみで画像を復号可能である画像領域をもち、上記画像領域の位置を巡回させており、さらに所定のフレームから１フレーム領域全体が巡回されるまで、複数フレームを復号すると、１フレームの復号画像が得られるフレーム群の集合である際、特殊再生のポーズ時には、ポーズすべきフレームが参照する最古の参照画面が含まれるフレーム群の一つ前のフレーム群の先頭フレームにさかのぼり、再生することでポーズ画面を作成することを特徴とする符号化映像信号の復号装置。
【請求項４】
請求項３に記載の符号化映像信号の復号装置であり、
高速で早送りもしくは巻き戻しする際には、上記ポーズ画面と同様の出力を断続的に繰り返し、画像を更新することを特徴とする復号装置。
【請求項５】
請求項４に記載の符号化映像信号の復号装置であり、入力される符号化ストリームが、その領域内の情報のみで画像を復号可能である画像領域をもち、上記画像領域の位置を巡回させており、どのフレームから復号しても、１フレーム領域全体が巡回されるまで、複数フレームを復号すると、１フレームの復号画像が得られる際、特殊再生のポーズ時には、ポーズすべきフレームが参照する最古の参照画面が復元できるまで、デコードする画像をさかのぼり再生することでポーズ画面を作成することを特徴とする符号化映像信号の復号装置。
【請求項６】
符号化映像信号の符号化装置であり、その領域内の情報のみで画像を復号可能である画像領域を設け、概画像領域の位置情報をストリーム中に符号化する機能を有することを特徴とする符号化装置。
【請求項７】
請求項６に記載の符号化装置であり、上記画像領域の位置を巡回させ、周期的に１フレーム全体を上記画像領域が移動するよう、符号化することを特徴とする符号化装置。
【請求項８】
請求項７に記載の符号化装置であり、上記画像領域の位置を巡回させる際、所定のフレームから１フレーム領域全体が巡回されるまで、複数フレームを復号すると、最後の１フレームの復号画像がエラー無しで復号できるスタートフレームを設けることを特徴とする符号化装置。
【請求項９】
請求項８に記載の符号化装置であり、上記スタートフレームであることを示すコードを符号化することを特徴とする符号化映像信号の符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２２２７１０（Ｐ２０１２−２２２７１０Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８８７６９（Ｐ２０１１−８８７６９）
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]