情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラム
【課題】 画像の編集データを画像データと同じようにＶＴＲ上に圧縮符号化して保存する。
【解決手段】 ＤＣＴ変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした画像を作成して、この画像をＶＴＲに記録する。このとき、自然画像では低周波成分に集中し高周波成分が丸め込まれる、という符号化圧縮の特性から、ビット・ストリームの各データを基底ベクトルにマッピングする際には、低周波成分のみを使用することによって、復号化伸張時におけるビット・ストリームの再現性の維持を図る。
【解決手段】 ＤＣＴ変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした画像を作成して、この画像をＶＴＲに記録する。このとき、自然画像では低周波成分に集中し高周波成分が丸め込まれる、という符号化圧縮の特性から、ビット・ストリームの各データを基底ベクトルにマッピングする際には、低周波成分のみを使用することによって、復号化伸張時におけるビット・ストリームの再現性の維持を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化する情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、動画などの画像情報のための情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積したり伝送するために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化する情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりする情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
一般に、映像信号の保存にはＶＴＲ（ビデオ・テープ・レコーダ）などの画像記録装置が使用される。また、放送局や映画制作会社などでは、編集作業を行う画像編集装置には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。例えば、オリジナル画像が記録してあるテープをＶＴＲで再生して、オリジナル画像を画像編集装置に取り込む。そして、画像編集装置上で画像を編集し、最終的に得たい画像を得る。最終的な画像はＶＴＲに記録される。このように、画像編集装置にはＶＴＲが必要不可欠である。
【０００４】
さて、画像編集は、長い時間かけて、ユーザにより行われる。もし編集過程において編集装置に不具合が生じてしまい、それまでに行なわれた編集データがすべて消失してしまうと、ユーザは最初から編集作業をやり直さなければならなくなる。このような事態を避けるために、編集過程の情報を同じＶＴＲ上に記録する（すなわち、データをバックアップする）ということが一般的に行われている。
【０００５】
ここで、画像の編集データは、画像データそのものではなく、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成されるビット・ストリームである。
【０００６】
勿論、この編集過程の情報であるビット・ストリームを、ＶＴＲ（若しくは、元の画像情報と同じ画像記録装置）ではなく別のデータ記録装置（例えば、フレキシブル・ディスクなど）に記録してもよい。しかしながら、画像編集装置にはせっかくＶＴＲが接続されており、このＶＴＲを使用すれば他の記録装置を別途用意する必要がなくなるので、ビット・ストリームをそのままＶＴＲへ記録したいという、ユーザからの強い要望がある。ＶＴＲに編集データを保存することは、画像データと同じ場所に編集データを置くことを意味し、編集データの保管場所が分からなくなる（データが行方不明になる）という不都合も回避することができる。
【０００７】
ところで、画像データは一般にデータ・サイズが膨大である。このため、近年のＶＴＲには画像圧縮技術を利用しているものが多い。ここで、「圧縮」とは、データの冗長性を削除して、ファイルやデータのサイズを小さくすることを言い、「画像圧縮」は画像データに特化した圧縮を行う技術のことである。すなわち、画像を圧縮（エンコード）することで、同じ長さのビデオ・テープ上にはより多くの画像を記録することができるようになる。また、圧縮されたデータを伸張（デコード）すると、圧縮（エンコード）前の画像とほとんど見分けがつかない画像を復元できる。
【０００８】
画像圧縮技術は、
（１）テープの消費量を抑えることができる。
（２）記録して再生したとき、すなわち圧縮と伸張を行ったとき、オリジナル画像と見分けのつかない画像を再生できる。
という２つのメリットがあるため、多くのＶＴＲに採用されるようになった。
【０００９】
画像圧縮には、一般に、時間軸を周波数軸に置き換えるＤＣＴ（Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理が適用される。ＤＣＴ自体は単なる座標軸の変換であるが、変換することによって信号電力の大きい周波数領域と少ない周波数領域に分けて重み付け量子化することにより、データ量を削減することができる。
【００１０】
この種の画像圧縮符号化の他の特徴として、不可逆変換であること、すなわち復号化しても完全に元のデータが完全に再現される保証がないということが挙げられる。但し、元の画像が完全に再現されなくても、目視で認識できない程度の画像劣化であれば、特に問題とはならない。
【００１１】
ところが、先に述べた画像編集データのようなバイナリ・データのビット・ストリームをＶＴＲに保存する場合には大いに問題がある。何故なら、バイナリ・データのビット・ストリームは、０と１が乱数的に出現するデータ列であるが、少なくとも一部のビット位置において値が入れ替わるだけでも、データ列全体が編集データとしてはまったく意味を持たなくなってしまう。
【００１２】
編集データを画像に特化した圧縮方法により圧縮並びに伸張処理を適用すると、その不可逆性のために幾つかのデータは正しく再生されなくなる。つまり、０というデータをＶＴＲに記録して再生すると１になることが起こり得る。また、その逆も起こり得る。このような不可逆性は、画像情報の再生には問題とはならないが、編集データにとっては致命的なのである。
例えば、画像形式以外のデータを画像形式のデータと同様に且つ同じメディアに記録・再生するファイルデータの記録方法について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、この方法では、ＶＴＲに記録する際にはＤＣＴ方式による圧縮処理を経なければならず、また、ＶＴＲから再生する際にはＤＣＴ方式による伸張処理を経なければ元のファイルデータを構築することができない、という問題がある。
【特許文献１】特開平１１−２６６４３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、動画などの画像情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積したり伝送するために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりすることができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、第１のデータ実空間上の第１のデータを、第２のデータ実空間を符号化してなる第２のデータ符号化空間にマッピングするマッピング手段又はステップを備える、
ことを特徴とする情報符号化装置又は情報符号化方法である。
【００１７】
ここで、第２のデータ実空間上のデータは、例えば、動画像などの画像データである。このような場合、第２のデータ符号化空間は、画像データを離散コサイン変換（ＤＣＴ）してなるＤＣＴ符号化空間である。ＤＣＴ符号化空間は、低周波数から高周波数に至る各周波数帯の成分をそれぞれ表す所定個数（例えば、８×８＝６４個）の基底ベクトルからなる。
【００１８】
また、第１のデータは、画像データに対する編集情報であり、ビット・ストリームで構成される。このような場合、前記マッピング手段又はステップは、該ビット・ストリームのビット値を第２の符号化空間を構成する基底ベクトルにマッピングすることができる。
【００１９】
本発明の第１の側面に係る情報符号化装置又は情報符号化方法は、第２のデータ符号化空間上の符号化データを記録する記録手段又はステップをさらに備えていてもよい。記録手段又はステップは、例えば、動画像を記録するＶＴＲ（ビデオ・テープ・レコード）などであり、画像データをＤＣＴなどにより符号化圧縮してから記録するようになっている。
【００２０】
このように記録手段又はステップが、元の画像データを符号化圧縮されたデータを記録するように構成されている場合には、本発明の第１の側面に係る情報符号化装置又は情報符号化方法は、前記マッピング手段又はステップにより第１のデータ実空間上の第１のデータが第２のデータ符号化空間にマッピングされた擬似的な符号化データを復号化して第２のデータ実空間上の擬似的な第２のデータを生成する擬似データ復号化手段又はステップをさらに備えていればよい。このようにすれば、前記記録手段又はステップでは、この擬似的な第２のデータを符号化してから第２のデータ符号化空間にマッピングされた状態で第１のデータを記録することができる。
【００２１】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。
【００２２】
そこで、本発明の第１の側面に係る情報符号化装置又は情報符号化方法では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、画像圧縮符号化により変換される符号化空間上にビット・ストリームの各データをマッピングした画像フレームを作成して、この画像をＶＴＲに記録する。すなわち、編集データなどのビット・ストリームを記録する際には、同じ圧縮変換方法で用いられる変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした擬似的な符号化画像を作成して、この符号化画像をＶＴＲに記録する。
【００２３】
ビット・ストリームをＤＣＴ符号化空間にマッピングする際、自然画像では低周波数成分に集中し高周波数成分が丸め込まれるという符号化圧縮の特性を考慮して、低周波数成分側の所定個数までの各基底ベクトル、例えば低周波数成分側から２０個までを使用してビット・ストリームの各データをマッピングすることによって、復号化伸張時におけるビット・ストリームの再現性の維持を図ることができる。
【００２４】
ここで、前記マッピング手段により第２のデータ符号化空間にマッピングされた擬似的な符号化データを復号化してエラーを検出するエラー検出手段又はステップと、該エラー検出結果に応じて、使用する基底ベクトルの周波数帯域を調整する周波数帯域調整手段又はステップとをさらに備えていてもよい。
【００２５】
例えば、ビット・ストリームのマッピングに使用した最も高周波数成分の基底ベクトルにおける再現性をチェックして、エラーが検出されたならば、可逆性が保証されないことになるので、マッピングに使用する基底ベクトルをより低周波数成分に限定することにより、再現性の維持を図るようにする。
【００２６】
あるいは、第２の符号化空間のうち低周波数成分側の所定個数までの各基底ベクトルに対してビット・ストリームの各ビットの値を順次マッピングしていく代わりに、ビット・ストリーム中の連続するｎビットの値を、前記第２の符号化空間のうち低周波数成分側のｍ個の基底ベクトルのうちｋ個に１を代入するとともに残りのｍ−ｋ個に０を代入して表現されたビット・パターンにマッピングするようにしてもよい（但し、２n＜mＣk）。
【００２７】
例えば第２の符号化空間を構成する２０個の基底ベクトルのうち任意の３個を選ぶ組み合わせ20Ｃ3は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。一方、ビット・ストリームを構成する１０ビットのデータ・パターンは２10＝１０２４通りなので、これら１０２４個のパターンの１つずつを、２０個の基底ベクトルの中の３個を選んだパターンに対応させることによって、ビット・ストリームの２０個分のビット列を表現することができる。すなわち、選ばれた３個の基底ベクトルのみ成分に１を代入するとともに、残りの１７個の基底ベクトルの成分を０に設定する。
【００２８】
また、本発明の第２の側面は、第１のデータ実空間上の第１のデータが第２のデータ実空間を符号化した第２のデータ符号化空間にマッピングされてなる符号化データを第１のデータ実空間上に復号化する復号化手段又はステップを備える、
ことを特徴とする情報復号化装置又は情報復号化方法である。
【００２９】
本発明の第２の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第１の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００３０】
すなわち、本発明の第１の側面に係る情報符号化装置又は情報符号化方法では、第１のデータを構成するビット・ストリームのビット値を第２の符号化空間を構成する基底ベクトルにマッピングされているので、前記復号化手段又はステップは、基底ベクトルにマッピングされたビット値をビット・ストリームに再マッピングするようにすればよい。
【００３１】
例えば、前記第２の符号化空間のうち低周波数成分側の所定個数までの各基底ベクトルに対して該ビット・ストリームの各ビットの値が順次マッピングされている場合には、前記復号化手段は又ステップは、基底ベクトルにマッピングされたビット値を順次ビット・ストリームに再マッピングするようにすればよい。
【００３２】
あるいは、ビット・ストリーム中の連続するｎビットの値が前記第２の符号化空間のうち低周波数成分側のｍ個の基底ベクトルのうちｋ個に１を代入するとともに残りのｍ−ｋ個に０を代入して表現されたビット・パターンにマッピングされている場合には（但し、２n＜mＣk）、前記復号化手段は又ステップは、ｍ個の基底ベクトルにより表現されたビット・パターンをビット・ストリームの連続するｎビットの値に再マッピングするようにすればよい。
【００３３】
また、本発明の第３の側面は、第１のデータ実空間上の第１のデータを第２の密度を以って第２のデータ実空間に変換するマッピング手段又はステップを備える、
ことを特徴とする情報符号化装置又は情報符号化方法である。
【００３４】
ここで、第２のデータ実空間上のデータは動画像などの画像データである。また、第１のデータは、画像データに対する編集情報であり、ビット・ストリームで構成される。
【００３５】
本発明の第３の側面に係る情報符号化装置又は情報符号化方法は、第１のデータがマッピングされた第２のデータ実空間上の擬似的な第２のデータを符号化して記録する記録手段又はステップをさらに備えていてもよい。記録手段又はステップは、例えば、動画像を記録するＶＴＲ（ビデオ・テープ・レコード）などであり、画像データをＤＣＴなどにより符号化圧縮してから記録するようになっている。
【００３６】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。
【００３７】
そこで、本発明の第３の側面に係る情報符号化装置又は情報符号化方法では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、ビット・ストリームを第２の密度を以って画像フレームの画素にマッピングし、この擬似的な画像フレームを通常の画像フレームと同様に符号化圧縮してＶＴＲに記録するようにした。
【００３８】
さらに、ビット・ストリームがマッピングされた擬似的な画像フレームに対して符号化及び復号化処理を経た後、ビット・ストリームの復元を試みて、エラーを検出して、エラーが発生しないようにビット・ストリームを画像フレームにマッピングする密度を調整することができる。
【００３９】
例えば、ビット・ストリームを構成する各ビット位置における値を、画像フレーム中で対応する画素位置における１画素あるいはｎ×ｎ画素ブロックの画素値としてマッピングして、一旦擬似的な画像フレームを生成して、さらにこの擬似画像フレームをＤＣＴ符号化圧縮してＶＴＲに記録する。
【００４０】
そして、符号化及び復号化を経た後、ビット・ストリームを再現することができなかった場合には、再現性を高めるために、ビット・ストリームの各ビットをマッピングする画素数を増やす。例えば、ビット・ストリームの各ビット位置の値を擬似画像フレーム中の（ｎ＋１）×（ｎ＋１）画素のブロックを使って記憶させる。このように、ビット・ストリームの各１ビットを、より多くの画素数からなるブロックに割り当てることにより、作成される擬似画像は高周波数成分が抑えられた画像となるので、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【００４１】
また、本発明の第４の側面は、第１のデータ実空間上の第１のデータを第２の密度を以って第２のデータ実空間に変換されてなる符号化データを第１のデータ実空間上に第２の密度の逆数を以って逆変換する復号化手段又はステップを備える、
ことを特徴とする情報復号化装置又は情報復号化方法である。
【００４２】
本発明の第４の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第３の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００４３】
すなわち、本発明の第３の側面に係る情報符号化装置又は情報符号化方法では、ビット・ストリームの各ビットが第２の密度を以って画像フレームにマッピングされているので、前記復号化手段又はステップは、画像フレーム中の画素値を第２の密度の逆数を以って再マッピングするようにすればよい。
【００４４】
例えば、ビット・ストリームの各ビット値が第２のデータ実空間をｎ×ｎ画素毎に分割されたブロックにマッピングされている場合には、前記復号化手段は又ステップは、第２のデータ実空間上の各ｎ×ｎ画素ブロックの画素値を第１のデータ実空間上に再マッピングするようにすればよい。
【００４５】
また、本発明の第５の側面は、画像以外の第１のデータを符号化する情報符号化装置又は情報符号化方法であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段又はステップと、
該擬似的な画像フレームを複数枚連続させる、擬似画像フレーム複製手段又はステップと、
を具備することを特徴とする情報符号化装置又は情報符号化方法である。
【００４６】
ここで、第１のデータは画像データの編集データなどであり、ビット・ストリームで構成される。そして、前記マッピング手段又はステップは、該ビット・ストリームのビット値を画像フレームの画素に所定の密度を以ってマッピングすることができる。
【００４７】
あるいは、前記マッピング手段又はステップは、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値をマッピングすることができる。
【００４８】
また、本発明の第５の側面に係る情報符号化装置又は情報符号化方法は、各擬似的な画像フレームが複数枚連続してなる画像フレーム群を動き補償する擬似画像フレーム符号化手段又はステップをさらに備えていてもよい。
【００４９】
動画像の画像圧縮技術においては、「動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）」が導入される場合がある。動き補償による圧縮では、時間的に連続する複数の画像をイントラ・ピクチャとノンイントラ・ピクチャの２つのグループに分ける。
【００５０】
ここで、編集データなどのビット・ストリームがマッピングされた擬似的な画像フレームをノンイントラ・ピクチャとして扱った場合、擬似的な画像から他の画像との差分をとってもデータの冗長性を削除することが期待できないばかりか、ノンイントラ・ピクチャ内のデータも不正確になってしまい可逆性が著しく損なわれる。このため、ノンイントラ・ピクチャとして処理された擬似的な画像フレームをＶＴＲに記録した後、元のビット・ストリームを完全に再現できなくなる。
【００５１】
そこで、本発明の第５の側面に係る情報符号化装置又は情報符号化方法においては、ビット・ストリームをマッピングした擬似的な画像フレームがイントラ・ピクチャに割り当てられるようにすることで、動き補償が適用された画像フレームから元のビット・ストリームを最大限正確に取り出すことができるようにする。より具体的には、ビット・ストリームのデータをマッピングした擬似的な画像フレームを作成した後、この画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。
【００５２】
動き補償を適用する画像圧縮器においては、イントラ・ピクチャが出現する周期Ｍを規定していることが多い。このような場合、周期に相当するＭ枚分だけ擬似的な画像フレームを連続させることによって、そのうちの１枚は必ずイントラ・ピクチャに割り当てられるので、この画像フレームを使うことで、データ削減による劣化のない状態でビット・ストリームを取り出すことができる。
【００５３】
また、本発明の第６の側面は、第１のデータを画像フレームにマッピングして生成された擬似的な各画像フレームを複数枚連続させてなる擬似的な画像フレーム群が動き補償により符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化装置又は情報復号化方法であって、
擬似的な符号化画像を動き補償により復号化して擬似的な画像フレーム群を作成する復号化手段又はステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング手段又はステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力手段又はステップと、
を具備することを特徴とする情報復号化装置又は情報復号化方法である。
【００５４】
本発明の第６の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第５の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００５５】
すなわち、ビット・ストリームを画像フレームに変換してＶＴＲに記録した後、ＶＴＲからビット・ストリームを再構築する際、ＶＴＲから再生される画像フレーム列のうち、時刻０から始まるＭ枚毎の画像からビット・ストリームを再構築する（但し、Ｍはイントラ・ピクチャの出現周期であることが好ましい）。また、時刻１から始まるＭ枚毎の画像からビット・ストリームを再構築する。また、時刻２から始まるＭ枚毎の画像からビット・ストリームを再構築する。以降同様に、時刻３から時刻Ｎ−１までのものに対してもビット・ストリームを再構築する。
【００５６】
そして、これらＮ個の再構築されたビット・ストリームの中から最もエラーの少なかったビット・ストリームを選び出して、これをＶＴＲから再現した結果として出力する。最もエラーの少なかったビット・ストリームは、イントラ・ピクチャに割り当てられたＭ枚置きの画像フレームの組から再現されたものと推測される。勿論、エラーの少ないビット・ストリームが再現されることが目的であり、必ずしもイントラ・ピクチャに割り当てられた画像フレームから再現しなければならないという訳ではない。
【００５７】
また、本発明の第７の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルのうち所定の周波数帯又は所定個数の基底ベクトルに対して、符号化対象となる情報を構成するビット・ストリームのビットをマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な符号化画像に対して、復号化／符号化を行なった後、該擬似的な符号化画像を構成する各基底ベクトルを再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームのマッピングに使用する基底ベクトルの周波数帯又は個数を調整する周波数帯調整ステップと、
を具備することを特徴とする記憶媒体である。
【００５８】
また、本発明の第８の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
符号化対象となる情報を構成するビット・ストリームのビットを所定の密度を以って画像フレーム上の画素にマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な画像フレームの画素を前記所定の密度の逆数を以って再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームを画像フレームにマッピングするときの密度を調整する密度調整ステップと、
を具備することを特徴とする記憶媒体である。
【００５９】
また、本発明の第９の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
符号化対象となる情報を画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
該擬似的な画像フレームをそれぞれＭ枚連続させる擬似画像フレーム複製ステップと、
各擬似的な画像フレームがＭ枚連続してなる画像フレーム群をＭフレーム周期でイントラ・ピクチャを挿入して動き補償する擬似画像フレーム符号化ステップと、
該符号化された擬似的な画像フレームを動き補償により復号化して擬似的な画像フレーム群を作成する復号化ステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング・ステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力ステップと、
を具備することを特徴とする記憶媒体である。
【００６０】
本発明の第７乃至第９の各側面の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００６１】
本発明の第７乃至第９の各側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第７乃至第９の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１、第３、第５の各側面に係る情報符号化装置又は情報符号化方法とそれぞれ同様の作用効果を得ることができる。
【００６２】
また、本発明の第１０の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルのうち所定の周波数帯の所定個数の基底ベクトルに対して、符号化対象となる情報を構成するビット・ストリームのビットをマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な符号化画像に対して、復号化／符号化を行なった後、該擬似的な符号化画像を構成する各基底ベクトルを再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームのマッピングに使用する基底ベクトルの周波数帯又は個数を調整する周波数帯調整ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６３】
また、本発明の第１１の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
符号化対象となる情報を構成するビット・ストリームのビットを所定の密度を以って画像フレーム上の画素にマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な画像フレームの画素を前記所定の密度の逆数を以って再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームを画像フレームにマッピングするときの密度を調整する密度調整ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６４】
また、本発明の第１２の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
符号化対象となる情報を画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
該擬似的な画像フレームをそれぞれＭ枚連続させる擬似画像フレーム複製ステップと、
各擬似的な画像フレームがＭ枚連続してなる画像フレーム群をＭフレーム周期でイントラ・ピクチャを挿入して動き補償する擬似画像フレーム符号化ステップと、
該符号化された擬似的な画像フレームを動き補償により復号化して擬似的な画像フレーム群を作成する復号化ステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング・ステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６５】
本発明の第１０乃至第１２の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第１０乃至第１２の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１、第３、第５の各側面に係る情報符号化装置又は情報符号化方法とそれぞれ同様の作用効果を得ることができる。
【発明の効果】
【００６６】
本発明によれば、動画などの画像情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【００６７】
また、本発明によれば、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【００６８】
また、本発明によれば、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりすることができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【００６９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００７０】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００７１】
第１の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【００７２】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。そこで、本発明では、再現性が最大限維持されるようにビット・ストリームを画像圧縮にかけるようにする。
【００７３】
本発明の第１の実施形態では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、画像圧縮符号化により変換される符号化空間上にビット・ストリームの各データをマッピングした画像フレームを作成して、この画像をＶＴＲに記録するようにした。
【００７４】
ここで、画像圧縮には、一般に、時間軸を周波数軸に置き換えるＤＣＴ（Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理が適用される。ＤＣＴ処理は、画像フレームを例えば８×８のブロックに分割し、それぞれのブロックに対して周波数空間へ変換する。すなわち、ＤＣＴにより変換符号化された符号化空間は、図１に示すように、ランダムに分布していた画素値が低周波数成分から高周波数成分に至る６４個の周波数項（変換係数）Ｖ1〜Ｖ64で表される（但し、Ｖiは添え字ｉが小さいほど低周波数成分を、大きいほど高周波数成分を表す）。すなわち、ＤＣＴ符号化空間は、Ｖ1〜Ｖ64を成分に持つ「基底ベクトル」として表現することができる。一般的な画像では高周波数成分が含まれていないので、このＤＣＴの処理により周波数空間に変換されたデータは低周波数成分に集中することを利用して、データ量を減らすことができる。
【００７５】
本実施形態では、編集データなどのビット・ストリームを記録する際には、同じ圧縮変換方法で用いられる変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした擬似的な符号化画像を作成して、この符号化画像をＶＴＲに記録する。
【００７６】
また、本実施形態では、ビット・ストリームをＤＣＴ符号化空間にマッピングする際、自然画像では低周波数成分に集中し高周波数成分が丸め込まれるという符号化圧縮の特性を考慮して、例えば基底ベクトルのうちＶ1〜Ｖ20までの低周波数成分側のみを使用してビット・ストリームの各データをマッピングすることによって、復号化伸張時におけるビット・ストリームの再現性の維持を図るようにした。
【００７７】
図２には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【００７８】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【００７９】
また、画像圧縮のために画像が変換されるＤＣＴ符号化空間は、低周波数成分から高周波数成分まで、８×８＝６４個の成分Ｖ1〜Ｖ64からなる基底ベクトルである（図１を参照のこと）。このうち高周波数成分は圧縮により無視される可能性が高いので、低周波数成分側の例えば２０個の成分Ｖ1〜Ｖ20をビット・ストリームをマッピングするために使用する。
【００８０】
ビット・ストリームの先頭（すなわち、第１番目）のデータが０である場合にはＶ1成分を０とし、１である場合にはＶ1成分を１とする。また、第２番目のデータが０である場合にはＶ2成分は０とし、１である場合にはＶ2成分は１とする。同様に、第ｉ（ｉ＝３〜２０）番目のデータが０である場合にはＶi成分を０とし、１である場合にはＶi成分を１とする。このようにして、ビット・ストリームの先頭の２０個のデータの値により、基底ベクトルのうち低周波数側の２０個の成分Ｖ1からＶ20が決定される。また、第２１番目以降の高周波数側の成分Ｖ21〜Ｖ64には０を代入する。このような周波数成分をもつ８×８ブロックの基底ベクトルからなる擬似的なＤＣＴ符号化画像を作成する。
【００８１】
同様に、ビット・ストリームの第２１番目から第４０番目までのデータに対応した８×８の符号化空間を作成し、この８×８の符号化空間を１つのブロックと考える。また、第４１番目以降に関しても、同様に、ビット・ストリームの次の２０個のデータの値により基底ベクトルのうち低周波数側の２０個の成分Ｖ1からＶ20が決定することによって、次フレームに相当する擬似的なＤＣＴ符号化空間を作成していく。
【００８２】
これら８×８のブロック群よりなるデータ群は、ＤＣＴにより符号化を行なった圧縮画像に相当するので、そのまま通常の圧縮画像とともにＶＴＲに記録してもよい。
【００８３】
あるいは、図２に示すように、ＤＣＴ処理器を内蔵するＶＴＲに記録する場合には、上述したように編集データのビット・ストリームから得られた擬似的な符号化圧縮画像をＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）して擬似的な原画像フレームを生成してから、ＶＴＲに投入してビデオ・テープ上に記録するようにする。
【００８４】
このように記録したＶＴＲから画像を再生するときには、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。
【００８５】
また、画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、低周波数成分側の成分Ｖ1〜Ｖ20にビット・ストリームがマッピングされた擬似的な符号化圧縮画像が得られる。
【００８６】
あるいは、ＶＴＲ内でＩＤＣＴを行わない場合には、ＶＴＲで再生された符号化圧縮画像からそのままＶ1〜Ｖ20にビット・ストリームがマッピングされた擬似的な符号化画像フレームを得ることができる。
【００８７】
ビット・ストリームをＶＴＲに記録するときには、Ｎビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値がＤＣＴ符号化空間の基底ベクトルにおける低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされる。
【００８８】
したがって、これらＶ1、Ｖ2、…、Ｖ20の成分があるかどうかで、ビット・ストリーム内の各データが０か１であるかを復元することができる。そして、記録時とは逆に、ＤＣＴ符号化空間の基底ベクトルのうち低周波数側のｊ番目の成分ベクトルＶj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置に順次マッピングしていくことで、元のビット・ストリームを再現することができる。
【００８９】
さらに、ビット・ストリームを一度ＶＴＲに記録した後にその再生を試みて、ビット・ストリームの再現性を検証するようにしてもよい。例えば、記録時にビット・ストリームにエラー訂正用のパリティを付加しておき、再生されたビット・ストリームと互いのエラー数をチェックするようにしてもよい。
【００９０】
あるいは、ビット・ストリームのマッピングに使用した最も高周波数成分に相当する周波数項Ｖ20の値が０あるいは１にほぼ等しいかどうかをチェックすることによっても、ビット・ストリームの再現性を検証してみることも考えられる。
【００９１】
周波数項Ｖ20の値をチェックしてみた結果、例えば、「Ｖ20の成分として０．５前後の値が観測された」、あるいは、「Ｖ20の成分は１として記録したにもかかわらず、再生してみると０として観測された」という事態が検出されたならば、それはＶ20が既に高周波数成分の領域に相当し可逆性が保証されないこと、すなわち圧縮によりＶ20の成分が信用できない値になったことを意味する。
【００９２】
このような場合、Ｖ20はビット・ストリームの記録には使わないようにする。すなわち、ビット・ストリームを２０ビットではなく１９ビット毎に区切り、それぞれを画像フレームのＤＣＴ符号化空間の基底ベクトルのうち低周波数側の１９個までの成分Ｖ1〜Ｖ19に割り当てて、Ｖ20は使わないようにして、再度ビット・ストリームをＶＴＲに記録し直すようにしてもよい。
【００９３】
このようにして記録したＶＴＲを再生するとき、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、低周波数成分側の成分Ｖ1〜Ｖ19にビット・ストリームがマッピングされた擬似的な符号化圧縮画像が得られる（同上）。そして、これらＶ1、Ｖ2、…、Ｖ19の成分があるかどうかで、ビット・ストリーム内の各データが０か１であるかを復元することができる。
【００９４】
勿論、この場合にも、さらに、ビット・ストリームを一度ＶＴＲに記録した後に再生を試みて、Ｖ19の成分が０あるいは１にほぼ等しいかどうか、すなわち可逆性をチェックしてみてもよい。そして、もしも可逆性が保証されない場合には、ビット・ストリームを１９ビットではなく１８ビット毎に区切り、それぞれを画像フレームのＤＣＴ符号化空間の基底ベクトルのうち低周波数側の１８個までの成分Ｖ1〜Ｖ18に割り当てて、Ｖ19は使わないようにする。
【００９５】
上述した例では、編集データを構成するビット・ストリームを例えば２０ビット毎に区切って、ＤＣＴ符号化空間の基底ベクトルのうち例えば低周波数側の２０個までの成分Ｖ1〜Ｖ20に１ビットずつ順次マッピングしていくようにしている。すなわち、ビット・ストリームの各ビットをそれぞれ基底ベクトルの１個の成分に逐次マッピングしているが、ビット・ストリームをＤＣＴ符号化空間にマッピングする方法はこれに限定されるものではない。ビット・ストリームをＤＣＴ符号化空間にマッピングする他の方法について、以下に説明する。
【００９６】
例えば、ＤＣＴ符号化空間を構成する基底ベクトルは、低周波数から高周波数まで８×８＝６４個の成分からなる。このうち高周波数成分は圧縮により無視される可能性があるので、例えば、低周波数成分側の２０個を使うことにする（同上）。この２０個の成分をＶ1、Ｖ2、…、Ｖ20とする。
【００９７】
このＶ1〜Ｖ20の中から、任意の３個を選ぶ組み合わせ20Ｃ3は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。ここで、ビット・ストリームの先頭の１０個のデータのパターンは２10＝１０２４通りなので、これら１０２４個のパターンの１つずつを、「Ｖ1からＶ20の中の３個を選んだパターン」に対応させることによって、ビット・ストリームの１０個分のビット列を表現することができる。すなわち、選ばれた３個のＶi（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶiの成分を０に設定する。
【００９８】
このようにして、まず、ビット・ストリームの先頭の１０個分のビット値により、Ｖ1からＶ20までの低周波数側の成分を決定するとともに、Ｖ21以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的なＤＣＴ符号化画像を作成する。
【００９９】
同様に、ビット・ストリームの第１１番目から第２０番目までのビット列に対応した８×８の擬似的なＤＣＴ符号化画像を作成し、この８×８の画像を１つのブロックと考える。第２１番目以降も同様にして、８×８のブロックを作成していく。
【０１００】
これら８×８のブロック群よりなるデータ群は、ＤＣＴにより符号化圧縮を行なった画像に相当するので、そのまま圧縮画像とともに保存してもよい。
【０１０１】
あるいは、図２に示すように、ＤＣＴ処理器を内蔵するＶＴＲに保存する場合には、上述したように編集データのビット・ストリームから得られた擬似的な符号化圧縮画像を一旦ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｅｔ ＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：逆離散コサイン変換）して擬似的な原画像フレームを生成してから、ＶＴＲに投入してビデオ・テープ上に記録するようにする。
【０１０２】
このように記録したＶＴＲを再生するとき、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、選ばれた３個のＶi（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶｉの成分を０に設定されている擬似的な符号化圧縮画像を得ることができる。そして、Ｖ1からＶ20のうちでどの成分が１になっているかによって、元の１０個分のビット列を復元することができる。
【０１０３】
図３には、本実施形態に適用可能な画像処理装置１００のハードウェア構成を模式的に示している。
【０１０４】
この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する。
【０１０５】
以下、図３を参照しながら、画像処理装置１００内の各部について説明する。
【０１０６】
システム１００のメイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを実行することができる。図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。
【０１０７】
メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。
【０１０８】
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。例えば、ＶＴＲから再生された画像やその編集内容はディスプレイ１１１で画面表示されて、確認を行なうことができる。
【０１０９】
入力機器インターフェース１０４は、キーボード１１２やマウス１１３などのユーザ入力機器をコンピュータ・システム１００に接続するための装置である。ユーザは、キーボード１１２やマウス１１４を介して、画像編集のためのデータやコマンドを入力することができる。
【０１１０】
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１００をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【０１１１】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。
【０１１２】
外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。
【０１１３】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。
【０１１４】
メディア・ドライブ１１５は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【０１１５】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【０１１６】
ＶＴＲインターフェース１０９は、ＶＴＲから再生されるビデオ信号を画像処理装置１００内に取り込むための装置である。
【０１１７】
なお、図３に示すような画像処理装置１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ“ＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）”の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る画像処理装置１００として適用することも可能である。
【０１１８】
図４及び図５には、この画像処理装置１００上で実行される、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をそれぞれフローチャートの形式でそれぞれ示している。
【０１１９】
本実施形態では、ビット・ストリームをＶＴＲに記録する際には、ビット・ストリームの再現性を最大限に維持するために、ビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する。
【０１２０】
このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、図４及び図５に示されている各フローチャートを参照しながら、この処理手順について説明する。
【０１２１】
ビット・ストリームを入力すると（ステップＳ１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ２）。但し、パリティ・ビットの付加は本実施形態における必須の要件ではない。
【０１２２】
次いで、変数Ｎに初期値２０を代入する（ステップＳ３）。この変数Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する成分６４個のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する（図１を参照のこと）。
【０１２３】
次いで、パリティ付きビット・ストリームを、Ｎビットずつに分割する（ステップＳ４）。そして、分割された各Ｎビットのデータを、それぞれＤＣＴ符号化空間の基底ベクトルのうち低周波数側のＮ個の成分にマッピングしていく（ステップＳ５）。
【０１２４】
ＤＣＴ符号化空間の基底ベクトルは６４個の成分Ｖi（ｉ＝１〜６４）で構成されている。ステップＳ５では、分割されたＮビットのデータ中のｊ番目のビット位置におけるビット値をＤＣＴ符号化空間の低周波数側のｊ番目の成分Ｖｊ（ｊ＝１〜２０）に順次マッピングしていく。
【０１２５】
さらに、ＤＣＴ符号化空間を構成する基底ベクトルのＮ＋１番目以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する（ステップＳ６）。但し、８×８ブロックが５２８０個集まって、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）の画像１フレームを構成する。
【０１２６】
ビット・ストリームをＮ個毎に分割して、Ｎビットのビット列の塊が（Ｋ÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＫフレームだけ作成される。なお、ここでは１フレームは７０４画素×４８０画素よりなると仮定している。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている。この擬似的な符号化画像フレームを、通常の画像フレームをＤＣＴ符号化して得た圧縮画像とともに、ＶＴＲに記録する（ステップＳ７）。
【０１２７】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＤＣＴ処理をスキップするか、又は、ステップＳ６で生成された擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にした後、ＶＴＲに投入して、ＤＣＴ処理を経て記録するようにすればよい。
【０１２８】
図６には、上記のステップＳ５及びＳ６において、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理手順をさらに詳細に示している。
【０１２９】
まず変数ｉに初期値１を代入する（ステップＳ５−１）。
【０１３０】
次いで、パリティ付きビット・ストリームから分割されたＮビットのビット列うち、ｉ番目のビット値をチェックする（ステップＳ５−２，Ｓ５−３）。
【０１３１】
ビット列のｉ番目のビット値が０である場合には、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数側のｉ番目の成分Ｖiを０にする（ステップＳ５−４）。また、ビット列のｉ番目のビット値が０である場合には、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数側のｉ番目の成分Ｖiを１にする（ステップＳ５−５）。
【０１３２】
次いで、ｉがＮに到達したかどうかをチェックする（ステップＳ５−６）。Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する６４個の成分のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する変数である（前述）。
【０１３３】
ｉがまだＮに到達していない場合には、ステップＳ５−７においてｉを１だけインクリメントした後、ステップＳ５−２に戻り、パリティ付きビット・ストリームから分割されたＮビットのビット列うち、ｉ番目のビット値を基底ベクトルの次の成分にマッピングする処理を繰り返し実行する。
【０１３４】
また、ｉがＮに到達した場合には、次ステップＳ６−１に進んで、ＤＣＴ符号化空間を構成する基底ベクトルのうち、低周波数成分側から数えてＮ＋１番目以降６４番目までの残りのすべての高周波数側成分を０にする。
【０１３５】
そして、上述のようにして作成された基底ベクトルの成分を持つ８×８ブロックの擬似的な符号化画像を作成する（ステップＳ６−２）
【０１３６】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１３７】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ１１）。
【０１３８】
次いで、再生された擬似的な画像に対してさらにＤＣＴ処理を適用することによって、符号化画像を取り出す（ステップＳ１２）。ここで取り出される符号化画像は、基底ベクトルのうち低周波数成分側の２０番目までの成分Ｖj（ｊ＝１〜２０）にビット・ストリームがマッピングされた８×８ブロックの擬似的な符号化画像である。
【０１３９】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＩＤＣＴ処理をスキップするか、又は、符号化画像を一旦ＩＤＣＴ処理してＶＴＲが出力する擬似的な原画像に対して、さらにＤＣＴ処理を適用することによって、基底ベクトルのうち低周波数成分側の２０番目までの成分Ｖj（ｊ＝１〜２０）にビット・ストリームがマッピングされた８×８ブロックの擬似的な符号化画像を取り出すことができる。
【０１４０】
図４に示したＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされている。したがって、再生時には逆に、この基底ベクトルの低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする（ステップＳ１３）。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、ビット・ストリームを作成する（ステップＳ１４）。
【０１４１】
次いで、このビット・ストリームの再現性を検証する。この例では、図４のステップＳ２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ１５）。そして、エラー数が少ないかをチェックする（ステップＳ１６）。
【０１４２】
ステップＳ１４において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、この再生処理ルーチンを終了する。
【０１４３】
他方、ステップＳ１４において作成されたビット・ストリームのエラー数が少なくない場合には、Ｎを１だけデクリメントして（ステップＳ１７）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。そして、図４のステップＳ４に戻って、ビット・ストリームの記録処理を繰り返し実行する。
【０１４４】
なお、ステップＳ１５及びＳ１６におけるビット・ストリームの再現性の検証処理としては、エラー訂正用のパリティを使用する以外に、ビット・ストリームのマッピングに使用した基底ベクトルの成分のうち最も高周波数となる成分の値の確からしさによって検証する方法（前述）を適用することができる。
【０１４５】
図７には、上記のステップＳ１３及びＳ１４において、８×８ブロックの擬似的な符号化画像を構成する基底ベクトルのうち低周波数成分側のＮ個をビット・ストリーム中のＮビットのデータにマッピングして、ビット・ストリームを作成するための処理手順をさらに詳細に示している。
【０１４６】
まず、８×８ブロックの画像をＤＣＴ処理して、擬似的な符号化空間を構成する基底ベクトルの６４個の成分Ｖ1〜Ｖ64を求める（ステップＳ１３−１）。先行するステップＳ１２又はＳ１３により既に擬似的なＤＣＴ符号化空間が得られている場合には当該ステップをスキップしてもよい。
【０１４７】
次いで、変数ｉに初期値１を代入する（ステップＳ１３−２）。
【０１４８】
次いで、基底ベクトルの低周波数成分側のｉ番目の成分Ｖiをチェックする（ステップＳ１３−３，Ｓ１３−４）。
【０１４９】
基底ベクトルのｉ番目の成分Ｖiの値が０．５未満である場合には、作成しようとしているビット・ストリームのデータのｉ番目の値を０にする（ステップＳ１３−５）。また、基底ベクトルのｉ番目の成分Ｖiの値が０．５以上である場合には、作成しようとしているビット・ストリームのデータのｉ番目の値を０にする（ステップＳ１３−６）。
【０１５０】
次いで、ｉがＮに到達したかどうかをチェックする（ステップＳ１３−７）。Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する６４個の成分のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する変数である（前述）。
【０１５１】
ｉがまだＮに到達していない場合には、ステップＳ１３−８においてｉを１だけインクリメントした後、ステップＳ１３−３に戻り、基底ベクトルの低周波数成分側のｉ番目の成分からビット・ストリームの作成中のデータのｉ番目のビット値を求める処理を繰り返し実行する。
【０１５２】
また、ｉがＮに到達した場合には、次ステップＳ１４−１に進んで、作成されたＮビットからなる各データをまとめて最終的なビット・ストリームとして出力する。
【０１５３】
また、図８及び図９には、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順の変形例をそれぞれフローチャートの形式で示している。図４及び図５に示した例ではビット・ストリームの各ビットをそれぞれＤＣＴ符号化空間を構成する基底ベクトルの１個の成分に逐次マッピングしているが、ビット・ストリームを１０ビット毎に分割して得られるデータのパターンを、基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20で表現された20Ｃk通りのビット・パターンにマッピングするようにしている（但し、ｋは２０個の基底ベクトルのうち１を代入するものの個数）。このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、このフローチャートを参照しながら、この処理手順について説明する。
【０１５４】
まず、ビット・ストリームを入力する（ステップＳ２１）。次いで、ビット・ストリームを、１０ビットずつに分割する（ステップＳ２３）。
【０１５５】
そして、この１０ビット毎のデータのパターンを、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20のなすビット・パターンにマッピングする（ステップＳ２３）。
【０１５６】
２０個の成分Ｖ1〜Ｖ20の中から任意の３個を選ぶ組み合わせ20Ｃ3は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。一方、ビット・ストリームの先頭の１０個のデータのパターンは２10＝１０２４通りなので、これら１０２４個のパターンをそれぞれＶ1からＶ20の中の３個を選んだパターンに対応させることによって、ビット・ストリームの１０個分のビット列を表現することができる。すなわち、選ばれた３個のＶi（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶiの成分を０に設定する。
【０１５７】
さらに、ＤＣＴ符号化空間を構成する基底ベクトルの２１番目以降の高周波数成分側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する（ステップＳ２４）。
【０１５８】
ビット・ストリームを１０個毎に分割して、１０ビットのビット列の塊が（Ｍ’÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＭ’フレームだけ作成される。なお、ここでは１フレームは７０４画素×４８０画素よりなるとかていしている。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている。この擬似的な符号化画像フレームを、通常の画像フレームをＤＣＴ符号化して得た圧縮画像とともに、ＶＴＲに記録する（ステップＳ２５）
【０１５９】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＤＣＴ処理をスキップするか、又は、ステップＳ２４で生成された擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にした後、ＶＴＲに投入して、ＤＣＴ処理を経て記録するようにすればよい。
【０１６０】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１６１】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ３１）。
【０１６２】
次いで、再生された擬似的な画像に対してさらにＤＣＴ処理を適用することによって、ビット・ストリームの１０ビット毎のデータのパターンが基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20によるビット・パターンにマッピングされた８×８ブロックの擬似的な符号化画像を取り出す（ステップＳ３２）。
【０１６３】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＩＤＣＴ処理をスキップするか、又は、符号化画像フレームを一旦ＩＤＣＴ処理してＶＴＲが出力する擬似的な原画像に対して、さらにＤＣＴ処理を適用することによって、基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20のなすビット・パターンにマッピングされた８×８ブロックの擬似的な符号化画像を取り出すことができる。
【０１６４】
図８に示した記録時には、ビット・ストリームを分割してできた各１０個のビットによる１０２４個のデータ・パターンをそれぞれＶ1からＶ20の中の３個を選んだパターンに対応させて、ビット・ストリームの１０ビットを表現することにより、ビット・ストリームをＤＣＴ符号化空間にマッピングさせている。したがって、再生時には逆に、ＤＣＴ符号化空間の低周波数成分側のＶ1からＶ20までで表現されたデータ・パターンを基に、対応する１０ビットのデータ・パターンを割り出す（ステップＳ３３）。
【０１６５】
さらに、これらの１０ビット毎のビット列をまとめることで、ビット・ストリームを作成して、本処理ルーチン全体を終了する（ステップＳ３４）。
【０１６６】
第２の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【０１６７】
上述した本発明の第１の実施形態では、編集データからなるビット・ストリームの各ビットを、画像のＤＣＴ符号化空間を構成する基底ベクトルのうち低周波数成分側の成分にマッピングして、擬似的な符号化画像を生成することにより、ＤＣＴ符号化圧縮してＶＴＲに記録した際における再現性を最大限維持できるようにした。
【０１６８】
これに対し、本実施形態では、編集データからなるビット・ストリームを構成する各ビット位置における値を、画像フレーム中で対応する画素位置における１画素あるいはｎ×ｍ画素ブロックの画素値としてマッピングして、一旦擬似的な画像フレームを生成して、さらにこの擬似画像フレームをＤＣＴ符号化圧縮してＶＴＲに記録するようにした。ビット・ストリームの１ビットをｎ×ｍ画素ブロックにマッピングすることは、記録密度を変換することに相当する。
【０１６９】
図１０には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【０１７０】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【０１７１】
ビット・ストリームの先頭（すなわち、第１番目）のデータが０である場合には、擬似的な画像フレーム上の第１画素目の値を０とし、また、１である場合にはこれを１とする。次いで、ビット・ストリームの第２番目のデータが０である場合には擬似的な画像フレームの第２画素目の値を０とし、１である場合にはこれを１とする。同様に、ビット・ストリームの第ｉ番目のデータが０である場合には擬似的な画像フレームの第ｉ画素目の値を０とし、１である場合にはこれを１とする。
【０１７２】
つまり、擬似的な画像フレームの１画素を使ってビット・ストリームの各１ビットの値をマッピングしていくことによって、ビット・ストリームを記録するための擬似的な画像フレームを完成させる。そして、ＶＴＲでは、この擬似画像をＤＣＴにより符号化圧縮処理してからビデオ・テープに記録する。
【０１７３】
次いで、擬似画像フレームをＤＣＴにより符号化圧縮して一旦記録した後、ビデオ・テープから再生し、さらにＩＤＣＴにより復号化伸張処理する。そして、各画素の値が０あるいは１にほぼ等しいかどうか、すなわちビット・ストリームの再現性をチェックしてみる。
【０１７４】
復号化伸張処理した画像フレームをチェックしてみて、例えば、「ある画素の成分として０．５前後の値が観測された」、あるいは、「ある画素の成分は１として記録したにもかかわらず、再生してみると０として観測された」という事態が検出されたならば、それは圧縮により各画素の値が信用できない値になったこと、すなわち圧縮符号化が不可逆であったことを意味する。
【０１７５】
ビット・ストリームを再現できなかった場合には、再現性を高めるために、ビット・ストリームの各ビットをマッピングする画素数を増やす。例えば、ビット・ストリームの各ビット位置の値を擬似画像フレーム中の２×２画素のブロックを使って記憶させる。言い換えれば、ビット・ストリームの１ビットを画像フレームにマッピングする密度を低下させる。
【０１７６】
より具体的に言えば、ビット・ストリームをマッピングする擬似画像フレームを２×２のブロックに分割するとともに、各ブロック内の全画素をビット・ストリームの１ビットの値を対応させる。例えば、ビット・ストリームの先頭（すなわち、第1番目）のデータが０である場合には、擬似画像フレーム中の第１番目の２×２ブロック内の４画素の値をすべて０とする。また１である場合には、第１番目の２×２ブロック内の４画素の値をすべて１とする。また、ビット・ストリームの第２番目のデータが０である場合には擬似画像フレーム中の第２番目の２×２ブロック内の４画素の値をすべて０とし、１である場合には第２番目の２×２ブロック内の４画素の値をすべて１とする。同様に、ビット・ストリームの第ｉ番目のデータが０である場合には擬似画像フレーム中の第ｉ番目の２×２ブロック内の４画素の値をすべて０とし、１である場合には第ｉ番目の２×２ブロック内の４画素の値をすべて１とする。
【０１７７】
このように、ビット・ストリームの各１ビットを擬似画像フレームの１画素に割り当てるのではなく、２×２画素ブロックに１ビットを割り当てる（あるいは画素ブロックの画素数をさらに増大させていく）。この結果、作成される擬似画像は高周波数成分が抑えられた画像となるので、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【０１７８】
このようにして、ビット・ストリームから作成された擬似画像をＶＴＲに記録しさらにＶＴＲから再生すると、ＤＣＴによる符号化圧縮、並びにＩＤＣＴによる復号化伸張がそれぞれ１度ずつ行われるが、２×２画素ブロック毎に記録された画素の値はＤＣＴによる高周波数成分の劣化の影響を受けずに復元することができる。そして、これら画素の値が０であるか１であるかにより、ビット・ストリーム内の対応するビット位置のデータが０か１であるかを再現することができる。ビット・ストリームの１ビットを２×２画素ブロックにマッピングしても、なお可逆性が保証されない場合には、マッピング時の密度をさらに低下させるようにしてもよい。
【０１７９】
図３に示した画像処理装置１００は、本実施形態にも適用されるので、その装置構成についてはここでは説明しない。この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する（同上）。
【０１８０】
図１１及び図１２には、本実施形態において、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をフローチャートの形式でそれぞれ示している。
【０１８１】
本実施形態では、ビット・ストリームを画像フレームにマッピングして、この擬似的に画像フレームをＶＴＲに記録する。このとき、ビット・ストリームの１ビットにＮ×Ｎ画素の画素ブロックを割り当てることにより、高周波数成分が抑えられた画像を作成する。この結果、ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。ここで、変数Ｎは、ビット・ストリームの１ビットを画像フレームにマッピングするときの密度に相当する。
【０１８２】
以下、図１１及び図１２に示したフローチャートを参照しながら、本実施形態におけるビット・ストリームのＶＴＲへの記録及び再生の処理手順について説明する。
【０１８３】
ビット・ストリームを入力すると（ステップＳ４１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ４２）。但し、パリティの付加は本発明に必須の要件ではない。
【０１８４】
次いで、変数Ｎに初期値１を代入する（ステップＳ４３）。この変数Ｎは、ビット・ストリームの１ビットをマッピングするのに使用するＮ×Ｎ画素ブロックのサイズを決定する。変数Ｎはビット・ストリームの１ビットを画像フレームにマッピングするときの密度に相当する。Ｎが大きくなるほど、画像フレームにマッピングされたデータは冗長となりメモリ効率が低下するが、作成される擬似画像フレームの高周波成分が抑えられるので、ＤＣＴによるデータの劣化の影響を受けずに済む。
【０１８５】
次いで、ビット・ストリームをマッピングするための擬似的な画像フレームをＮ×Ｎ画素ブロックの領域に分割していく（ステップＳ４４）。そして、パリティ付きビット・ストリームを構成する各ビットの値を、Ｎ×Ｎ画素ブロック領域に対応付ける（ステップＳ４５）。このとき、ビット・ストリーム側のビットが０であれば、対応するＮ×Ｎ画素ブロック内のすべての画素値を０にする。また、ビット・ストリーム側のビットが１であれば、対応するＮ×Ｎ画素ブロック内のすべての画素値を１にする。
【０１８６】
このようにして、パリティ付きビット・ストリームの各ビットを順次Ｎ×Ｎ画素ブロックに割り当てていくと、高周波成分が抑制された擬似的な画像フレームを作成することができる。この擬似的な画像フレームを、通常の画像フレームと同様に、ＶＴＲに記録する（ステップＳ４６）。ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【０１８７】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１８８】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ５１）。
【０１８９】
次いで、取り出した擬似的な画像フレームをＮ×Ｎ画素ブロックの領域に分割していく（ステップＳ５２）。
【０１９０】
次いで、各Ｎ×Ｎ画素ブロックからビット値を再現して、これらをつなぎ合わせてビット・ストリームを作成する（ステップＳ５３）。Ｎ×Ｎ画素ブロックからビット値を再現する際、ブロック内の画素値の平均を求め、平均値が０．５未満であれば０とし、０．５以上であれば１として、ビット・ストリームの対応するビット位置に書き込む。
【０１９１】
次いで、このビット・ストリームの再現性を検証する。この例では、図１１のステップＳ４２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ５４）。そして、エラー数が少ないかをチェックする（ステップＳ５５）。
【０１９２】
ステップＳ４３において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、この再生処理ルーチンを終了する。
【０１９３】
他方、ステップＳ５３において作成されたビット・ストリームのエラー数が少なくない場合には、Ｎを１だけインクリメントして（ステップＳ５６）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。Ｎをインクリメントすることは、ビット・ストリームのビットを画像フレームにマッピングするための密度を低下させることを意味する。そして、図１１のステップＳ４４に戻って、ビット・ストリームの記録処理を繰り返し実行する。
【０１９４】
Ｎを１だけインクリメントすることによって、画像フレームにマッピングされたデータの冗長度が増してメモリの使用効率が低下するが、作成される擬似画像フレームの高周波成分が抑えられるので、ＤＣＴによるデータの劣化の影響をさらに抑制することができる。
【０１９５】
第３の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【０１９６】
上述した本発明の第１の実施形態では、編集データからなるビット・ストリームの各ビットを基底ベクトルのうち低周波数成分側にマッピングした擬似的な符号化画像を生成することにより、ＶＴＲに記録した際における再現性を最大限維持できるようにした。また、第２の実施形態では、ビット・ストリームの１ビットにＮ×Ｎ画素の画素ブロックを割り当てることにより、高周波数成分が抑えられた画像を作成することにより、ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を抑制するようにした。
【０１９７】
要約すれば、上記の各実施形態においては、ＤＣＴによるデータの劣化の影響が少なくなるようにビット・ストリームを画像フレームにマッピングするための方法に関するものである。
【０１９８】
他方、動画像の画像圧縮技術においては、「動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）」が導入される場合がある。この動き補償とは、連続する画像フレーム間で、データがどの方向へ動いたのかを考慮して圧縮・展開を行うものである。上述したＤＣＴなどの直交変換は画像フレームにおける空間方向の冗長度を削減して圧縮を行うのに対して、動き補償は時間方向の冗長度を削減する。
【０１９９】
動き補償による圧縮では、時間的に連続する複数の画像をイントラ・ピクチャとノンイントラ・ピクチャの２つのグループに分ける。
【０２００】
イントラ・ピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）すなわちＩピクチャに対しては、ＤＣＴなどの処理により、イントラ符号化（フレーム内予測）のみによる圧縮が行われる。
【０２０１】
他方、ノンイントラ・ピクチャに対しては、別の画像との相関を調べ、似ている部分との差分をとる。ノンイントラ・ピクチャは、動きの差分をとることにより、ほぼ０になるので、データ量を減らすことができる。ノンイントラ・ピクチャには、（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）フレーム間順方向予測により生成されるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、フレーム間双方向予測により生成されるＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の２種類がある。
【０２０２】
ここで、上述した本発明の第１の実施形態又は第２の実施形態により編集データなどのビット・ストリームがマッピングされた擬似的な画像フレームに対して、動き補償による圧縮が適用された場合について考察してみる。
【０２０３】
動き補償による圧縮の過程で、擬似的な画像フレームがイントラ・ピクチャとして扱われる場合には、ＤＣＴ処理が適用されるだけなので、上述した各実施形態で既に述べた手法を適用することにより、高周波成分による劣化の影響を抑制することができるので、符号化による不可逆性の問題を解消して、ビット・ストリームの再現性を最大限に維持することができる。
【０２０４】
これに対し、ＰピクチャやＢピクチャなどのノンイントラ・ピクチャは、他の画像（ピクチャ）から似ている部分との差分をとっている。ビット・ストリームのデータにより作成された乱数的なデータである画像では、画像間で似ている部分はほとんどない。このため、擬似的な画像から他の画像との差分をとってもデータの冗長性を削除することが期待できないばかりか、ノンイントラ・ピクチャ内のデータも不正確になってしまい可逆性が著しく損なわれる。したがって、ノンイントラ・ピクチャとして処理された擬似的な画像フレームをＶＴＲに記録した後、元のビット・ストリームを完全に再現できなくなると推測される。
【０２０５】
本発明の第３の実施形態は、ビット・ストリームをマッピングした擬似的な画像フレームがイントラ・ピクチャに割り当てられるようにすることで、動き補償が適用された画像フレームから元のビット・ストリームを最大限正確に取り出すことができるようにする。より具体的には、ビット・ストリームのデータをマッピングした擬似的な画像フレームを作成した後、この画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。
【０２０６】
動き補償を適用する画像圧縮器においては、イントラ・ピクチャが出現する周期Ｍを規定していることが多い。このような場合、周期に相当するＭ枚分だけ擬似的な画像フレームを連続させることによって、そのうちの１枚は必ずイントラ・ピクチャに割り当てられるので、この画像フレームを使うことで、データ削減による劣化のない状態でビット・ストリームを取り出すことができる。
【０２０７】
ビット・ストリームを画像フレームに変換してＶＴＲに記録した後、ＶＴＲからビット・ストリームを再構築する際、ＶＴＲから再生される画像フレーム列のうち、時刻０から始まるＭ枚毎の画像からビット・ストリームを再構築する（但し、Ｍはイントラ・ピクチャの出現周期であることが好ましい）。また、時刻１から始まるＭ枚毎の画像からビット・ストリームを再構築する。また、時刻２から始まるＭ枚毎の画像からビット・ストリームを再構築する。以降同様に、時刻３から時刻Ｍ−１までのものに対してもビット・ストリームを再構築する。
【０２０８】
そして、これらＭ個の再構築されたビット・ストリームの中から最もエラーの少なかったビット・ストリームを選び出して、これをＶＴＲから再現した結果として出力する。
【０２０９】
勿論、エラーの少ないビット・ストリームが再現されることが目的であり、必ずしもイントラ・ピクチャに割り当てられた画像フレームからビット・ストリームを再現しなければならないという訳ではない。
【０２１０】
また、ビット・ストリームのデータを画像データに直接マッピングする（第２の実施形態）のではなく、ＤＣＴ符号化空間の基底ベクトルにビット・ストリームをマッピングした後、このＤＣＴ符号化画像をＩＤＣＴ処理して擬似的な画像フレームを作成するようにした場合（第１の実施形態）であっても、本発明の第３の実施形態を適用することができる。
【０２１１】
図１３には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【０２１２】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【０２１３】
まず、ビット・ストリームの第ｉ番目のデータが０である場合には擬似的な画像フレームの第ｉ画素目の値を０とし、１である場合にはこれを１とする、という処理を繰り返し実行することによって、擬似的な画像フレームの１画素を使ってビット・ストリームの各１ビットの値をマッピングして、ビット・ストリームを記録するための擬似的な画像フレームを完成させる。
【０２１４】
ついで、作成された各画像フレームを複数枚連続させる。図１３に示すＶＴＲでは、イントラ・ピクチャが出現する周期Ｍが３に設定されている。この場合、イントラ・ピクチャとして圧縮される画像が２枚おきに現れるので、画像を３フレーム間隔で記録していけばよい。
【０２１５】
ビット・ストリームから作成された画像がＡ，Ｂ，Ｃ，及びＤの計４枚あったとする。この場合、これら４枚のうち最初の画像Ａを３回重複させて時刻０と１と２の画像とする。次いで、２枚目の画像Ｂも３回重複させて、時刻３と４と５の画像とする。以下同様に、３枚目の画像Ｃも３回重複させて時刻６と７と８の画像ととともに、最後の画像Ｄも３回重複させて時刻９と１０と１１の画像とする。この結果、合計１２枚の連続する画像が生成されて、ＶＴＲに投入される。
【０２１６】
ＶＴＲでは、イントラ・ピクチャに対してＤＣＴ処理を行なうＤＣＴ器と、ノンイントラ・ピクチャに対して動き補償処理を行なうＭＣ器が装備されている。そして、所定の周期Ｍ＝３フレーム毎に入力画像をＤＣＴ器に接続してイントラ・ピクチャとしてＤＣＴ処理し、それ以外の入力画像についてはＭＣ器に接続して動き補償処理してから、それぞれビデオ・テープに記録する。
【０２１７】
このようにＶＴＲに記録すれば、周期Ｍ＝３フレーム毎にイントラ・ピクチャが出現することから、「時刻０と３と６と９の４枚よりなる画像の組」、あるいは、「時刻１と４と７と１０の４枚よりなる画像の組」、あるいは、「時刻２と５と８と１１の４枚よりなる画像の組」というＭ＝３通りの組み合わせのうちいずれか１つの組は、イントラ・ピクチャで構成されている。
【０２１８】
このように記録されたＶＴＲからビット・ストリームのデータを復元するには、まず、記録時とは逆に、イントラ・ピクチャに対してはＩＤＣＴ処理を行うとともにノンイントラ・ピクチャに対して動き補償処理を行なって、ビデオ・テープからこれら１２枚の画像を再生する。
【０２１９】
そして、この１２枚の画像を、「時刻０と３と６と９の４枚よりなる画像の組（以下、「第１の組」とする）」、「時刻１と４と７と１０の４枚よりなる画像の組（以下、「第２の組」とする）」、「時刻２と５と８と１１の４枚よりなる画像の組（以下、「第３の組」とする。）」という３つの画像フレームの組に分ける。
【０２２０】
次いで、ビット・ストリームを画像フレームにマッピングしたときとは逆の手順により、第１の組からビット・ストリームを復元することを試みる。このときのエラーを「第１のエラー」とする。次いで、第２の組からビット・ストリームを復元することを試み、このときのエラーを「第２のエラー」とする。同様に、第３の組からビット・ストリームを復元することを試み、このときのエラーを「第３のエラー」とする。
【０２２１】
次いで、これら第１、第２、３のエラーの中で最もエラーの小さかったものを選択する。そして、これに対応する画像フレームの組（第１あるいは第２あるいは第３の組）から実際にビット・ストリームのデータを復元すればよい。何故ならば、エラーが小さいということは、その組の画像はイントラ・ピクチャで構成されていたと推測され、正確にビット・ストリームを再現していると判断されるからである。勿論、ビット・ストリームを再現するにあたり、イントラ・ピクチャを用いて復元することよりも、エラーが最も小さい画像の組を使用することの方が重要である。
【０２２２】
なお、エラーの量は、以下のようにして計測できる。例えば、ビット・ストリームのデータにより画像フレーム内の画素に０又は１の値を割り当てることによって画像を作成してＶＴＲに記録したとする。このような状況で、ＶＴＲを再生して、ある画素の値として０．５前後の値が観測された場合は、誤差が大きいと判断できる。あるいは、例えば、ＶＴＲに記録する際にビット・ストリームにパリティ・ビットを加えている場合、ＶＴＲを再生して、パリティ・エラーの起こる割合が大きければ、誤差が大きいと判断することができる。
【０２２３】
図３に示した画像処理装置１００は、本実施形態にも適用されるので、その装置構成についてはここでは説明しない。この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する（同上）。
【０２２４】
図１４及び図１５には、本実施形態において、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をフローチャートの形式でそれぞれ示している。
【０２２５】
本実施形態では、ビット・ストリームがマッピングされた画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。但し、ここでは、上述した第１の実施形態と同様にビット・ストリームをＤＣＴ符号化空間の基底ベクトルにマッピングするものとする。
【０２２６】
このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、図１４及び図１５に示されている各フローチャートを参照しながら、この処理手順について説明する。
【０２２７】
ビット・ストリームを入力すると（ステップＳ６１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ６２）。
【０２２８】
次いで、変数Ｎに初期値２０を代入する（ステップＳ６３）。この変数Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する成分６４個のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する（図１を参照のこと）。
【０２２９】
次いで、パリティ付きビット・ストリームを、Ｎビットずつに分割する（ステップＳ６４）。そして、分割された各Ｎビットのデータを、それぞれＤＣＴ符号化空間の基底ベクトルのうち低周波数側のＮ個の成分にマッピングしていき、さらに、ＤＣＴ符号化空間を構成する基底ベクトルのＮ＋１番目以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する。なお、ＶＴＲ内部でイントラ・ピクチャに対してＤＣＴ処理を行なうのが一般的であるが、このＶＴＲ内部でのＤＣＴ処理をスキップさせることができない場合には、上述した第１の実施形態と同様に、上記の擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にする（ステップＳ６５）。
【０２３０】
上記のステップＳ６５において、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理は図６にフローチャートの形式で示した手順に従って行なうことができる。
【０２３１】
ビット・ストリームをＮ個毎に分割して、Ｎビットのビット列の塊が（Ｋ÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＫフレームだけ作成される。なお、ここでは、１フレームは７０４画素×４８０画素よりなると仮定している。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている（ステップＳ６６）。
【０２３２】
次いで、Ｋ枚の各画像フレームを、動き補償においてイントラ・ピクチャが出現する周期Ｍに相当する数だけ連続させて、時刻０から時刻Ｍ×Ｋ−１までの合計Ｍ×Ｋ枚の画像を作成して、ＶＴＲに記録する（ステップＳ６７）。但し、時刻３ｉ−２，３ｉ−２，３ｉ−１（ｉ＝０〜Ｋ）の画像は、ステップＳ６６により作成された第ｉ番目の画像とまったく同じ画像である。また、ＶＴＲでは、周期Ｍ毎にイントラ・ピクチャとして画像をＤＣＴ処理し、その他の画像は動き補償処理を適用する。
【０２３３】
次いで、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ６８）。すなわち、時刻０から時刻Ｍ×Ｋ−１までの画像を取り出す。
【０２３４】
ここで、エラー・チェックのために使用する変数ｐに初期値０を代入する（ステップＳ６９）。変数ｐ（＝０〜Ｍ−１）は、ビット・ストリームをマッピングした画像フレームをイントラ・ピクチャに割り当てるために形成された画像の組を指定するために使用される。
【０２３５】
ＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされている。また、イントラ・ピクチャの周期Ｍに相当する間隔で、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像からなる第ｐの画像の組が形成されている。
【０２３６】
したがって、再生時には、第ｐの画像の組すなわち時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像をそれぞれ８×８ブロックに分割して、それぞれ基底ベクトルの低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、ビット・ストリームを作成する（ステップＳ７０）。
【０２３７】
上記のステップＳ７０において、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像の組からビット・ストリームを生成するための処理は図７にフローチャートの形式で示した手順に従って行なうことができる。
【０２３８】
次いで、ステップＳ６２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ７１）。そして、エラー数が少ないかをチェックする（ステップＳ７２）。
【０２３９】
ステップＳ７２において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、このＶＴＲ記録処理ルーチンを終了する。
【０２４０】
他方、ステップＳ７２において作成されたビット・ストリームのエラー数が少なくない場合には、ｐを１だけインクリメントして（ステップＳ７３）、ｐがイントラ・ピクチャの周期すなわち同じ画像の連続枚数Ｍ未満かどうかをチェックする（ステップＳ７４）。
【０２４１】
ｐがＭ未満であれば、ステップＳ７０に戻り、次の第ｐ番目の画像の組を用いてビット・ストリームを作成し、そのエラー・チェックを繰り返し実行する。
【０２４２】
また、ｐがＭに到達した場合には、Ｎを１だけデクリメントして（ステップＳ７５）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。そして、ステップＳ６４に戻って、ビット・ストリームの記録処理を改めて実行する。
【０２４３】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０２４４】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ８１）。すなわち、時刻０から時刻Ｍ×Ｋ−１までの画像を取り出す。
【０２４５】
ここで、エラー・チェックのために使用する変数ｐに初期値０を代入する（ステップＳ８２）。変数ｐ（＝０〜Ｍ−１）は、ビット・ストリームをマッピングした画像フレームをイントラ・ピクチャに割り当てるために形成された画像の組を指定するために使用される。
【０２４６】
ＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされている。また、イントラ・ピクチャの周期Ｍに相当する間隔で、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像からなる第ｐの画像の組が形成されている。
【０２４７】
したがって、再生時には、第ｐの画像の組すなわち時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像をそれぞれ８×８ブロックに分割して、それぞれ基底ベクトルの低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、第ｐ番目のビット・ストリームを作成する（ステップＳ８３）。
【０２４８】
上記のステップＳ８３において、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像の組からビット・ストリームを生成するための処理は図７にフローチャートの形式で示した手順に従って行なうことができる。
【０２４９】
次いで、この第ｐ番目のビット・ストリームに対して、パリティ・エラーの量をチェックする（ステップＳ８４）。このエラー量を「第ｐ番目のエラー量」とする。
【０２５０】
次いで、ｐを１だけインクリメントして（ステップＳ８５）、ｐがイントラ・ピクチャの周期すなわち同じ画像の連続枚数Ｍ未満かどうかをチェックする（ステップＳ８６）。
【０２５１】
ｐがＭ未満であれば、ステップＳ８３に戻り、次の第ｐ番目の画像の組を用いてビット・ストリームを作成し、そのエラー量の検出を繰り返し実行する。
【０２５２】
また、ｐがＭに到達した場合には、第０番目から第（Ｍ−１）番目のエラー量の中で最もエラー量が小さくなるものの番号ｐminを選択する。エラーが最も小さくなる第ｐmin番目の画像の組は、イントラ・ピクチャで構成されていたと推測される。
【０２５３】
そして、最もエラー量が小さくなる第ｐmin番目の画像の組によって生成される第ｐmin番目のビット・ストリームを、パリティ付きのビット・ストリームであると推定して、エラー訂正を行い、訂正後のビット・ストリームを出力する（ステップＳ８７）。
【０２５４】
エラーが小さい画像の組はイントラ・ピクチャで構成されていたと推測されるが、勿論、ビット・ストリームを再現するにあたり、イントラ・ピクチャを用いて復元することよりも、エラーが最も小さい画像の組を使用することの方が重要である。
【産業上の利用可能性】
【０２５５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【図面の簡単な説明】
【０２５６】
【図１】ＤＣＴにより変換符号化された符号化空間の構成を模式的に示した図である。
【図２】本発明の第１の実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図３】本実施形態に適用可能な画像処理装置１００のハードウェア構成を模式的に示した図である。
【図４】画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順をフローチャートの形式で示した図である。
【図５】画像編集データとしてのビット・ストリームをＶＴＲから再生するための処理手順をフローチャートの形式で示した図である。
【図６】図４に示したフローチャート中のステップＳ５及びＳ６における、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理手順をさらに詳細に示したフローチャートである。
【図７】図５に示したフローチャート中のステップＳ１４及びＳ１５において、８×８ブロックの擬似的な符号化画像を構成する基底ベクトルのうち低周波数成分側のＮ個をビット・ストリーム中のＮビットのデータにマッピングして、ビット・ストリームを作成するための処理手順をさらに詳細に示したフローチャートである。
【図８】画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順の変形例をフローチャートの形式で示した図である。
【図９】画像編集データとしてのビット・ストリームをＶＴＲから再生するための処理手順の変形例をフローチャートの形式で示した図である。
【図１０】本発明の第２の実施形態における、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図１１】本発明の第２の実施形態における、画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順を示したフローチャートである。
【図１２】本発明の第２の実施形態における、ＶＴＲから再生してビット・ストリームを取得するための処理手順を示したフローチャートである。
【図１３】本発明の第３の実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図１４】本発明の第３の実施形態における、画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順を示したフローチャートである。
【図１５】本発明の第３の実施形態における、ＶＴＲから再生してビット・ストリームを取得するための処理手順を示したフローチャートである。
【符号の説明】
【０２５７】
１００…画像処理装置
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１０９…ＶＴＲインターフェース
１１１…ディスプレイ
１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置
１１５…メディア・ドライブ
【技術分野】
【０００１】
本発明は、情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化する情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、動画などの画像情報のための情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積したり伝送するために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化する情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりする情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
一般に、映像信号の保存にはＶＴＲ（ビデオ・テープ・レコーダ）などの画像記録装置が使用される。また、放送局や映画制作会社などでは、編集作業を行う画像編集装置には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。例えば、オリジナル画像が記録してあるテープをＶＴＲで再生して、オリジナル画像を画像編集装置に取り込む。そして、画像編集装置上で画像を編集し、最終的に得たい画像を得る。最終的な画像はＶＴＲに記録される。このように、画像編集装置にはＶＴＲが必要不可欠である。
【０００４】
さて、画像編集は、長い時間かけて、ユーザにより行われる。もし編集過程において編集装置に不具合が生じてしまい、それまでに行なわれた編集データがすべて消失してしまうと、ユーザは最初から編集作業をやり直さなければならなくなる。このような事態を避けるために、編集過程の情報を同じＶＴＲ上に記録する（すなわち、データをバックアップする）ということが一般的に行われている。
【０００５】
ここで、画像の編集データは、画像データそのものではなく、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成されるビット・ストリームである。
【０００６】
勿論、この編集過程の情報であるビット・ストリームを、ＶＴＲ（若しくは、元の画像情報と同じ画像記録装置）ではなく別のデータ記録装置（例えば、フレキシブル・ディスクなど）に記録してもよい。しかしながら、画像編集装置にはせっかくＶＴＲが接続されており、このＶＴＲを使用すれば他の記録装置を別途用意する必要がなくなるので、ビット・ストリームをそのままＶＴＲへ記録したいという、ユーザからの強い要望がある。ＶＴＲに編集データを保存することは、画像データと同じ場所に編集データを置くことを意味し、編集データの保管場所が分からなくなる（データが行方不明になる）という不都合も回避することができる。
【０００７】
ところで、画像データは一般にデータ・サイズが膨大である。このため、近年のＶＴＲには画像圧縮技術を利用しているものが多い。ここで、「圧縮」とは、データの冗長性を削除して、ファイルやデータのサイズを小さくすることを言い、「画像圧縮」は画像データに特化した圧縮を行う技術のことである。すなわち、画像を圧縮（エンコード）することで、同じ長さのビデオ・テープ上にはより多くの画像を記録することができるようになる。また、圧縮されたデータを伸張（デコード）すると、圧縮（エンコード）前の画像とほとんど見分けがつかない画像を復元できる。
【０００８】
画像圧縮技術は、
（１）テープの消費量を抑えることができる。
（２）記録して再生したとき、すなわち圧縮と伸張を行ったとき、オリジナル画像と見分けのつかない画像を再生できる。
という２つのメリットがあるため、多くのＶＴＲに採用されるようになった。
【０００９】
画像圧縮には、一般に、時間軸を周波数軸に置き換えるＤＣＴ（Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理が適用される。ＤＣＴ自体は単なる座標軸の変換であるが、変換することによって信号電力の大きい周波数領域と少ない周波数領域に分けて重み付け量子化することにより、データ量を削減することができる。
【００１０】
この種の画像圧縮符号化の他の特徴として、不可逆変換であること、すなわち復号化しても完全に元のデータが完全に再現される保証がないということが挙げられる。但し、元の画像が完全に再現されなくても、目視で認識できない程度の画像劣化であれば、特に問題とはならない。
【００１１】
ところが、先に述べた画像編集データのようなバイナリ・データのビット・ストリームをＶＴＲに保存する場合には大いに問題がある。何故なら、バイナリ・データのビット・ストリームは、０と１が乱数的に出現するデータ列であるが、少なくとも一部のビット位置において値が入れ替わるだけでも、データ列全体が編集データとしてはまったく意味を持たなくなってしまう。
【００１２】
編集データを画像に特化した圧縮方法により圧縮並びに伸張処理を適用すると、その不可逆性のために幾つかのデータは正しく再生されなくなる。つまり、０というデータをＶＴＲに記録して再生すると１になることが起こり得る。また、その逆も起こり得る。このような不可逆性は、画像情報の再生には問題とはならないが、編集データにとっては致命的なのである。
例えば、画像形式以外のデータを画像形式のデータと同様に且つ同じメディアに記録・再生するファイルデータの記録方法について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、この方法では、ＶＴＲに記録する際にはＤＣＴ方式による圧縮処理を経なければならず、また、ＶＴＲから再生する際にはＤＣＴ方式による伸張処理を経なければ元のファイルデータを構築することができない、という問題がある。
【特許文献１】特開平１１−２６６４３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、動画などの画像情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積したり伝送するために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりすることができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、第１のデータ実空間上の第１のデータを、第２のデータ実空間を符号化してなる第２のデータ符号化空間にマッピングするマッピング手段又はステップを備える、
ことを特徴とする情報符号化装置又は情報符号化方法である。
【００１７】
ここで、第２のデータ実空間上のデータは、例えば、動画像などの画像データである。このような場合、第２のデータ符号化空間は、画像データを離散コサイン変換（ＤＣＴ）してなるＤＣＴ符号化空間である。ＤＣＴ符号化空間は、低周波数から高周波数に至る各周波数帯の成分をそれぞれ表す所定個数（例えば、８×８＝６４個）の基底ベクトルからなる。
【００１８】
また、第１のデータは、画像データに対する編集情報であり、ビット・ストリームで構成される。このような場合、前記マッピング手段又はステップは、該ビット・ストリームのビット値を第２の符号化空間を構成する基底ベクトルにマッピングすることができる。
【００１９】
本発明の第１の側面に係る情報符号化装置又は情報符号化方法は、第２のデータ符号化空間上の符号化データを記録する記録手段又はステップをさらに備えていてもよい。記録手段又はステップは、例えば、動画像を記録するＶＴＲ（ビデオ・テープ・レコード）などであり、画像データをＤＣＴなどにより符号化圧縮してから記録するようになっている。
【００２０】
このように記録手段又はステップが、元の画像データを符号化圧縮されたデータを記録するように構成されている場合には、本発明の第１の側面に係る情報符号化装置又は情報符号化方法は、前記マッピング手段又はステップにより第１のデータ実空間上の第１のデータが第２のデータ符号化空間にマッピングされた擬似的な符号化データを復号化して第２のデータ実空間上の擬似的な第２のデータを生成する擬似データ復号化手段又はステップをさらに備えていればよい。このようにすれば、前記記録手段又はステップでは、この擬似的な第２のデータを符号化してから第２のデータ符号化空間にマッピングされた状態で第１のデータを記録することができる。
【００２１】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。
【００２２】
そこで、本発明の第１の側面に係る情報符号化装置又は情報符号化方法では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、画像圧縮符号化により変換される符号化空間上にビット・ストリームの各データをマッピングした画像フレームを作成して、この画像をＶＴＲに記録する。すなわち、編集データなどのビット・ストリームを記録する際には、同じ圧縮変換方法で用いられる変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした擬似的な符号化画像を作成して、この符号化画像をＶＴＲに記録する。
【００２３】
ビット・ストリームをＤＣＴ符号化空間にマッピングする際、自然画像では低周波数成分に集中し高周波数成分が丸め込まれるという符号化圧縮の特性を考慮して、低周波数成分側の所定個数までの各基底ベクトル、例えば低周波数成分側から２０個までを使用してビット・ストリームの各データをマッピングすることによって、復号化伸張時におけるビット・ストリームの再現性の維持を図ることができる。
【００２４】
ここで、前記マッピング手段により第２のデータ符号化空間にマッピングされた擬似的な符号化データを復号化してエラーを検出するエラー検出手段又はステップと、該エラー検出結果に応じて、使用する基底ベクトルの周波数帯域を調整する周波数帯域調整手段又はステップとをさらに備えていてもよい。
【００２５】
例えば、ビット・ストリームのマッピングに使用した最も高周波数成分の基底ベクトルにおける再現性をチェックして、エラーが検出されたならば、可逆性が保証されないことになるので、マッピングに使用する基底ベクトルをより低周波数成分に限定することにより、再現性の維持を図るようにする。
【００２６】
あるいは、第２の符号化空間のうち低周波数成分側の所定個数までの各基底ベクトルに対してビット・ストリームの各ビットの値を順次マッピングしていく代わりに、ビット・ストリーム中の連続するｎビットの値を、前記第２の符号化空間のうち低周波数成分側のｍ個の基底ベクトルのうちｋ個に１を代入するとともに残りのｍ−ｋ個に０を代入して表現されたビット・パターンにマッピングするようにしてもよい（但し、２n＜mＣk）。
【００２７】
例えば第２の符号化空間を構成する２０個の基底ベクトルのうち任意の３個を選ぶ組み合わせ20Ｃ3は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。一方、ビット・ストリームを構成する１０ビットのデータ・パターンは２10＝１０２４通りなので、これら１０２４個のパターンの１つずつを、２０個の基底ベクトルの中の３個を選んだパターンに対応させることによって、ビット・ストリームの２０個分のビット列を表現することができる。すなわち、選ばれた３個の基底ベクトルのみ成分に１を代入するとともに、残りの１７個の基底ベクトルの成分を０に設定する。
【００２８】
また、本発明の第２の側面は、第１のデータ実空間上の第１のデータが第２のデータ実空間を符号化した第２のデータ符号化空間にマッピングされてなる符号化データを第１のデータ実空間上に復号化する復号化手段又はステップを備える、
ことを特徴とする情報復号化装置又は情報復号化方法である。
【００２９】
本発明の第２の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第１の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００３０】
すなわち、本発明の第１の側面に係る情報符号化装置又は情報符号化方法では、第１のデータを構成するビット・ストリームのビット値を第２の符号化空間を構成する基底ベクトルにマッピングされているので、前記復号化手段又はステップは、基底ベクトルにマッピングされたビット値をビット・ストリームに再マッピングするようにすればよい。
【００３１】
例えば、前記第２の符号化空間のうち低周波数成分側の所定個数までの各基底ベクトルに対して該ビット・ストリームの各ビットの値が順次マッピングされている場合には、前記復号化手段は又ステップは、基底ベクトルにマッピングされたビット値を順次ビット・ストリームに再マッピングするようにすればよい。
【００３２】
あるいは、ビット・ストリーム中の連続するｎビットの値が前記第２の符号化空間のうち低周波数成分側のｍ個の基底ベクトルのうちｋ個に１を代入するとともに残りのｍ−ｋ個に０を代入して表現されたビット・パターンにマッピングされている場合には（但し、２n＜mＣk）、前記復号化手段は又ステップは、ｍ個の基底ベクトルにより表現されたビット・パターンをビット・ストリームの連続するｎビットの値に再マッピングするようにすればよい。
【００３３】
また、本発明の第３の側面は、第１のデータ実空間上の第１のデータを第２の密度を以って第２のデータ実空間に変換するマッピング手段又はステップを備える、
ことを特徴とする情報符号化装置又は情報符号化方法である。
【００３４】
ここで、第２のデータ実空間上のデータは動画像などの画像データである。また、第１のデータは、画像データに対する編集情報であり、ビット・ストリームで構成される。
【００３５】
本発明の第３の側面に係る情報符号化装置又は情報符号化方法は、第１のデータがマッピングされた第２のデータ実空間上の擬似的な第２のデータを符号化して記録する記録手段又はステップをさらに備えていてもよい。記録手段又はステップは、例えば、動画像を記録するＶＴＲ（ビデオ・テープ・レコード）などであり、画像データをＤＣＴなどにより符号化圧縮してから記録するようになっている。
【００３６】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。
【００３７】
そこで、本発明の第３の側面に係る情報符号化装置又は情報符号化方法では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、ビット・ストリームを第２の密度を以って画像フレームの画素にマッピングし、この擬似的な画像フレームを通常の画像フレームと同様に符号化圧縮してＶＴＲに記録するようにした。
【００３８】
さらに、ビット・ストリームがマッピングされた擬似的な画像フレームに対して符号化及び復号化処理を経た後、ビット・ストリームの復元を試みて、エラーを検出して、エラーが発生しないようにビット・ストリームを画像フレームにマッピングする密度を調整することができる。
【００３９】
例えば、ビット・ストリームを構成する各ビット位置における値を、画像フレーム中で対応する画素位置における１画素あるいはｎ×ｎ画素ブロックの画素値としてマッピングして、一旦擬似的な画像フレームを生成して、さらにこの擬似画像フレームをＤＣＴ符号化圧縮してＶＴＲに記録する。
【００４０】
そして、符号化及び復号化を経た後、ビット・ストリームを再現することができなかった場合には、再現性を高めるために、ビット・ストリームの各ビットをマッピングする画素数を増やす。例えば、ビット・ストリームの各ビット位置の値を擬似画像フレーム中の（ｎ＋１）×（ｎ＋１）画素のブロックを使って記憶させる。このように、ビット・ストリームの各１ビットを、より多くの画素数からなるブロックに割り当てることにより、作成される擬似画像は高周波数成分が抑えられた画像となるので、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【００４１】
また、本発明の第４の側面は、第１のデータ実空間上の第１のデータを第２の密度を以って第２のデータ実空間に変換されてなる符号化データを第１のデータ実空間上に第２の密度の逆数を以って逆変換する復号化手段又はステップを備える、
ことを特徴とする情報復号化装置又は情報復号化方法である。
【００４２】
本発明の第４の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第３の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００４３】
すなわち、本発明の第３の側面に係る情報符号化装置又は情報符号化方法では、ビット・ストリームの各ビットが第２の密度を以って画像フレームにマッピングされているので、前記復号化手段又はステップは、画像フレーム中の画素値を第２の密度の逆数を以って再マッピングするようにすればよい。
【００４４】
例えば、ビット・ストリームの各ビット値が第２のデータ実空間をｎ×ｎ画素毎に分割されたブロックにマッピングされている場合には、前記復号化手段は又ステップは、第２のデータ実空間上の各ｎ×ｎ画素ブロックの画素値を第１のデータ実空間上に再マッピングするようにすればよい。
【００４５】
また、本発明の第５の側面は、画像以外の第１のデータを符号化する情報符号化装置又は情報符号化方法であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段又はステップと、
該擬似的な画像フレームを複数枚連続させる、擬似画像フレーム複製手段又はステップと、
を具備することを特徴とする情報符号化装置又は情報符号化方法である。
【００４６】
ここで、第１のデータは画像データの編集データなどであり、ビット・ストリームで構成される。そして、前記マッピング手段又はステップは、該ビット・ストリームのビット値を画像フレームの画素に所定の密度を以ってマッピングすることができる。
【００４７】
あるいは、前記マッピング手段又はステップは、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値をマッピングすることができる。
【００４８】
また、本発明の第５の側面に係る情報符号化装置又は情報符号化方法は、各擬似的な画像フレームが複数枚連続してなる画像フレーム群を動き補償する擬似画像フレーム符号化手段又はステップをさらに備えていてもよい。
【００４９】
動画像の画像圧縮技術においては、「動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）」が導入される場合がある。動き補償による圧縮では、時間的に連続する複数の画像をイントラ・ピクチャとノンイントラ・ピクチャの２つのグループに分ける。
【００５０】
ここで、編集データなどのビット・ストリームがマッピングされた擬似的な画像フレームをノンイントラ・ピクチャとして扱った場合、擬似的な画像から他の画像との差分をとってもデータの冗長性を削除することが期待できないばかりか、ノンイントラ・ピクチャ内のデータも不正確になってしまい可逆性が著しく損なわれる。このため、ノンイントラ・ピクチャとして処理された擬似的な画像フレームをＶＴＲに記録した後、元のビット・ストリームを完全に再現できなくなる。
【００５１】
そこで、本発明の第５の側面に係る情報符号化装置又は情報符号化方法においては、ビット・ストリームをマッピングした擬似的な画像フレームがイントラ・ピクチャに割り当てられるようにすることで、動き補償が適用された画像フレームから元のビット・ストリームを最大限正確に取り出すことができるようにする。より具体的には、ビット・ストリームのデータをマッピングした擬似的な画像フレームを作成した後、この画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。
【００５２】
動き補償を適用する画像圧縮器においては、イントラ・ピクチャが出現する周期Ｍを規定していることが多い。このような場合、周期に相当するＭ枚分だけ擬似的な画像フレームを連続させることによって、そのうちの１枚は必ずイントラ・ピクチャに割り当てられるので、この画像フレームを使うことで、データ削減による劣化のない状態でビット・ストリームを取り出すことができる。
【００５３】
また、本発明の第６の側面は、第１のデータを画像フレームにマッピングして生成された擬似的な各画像フレームを複数枚連続させてなる擬似的な画像フレーム群が動き補償により符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化装置又は情報復号化方法であって、
擬似的な符号化画像を動き補償により復号化して擬似的な画像フレーム群を作成する復号化手段又はステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング手段又はステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力手段又はステップと、
を具備することを特徴とする情報復号化装置又は情報復号化方法である。
【００５４】
本発明の第６の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第５の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００５５】
すなわち、ビット・ストリームを画像フレームに変換してＶＴＲに記録した後、ＶＴＲからビット・ストリームを再構築する際、ＶＴＲから再生される画像フレーム列のうち、時刻０から始まるＭ枚毎の画像からビット・ストリームを再構築する（但し、Ｍはイントラ・ピクチャの出現周期であることが好ましい）。また、時刻１から始まるＭ枚毎の画像からビット・ストリームを再構築する。また、時刻２から始まるＭ枚毎の画像からビット・ストリームを再構築する。以降同様に、時刻３から時刻Ｎ−１までのものに対してもビット・ストリームを再構築する。
【００５６】
そして、これらＮ個の再構築されたビット・ストリームの中から最もエラーの少なかったビット・ストリームを選び出して、これをＶＴＲから再現した結果として出力する。最もエラーの少なかったビット・ストリームは、イントラ・ピクチャに割り当てられたＭ枚置きの画像フレームの組から再現されたものと推測される。勿論、エラーの少ないビット・ストリームが再現されることが目的であり、必ずしもイントラ・ピクチャに割り当てられた画像フレームから再現しなければならないという訳ではない。
【００５７】
また、本発明の第７の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルのうち所定の周波数帯又は所定個数の基底ベクトルに対して、符号化対象となる情報を構成するビット・ストリームのビットをマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な符号化画像に対して、復号化／符号化を行なった後、該擬似的な符号化画像を構成する各基底ベクトルを再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームのマッピングに使用する基底ベクトルの周波数帯又は個数を調整する周波数帯調整ステップと、
を具備することを特徴とする記憶媒体である。
【００５８】
また、本発明の第８の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
符号化対象となる情報を構成するビット・ストリームのビットを所定の密度を以って画像フレーム上の画素にマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な画像フレームの画素を前記所定の密度の逆数を以って再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームを画像フレームにマッピングするときの密度を調整する密度調整ステップと、
を具備することを特徴とする記憶媒体である。
【００５９】
また、本発明の第９の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
符号化対象となる情報を画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
該擬似的な画像フレームをそれぞれＭ枚連続させる擬似画像フレーム複製ステップと、
各擬似的な画像フレームがＭ枚連続してなる画像フレーム群をＭフレーム周期でイントラ・ピクチャを挿入して動き補償する擬似画像フレーム符号化ステップと、
該符号化された擬似的な画像フレームを動き補償により復号化して擬似的な画像フレーム群を作成する復号化ステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング・ステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力ステップと、
を具備することを特徴とする記憶媒体である。
【００６０】
本発明の第７乃至第９の各側面の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００６１】
本発明の第７乃至第９の各側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第７乃至第９の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１、第３、第５の各側面に係る情報符号化装置又は情報符号化方法とそれぞれ同様の作用効果を得ることができる。
【００６２】
また、本発明の第１０の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルのうち所定の周波数帯の所定個数の基底ベクトルに対して、符号化対象となる情報を構成するビット・ストリームのビットをマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な符号化画像に対して、復号化／符号化を行なった後、該擬似的な符号化画像を構成する各基底ベクトルを再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームのマッピングに使用する基底ベクトルの周波数帯又は個数を調整する周波数帯調整ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６３】
また、本発明の第１１の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
符号化対象となる情報を構成するビット・ストリームのビットを所定の密度を以って画像フレーム上の画素にマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な画像フレームの画素を前記所定の密度の逆数を以って再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームを画像フレームにマッピングするときの密度を調整する密度調整ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６４】
また、本発明の第１２の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
符号化対象となる情報を画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
該擬似的な画像フレームをそれぞれＭ枚連続させる擬似画像フレーム複製ステップと、
各擬似的な画像フレームがＭ枚連続してなる画像フレーム群をＭフレーム周期でイントラ・ピクチャを挿入して動き補償する擬似画像フレーム符号化ステップと、
該符号化された擬似的な画像フレームを動き補償により復号化して擬似的な画像フレーム群を作成する復号化ステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング・ステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６５】
本発明の第１０乃至第１２の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第１０乃至第１２の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１、第３、第５の各側面に係る情報符号化装置又は情報符号化方法とそれぞれ同様の作用効果を得ることができる。
【発明の効果】
【００６６】
本発明によれば、動画などの画像情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【００６７】
また、本発明によれば、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【００６８】
また、本発明によれば、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりすることができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【００６９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００７０】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００７１】
第１の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【００７２】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。そこで、本発明では、再現性が最大限維持されるようにビット・ストリームを画像圧縮にかけるようにする。
【００７３】
本発明の第１の実施形態では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、画像圧縮符号化により変換される符号化空間上にビット・ストリームの各データをマッピングした画像フレームを作成して、この画像をＶＴＲに記録するようにした。
【００７４】
ここで、画像圧縮には、一般に、時間軸を周波数軸に置き換えるＤＣＴ（Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理が適用される。ＤＣＴ処理は、画像フレームを例えば８×８のブロックに分割し、それぞれのブロックに対して周波数空間へ変換する。すなわち、ＤＣＴにより変換符号化された符号化空間は、図１に示すように、ランダムに分布していた画素値が低周波数成分から高周波数成分に至る６４個の周波数項（変換係数）Ｖ1〜Ｖ64で表される（但し、Ｖiは添え字ｉが小さいほど低周波数成分を、大きいほど高周波数成分を表す）。すなわち、ＤＣＴ符号化空間は、Ｖ1〜Ｖ64を成分に持つ「基底ベクトル」として表現することができる。一般的な画像では高周波数成分が含まれていないので、このＤＣＴの処理により周波数空間に変換されたデータは低周波数成分に集中することを利用して、データ量を減らすことができる。
【００７５】
本実施形態では、編集データなどのビット・ストリームを記録する際には、同じ圧縮変換方法で用いられる変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした擬似的な符号化画像を作成して、この符号化画像をＶＴＲに記録する。
【００７６】
また、本実施形態では、ビット・ストリームをＤＣＴ符号化空間にマッピングする際、自然画像では低周波数成分に集中し高周波数成分が丸め込まれるという符号化圧縮の特性を考慮して、例えば基底ベクトルのうちＶ1〜Ｖ20までの低周波数成分側のみを使用してビット・ストリームの各データをマッピングすることによって、復号化伸張時におけるビット・ストリームの再現性の維持を図るようにした。
【００７７】
図２には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【００７８】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【００７９】
また、画像圧縮のために画像が変換されるＤＣＴ符号化空間は、低周波数成分から高周波数成分まで、８×８＝６４個の成分Ｖ1〜Ｖ64からなる基底ベクトルである（図１を参照のこと）。このうち高周波数成分は圧縮により無視される可能性が高いので、低周波数成分側の例えば２０個の成分Ｖ1〜Ｖ20をビット・ストリームをマッピングするために使用する。
【００８０】
ビット・ストリームの先頭（すなわち、第１番目）のデータが０である場合にはＶ1成分を０とし、１である場合にはＶ1成分を１とする。また、第２番目のデータが０である場合にはＶ2成分は０とし、１である場合にはＶ2成分は１とする。同様に、第ｉ（ｉ＝３〜２０）番目のデータが０である場合にはＶi成分を０とし、１である場合にはＶi成分を１とする。このようにして、ビット・ストリームの先頭の２０個のデータの値により、基底ベクトルのうち低周波数側の２０個の成分Ｖ1からＶ20が決定される。また、第２１番目以降の高周波数側の成分Ｖ21〜Ｖ64には０を代入する。このような周波数成分をもつ８×８ブロックの基底ベクトルからなる擬似的なＤＣＴ符号化画像を作成する。
【００８１】
同様に、ビット・ストリームの第２１番目から第４０番目までのデータに対応した８×８の符号化空間を作成し、この８×８の符号化空間を１つのブロックと考える。また、第４１番目以降に関しても、同様に、ビット・ストリームの次の２０個のデータの値により基底ベクトルのうち低周波数側の２０個の成分Ｖ1からＶ20が決定することによって、次フレームに相当する擬似的なＤＣＴ符号化空間を作成していく。
【００８２】
これら８×８のブロック群よりなるデータ群は、ＤＣＴにより符号化を行なった圧縮画像に相当するので、そのまま通常の圧縮画像とともにＶＴＲに記録してもよい。
【００８３】
あるいは、図２に示すように、ＤＣＴ処理器を内蔵するＶＴＲに記録する場合には、上述したように編集データのビット・ストリームから得られた擬似的な符号化圧縮画像をＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）して擬似的な原画像フレームを生成してから、ＶＴＲに投入してビデオ・テープ上に記録するようにする。
【００８４】
このように記録したＶＴＲから画像を再生するときには、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。
【００８５】
また、画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、低周波数成分側の成分Ｖ1〜Ｖ20にビット・ストリームがマッピングされた擬似的な符号化圧縮画像が得られる。
【００８６】
あるいは、ＶＴＲ内でＩＤＣＴを行わない場合には、ＶＴＲで再生された符号化圧縮画像からそのままＶ1〜Ｖ20にビット・ストリームがマッピングされた擬似的な符号化画像フレームを得ることができる。
【００８７】
ビット・ストリームをＶＴＲに記録するときには、Ｎビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値がＤＣＴ符号化空間の基底ベクトルにおける低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされる。
【００８８】
したがって、これらＶ1、Ｖ2、…、Ｖ20の成分があるかどうかで、ビット・ストリーム内の各データが０か１であるかを復元することができる。そして、記録時とは逆に、ＤＣＴ符号化空間の基底ベクトルのうち低周波数側のｊ番目の成分ベクトルＶj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置に順次マッピングしていくことで、元のビット・ストリームを再現することができる。
【００８９】
さらに、ビット・ストリームを一度ＶＴＲに記録した後にその再生を試みて、ビット・ストリームの再現性を検証するようにしてもよい。例えば、記録時にビット・ストリームにエラー訂正用のパリティを付加しておき、再生されたビット・ストリームと互いのエラー数をチェックするようにしてもよい。
【００９０】
あるいは、ビット・ストリームのマッピングに使用した最も高周波数成分に相当する周波数項Ｖ20の値が０あるいは１にほぼ等しいかどうかをチェックすることによっても、ビット・ストリームの再現性を検証してみることも考えられる。
【００９１】
周波数項Ｖ20の値をチェックしてみた結果、例えば、「Ｖ20の成分として０．５前後の値が観測された」、あるいは、「Ｖ20の成分は１として記録したにもかかわらず、再生してみると０として観測された」という事態が検出されたならば、それはＶ20が既に高周波数成分の領域に相当し可逆性が保証されないこと、すなわち圧縮によりＶ20の成分が信用できない値になったことを意味する。
【００９２】
このような場合、Ｖ20はビット・ストリームの記録には使わないようにする。すなわち、ビット・ストリームを２０ビットではなく１９ビット毎に区切り、それぞれを画像フレームのＤＣＴ符号化空間の基底ベクトルのうち低周波数側の１９個までの成分Ｖ1〜Ｖ19に割り当てて、Ｖ20は使わないようにして、再度ビット・ストリームをＶＴＲに記録し直すようにしてもよい。
【００９３】
このようにして記録したＶＴＲを再生するとき、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、低周波数成分側の成分Ｖ1〜Ｖ19にビット・ストリームがマッピングされた擬似的な符号化圧縮画像が得られる（同上）。そして、これらＶ1、Ｖ2、…、Ｖ19の成分があるかどうかで、ビット・ストリーム内の各データが０か１であるかを復元することができる。
【００９４】
勿論、この場合にも、さらに、ビット・ストリームを一度ＶＴＲに記録した後に再生を試みて、Ｖ19の成分が０あるいは１にほぼ等しいかどうか、すなわち可逆性をチェックしてみてもよい。そして、もしも可逆性が保証されない場合には、ビット・ストリームを１９ビットではなく１８ビット毎に区切り、それぞれを画像フレームのＤＣＴ符号化空間の基底ベクトルのうち低周波数側の１８個までの成分Ｖ1〜Ｖ18に割り当てて、Ｖ19は使わないようにする。
【００９５】
上述した例では、編集データを構成するビット・ストリームを例えば２０ビット毎に区切って、ＤＣＴ符号化空間の基底ベクトルのうち例えば低周波数側の２０個までの成分Ｖ1〜Ｖ20に１ビットずつ順次マッピングしていくようにしている。すなわち、ビット・ストリームの各ビットをそれぞれ基底ベクトルの１個の成分に逐次マッピングしているが、ビット・ストリームをＤＣＴ符号化空間にマッピングする方法はこれに限定されるものではない。ビット・ストリームをＤＣＴ符号化空間にマッピングする他の方法について、以下に説明する。
【００９６】
例えば、ＤＣＴ符号化空間を構成する基底ベクトルは、低周波数から高周波数まで８×８＝６４個の成分からなる。このうち高周波数成分は圧縮により無視される可能性があるので、例えば、低周波数成分側の２０個を使うことにする（同上）。この２０個の成分をＶ1、Ｖ2、…、Ｖ20とする。
【００９７】
このＶ1〜Ｖ20の中から、任意の３個を選ぶ組み合わせ20Ｃ3は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。ここで、ビット・ストリームの先頭の１０個のデータのパターンは２10＝１０２４通りなので、これら１０２４個のパターンの１つずつを、「Ｖ1からＶ20の中の３個を選んだパターン」に対応させることによって、ビット・ストリームの１０個分のビット列を表現することができる。すなわち、選ばれた３個のＶi（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶiの成分を０に設定する。
【００９８】
このようにして、まず、ビット・ストリームの先頭の１０個分のビット値により、Ｖ1からＶ20までの低周波数側の成分を決定するとともに、Ｖ21以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的なＤＣＴ符号化画像を作成する。
【００９９】
同様に、ビット・ストリームの第１１番目から第２０番目までのビット列に対応した８×８の擬似的なＤＣＴ符号化画像を作成し、この８×８の画像を１つのブロックと考える。第２１番目以降も同様にして、８×８のブロックを作成していく。
【０１００】
これら８×８のブロック群よりなるデータ群は、ＤＣＴにより符号化圧縮を行なった画像に相当するので、そのまま圧縮画像とともに保存してもよい。
【０１０１】
あるいは、図２に示すように、ＤＣＴ処理器を内蔵するＶＴＲに保存する場合には、上述したように編集データのビット・ストリームから得られた擬似的な符号化圧縮画像を一旦ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｅｔ ＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：逆離散コサイン変換）して擬似的な原画像フレームを生成してから、ＶＴＲに投入してビデオ・テープ上に記録するようにする。
【０１０２】
このように記録したＶＴＲを再生するとき、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、選ばれた３個のＶi（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶｉの成分を０に設定されている擬似的な符号化圧縮画像を得ることができる。そして、Ｖ1からＶ20のうちでどの成分が１になっているかによって、元の１０個分のビット列を復元することができる。
【０１０３】
図３には、本実施形態に適用可能な画像処理装置１００のハードウェア構成を模式的に示している。
【０１０４】
この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する。
【０１０５】
以下、図３を参照しながら、画像処理装置１００内の各部について説明する。
【０１０６】
システム１００のメイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを実行することができる。図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。
【０１０７】
メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。
【０１０８】
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。例えば、ＶＴＲから再生された画像やその編集内容はディスプレイ１１１で画面表示されて、確認を行なうことができる。
【０１０９】
入力機器インターフェース１０４は、キーボード１１２やマウス１１３などのユーザ入力機器をコンピュータ・システム１００に接続するための装置である。ユーザは、キーボード１１２やマウス１１４を介して、画像編集のためのデータやコマンドを入力することができる。
【０１１０】
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１００をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【０１１１】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。
【０１１２】
外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。
【０１１３】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。
【０１１４】
メディア・ドライブ１１５は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【０１１５】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【０１１６】
ＶＴＲインターフェース１０９は、ＶＴＲから再生されるビデオ信号を画像処理装置１００内に取り込むための装置である。
【０１１７】
なお、図３に示すような画像処理装置１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ“ＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）”の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る画像処理装置１００として適用することも可能である。
【０１１８】
図４及び図５には、この画像処理装置１００上で実行される、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をそれぞれフローチャートの形式でそれぞれ示している。
【０１１９】
本実施形態では、ビット・ストリームをＶＴＲに記録する際には、ビット・ストリームの再現性を最大限に維持するために、ビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する。
【０１２０】
このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、図４及び図５に示されている各フローチャートを参照しながら、この処理手順について説明する。
【０１２１】
ビット・ストリームを入力すると（ステップＳ１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ２）。但し、パリティ・ビットの付加は本実施形態における必須の要件ではない。
【０１２２】
次いで、変数Ｎに初期値２０を代入する（ステップＳ３）。この変数Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する成分６４個のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する（図１を参照のこと）。
【０１２３】
次いで、パリティ付きビット・ストリームを、Ｎビットずつに分割する（ステップＳ４）。そして、分割された各Ｎビットのデータを、それぞれＤＣＴ符号化空間の基底ベクトルのうち低周波数側のＮ個の成分にマッピングしていく（ステップＳ５）。
【０１２４】
ＤＣＴ符号化空間の基底ベクトルは６４個の成分Ｖi（ｉ＝１〜６４）で構成されている。ステップＳ５では、分割されたＮビットのデータ中のｊ番目のビット位置におけるビット値をＤＣＴ符号化空間の低周波数側のｊ番目の成分Ｖｊ（ｊ＝１〜２０）に順次マッピングしていく。
【０１２５】
さらに、ＤＣＴ符号化空間を構成する基底ベクトルのＮ＋１番目以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する（ステップＳ６）。但し、８×８ブロックが５２８０個集まって、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）の画像１フレームを構成する。
【０１２６】
ビット・ストリームをＮ個毎に分割して、Ｎビットのビット列の塊が（Ｋ÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＫフレームだけ作成される。なお、ここでは１フレームは７０４画素×４８０画素よりなると仮定している。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている。この擬似的な符号化画像フレームを、通常の画像フレームをＤＣＴ符号化して得た圧縮画像とともに、ＶＴＲに記録する（ステップＳ７）。
【０１２７】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＤＣＴ処理をスキップするか、又は、ステップＳ６で生成された擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にした後、ＶＴＲに投入して、ＤＣＴ処理を経て記録するようにすればよい。
【０１２８】
図６には、上記のステップＳ５及びＳ６において、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理手順をさらに詳細に示している。
【０１２９】
まず変数ｉに初期値１を代入する（ステップＳ５−１）。
【０１３０】
次いで、パリティ付きビット・ストリームから分割されたＮビットのビット列うち、ｉ番目のビット値をチェックする（ステップＳ５−２，Ｓ５−３）。
【０１３１】
ビット列のｉ番目のビット値が０である場合には、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数側のｉ番目の成分Ｖiを０にする（ステップＳ５−４）。また、ビット列のｉ番目のビット値が０である場合には、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数側のｉ番目の成分Ｖiを１にする（ステップＳ５−５）。
【０１３２】
次いで、ｉがＮに到達したかどうかをチェックする（ステップＳ５−６）。Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する６４個の成分のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する変数である（前述）。
【０１３３】
ｉがまだＮに到達していない場合には、ステップＳ５−７においてｉを１だけインクリメントした後、ステップＳ５−２に戻り、パリティ付きビット・ストリームから分割されたＮビットのビット列うち、ｉ番目のビット値を基底ベクトルの次の成分にマッピングする処理を繰り返し実行する。
【０１３４】
また、ｉがＮに到達した場合には、次ステップＳ６−１に進んで、ＤＣＴ符号化空間を構成する基底ベクトルのうち、低周波数成分側から数えてＮ＋１番目以降６４番目までの残りのすべての高周波数側成分を０にする。
【０１３５】
そして、上述のようにして作成された基底ベクトルの成分を持つ８×８ブロックの擬似的な符号化画像を作成する（ステップＳ６−２）
【０１３６】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１３７】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ１１）。
【０１３８】
次いで、再生された擬似的な画像に対してさらにＤＣＴ処理を適用することによって、符号化画像を取り出す（ステップＳ１２）。ここで取り出される符号化画像は、基底ベクトルのうち低周波数成分側の２０番目までの成分Ｖj（ｊ＝１〜２０）にビット・ストリームがマッピングされた８×８ブロックの擬似的な符号化画像である。
【０１３９】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＩＤＣＴ処理をスキップするか、又は、符号化画像を一旦ＩＤＣＴ処理してＶＴＲが出力する擬似的な原画像に対して、さらにＤＣＴ処理を適用することによって、基底ベクトルのうち低周波数成分側の２０番目までの成分Ｖj（ｊ＝１〜２０）にビット・ストリームがマッピングされた８×８ブロックの擬似的な符号化画像を取り出すことができる。
【０１４０】
図４に示したＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされている。したがって、再生時には逆に、この基底ベクトルの低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする（ステップＳ１３）。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、ビット・ストリームを作成する（ステップＳ１４）。
【０１４１】
次いで、このビット・ストリームの再現性を検証する。この例では、図４のステップＳ２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ１５）。そして、エラー数が少ないかをチェックする（ステップＳ１６）。
【０１４２】
ステップＳ１４において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、この再生処理ルーチンを終了する。
【０１４３】
他方、ステップＳ１４において作成されたビット・ストリームのエラー数が少なくない場合には、Ｎを１だけデクリメントして（ステップＳ１７）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。そして、図４のステップＳ４に戻って、ビット・ストリームの記録処理を繰り返し実行する。
【０１４４】
なお、ステップＳ１５及びＳ１６におけるビット・ストリームの再現性の検証処理としては、エラー訂正用のパリティを使用する以外に、ビット・ストリームのマッピングに使用した基底ベクトルの成分のうち最も高周波数となる成分の値の確からしさによって検証する方法（前述）を適用することができる。
【０１４５】
図７には、上記のステップＳ１３及びＳ１４において、８×８ブロックの擬似的な符号化画像を構成する基底ベクトルのうち低周波数成分側のＮ個をビット・ストリーム中のＮビットのデータにマッピングして、ビット・ストリームを作成するための処理手順をさらに詳細に示している。
【０１４６】
まず、８×８ブロックの画像をＤＣＴ処理して、擬似的な符号化空間を構成する基底ベクトルの６４個の成分Ｖ1〜Ｖ64を求める（ステップＳ１３−１）。先行するステップＳ１２又はＳ１３により既に擬似的なＤＣＴ符号化空間が得られている場合には当該ステップをスキップしてもよい。
【０１４７】
次いで、変数ｉに初期値１を代入する（ステップＳ１３−２）。
【０１４８】
次いで、基底ベクトルの低周波数成分側のｉ番目の成分Ｖiをチェックする（ステップＳ１３−３，Ｓ１３−４）。
【０１４９】
基底ベクトルのｉ番目の成分Ｖiの値が０．５未満である場合には、作成しようとしているビット・ストリームのデータのｉ番目の値を０にする（ステップＳ１３−５）。また、基底ベクトルのｉ番目の成分Ｖiの値が０．５以上である場合には、作成しようとしているビット・ストリームのデータのｉ番目の値を０にする（ステップＳ１３−６）。
【０１５０】
次いで、ｉがＮに到達したかどうかをチェックする（ステップＳ１３−７）。Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する６４個の成分のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する変数である（前述）。
【０１５１】
ｉがまだＮに到達していない場合には、ステップＳ１３−８においてｉを１だけインクリメントした後、ステップＳ１３−３に戻り、基底ベクトルの低周波数成分側のｉ番目の成分からビット・ストリームの作成中のデータのｉ番目のビット値を求める処理を繰り返し実行する。
【０１５２】
また、ｉがＮに到達した場合には、次ステップＳ１４−１に進んで、作成されたＮビットからなる各データをまとめて最終的なビット・ストリームとして出力する。
【０１５３】
また、図８及び図９には、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順の変形例をそれぞれフローチャートの形式で示している。図４及び図５に示した例ではビット・ストリームの各ビットをそれぞれＤＣＴ符号化空間を構成する基底ベクトルの１個の成分に逐次マッピングしているが、ビット・ストリームを１０ビット毎に分割して得られるデータのパターンを、基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20で表現された20Ｃk通りのビット・パターンにマッピングするようにしている（但し、ｋは２０個の基底ベクトルのうち１を代入するものの個数）。このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、このフローチャートを参照しながら、この処理手順について説明する。
【０１５４】
まず、ビット・ストリームを入力する（ステップＳ２１）。次いで、ビット・ストリームを、１０ビットずつに分割する（ステップＳ２３）。
【０１５５】
そして、この１０ビット毎のデータのパターンを、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20のなすビット・パターンにマッピングする（ステップＳ２３）。
【０１５６】
２０個の成分Ｖ1〜Ｖ20の中から任意の３個を選ぶ組み合わせ20Ｃ3は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。一方、ビット・ストリームの先頭の１０個のデータのパターンは２10＝１０２４通りなので、これら１０２４個のパターンをそれぞれＶ1からＶ20の中の３個を選んだパターンに対応させることによって、ビット・ストリームの１０個分のビット列を表現することができる。すなわち、選ばれた３個のＶi（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶiの成分を０に設定する。
【０１５７】
さらに、ＤＣＴ符号化空間を構成する基底ベクトルの２１番目以降の高周波数成分側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する（ステップＳ２４）。
【０１５８】
ビット・ストリームを１０個毎に分割して、１０ビットのビット列の塊が（Ｍ’÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＭ’フレームだけ作成される。なお、ここでは１フレームは７０４画素×４８０画素よりなるとかていしている。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている。この擬似的な符号化画像フレームを、通常の画像フレームをＤＣＴ符号化して得た圧縮画像とともに、ＶＴＲに記録する（ステップＳ２５）
【０１５９】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＤＣＴ処理をスキップするか、又は、ステップＳ２４で生成された擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にした後、ＶＴＲに投入して、ＤＣＴ処理を経て記録するようにすればよい。
【０１６０】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１６１】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ３１）。
【０１６２】
次いで、再生された擬似的な画像に対してさらにＤＣＴ処理を適用することによって、ビット・ストリームの１０ビット毎のデータのパターンが基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20によるビット・パターンにマッピングされた８×８ブロックの擬似的な符号化画像を取り出す（ステップＳ３２）。
【０１６３】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＩＤＣＴ処理をスキップするか、又は、符号化画像フレームを一旦ＩＤＣＴ処理してＶＴＲが出力する擬似的な原画像に対して、さらにＤＣＴ処理を適用することによって、基底ベクトルの低周波数成分側の２０個の成分Ｖ1〜Ｖ20のなすビット・パターンにマッピングされた８×８ブロックの擬似的な符号化画像を取り出すことができる。
【０１６４】
図８に示した記録時には、ビット・ストリームを分割してできた各１０個のビットによる１０２４個のデータ・パターンをそれぞれＶ1からＶ20の中の３個を選んだパターンに対応させて、ビット・ストリームの１０ビットを表現することにより、ビット・ストリームをＤＣＴ符号化空間にマッピングさせている。したがって、再生時には逆に、ＤＣＴ符号化空間の低周波数成分側のＶ1からＶ20までで表現されたデータ・パターンを基に、対応する１０ビットのデータ・パターンを割り出す（ステップＳ３３）。
【０１６５】
さらに、これらの１０ビット毎のビット列をまとめることで、ビット・ストリームを作成して、本処理ルーチン全体を終了する（ステップＳ３４）。
【０１６６】
第２の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【０１６７】
上述した本発明の第１の実施形態では、編集データからなるビット・ストリームの各ビットを、画像のＤＣＴ符号化空間を構成する基底ベクトルのうち低周波数成分側の成分にマッピングして、擬似的な符号化画像を生成することにより、ＤＣＴ符号化圧縮してＶＴＲに記録した際における再現性を最大限維持できるようにした。
【０１６８】
これに対し、本実施形態では、編集データからなるビット・ストリームを構成する各ビット位置における値を、画像フレーム中で対応する画素位置における１画素あるいはｎ×ｍ画素ブロックの画素値としてマッピングして、一旦擬似的な画像フレームを生成して、さらにこの擬似画像フレームをＤＣＴ符号化圧縮してＶＴＲに記録するようにした。ビット・ストリームの１ビットをｎ×ｍ画素ブロックにマッピングすることは、記録密度を変換することに相当する。
【０１６９】
図１０には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【０１７０】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【０１７１】
ビット・ストリームの先頭（すなわち、第１番目）のデータが０である場合には、擬似的な画像フレーム上の第１画素目の値を０とし、また、１である場合にはこれを１とする。次いで、ビット・ストリームの第２番目のデータが０である場合には擬似的な画像フレームの第２画素目の値を０とし、１である場合にはこれを１とする。同様に、ビット・ストリームの第ｉ番目のデータが０である場合には擬似的な画像フレームの第ｉ画素目の値を０とし、１である場合にはこれを１とする。
【０１７２】
つまり、擬似的な画像フレームの１画素を使ってビット・ストリームの各１ビットの値をマッピングしていくことによって、ビット・ストリームを記録するための擬似的な画像フレームを完成させる。そして、ＶＴＲでは、この擬似画像をＤＣＴにより符号化圧縮処理してからビデオ・テープに記録する。
【０１７３】
次いで、擬似画像フレームをＤＣＴにより符号化圧縮して一旦記録した後、ビデオ・テープから再生し、さらにＩＤＣＴにより復号化伸張処理する。そして、各画素の値が０あるいは１にほぼ等しいかどうか、すなわちビット・ストリームの再現性をチェックしてみる。
【０１７４】
復号化伸張処理した画像フレームをチェックしてみて、例えば、「ある画素の成分として０．５前後の値が観測された」、あるいは、「ある画素の成分は１として記録したにもかかわらず、再生してみると０として観測された」という事態が検出されたならば、それは圧縮により各画素の値が信用できない値になったこと、すなわち圧縮符号化が不可逆であったことを意味する。
【０１７５】
ビット・ストリームを再現できなかった場合には、再現性を高めるために、ビット・ストリームの各ビットをマッピングする画素数を増やす。例えば、ビット・ストリームの各ビット位置の値を擬似画像フレーム中の２×２画素のブロックを使って記憶させる。言い換えれば、ビット・ストリームの１ビットを画像フレームにマッピングする密度を低下させる。
【０１７６】
より具体的に言えば、ビット・ストリームをマッピングする擬似画像フレームを２×２のブロックに分割するとともに、各ブロック内の全画素をビット・ストリームの１ビットの値を対応させる。例えば、ビット・ストリームの先頭（すなわち、第1番目）のデータが０である場合には、擬似画像フレーム中の第１番目の２×２ブロック内の４画素の値をすべて０とする。また１である場合には、第１番目の２×２ブロック内の４画素の値をすべて１とする。また、ビット・ストリームの第２番目のデータが０である場合には擬似画像フレーム中の第２番目の２×２ブロック内の４画素の値をすべて０とし、１である場合には第２番目の２×２ブロック内の４画素の値をすべて１とする。同様に、ビット・ストリームの第ｉ番目のデータが０である場合には擬似画像フレーム中の第ｉ番目の２×２ブロック内の４画素の値をすべて０とし、１である場合には第ｉ番目の２×２ブロック内の４画素の値をすべて１とする。
【０１７７】
このように、ビット・ストリームの各１ビットを擬似画像フレームの１画素に割り当てるのではなく、２×２画素ブロックに１ビットを割り当てる（あるいは画素ブロックの画素数をさらに増大させていく）。この結果、作成される擬似画像は高周波数成分が抑えられた画像となるので、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【０１７８】
このようにして、ビット・ストリームから作成された擬似画像をＶＴＲに記録しさらにＶＴＲから再生すると、ＤＣＴによる符号化圧縮、並びにＩＤＣＴによる復号化伸張がそれぞれ１度ずつ行われるが、２×２画素ブロック毎に記録された画素の値はＤＣＴによる高周波数成分の劣化の影響を受けずに復元することができる。そして、これら画素の値が０であるか１であるかにより、ビット・ストリーム内の対応するビット位置のデータが０か１であるかを再現することができる。ビット・ストリームの１ビットを２×２画素ブロックにマッピングしても、なお可逆性が保証されない場合には、マッピング時の密度をさらに低下させるようにしてもよい。
【０１７９】
図３に示した画像処理装置１００は、本実施形態にも適用されるので、その装置構成についてはここでは説明しない。この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する（同上）。
【０１８０】
図１１及び図１２には、本実施形態において、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をフローチャートの形式でそれぞれ示している。
【０１８１】
本実施形態では、ビット・ストリームを画像フレームにマッピングして、この擬似的に画像フレームをＶＴＲに記録する。このとき、ビット・ストリームの１ビットにＮ×Ｎ画素の画素ブロックを割り当てることにより、高周波数成分が抑えられた画像を作成する。この結果、ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。ここで、変数Ｎは、ビット・ストリームの１ビットを画像フレームにマッピングするときの密度に相当する。
【０１８２】
以下、図１１及び図１２に示したフローチャートを参照しながら、本実施形態におけるビット・ストリームのＶＴＲへの記録及び再生の処理手順について説明する。
【０１８３】
ビット・ストリームを入力すると（ステップＳ４１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ４２）。但し、パリティの付加は本発明に必須の要件ではない。
【０１８４】
次いで、変数Ｎに初期値１を代入する（ステップＳ４３）。この変数Ｎは、ビット・ストリームの１ビットをマッピングするのに使用するＮ×Ｎ画素ブロックのサイズを決定する。変数Ｎはビット・ストリームの１ビットを画像フレームにマッピングするときの密度に相当する。Ｎが大きくなるほど、画像フレームにマッピングされたデータは冗長となりメモリ効率が低下するが、作成される擬似画像フレームの高周波成分が抑えられるので、ＤＣＴによるデータの劣化の影響を受けずに済む。
【０１８５】
次いで、ビット・ストリームをマッピングするための擬似的な画像フレームをＮ×Ｎ画素ブロックの領域に分割していく（ステップＳ４４）。そして、パリティ付きビット・ストリームを構成する各ビットの値を、Ｎ×Ｎ画素ブロック領域に対応付ける（ステップＳ４５）。このとき、ビット・ストリーム側のビットが０であれば、対応するＮ×Ｎ画素ブロック内のすべての画素値を０にする。また、ビット・ストリーム側のビットが１であれば、対応するＮ×Ｎ画素ブロック内のすべての画素値を１にする。
【０１８６】
このようにして、パリティ付きビット・ストリームの各ビットを順次Ｎ×Ｎ画素ブロックに割り当てていくと、高周波成分が抑制された擬似的な画像フレームを作成することができる。この擬似的な画像フレームを、通常の画像フレームと同様に、ＶＴＲに記録する（ステップＳ４６）。ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【０１８７】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１８８】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ５１）。
【０１８９】
次いで、取り出した擬似的な画像フレームをＮ×Ｎ画素ブロックの領域に分割していく（ステップＳ５２）。
【０１９０】
次いで、各Ｎ×Ｎ画素ブロックからビット値を再現して、これらをつなぎ合わせてビット・ストリームを作成する（ステップＳ５３）。Ｎ×Ｎ画素ブロックからビット値を再現する際、ブロック内の画素値の平均を求め、平均値が０．５未満であれば０とし、０．５以上であれば１として、ビット・ストリームの対応するビット位置に書き込む。
【０１９１】
次いで、このビット・ストリームの再現性を検証する。この例では、図１１のステップＳ４２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ５４）。そして、エラー数が少ないかをチェックする（ステップＳ５５）。
【０１９２】
ステップＳ４３において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、この再生処理ルーチンを終了する。
【０１９３】
他方、ステップＳ５３において作成されたビット・ストリームのエラー数が少なくない場合には、Ｎを１だけインクリメントして（ステップＳ５６）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。Ｎをインクリメントすることは、ビット・ストリームのビットを画像フレームにマッピングするための密度を低下させることを意味する。そして、図１１のステップＳ４４に戻って、ビット・ストリームの記録処理を繰り返し実行する。
【０１９４】
Ｎを１だけインクリメントすることによって、画像フレームにマッピングされたデータの冗長度が増してメモリの使用効率が低下するが、作成される擬似画像フレームの高周波成分が抑えられるので、ＤＣＴによるデータの劣化の影響をさらに抑制することができる。
【０１９５】
第３の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【０１９６】
上述した本発明の第１の実施形態では、編集データからなるビット・ストリームの各ビットを基底ベクトルのうち低周波数成分側にマッピングした擬似的な符号化画像を生成することにより、ＶＴＲに記録した際における再現性を最大限維持できるようにした。また、第２の実施形態では、ビット・ストリームの１ビットにＮ×Ｎ画素の画素ブロックを割り当てることにより、高周波数成分が抑えられた画像を作成することにより、ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を抑制するようにした。
【０１９７】
要約すれば、上記の各実施形態においては、ＤＣＴによるデータの劣化の影響が少なくなるようにビット・ストリームを画像フレームにマッピングするための方法に関するものである。
【０１９８】
他方、動画像の画像圧縮技術においては、「動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）」が導入される場合がある。この動き補償とは、連続する画像フレーム間で、データがどの方向へ動いたのかを考慮して圧縮・展開を行うものである。上述したＤＣＴなどの直交変換は画像フレームにおける空間方向の冗長度を削減して圧縮を行うのに対して、動き補償は時間方向の冗長度を削減する。
【０１９９】
動き補償による圧縮では、時間的に連続する複数の画像をイントラ・ピクチャとノンイントラ・ピクチャの２つのグループに分ける。
【０２００】
イントラ・ピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）すなわちＩピクチャに対しては、ＤＣＴなどの処理により、イントラ符号化（フレーム内予測）のみによる圧縮が行われる。
【０２０１】
他方、ノンイントラ・ピクチャに対しては、別の画像との相関を調べ、似ている部分との差分をとる。ノンイントラ・ピクチャは、動きの差分をとることにより、ほぼ０になるので、データ量を減らすことができる。ノンイントラ・ピクチャには、（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）フレーム間順方向予測により生成されるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、フレーム間双方向予測により生成されるＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の２種類がある。
【０２０２】
ここで、上述した本発明の第１の実施形態又は第２の実施形態により編集データなどのビット・ストリームがマッピングされた擬似的な画像フレームに対して、動き補償による圧縮が適用された場合について考察してみる。
【０２０３】
動き補償による圧縮の過程で、擬似的な画像フレームがイントラ・ピクチャとして扱われる場合には、ＤＣＴ処理が適用されるだけなので、上述した各実施形態で既に述べた手法を適用することにより、高周波成分による劣化の影響を抑制することができるので、符号化による不可逆性の問題を解消して、ビット・ストリームの再現性を最大限に維持することができる。
【０２０４】
これに対し、ＰピクチャやＢピクチャなどのノンイントラ・ピクチャは、他の画像（ピクチャ）から似ている部分との差分をとっている。ビット・ストリームのデータにより作成された乱数的なデータである画像では、画像間で似ている部分はほとんどない。このため、擬似的な画像から他の画像との差分をとってもデータの冗長性を削除することが期待できないばかりか、ノンイントラ・ピクチャ内のデータも不正確になってしまい可逆性が著しく損なわれる。したがって、ノンイントラ・ピクチャとして処理された擬似的な画像フレームをＶＴＲに記録した後、元のビット・ストリームを完全に再現できなくなると推測される。
【０２０５】
本発明の第３の実施形態は、ビット・ストリームをマッピングした擬似的な画像フレームがイントラ・ピクチャに割り当てられるようにすることで、動き補償が適用された画像フレームから元のビット・ストリームを最大限正確に取り出すことができるようにする。より具体的には、ビット・ストリームのデータをマッピングした擬似的な画像フレームを作成した後、この画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。
【０２０６】
動き補償を適用する画像圧縮器においては、イントラ・ピクチャが出現する周期Ｍを規定していることが多い。このような場合、周期に相当するＭ枚分だけ擬似的な画像フレームを連続させることによって、そのうちの１枚は必ずイントラ・ピクチャに割り当てられるので、この画像フレームを使うことで、データ削減による劣化のない状態でビット・ストリームを取り出すことができる。
【０２０７】
ビット・ストリームを画像フレームに変換してＶＴＲに記録した後、ＶＴＲからビット・ストリームを再構築する際、ＶＴＲから再生される画像フレーム列のうち、時刻０から始まるＭ枚毎の画像からビット・ストリームを再構築する（但し、Ｍはイントラ・ピクチャの出現周期であることが好ましい）。また、時刻１から始まるＭ枚毎の画像からビット・ストリームを再構築する。また、時刻２から始まるＭ枚毎の画像からビット・ストリームを再構築する。以降同様に、時刻３から時刻Ｍ−１までのものに対してもビット・ストリームを再構築する。
【０２０８】
そして、これらＭ個の再構築されたビット・ストリームの中から最もエラーの少なかったビット・ストリームを選び出して、これをＶＴＲから再現した結果として出力する。
【０２０９】
勿論、エラーの少ないビット・ストリームが再現されることが目的であり、必ずしもイントラ・ピクチャに割り当てられた画像フレームからビット・ストリームを再現しなければならないという訳ではない。
【０２１０】
また、ビット・ストリームのデータを画像データに直接マッピングする（第２の実施形態）のではなく、ＤＣＴ符号化空間の基底ベクトルにビット・ストリームをマッピングした後、このＤＣＴ符号化画像をＩＤＣＴ処理して擬似的な画像フレームを作成するようにした場合（第１の実施形態）であっても、本発明の第３の実施形態を適用することができる。
【０２１１】
図１３には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【０２１２】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【０２１３】
まず、ビット・ストリームの第ｉ番目のデータが０である場合には擬似的な画像フレームの第ｉ画素目の値を０とし、１である場合にはこれを１とする、という処理を繰り返し実行することによって、擬似的な画像フレームの１画素を使ってビット・ストリームの各１ビットの値をマッピングして、ビット・ストリームを記録するための擬似的な画像フレームを完成させる。
【０２１４】
ついで、作成された各画像フレームを複数枚連続させる。図１３に示すＶＴＲでは、イントラ・ピクチャが出現する周期Ｍが３に設定されている。この場合、イントラ・ピクチャとして圧縮される画像が２枚おきに現れるので、画像を３フレーム間隔で記録していけばよい。
【０２１５】
ビット・ストリームから作成された画像がＡ，Ｂ，Ｃ，及びＤの計４枚あったとする。この場合、これら４枚のうち最初の画像Ａを３回重複させて時刻０と１と２の画像とする。次いで、２枚目の画像Ｂも３回重複させて、時刻３と４と５の画像とする。以下同様に、３枚目の画像Ｃも３回重複させて時刻６と７と８の画像ととともに、最後の画像Ｄも３回重複させて時刻９と１０と１１の画像とする。この結果、合計１２枚の連続する画像が生成されて、ＶＴＲに投入される。
【０２１６】
ＶＴＲでは、イントラ・ピクチャに対してＤＣＴ処理を行なうＤＣＴ器と、ノンイントラ・ピクチャに対して動き補償処理を行なうＭＣ器が装備されている。そして、所定の周期Ｍ＝３フレーム毎に入力画像をＤＣＴ器に接続してイントラ・ピクチャとしてＤＣＴ処理し、それ以外の入力画像についてはＭＣ器に接続して動き補償処理してから、それぞれビデオ・テープに記録する。
【０２１７】
このようにＶＴＲに記録すれば、周期Ｍ＝３フレーム毎にイントラ・ピクチャが出現することから、「時刻０と３と６と９の４枚よりなる画像の組」、あるいは、「時刻１と４と７と１０の４枚よりなる画像の組」、あるいは、「時刻２と５と８と１１の４枚よりなる画像の組」というＭ＝３通りの組み合わせのうちいずれか１つの組は、イントラ・ピクチャで構成されている。
【０２１８】
このように記録されたＶＴＲからビット・ストリームのデータを復元するには、まず、記録時とは逆に、イントラ・ピクチャに対してはＩＤＣＴ処理を行うとともにノンイントラ・ピクチャに対して動き補償処理を行なって、ビデオ・テープからこれら１２枚の画像を再生する。
【０２１９】
そして、この１２枚の画像を、「時刻０と３と６と９の４枚よりなる画像の組（以下、「第１の組」とする）」、「時刻１と４と７と１０の４枚よりなる画像の組（以下、「第２の組」とする）」、「時刻２と５と８と１１の４枚よりなる画像の組（以下、「第３の組」とする。）」という３つの画像フレームの組に分ける。
【０２２０】
次いで、ビット・ストリームを画像フレームにマッピングしたときとは逆の手順により、第１の組からビット・ストリームを復元することを試みる。このときのエラーを「第１のエラー」とする。次いで、第２の組からビット・ストリームを復元することを試み、このときのエラーを「第２のエラー」とする。同様に、第３の組からビット・ストリームを復元することを試み、このときのエラーを「第３のエラー」とする。
【０２２１】
次いで、これら第１、第２、３のエラーの中で最もエラーの小さかったものを選択する。そして、これに対応する画像フレームの組（第１あるいは第２あるいは第３の組）から実際にビット・ストリームのデータを復元すればよい。何故ならば、エラーが小さいということは、その組の画像はイントラ・ピクチャで構成されていたと推測され、正確にビット・ストリームを再現していると判断されるからである。勿論、ビット・ストリームを再現するにあたり、イントラ・ピクチャを用いて復元することよりも、エラーが最も小さい画像の組を使用することの方が重要である。
【０２２２】
なお、エラーの量は、以下のようにして計測できる。例えば、ビット・ストリームのデータにより画像フレーム内の画素に０又は１の値を割り当てることによって画像を作成してＶＴＲに記録したとする。このような状況で、ＶＴＲを再生して、ある画素の値として０．５前後の値が観測された場合は、誤差が大きいと判断できる。あるいは、例えば、ＶＴＲに記録する際にビット・ストリームにパリティ・ビットを加えている場合、ＶＴＲを再生して、パリティ・エラーの起こる割合が大きければ、誤差が大きいと判断することができる。
【０２２３】
図３に示した画像処理装置１００は、本実施形態にも適用されるので、その装置構成についてはここでは説明しない。この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する（同上）。
【０２２４】
図１４及び図１５には、本実施形態において、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をフローチャートの形式でそれぞれ示している。
【０２２５】
本実施形態では、ビット・ストリームがマッピングされた画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。但し、ここでは、上述した第１の実施形態と同様にビット・ストリームをＤＣＴ符号化空間の基底ベクトルにマッピングするものとする。
【０２２６】
このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、図１４及び図１５に示されている各フローチャートを参照しながら、この処理手順について説明する。
【０２２７】
ビット・ストリームを入力すると（ステップＳ６１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ６２）。
【０２２８】
次いで、変数Ｎに初期値２０を代入する（ステップＳ６３）。この変数Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する成分６４個のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する（図１を参照のこと）。
【０２２９】
次いで、パリティ付きビット・ストリームを、Ｎビットずつに分割する（ステップＳ６４）。そして、分割された各Ｎビットのデータを、それぞれＤＣＴ符号化空間の基底ベクトルのうち低周波数側のＮ個の成分にマッピングしていき、さらに、ＤＣＴ符号化空間を構成する基底ベクトルのＮ＋１番目以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する。なお、ＶＴＲ内部でイントラ・ピクチャに対してＤＣＴ処理を行なうのが一般的であるが、このＶＴＲ内部でのＤＣＴ処理をスキップさせることができない場合には、上述した第１の実施形態と同様に、上記の擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にする（ステップＳ６５）。
【０２３０】
上記のステップＳ６５において、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理は図６にフローチャートの形式で示した手順に従って行なうことができる。
【０２３１】
ビット・ストリームをＮ個毎に分割して、Ｎビットのビット列の塊が（Ｋ÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＫフレームだけ作成される。なお、ここでは、１フレームは７０４画素×４８０画素よりなると仮定している。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている（ステップＳ６６）。
【０２３２】
次いで、Ｋ枚の各画像フレームを、動き補償においてイントラ・ピクチャが出現する周期Ｍに相当する数だけ連続させて、時刻０から時刻Ｍ×Ｋ−１までの合計Ｍ×Ｋ枚の画像を作成して、ＶＴＲに記録する（ステップＳ６７）。但し、時刻３ｉ−２，３ｉ−２，３ｉ−１（ｉ＝０〜Ｋ）の画像は、ステップＳ６６により作成された第ｉ番目の画像とまったく同じ画像である。また、ＶＴＲでは、周期Ｍ毎にイントラ・ピクチャとして画像をＤＣＴ処理し、その他の画像は動き補償処理を適用する。
【０２３３】
次いで、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ６８）。すなわち、時刻０から時刻Ｍ×Ｋ−１までの画像を取り出す。
【０２３４】
ここで、エラー・チェックのために使用する変数ｐに初期値０を代入する（ステップＳ６９）。変数ｐ（＝０〜Ｍ−１）は、ビット・ストリームをマッピングした画像フレームをイントラ・ピクチャに割り当てるために形成された画像の組を指定するために使用される。
【０２３５】
ＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされている。また、イントラ・ピクチャの周期Ｍに相当する間隔で、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像からなる第ｐの画像の組が形成されている。
【０２３６】
したがって、再生時には、第ｐの画像の組すなわち時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像をそれぞれ８×８ブロックに分割して、それぞれ基底ベクトルの低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、ビット・ストリームを作成する（ステップＳ７０）。
【０２３７】
上記のステップＳ７０において、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像の組からビット・ストリームを生成するための処理は図７にフローチャートの形式で示した手順に従って行なうことができる。
【０２３８】
次いで、ステップＳ６２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ７１）。そして、エラー数が少ないかをチェックする（ステップＳ７２）。
【０２３９】
ステップＳ７２において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、このＶＴＲ記録処理ルーチンを終了する。
【０２４０】
他方、ステップＳ７２において作成されたビット・ストリームのエラー数が少なくない場合には、ｐを１だけインクリメントして（ステップＳ７３）、ｐがイントラ・ピクチャの周期すなわち同じ画像の連続枚数Ｍ未満かどうかをチェックする（ステップＳ７４）。
【０２４１】
ｐがＭ未満であれば、ステップＳ７０に戻り、次の第ｐ番目の画像の組を用いてビット・ストリームを作成し、そのエラー・チェックを繰り返し実行する。
【０２４２】
また、ｐがＭに到達した場合には、Ｎを１だけデクリメントして（ステップＳ７５）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。そして、ステップＳ６４に戻って、ビット・ストリームの記録処理を改めて実行する。
【０２４３】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０２４４】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ８１）。すなわち、時刻０から時刻Ｍ×Ｋ−１までの画像を取り出す。
【０２４５】
ここで、エラー・チェックのために使用する変数ｐに初期値０を代入する（ステップＳ８２）。変数ｐ（＝０〜Ｍ−１）は、ビット・ストリームをマッピングした画像フレームをイントラ・ピクチャに割り当てるために形成された画像の組を指定するために使用される。
【０２４６】
ＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖj（ｊ＝１〜２０）に順次マッピングされている。また、イントラ・ピクチャの周期Ｍに相当する間隔で、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像からなる第ｐの画像の組が形成されている。
【０２４７】
したがって、再生時には、第ｐの画像の組すなわち時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像をそれぞれ８×８ブロックに分割して、それぞれ基底ベクトルの低周波数成分側のｊ番目の成分Ｖj（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、第ｐ番目のビット・ストリームを作成する（ステップＳ８３）。
【０２４８】
上記のステップＳ８３において、時刻ｐ、Ｍ＋ｐ、２Ｍ＋ｐ、…、Ｍ×（Ｋ−１）＋ｐの画像の組からビット・ストリームを生成するための処理は図７にフローチャートの形式で示した手順に従って行なうことができる。
【０２４９】
次いで、この第ｐ番目のビット・ストリームに対して、パリティ・エラーの量をチェックする（ステップＳ８４）。このエラー量を「第ｐ番目のエラー量」とする。
【０２５０】
次いで、ｐを１だけインクリメントして（ステップＳ８５）、ｐがイントラ・ピクチャの周期すなわち同じ画像の連続枚数Ｍ未満かどうかをチェックする（ステップＳ８６）。
【０２５１】
ｐがＭ未満であれば、ステップＳ８３に戻り、次の第ｐ番目の画像の組を用いてビット・ストリームを作成し、そのエラー量の検出を繰り返し実行する。
【０２５２】
また、ｐがＭに到達した場合には、第０番目から第（Ｍ−１）番目のエラー量の中で最もエラー量が小さくなるものの番号ｐminを選択する。エラーが最も小さくなる第ｐmin番目の画像の組は、イントラ・ピクチャで構成されていたと推測される。
【０２５３】
そして、最もエラー量が小さくなる第ｐmin番目の画像の組によって生成される第ｐmin番目のビット・ストリームを、パリティ付きのビット・ストリームであると推定して、エラー訂正を行い、訂正後のビット・ストリームを出力する（ステップＳ８７）。
【０２５４】
エラーが小さい画像の組はイントラ・ピクチャで構成されていたと推測されるが、勿論、ビット・ストリームを再現するにあたり、イントラ・ピクチャを用いて復元することよりも、エラーが最も小さい画像の組を使用することの方が重要である。
【産業上の利用可能性】
【０２５５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【図面の簡単な説明】
【０２５６】
【図１】ＤＣＴにより変換符号化された符号化空間の構成を模式的に示した図である。
【図２】本発明の第１の実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図３】本実施形態に適用可能な画像処理装置１００のハードウェア構成を模式的に示した図である。
【図４】画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順をフローチャートの形式で示した図である。
【図５】画像編集データとしてのビット・ストリームをＶＴＲから再生するための処理手順をフローチャートの形式で示した図である。
【図６】図４に示したフローチャート中のステップＳ５及びＳ６における、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理手順をさらに詳細に示したフローチャートである。
【図７】図５に示したフローチャート中のステップＳ１４及びＳ１５において、８×８ブロックの擬似的な符号化画像を構成する基底ベクトルのうち低周波数成分側のＮ個をビット・ストリーム中のＮビットのデータにマッピングして、ビット・ストリームを作成するための処理手順をさらに詳細に示したフローチャートである。
【図８】画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順の変形例をフローチャートの形式で示した図である。
【図９】画像編集データとしてのビット・ストリームをＶＴＲから再生するための処理手順の変形例をフローチャートの形式で示した図である。
【図１０】本発明の第２の実施形態における、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図１１】本発明の第２の実施形態における、画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順を示したフローチャートである。
【図１２】本発明の第２の実施形態における、ＶＴＲから再生してビット・ストリームを取得するための処理手順を示したフローチャートである。
【図１３】本発明の第３の実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図１４】本発明の第３の実施形態における、画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順を示したフローチャートである。
【図１５】本発明の第３の実施形態における、ＶＴＲから再生してビット・ストリームを取得するための処理手順を示したフローチャートである。
【符号の説明】
【０２５７】
１００…画像処理装置
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１０９…ＶＴＲインターフェース
１１１…ディスプレイ
１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置
１１５…メディア・ドライブ
【特許請求の範囲】
【請求項１】
画像以外の第１のデータを符号化する情報符号化装置であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段と、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成手段と、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化手段と、
を具備することを特徴とする情報符号化装置。
【請求項２】
第１のデータはビット・ストリームで構成され、
前記マッピング手段は、該ビット・ストリームのビット値を画像フレームの画素に所定の密度を以ってマッピングする、
ことを特徴とする請求項１に記載の情報符号化装置。
【請求項３】
第１のデータはビット・ストリームで構成され、
前記マッピング手段は、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値をマッピングする、
ことを特徴とする請求項１に記載の情報符号化装置。
【請求項４】
画像以外の第１のデータを符号化する情報符号化方法であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成ステップと、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化ステップと、
を具備することを特徴とする情報符号化方法。
【請求項５】
請求項１に記載の情報符号化装置によって符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化装置であって、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生手段と、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分け手段と、
前記マッピング手段によってマッピングしたのとは逆の手順に従って、前記再生手段によって復号化された各画像から第１のデータの復元を試みる復元手段と、
前記の画像フレームの各組から前記復元手段によってそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力する手段と、
を具備することを特徴とする情報復号化装置。
【請求項６】
第１のデータはビット・ストリームで構成され、該ビット・ストリームのビット値が画像フレームの画素に所定の密度を以ってマッピングされており、
前記再マッピング手段は、画像フレームを第２の密度の逆数を以って第１のデータに逆変換する、
ことを特徴とする請求項５に記載の情報復号化装置。
【請求項７】
第１のデータはビット・ストリームで構成され、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値がマッピングされており、
前記再マッピング手段は、基底ベクトルにマッピングされたビット値をビット・ストリームに再マッピングする、
ことを特徴とする請求項５に記載の情報復号化装置。
【請求項８】
請求項３に記載の情報符号化方法によって符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化方法であって、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生ステップと、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分けステップと、
前記マッピング・ステップにおいてマッピングしたのとは逆の手順に従って、前記再生ステップにおいて復号化された各画像から第１のデータの復元を試みる復元ステップと、
前記の画像フレームの各組から前記復元ステップにおいてそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力するステップと、
を具備することを特徴とする情報復号化方法。
【請求項９】
情報を符号化及び復号化するための処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、前記コンピュータを、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段と、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成手段と、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化手段と、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生手段と、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分け手段と、
前記マッピング手段によってマッピングしたのとは逆の手順に従って、前記再生手段によって復号化された各画像から第１のデータの復元を試みる復元手段と、
前記の画像フレームの各組から前記復元手段によってそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力する手段と、
として機能させるための記憶媒体。
【請求項１０】
情報を符号化及び復号化するための処理をコンピュータ上で実行するように記述されたコンピュータ・プログラムであって、前記コンピュータを、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段と、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成手段と、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化手段と、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生手段と、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分け手段と、
前記マッピング手段によってマッピングしたのとは逆の手順に従って、前記再生手段によって復号化された各画像から第１のデータの復元を試みる復元手段と、
前記の画像フレームの各組から前記復元手段によってそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力する手段と、
として機能させるためのコンピュータ・プログラム。
【請求項１】
画像以外の第１のデータを符号化する情報符号化装置であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段と、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成手段と、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化手段と、
を具備することを特徴とする情報符号化装置。
【請求項２】
第１のデータはビット・ストリームで構成され、
前記マッピング手段は、該ビット・ストリームのビット値を画像フレームの画素に所定の密度を以ってマッピングする、
ことを特徴とする請求項１に記載の情報符号化装置。
【請求項３】
第１のデータはビット・ストリームで構成され、
前記マッピング手段は、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値をマッピングする、
ことを特徴とする請求項１に記載の情報符号化装置。
【請求項４】
画像以外の第１のデータを符号化する情報符号化方法であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成ステップと、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化ステップと、
を具備することを特徴とする情報符号化方法。
【請求項５】
請求項１に記載の情報符号化装置によって符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化装置であって、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生手段と、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分け手段と、
前記マッピング手段によってマッピングしたのとは逆の手順に従って、前記再生手段によって復号化された各画像から第１のデータの復元を試みる復元手段と、
前記の画像フレームの各組から前記復元手段によってそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力する手段と、
を具備することを特徴とする情報復号化装置。
【請求項６】
第１のデータはビット・ストリームで構成され、該ビット・ストリームのビット値が画像フレームの画素に所定の密度を以ってマッピングされており、
前記再マッピング手段は、画像フレームを第２の密度の逆数を以って第１のデータに逆変換する、
ことを特徴とする請求項５に記載の情報復号化装置。
【請求項７】
第１のデータはビット・ストリームで構成され、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値がマッピングされており、
前記再マッピング手段は、基底ベクトルにマッピングされたビット値をビット・ストリームに再マッピングする、
ことを特徴とする請求項５に記載の情報復号化装置。
【請求項８】
請求項３に記載の情報符号化方法によって符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化方法であって、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生ステップと、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分けステップと、
前記マッピング・ステップにおいてマッピングしたのとは逆の手順に従って、前記再生ステップにおいて復号化された各画像から第１のデータの復元を試みる復元ステップと、
前記の画像フレームの各組から前記復元ステップにおいてそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力するステップと、
を具備することを特徴とする情報復号化方法。
【請求項９】
情報を符号化及び復号化するための処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、前記コンピュータを、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段と、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成手段と、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化手段と、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生手段と、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分け手段と、
前記マッピング手段によってマッピングしたのとは逆の手順に従って、前記再生手段によって復号化された各画像から第１のデータの復元を試みる復元手段と、
前記の画像フレームの各組から前記復元手段によってそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力する手段と、
として機能させるための記憶媒体。
【請求項１０】
情報を符号化及び復号化するための処理をコンピュータ上で実行するように記述されたコンピュータ・プログラムであって、前記コンピュータを、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段と、
時間的に連続する複数の画像を動き補償による圧縮を行なう過程において、イントラ・ピクチャが出現する周期に相当する枚数だけ前記擬似的な画像フレームを連続させて、前記擬似的な画像フレームを必ずイントラ・ピクチャに割り当てるようにした連続画像を生成する生成手段と、
前記の生成された連続画像について、イントラ・ピクチャに対して離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なう符号化手段と、
イントラ・ピクチャに対して逆離散コサイン変換を行なうとともに、ノンイントラ・ピクチャに対して動き補償処理を行なって、復号化された連続画像を再生する再生手段と、
前記の復号化された連続画像を、イントラ・ピクチャが出現する周期に相当する枚数に応じた画像フレームの組に分ける組み分け手段と、
前記マッピング手段によってマッピングしたのとは逆の手順に従って、前記再生手段によって復号化された各画像から第１のデータの復元を試みる復元手段と、
前記の画像フレームの各組から前記復元手段によってそれぞれ復元された復元結果のうちエラーが最も小さくなるものを再現された第１のデータとして出力する手段と、
として機能させるためのコンピュータ・プログラム。
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１】
【図２】
【公開番号】特開２００８−１３６２２２（Ｐ２００８−１３６２２２Ａ）
【公開日】平成２０年６月１２日（２００８．６．１２）
【国際特許分類】
【出願番号】特願２００７−３２３１４８（Ｐ２００７−３２３１４８）
【出願日】平成１９年１２月１４日（２００７．１２．１４）
【分割の表示】特願２００２−９２３６（Ｐ２００２−９２３６）の分割
【原出願日】平成１４年１月１７日（２００２．１．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年６月１２日（２００８．６．１２）
【国際特許分類】
【出願日】平成１９年１２月１４日（２００７．１２．１４）
【分割の表示】特願２００２−９２３６（Ｐ２００２−９２３６）の分割
【原出願日】平成１４年１月１７日（２００２．１．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]