画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体、画像処理装置
【課題】本発明は、例えば電子スチルカメラに適用して、最小符号化処理単位をランダムに復号可能に画像データを符号化処理する。
【解決手段】本発明は、少なくとも交流成分の係数データ（ＡＣ）を目的のフォーマットに従って処理すると共に、他の最小符号化処理単位を参照することなく直流成分の係数データ（ＤＣ）を符号化処理し、最小符号化処理単位の先頭位置を特定する位置情報ＣＭを設定して中間フォーマットの符号化データＤＴを生成する。
【解決手段】本発明は、少なくとも交流成分の係数データ（ＡＣ）を目的のフォーマットに従って処理すると共に、他の最小符号化処理単位を参照することなく直流成分の係数データ（ＤＣ）を符号化処理し、最小符号化処理単位の先頭位置を特定する位置情報ＣＭを設定して中間フォーマットの符号化データＤＴを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体、画像処理装置に関し、例えば電子スチルカメラに適用することができる。本発明は、少なくとも交流成分の係数データを目的のフォーマットに従って処理すると共に、他の最小符号化処理単位を参照することなく直流成分の係数データを符号化処理し、最小符号化処理単位の先頭位置を特定する位置情報を設定して中間フォーマットの符号化データを生成することにより、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができるようにする。
【背景技術】
【０００２】
従来、電子スチルカメラ等の静止画の記録装置では、ＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法で画像データをデータ圧縮して記録媒体に記録している。
【０００３】
ここでＪＰＥＧでは、１つの静止画を８×８画素のブロックに分割し、この８×８画素のブロックが最小符号化処理単位（ＭＣＵ：Minimum Coded Unit）に設定される。ＪＰＥＧでは、この最小符号化処理単位をラスタ走査の順序で順次直交変換処理し、その結果得られる係数データを量子化処理、可変長符号化処理する。このときＪＰＥＧでは、直流成分の係数データについては、直前で処理した最小符号化処理単位の対応するデータとの間で差分値を計算し、この差分値を可変長符号化処理する。これに対して交流成分の係数データについては、他の最小符号化処理単位の処理結果を参照することなく、それぞれ可変長符号化処理する。
【０００４】
従ってＪＰＥＧで符号化処理した画像データは、所望する箇所の最小符号化処理単位をランダムに復号することが困難な欠点がある。このため特開２００２−２２９７５９号公報には、ＪＰＥＧで符号化処理した画像データをランダムに復号可能にコード変換する方法が提案されている。
【０００５】
ところで近年、撮像素子が高感度化、高速度化していることから、高速度で複数枚の静止画を撮影し、この複数枚の静止画を総合的に処理して静止画の画質を向上することができると考えられる。具体的に、この処理は、例えばノイズリダクション、手振れ補正、ダイナミックレンジの拡大等の処理である。
【０００６】
しかしながら連続して撮影した複数枚の静止画を何らデータ圧縮することなくメモリに記録して保持したのでは、メモリの容量が大容量化する。従ってＪＰＥＧの手法によりこれら複数枚の静止画をデータ圧縮してメモリに保持し、画質を向上することが考えられる。
【０００７】
しかしながらＪＰＥＧで符号化処理した画像データは、所望する箇所の最小符号化処理単位をランダムに復号することが困難なことから、画像処理する際に、いちいちラスタ走査順に最小符号化処理単位を順次復号処理することが必要になり、効率良く画像処理できない問題がある。
【０００８】
すなわち図２１は、複数枚の静止画をＪＰＥＧの手法でデータ圧縮して画像処理する場合の処理手順を示すフローチャートである。この場合、撮像装置では、ユーザーの操作に応動して撮像結果を取得すると、ステップＳＰ１からステップＳＰ２に移り、この撮像結果をＪＰＥＧの手法で符号化処理する。また続くステップＳＰ３において、符号化処理結果のデータを中間バッファのデータとしてバッファメモリに保持する。また例えばユーザーが撮像結果の記録を指示すると、ステップＳＰ４に移り、この中間バッファに保持したデータを先頭の最小符号化処理単位から順次復号し、続くステップＳＰ５で、画像処理する箇所の画像データを取得する。
【特許文献１】特開２００２−２２９７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は以上の点を考慮してなされたもので、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体、画像処理装置を提案しようとするものである。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため請求項１の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法に適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理方法は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、前記中間フォーマットの符号化処理のステップは、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１１】
また請求項８の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムに適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理方法は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、前記中間フォーマットの符号化処理のステップは、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１２】
また請求項９の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムを記録した記録媒体に適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理方法は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、前記中間フォーマットの符号化処理のステップは、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１３】
また請求項１０の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理装置に適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理装置は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理部と、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号部と、前記中間フォーマットの復号部で復号した前記画像データを画像処理する画像処理部と、前記画像処理部で処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理部とを有し、前記中間フォーマットの符号化処理部は、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１４】
請求項１、請求項８、請求項９又は請求項１０の構成によれば、所定フォーマットでは、直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理することから、この所定フォーマットの符号化データでは、最小符号化処理単位をランダムに復号することが困難になる。しかしながら画像データに比してデータ量が低減していることから、画像データを直接メモリに格納する場合に比してメモリの容量を小型化することができる。これに対して中間フォーマットでは、少なくとも交流成分の係数データを所定フォーマットで符号化処理し、直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理していることから、所望する最小符号化処理単位の直流成分の符号化データと交流成分の符号化データとで、この所望する最小符号化処理単位を復号することができる。また所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報が設けられていることから、可変長符号化処理により種々に変化する最小符号化処理単位の先頭位置を特定して、所望する最小符号化処理単位の直流成分の符号化データと交流成分の符号化データとを選択することができる。従って画像データを一旦中間フォーマットに変換して画像処理する請求項１、請求項８、請求項９又は請求項１０の構成によれば、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる。
【発明の効果】
【００１５】
本発明によれば、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
図２は、本発明の実施例１の画像処理装置である電子スチルカメラを示すブロック図である。この電子スチルカメラ１において、レンズ２は、中央処理ユニット７から指示された倍率、絞りで入射光Ｌ１を集光し、続く撮像素子３の撮像面に光学像を形成する。
【００１８】
撮像素子３は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）イメージセンサであり、撮像面に形成された光学像の撮像結果を出力する。より具体的に、撮像素子３は、通常は動画の撮像結果を出力し、ユーザーがシャッターボタンを操作すると、中央処理ユニット７の制御により、静止画の撮像結果を出力する。またこの静止画の撮像結果を出力する際に、例えば１２０〔フレーム／秒〕の、動画に比して高フレームレートで複数枚の静止画を連続して出力する。
【００１９】
アナログディジタル変換部（Ａ／Ｄ）４は、この撮像素子３の出力信号をアナログディジタル変換処理して画像データＤ１を出力する。
【００２０】
カメラ信号処理部５は、このアナログディジタル変換部４から出力される画像データＤ１をガンマ補正処理等してバスＢＵＳに出力する。
【００２１】
表示部６は、バスＢＵＳに出力される画像データを表示し、この電子スチルカメラ１では、この表示部６で動画、静止画の撮像結果を確認できるように構成される。
【００２２】
符号化部８は、中央処理ユニット７の制御により、カメラ信号処理部５からバスＢＵＳに出力される静止画の画像データを中間フォーマットの符号化データに符号化処理し、バスＢＵＳを介してメモリ部９に格納する。
【００２３】
復号部１０は、このメモリ部９に保持された中間フォーマットの符号化データ、外部メモリ１２に保持されたＪＰＥＧフォーマットの符号化データを復号して画像データをバスＢＵＳに出力する。
【００２４】
信号処理部１１は、中央処理ユニット７の指示により、バスＢＵＳを介して、中間フォーマットから復号された画像データを復号部１０から入力し、この画像データを処理してバスＢＵＳに出力する。ここでこの実施例において、この信号処理部１１における処理は、連続して取得された複数枚の静止画を用いて静止画の画質を改善する画質改善処理であり、例えばノイズリダクション処理が適用される。従って信号処理部１１は、これら複数枚の静止画の対応する画素間で、画素値を平均値化してノイズを抑圧する。なおこの画質改善処理は、手振れ補正、ダイナミックレンジを拡大する処理等を適用することもでき、手振れ補正の場合、信号処理部１１は、これら複数枚の静止画像を動き補正した後、対応する画素間で、画素値を平均値化して手振れ補正する。またダイナミックレンジを拡大する処理の場合、電子スチルカメラ１では複数枚の静止画像を異なるシャッター速度で撮影し、信号処理部１１は、これら複数枚の静止画像の対応する画素値を重み付け加算してダイナミックレンジを拡大する。
【００２５】
メモリ部９は、バスＢＵＳに出力される中間フォーマットの符号化データ等を一時格納して保持する。
【００２６】
外部メモリ１２は、例えばメモリカードであり、バスＢＵＳに出力されるＪＰＥＧフォーマットの符号化データを記録して保持し、また保持した符号化データをバスＢＵＳに出力する。
【００２７】
中央処理ユニット７は、この電子スチルカメラ１の動作を制御する制御手段であり、ランダムアクセスメモリ（ＲＡＭ）１３にワークエリアを確保してリードオンリメモリ（ＲＯＭ）１４に記録されたプログラムを実行することにより、この電子スチルカメラ１全体の動作を制御する。なおこのプログラムは、この電子スチルカメラ１に事前にインストールして提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードで提供するようにしてもよい。
【００２８】
図３は、この電子スチルカメラ１における中央処理ユニット７の制御による静止画の処理を示すブロック図である。中央処理ユニット７は、ユーザーがシャッターボタンを操作して静止画の撮影を指示すると、固体撮像素子３等の動作を制御して静止画の画像データＤ１を複数枚、取得し、この静止画の画像データＤ１をカメラ信号処理部５で処理する。またこのカメラ信号処理部５で処理した画像データＤ１を符号化部８で中間フォーマットの符号化データＤＴに符号化処理し、この中間フォーマットの符号化データＤＴをメモリ部９に格納する。なおこの図３では、この中間フォーマットの符号化データＤＴをランダムアクセス可能な符号セットとして示す。
【００２９】
またユーザーが撮像結果の保存を指示すると、中央処理ユニット７は、このメモリ部９に保持した中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＪに変換し、外部メモリ１２に記録する。このときユーザーが画質改善の動作モードを選択している場合、中央処理ユニット７は、メモリ部９に保持した中間フォーマットの符号化データＤＴを復号部１０で復号し、復号した画像データＤ１の画質を信号処理部１１で改善する。また画質を改善した画像データＤ１をＪＰＥＧフォーマットの符号化データＤＪに変換し、外部メモリ１２への記録用の符号化データを生成する。中央処理ユニット７は、このＪＰＥＧフォーマットの符号化データＤＪを外部メモリ１２に記録する。
【００３０】
なおこの図３との対比により図１に示すように、中央処理ユニット７は、信号処理部１１で画質を改善した画像データＤ１を一旦、中間フォーマットの符号化データＤＴに変換してメモリ部９に格納した後、この中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＪに変換して外部メモリ１２に記録する。
【００３１】
ここでこの中間フォーマットは、ＪＰＥＧフォーマットの符号化データへの符号化処理が容易で、かつ所望する箇所の画像データを任意に復号することが可能なフォーマットである。中間フォーマットは、ＪＰＥＧフォーマットの符号化データのうちで、ランダムに最小符号化処理単位を復号する妨げとなっていない符号化データについては、ＪＰＥＧフォーマットの処理を適用する。これに対してＪＰＥＧフォーマットの符号化データのうちで、ランダムに最小符号化処理単位を復号する妨げとなっている符号化データについては、ランダムに最小符号化処理単位を復号する妨げとならないように処理する。
【００３２】
より具体的に、この中間フォーマットは、ＪＰＥＧフォーマットの最小符号化処理単位が最小符号化処理単位に設定され、ＪＰＥＧフォーマットと同様に、ラスタ走査の順序でこの最小符号化処理単位を順次符号化処理する。またこの中間フォーマットは、ＪＰＥＧフォーマットの場合と同様に、各最小符号化処理単位を直交変換処理し、直交変換処理結果の係数データを量子化処理、可変長符号化処理して符号化データＤＤＣ、ＡＣを生成する。
【００３３】
従ってこの中間フォーマットにおいて、直交変換処理して得られる係数データのうちの交流成分の係数データは、図４（Ｂ）に示すように、他の符号化処理単位の処理結果を参照することなく量子化処理、可変長符号化処理されて符号化データＡＣ（ＡＣ１〜ＡＣ１６）が生成され、この交流成分の符号化データＡＣ（ＡＣ１〜ＡＣ１６）は、何らランダムに最小符号化処理単位を復号する妨げとならないことになる。
【００３４】
これに対して直流成分の係数データは、図４（Ａ）において矢印で示すように、直前の最小符号化処理単位の直流成分の係数データとの間で差分値が計算され、この差分値が量子化処理、可変長符号化処理されて符号化データＤＤＣ（ＤＤＣ１〜ＤＤＣ１６）が生成される。従ってこの直流成分の符号化データＤＤＣ（ＤＤＣ１〜ＤＤＣ１６）は、直前の最小符号化処理単位を参照して符号化されていることから、ランダムに最小符号化処理単位を復号する妨げとなる。なおこの図４は、１枚の静止画を４×４個の最小符号化処理単位で表すものである。
【００３５】
そこでこの中間フォーマットでは、直流成分の係数データが、別途、直前の最小符号化処理単位の処理結果を参照することなく量子化処理されて符号化データＤＣ（ＤＣ２〜ＤＣ１６）（図４（Ｃ））が生成される。なおＪＰＥＧフォーマットにおいて、先頭の最小符号化処理単位では、直前に処理する最小符号化処理単位が存在しないことになる。従って先頭の最小符号化処理単位において、直流成分の係数データは、値０との間の差分値が符号化処理され、結局、他の最小符号化処理単位の処理結果を参照しないで符号化処理されることになる。そこでこの実施例において、先頭の最小符号化処理単位では、ＪＰＥＧフォーマットによる直流成分の符号化データＤＤＣのみが生成され、符号化データＤＣは生成されないように設定される。なお直流成分の係数データは、可変長符号化処理するようにしてもよく、また量子化処理を省略するようにしてもよい。
【００３６】
またさらにこの中間フォーマットでは、ＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣが可変長符号化処理されていることから、この符号化データＤＤＣ、ＡＣのデータ列中で、各符号化処理単位の先頭位置を特定する位置情報ＣＭ（ＣＭ１〜ＣＭ１５）（図４（Ｄ））が設けられる。この実施例では、図５（Ａ）に示すように、この位置情報に、各最小符号化処理単位のサイズの情報ＣＭが適用される。なおこの位置情報には、図５（Ｂ）に示すように、先頭の最小符号化処理単位の開始位置を基準にした位置情報ＣＭを適用してもよい。
【００３７】
この中間フォーマットに対応して符号化部８は、図６に示すように構成される。すなわち符号化部８は、ラスタ走査順序で順次最小符号化処理単位の画像データＤ１をディスクリートコサイン変換部（ＤＣＴ）２１に入力し、最小符号化処理単位毎に、画像データＤ１をディスクリートコサイン変換処理する。またその処理結果である各係数データを量子化部２２で量子化処理した後、可変長符号化部２３で可変長符号化処理する。符号化部８は、これらディスクリートコサイン変換部２１、量子化部２２、可変長符号化部２３がＪＰＥＧのフォーマットで順次画像データＤ１を処理するように形成され、可変長符号化部２３からＪＰＥＧフォーマットの符号化データＤＤＣ、ＡＣを出力する。
【００３８】
従って電子スチルカメラ１は、直接、入力画像データＤ１をＪＰＥＧのフォーマットで符号化処理して符号化データＤＪを出力する場合、図示しないバッファメモリを介して、この可変長符号化部２３の出力データにヘッダ等の各種制御コードを設定して出力する。
【００３９】
この符号化部８において、位置情報設定部２４は、可変長符号化部２３から出力される符号化データＤＤＣ、ＡＣのデータ長を最小符号化処理単位毎に集計し、各符号化処理単位の先頭位置を特定する位置情報ＣＭを検出して出力する。
【００４０】
ＤＣ係数処理部２５は、量子化部２２から出力される係数データから直流成分の係数データを選択的に入力し、この直流成分の係数データを符号化処理して符号化データＤＣを出力する。
【００４１】
中央処理ユニット７は、他の最小符号化処理単位を参照することなく符号化処理した直流係数データの符号化データＤＣについては、テーブル形式でメモリ部９に保持する（図１）。また各最小符号化処理単位の先頭位置を特定する位置情報ＣＭについては、マップ形式でメモリ部９に保持する。
【００４２】
中央処理ユニット７は、中間フォーマットでメモリ部９に格納した静止画の外部メモリ１２への記録がユーザーから指示されると、メモリ部９に格納した中間フォーマットの符号化データＤＴからＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣを選択する。またこのＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣにヘッダ等の制御コードを付加してＪＰＥＧフォーマットの符号化データＤＪを生成し、この符号化データＤＪを外部メモリ１２に格納する。
【００４３】
これに対してユーザーが画質改善を指示すると、メモリ部９に保持した中間フォーマットの符号化データＤＴを復号部１０に転送し、元の画像データＤ１を復号する。またこの復号した画像データＤ１を信号処理部１１で処理し、符号化部８で中間フォーマットの符号化データＤＴに符号化処理する。またこの中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＪに変換して外部メモリ１２に格納する。
【００４４】
この処理において、中央処理ユニット７は、信号処理部１１において最小符号化処理単位を順次ラスタ走査の順序で処理するように、メモリ部９に保持した符号化データＤＴを復号部１０に転送して処理する。従って中央処理ユニット７は、例えばメモリ部９に３枚の静止画が格納されている場合、これら３枚の静止画のラスタ走査開始位置の最小符号化処理単位を順次復号部１０で復号した後、続くラスタ走査位置の最小符号化処理単位を順次復号する。従って各静止画の画像データＤ１は、ラスタ走査の順序で最小符号化処理単位が順次復号されるものの、各最小符号化処理単位では、直前に処理した最小符号化処理単位が他の静止画のものとなる。そこでこの電子スチルカメラ１では、任意の位置の最小符号化処理単位を復号することが必要になる。
【００４５】
そこで中央処理ユニット７は、図７に示すように、ＪＰＥＧフォーマットの符号化データＤＤＣ、ＡＣのうちの、直流成分の符号化データＤＤＣを、マップ形式で格納した対応する直流成分の符号化データＤＣで置き換えた後、この符号化データＤＣ、ＡＣを復号部１０に転送する。またこのときテーブル形式で格納した位置情報ＣＭで、処理対象の最小符号化処理単位のデータ位置を検出し、このデータ位置を基準にしてＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣを取得する。
【００４６】
図８は、この電子スチルカメラ１における複数枚の静止画の処理手順を示すフローチャートである。この場合、電子スチルカメラ１では、ユーザーの操作に応動して撮像結果を取得すると、ステップＳＰ１１からステップＳＰ１２に移り、この撮像結果を中間フォーマットの符号化データＤＴに符号化処理する。また続くステップＳＰ１３において、中間フォーマットの符号化データＤＴを中間バッファのデータとしてメモリ部９に格納する。また例えばユーザーが画質改善を指示すると、ステップＳＰ１４に移り、この中間フォーマットの符号化データＤＴの任意の最小符号化処理単位を復号部１０で復号し、続くステップＳＰ１５で、画像処理する箇所の画像データを取得することになる。
【００４７】
なお図４及び図７との対比により図９及び図１０に示すように、先頭及び末尾の最小符号化処理単位については、直流成分の係数データを符号化データＤＣに符号化処理しないようにして、中間フォーマットの符号化データＤＴのデータ量を低減するようにしてもよい。なおこの場合、復号時、処理対象の直前の最小符号化処理単位の符号化データＤＣを復号して直流値を得、処理対象の最小符号化処理単位の符号化データＤＤＣをこの直流値を基準にして復号することになる。
【００４８】
（２）実施例の動作
以上の構成において、この電子スチルカメラ１では（図２）、ユーザーがシャッターボタンを操作すると、高フレームレートで複数枚の静止画が撮像素子３で順次取得され、この静止画の撮像結果がアナログディジタル変換部４で画像データＤ１に変換される。この画像データＤ１は、カメラ信号処理部５で所定の信号処理を受けた後、メモリ部９に格納される。またこのメモリ部９に格納された複数枚の静止画が信号処理部１１で処理されて画質が改善された後、ＪＰＥＧフォーマットの符号化データＤＪで外部メモリ１２に格納される。この電子スチルカメラ１では、この信号処理部１１における処理が、複数枚の静止画を用いて画質を向上する処理であることから、外部メモリ１２に記録した静止画については、従来に比して画質を向上することができる。
【００４９】
しかしながらこのように複数枚の静止画を処理して画質を向上する場合、何らデータ圧縮することなくこれら複数枚の静止画をメモリ部９に格納したのでは、メモリ部９を大容量化することが必要になる。そこでこれら複数枚の静止画をＪＰＥＧフォーマットで符号化処理してメモリ部９に格納することも考えられるが、ＪＰＥＧフォーマットの符号化データは、所望する箇所の最小符号化処理単位をランダムに復号することが困難なことから、これら複数枚の静止画を効率良く処理できなくなる。
【００５０】
そこでこの電子スチルカメラ１において、これら複数枚の静止画の画像データＤ１は、所望する箇所の最小符号化処理単位をランダムに復号することが可能な中間フォーマットの符号化データＤＴに符号化処理されてデータ圧縮され（図１、図３）、メモリ部９に格納される。またこの符号化データＤＴが復号部１０で復号されて信号処理部１１で処理された後、ＪＰＥＧフォーマットの符号化データＤＪで外部メモリ１２に格納される。
【００５１】
より具体的に、この電子スチルカメラ１において、これら複数枚の静止画の画像データＤ１は、ＪＰＥＧフォーマットの最小符号化処理単位で、ＪＰＥＧフォーマットと同一に、直交変換処理され、直流成分及び交流成分の係数データが生成される。またこれらの係数データのうち、ＪＰＥＧフォーマットで処理して何らランダムに最小符号化処理単位を復号する妨げとならない交流成分の係数データが、直流成分の係数データと共に、ＪＰＥＧフォーマットで量子化処理、可変長符号化処理され、直流成分の符号化データＤＤＣと交流成分の符号化データＡＣとが生成される。
【００５２】
またＪＰＥＧフォーマットで処理してランダムに最小符号化処理単位を復号する妨げとなる直流成分の係数データが、他の最小符号化処理単位を参照することなく符号化処理されて符号化データＤＣが生成され、また直流成分の符号化データＤＤＣと交流成分の符号化データＡＣとのデータ列において、各最小符号化処理単位の先頭位置を示す位置情報ＣＭが設定される。
【００５３】
中間フォーマットの符号化データＤＴは、これらＪＰＥＧフォーマットによる符号化データＤＤＣ、ＡＣ、他の最小符号化処理単位を参照することなく符号化処理した直流成分の符号化データＤＣ、位置情報ＣＭにより、ＪＰＥＧフォーマットの符号化データＤＪに簡易に変換可能に、かつランダムに最小符号化処理単位を復号可能に形成される。
【００５４】
すなわちこの中間フォーマットの符号化データＤＴは、ＪＰＥＧフォーマットによる符号化データＤＤＣ、ＡＣのデータ列にヘッダ情報等を設定するだけで、簡易にＪＰＥＧフォーマットの符号化データＤＪに変換することができる。またＪＰＥＧフォーマットによる符号化データＤＤＣ、ＡＣのうちの、直流成分の符号化データＤＤＣを、他の最小符号化処理単位を参照することなく符号化処理された対応する直流成分の符号化データＤＣで置き換えることにより、直前の最小符号化処理単位を参照することなく、当該最小符号化処理単位を復号することができる。また位置データにより対応する最小符号化処理単位の位置を特定して、所望する最小符号化処理単位の符号化データＤＤＣ、ＡＣを検出することができる。
【００５５】
従って電子スチルカメラ１では、ＪＰＥＧフォーマットの符号化データＤＪに簡易に変換可能に、かつランダムに最小符号化処理単位を復号可能に画像データＤ１を中間フォーマットの符号化データＤＴに符号化処理することができ、メモリ部９を小容量化して効率良く複数枚の静止画を処理することが可能となる。
【００５６】
特にこの電子スチルカメラ１では、ＪＰＥＧフォーマットで処理して何らランダムに最小符号化処理単位を復号する妨げとならない交流成分の係数データだけでなく、直流成分の係数データについても、ＪＰＥＧフォーマットで量子化処理、可変長符号化処理したことにより、中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＴに変換する場合には、ＪＰＥＧフォーマットの符号化データＤＤＣ、ＡＣのデータ列にヘッダ情報等を設定するだけの簡易な処理によりフォーマット変換することができる。
【００５７】
（３）実施例の効果
以上の構成によれば、少なくとも交流成分の係数データをＪＰＥＧフォーマットに従って処理すると共に、他の最小符号化処理単位を参照することなく直流成分の係数データを符号化処理し、最小符号化処理単位の先頭位置を特定する位置情報を設定して中間フォーマットの符号化データを生成することにより、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる。従って複数系統で中間フォーマットの符号化データを復号して画像処理する場合等にも広く適用することができ、この場合には、画像速度を格段的に高速度化することができる。
【００５８】
また交流成分の係数データに直流成分の係数データを加えて、係数データの全てをＪＰＥＧフォーマットに従って処理することにより、中間フォーマットの符号化データをＪＰＥＧフォーマットの符号化データに簡易に変換することができる。
【実施例２】
【００５９】
図１１は、図４との対比により本発明の実施例２の電子スチルカメラに適用される中間フォーマットを示す略線図である。この実施例２の電子スチルカメラは、この中間フォーマットに関する構成が異なる点を除いて、実施例１の電子スチルカメラと同一に構成される。
【００６０】
ここでこの実施例の中間フォーマットでは、係数データのうち、ＪＰＥＧフォーマットで処理して何らランダムに最小符号化処理単位を復号する妨げとならない交流成分の係数データだけを、ＪＰＥＧフォーマットで処理して符号化データＡＣが形成される。また直流成分の係数データは、全てが他の最小符号化処理単位を参照することなく、符号化処理される。
【００６１】
従って図５との対比により図１２に示すように、位置情報ＣＭは、この交流成分の符号化データＡＣのデータ列において、各最小符号化処理単位の先頭位置を特定するように設定される。なおこの場合も、図１２（Ａ）に示すように、サイズの情報を割り当てるようにしてもよく、図１２（Ｂ）に示すように、データ列の先頭を基準にした位置情報を割り当てるようにしてもよい。
【００６２】
またこれに対応して図７との対比により図１３に示すように、また図１との対比により図１４に示すように、位置情報ＣＭにより所望する最小符号化処理単位の符号化データＡＣを特定して、この特定した交流成分の符号化データＡＣと直流成分の符号化データＤＣとを復号部で処理し、中間フォーマットの符号化データＤＴを画像データＤ１に復号する。またこの復号した画像データＤ１を処理して画質を改善し、中間フォーマットの符号化データＤＴを生成する。
【００６３】
また図１５に示すように、連続する最小符号化処理単位における直流成分の符号化データＤＣｎ、ＤＣｎ＋１から差分値（ＤＣｎ＋１−ＤＣｎ）を計算し、この差分値を再符号化処理してＪＰＥＧフォーマットによる直流成分の符号化データＤＤＣｎを生成する。またこの生成した直流成分の符号化データＤＤＣｎと、交流成分の符号化データＡＣとのデータ列にヘッダ等を設定してＪＰＥＧフォーマットの符号化データＤＪを生成する。
【００６４】
この実施例のように、交流成分の係数データのみをＪＰＥＧフォーマットで符号化処理するようにしても、実施例１と同一の効果を得ることができる。また交流成分の係数データのみをＪＰＥＧフォーマットで符号化処理すれば、実施例１の構成に比して、中間フォーマットの符号化データ量を低減することができ、メモリ部の容量を小容量化することができる。
【実施例３】
【００６５】
図１６及び図１７は、図９及び図１０との対比により本発明の実施例３の電子スチルカメラに適用される中間フォーマットを示す略線図である。この実施例３の電子スチルカメラは、この中間フォーマットに関する構成が異なる点を除いて、実施例１の電子スチルカメラと同一に構成される。
【００６６】
ここでこの実施例において、中間フォーマットの符号化データＤＴは、図１６に示すように、連続する最小符号化処理単位の複数個が、復号の処理単位に設定されて、この復号の処理単位毎に、先頭の最小符号化処理単位の先頭位置を示す位置情報ＣＭが設定される。また各復号の処理単位の直前の最小符号化処理単位について、直流成分の係数データが他の最小符号化処理対象を参照することなく符号化処理されて符号化データＤＣが生成される。従ってこの図１６は、この復号の処理単位を水平方向に連続する４つの最小符号化処理単位に設定した例である。また直流成分及び交流成分の係数データがＪＰＥＧフォーマットで符号化処理されて符号化データＤＤＣ、ＡＣが作成される。
【００６７】
またこの図１６に対応して図１７に示すように、画像データへの復号時は、処理対象の最小符号化処理単位を含む復号の処理単位について、位置情報ＣＭから先頭の最小符号化処理単位の先頭位置を検出し、この先頭の符号化処理単位の直流成分の符号化データＤＤＣに代えて、他の符号化処理単位を参照することなく符号化処理した対応する直流成分の符号化データＤＣを設定し、この復号の処理単位を構成する複数の最小符号化処理単位を順次復号する。
【００６８】
この実施例によれば、複数の最小符号化処理単位毎に、直流成分の係数データを、他の符号化処理単位を参照することなく符号化処理することにより、中間フォーマットの符号化データのデータ量を一段と低減して、実施例１と同様の効果を得ることができる。
【実施例４】
【００６９】
図１８及び図１９は、図１６及び図１７との対比により本発明の実施例４の電子スチルカメラに適用される中間フォーマットを示す略線図である。この実施例４の電子スチルカメラは、この中間フォーマットに関する構成が異なる点を除いて、実施例３の電子スチルカメラと同一に構成される。
【００７０】
ここで中間フォーマットの符号化データＤＴは、実施例３と同様に、連続する最小符号化処理単位の複数個が、復号の処理単位に設定されて、この復号の処理単位毎に、先頭の最小符号化処理単位の先頭位置を示す位置情報ＣＭが設定される。
【００７１】
また各復号の処理単位の先頭の最小符号化処理単位については、交流成分の係数データだけＪＰＥＧフォーマットで符号化処理し、符号化データＡＣを生成する。また各復号の処理単位の先頭及び末尾の最小符号化処理単位については、最後尾の最小符号化処理単位を除いて、他の最小符号化処理単位を参照することなく、直流成分の係数データが符号化処理されて符号化データＤＴが生成される。
【００７２】
この図１８の構成に対応して図１９に示すように、画像データへの復号時、実施例３と同様に、処理対象の最小符号化処理単位を含む復号の処理単位について、位置情報ＣＭから先頭の最小符号化処理単位の先頭位置を検出する。また他の符号化処理単位を参照することなく符号化処理した対応する直流成分の符号化データＤＣを、この先頭の符号化処理単位の直流成分の符号化データに設定し、この復号の処理単位を構成する複数の最小符号化処理単位を順次復号する。
【００７３】
また図１５との対比により図２０に示すように、ＪＰＥＧフォーマットの符号化データＤＪへの変換処理時、復号の処理単位の先頭の最小符号化処理単位で、直前の符号化データＤＣとの間で差分値（ＤＣｎ＋１−ＤＣｎ）を計算し、この差分値（ＤＣｎ＋１−ＤＣｎ）を再符号化処理してこの先頭の最小符号化処理単位における直流成分の符号化データＤＤＣを生成する。
【００７４】
この実施例によれば、複数の最小符号化処理単位毎に、直流成分の係数データを他の符号化処理単位を参照することなく符号化処理するようにして、複数の最小符号化処理単位の先頭及び末尾の符号化処理単位で直流成分の係数データを、他の最小符号化処理単位を参照することなく符号化処理するようにしても、実施例３と同様の効果を得ることができる。
【実施例５】
【００７５】
なお上述の実施例においては、中間フォーマットの符号化データを復号して画像処理した後、中間フォーマットに変換してＪＰＥＧフォーマットの符号化データに変換する場合について述べたが、本発明はこれに限らず、画像処理した後、直接、ＪＰＥＧフォーマットの符号化データに変換するようにしてもよい。
【００７６】
また上述の実施例においては、画質を向上することを目的に、中間フォーマットの符号化データを復号して画像処理する場合について述べたが、本発明はこれに限らず、例えば部分的に撮像結果を拡大表示する場合等にも広く適用することができる。
【００７７】
また上述の実施例においては、静止画を処理対象に設定してＪＰＥＧフォーマットの符号化データを生成する場合について述べたが、本発明はこれに限らず、動画を処理対象に設定してＭＰＥＧフォーマットの符号化データを生成する場合等、最小符号化処理単位で画像データを直交変換処理、可変長符号化処理する場合に広く適用することができる。なおＭＰＥＧフォーマットでは、最小符号化処理単位がマクロブロックとなる。
【００７８】
また上述の実施例においては、本発明を電子スチルカメラに適用した場合について述べたが、本発明はこれに限らず、画像再生装置、ＰＤＡ（Personal Digital Assistants ）、各種ゲーム機、携帯電話、パーソナルコンピュータにおける処理等に広く適用することができる。なおこのパーソナルコンピュータにおける処理に適用する場合、対応するプログラムは、事前にインストールして提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードで提供するようにしてもよい。
【産業上の利用可能性】
【００７９】
本発明は、例えば電子スチルカメラに適用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施例１の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図２】本発明の実施例１の電子スチルカメラを示すブロック図である。
【図３】図２の電子スチルカメラにおける静止画の処理の説明に供するブロック図である。
【図４】図２の電子スチルカメラにおける中間フォーマットの説明に供する略線図である。
【図５】図４の中間フォーマットにおける位置情報の説明に供する略線図である。
【図６】図２の電子スチルカメラにおける符号化部を示すブロック図である。
【図７】図５の中間フォーマットの復号の処理の説明に供する略線図である。
【図８】図２の電子スチルカメラにおける静止画の処理手順を示すフローチャートである。
【図９】図４とは異なる例による中間フォーマットを示す略線図である。
【図１０】図９の中間フォーマットの復号の処理の説明に供する略線図である。
【図１１】本発明の実施例２の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図１２】図１１の中間フォーマットにおける位置情報の説明に供する略線図である。
【図１３】図１１の中間フォーマットの復号の処理の説明に供する略線図である。
【図１４】図１１の中間フォーマットの符号化データをＪＰＥＧフォーマットの符号化データに変換する処理の説明に供する略線図である。
【図１５】図１４の変換処理の説明に供する略線図である。
【図１６】本発明の実施例３の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図１７】図１６の中間フォーマットの復号時の処理の説明に供する略線図である。
【図１８】本発明の実施例４の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図１９】図１８の中間フォーマットの復号時の処理の説明に供する略線図である。
【図２０】図１８の中間フォーマットの符号化データをＪＰＥＧフォーマットの符号化データに変換する処理の説明に供する略線図である。
【図２１】ＪＰＥＧフォーマットの符号化データを処理する場合に予測される処理手順を示すフローチャートである。
【符号の説明】
【００８１】
１……電子スチルカメラ、２……撮像素子、７……中央処理ユニット、８……符号化部、９……メモリ部、１０……復号部、１１……信号処理部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体、画像処理装置に関し、例えば電子スチルカメラに適用することができる。本発明は、少なくとも交流成分の係数データを目的のフォーマットに従って処理すると共に、他の最小符号化処理単位を参照することなく直流成分の係数データを符号化処理し、最小符号化処理単位の先頭位置を特定する位置情報を設定して中間フォーマットの符号化データを生成することにより、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができるようにする。
【背景技術】
【０００２】
従来、電子スチルカメラ等の静止画の記録装置では、ＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法で画像データをデータ圧縮して記録媒体に記録している。
【０００３】
ここでＪＰＥＧでは、１つの静止画を８×８画素のブロックに分割し、この８×８画素のブロックが最小符号化処理単位（ＭＣＵ：Minimum Coded Unit）に設定される。ＪＰＥＧでは、この最小符号化処理単位をラスタ走査の順序で順次直交変換処理し、その結果得られる係数データを量子化処理、可変長符号化処理する。このときＪＰＥＧでは、直流成分の係数データについては、直前で処理した最小符号化処理単位の対応するデータとの間で差分値を計算し、この差分値を可変長符号化処理する。これに対して交流成分の係数データについては、他の最小符号化処理単位の処理結果を参照することなく、それぞれ可変長符号化処理する。
【０００４】
従ってＪＰＥＧで符号化処理した画像データは、所望する箇所の最小符号化処理単位をランダムに復号することが困難な欠点がある。このため特開２００２−２２９７５９号公報には、ＪＰＥＧで符号化処理した画像データをランダムに復号可能にコード変換する方法が提案されている。
【０００５】
ところで近年、撮像素子が高感度化、高速度化していることから、高速度で複数枚の静止画を撮影し、この複数枚の静止画を総合的に処理して静止画の画質を向上することができると考えられる。具体的に、この処理は、例えばノイズリダクション、手振れ補正、ダイナミックレンジの拡大等の処理である。
【０００６】
しかしながら連続して撮影した複数枚の静止画を何らデータ圧縮することなくメモリに記録して保持したのでは、メモリの容量が大容量化する。従ってＪＰＥＧの手法によりこれら複数枚の静止画をデータ圧縮してメモリに保持し、画質を向上することが考えられる。
【０００７】
しかしながらＪＰＥＧで符号化処理した画像データは、所望する箇所の最小符号化処理単位をランダムに復号することが困難なことから、画像処理する際に、いちいちラスタ走査順に最小符号化処理単位を順次復号処理することが必要になり、効率良く画像処理できない問題がある。
【０００８】
すなわち図２１は、複数枚の静止画をＪＰＥＧの手法でデータ圧縮して画像処理する場合の処理手順を示すフローチャートである。この場合、撮像装置では、ユーザーの操作に応動して撮像結果を取得すると、ステップＳＰ１からステップＳＰ２に移り、この撮像結果をＪＰＥＧの手法で符号化処理する。また続くステップＳＰ３において、符号化処理結果のデータを中間バッファのデータとしてバッファメモリに保持する。また例えばユーザーが撮像結果の記録を指示すると、ステップＳＰ４に移り、この中間バッファに保持したデータを先頭の最小符号化処理単位から順次復号し、続くステップＳＰ５で、画像処理する箇所の画像データを取得する。
【特許文献１】特開２００２−２２９７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は以上の点を考慮してなされたもので、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体、画像処理装置を提案しようとするものである。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため請求項１の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法に適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理方法は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、前記中間フォーマットの符号化処理のステップは、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１１】
また請求項８の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムに適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理方法は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、前記中間フォーマットの符号化処理のステップは、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１２】
また請求項９の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムを記録した記録媒体に適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理方法は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、前記中間フォーマットの符号化処理のステップは、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１３】
また請求項１０の発明は、画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理装置に適用して、前記所定フォーマットは、最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、前記画像処理装置は、前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理部と、前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号部と、前記中間フォーマットの復号部で復号した前記画像データを画像処理する画像処理部と、前記画像処理部で処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理部とを有し、前記中間フォーマットの符号化処理部は、前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する。
【００１４】
請求項１、請求項８、請求項９又は請求項１０の構成によれば、所定フォーマットでは、直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理することから、この所定フォーマットの符号化データでは、最小符号化処理単位をランダムに復号することが困難になる。しかしながら画像データに比してデータ量が低減していることから、画像データを直接メモリに格納する場合に比してメモリの容量を小型化することができる。これに対して中間フォーマットでは、少なくとも交流成分の係数データを所定フォーマットで符号化処理し、直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理していることから、所望する最小符号化処理単位の直流成分の符号化データと交流成分の符号化データとで、この所望する最小符号化処理単位を復号することができる。また所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報が設けられていることから、可変長符号化処理により種々に変化する最小符号化処理単位の先頭位置を特定して、所望する最小符号化処理単位の直流成分の符号化データと交流成分の符号化データとを選択することができる。従って画像データを一旦中間フォーマットに変換して画像処理する請求項１、請求項８、請求項９又は請求項１０の構成によれば、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる。
【発明の効果】
【００１５】
本発明によれば、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
図２は、本発明の実施例１の画像処理装置である電子スチルカメラを示すブロック図である。この電子スチルカメラ１において、レンズ２は、中央処理ユニット７から指示された倍率、絞りで入射光Ｌ１を集光し、続く撮像素子３の撮像面に光学像を形成する。
【００１８】
撮像素子３は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）イメージセンサであり、撮像面に形成された光学像の撮像結果を出力する。より具体的に、撮像素子３は、通常は動画の撮像結果を出力し、ユーザーがシャッターボタンを操作すると、中央処理ユニット７の制御により、静止画の撮像結果を出力する。またこの静止画の撮像結果を出力する際に、例えば１２０〔フレーム／秒〕の、動画に比して高フレームレートで複数枚の静止画を連続して出力する。
【００１９】
アナログディジタル変換部（Ａ／Ｄ）４は、この撮像素子３の出力信号をアナログディジタル変換処理して画像データＤ１を出力する。
【００２０】
カメラ信号処理部５は、このアナログディジタル変換部４から出力される画像データＤ１をガンマ補正処理等してバスＢＵＳに出力する。
【００２１】
表示部６は、バスＢＵＳに出力される画像データを表示し、この電子スチルカメラ１では、この表示部６で動画、静止画の撮像結果を確認できるように構成される。
【００２２】
符号化部８は、中央処理ユニット７の制御により、カメラ信号処理部５からバスＢＵＳに出力される静止画の画像データを中間フォーマットの符号化データに符号化処理し、バスＢＵＳを介してメモリ部９に格納する。
【００２３】
復号部１０は、このメモリ部９に保持された中間フォーマットの符号化データ、外部メモリ１２に保持されたＪＰＥＧフォーマットの符号化データを復号して画像データをバスＢＵＳに出力する。
【００２４】
信号処理部１１は、中央処理ユニット７の指示により、バスＢＵＳを介して、中間フォーマットから復号された画像データを復号部１０から入力し、この画像データを処理してバスＢＵＳに出力する。ここでこの実施例において、この信号処理部１１における処理は、連続して取得された複数枚の静止画を用いて静止画の画質を改善する画質改善処理であり、例えばノイズリダクション処理が適用される。従って信号処理部１１は、これら複数枚の静止画の対応する画素間で、画素値を平均値化してノイズを抑圧する。なおこの画質改善処理は、手振れ補正、ダイナミックレンジを拡大する処理等を適用することもでき、手振れ補正の場合、信号処理部１１は、これら複数枚の静止画像を動き補正した後、対応する画素間で、画素値を平均値化して手振れ補正する。またダイナミックレンジを拡大する処理の場合、電子スチルカメラ１では複数枚の静止画像を異なるシャッター速度で撮影し、信号処理部１１は、これら複数枚の静止画像の対応する画素値を重み付け加算してダイナミックレンジを拡大する。
【００２５】
メモリ部９は、バスＢＵＳに出力される中間フォーマットの符号化データ等を一時格納して保持する。
【００２６】
外部メモリ１２は、例えばメモリカードであり、バスＢＵＳに出力されるＪＰＥＧフォーマットの符号化データを記録して保持し、また保持した符号化データをバスＢＵＳに出力する。
【００２７】
中央処理ユニット７は、この電子スチルカメラ１の動作を制御する制御手段であり、ランダムアクセスメモリ（ＲＡＭ）１３にワークエリアを確保してリードオンリメモリ（ＲＯＭ）１４に記録されたプログラムを実行することにより、この電子スチルカメラ１全体の動作を制御する。なおこのプログラムは、この電子スチルカメラ１に事前にインストールして提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードで提供するようにしてもよい。
【００２８】
図３は、この電子スチルカメラ１における中央処理ユニット７の制御による静止画の処理を示すブロック図である。中央処理ユニット７は、ユーザーがシャッターボタンを操作して静止画の撮影を指示すると、固体撮像素子３等の動作を制御して静止画の画像データＤ１を複数枚、取得し、この静止画の画像データＤ１をカメラ信号処理部５で処理する。またこのカメラ信号処理部５で処理した画像データＤ１を符号化部８で中間フォーマットの符号化データＤＴに符号化処理し、この中間フォーマットの符号化データＤＴをメモリ部９に格納する。なおこの図３では、この中間フォーマットの符号化データＤＴをランダムアクセス可能な符号セットとして示す。
【００２９】
またユーザーが撮像結果の保存を指示すると、中央処理ユニット７は、このメモリ部９に保持した中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＪに変換し、外部メモリ１２に記録する。このときユーザーが画質改善の動作モードを選択している場合、中央処理ユニット７は、メモリ部９に保持した中間フォーマットの符号化データＤＴを復号部１０で復号し、復号した画像データＤ１の画質を信号処理部１１で改善する。また画質を改善した画像データＤ１をＪＰＥＧフォーマットの符号化データＤＪに変換し、外部メモリ１２への記録用の符号化データを生成する。中央処理ユニット７は、このＪＰＥＧフォーマットの符号化データＤＪを外部メモリ１２に記録する。
【００３０】
なおこの図３との対比により図１に示すように、中央処理ユニット７は、信号処理部１１で画質を改善した画像データＤ１を一旦、中間フォーマットの符号化データＤＴに変換してメモリ部９に格納した後、この中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＪに変換して外部メモリ１２に記録する。
【００３１】
ここでこの中間フォーマットは、ＪＰＥＧフォーマットの符号化データへの符号化処理が容易で、かつ所望する箇所の画像データを任意に復号することが可能なフォーマットである。中間フォーマットは、ＪＰＥＧフォーマットの符号化データのうちで、ランダムに最小符号化処理単位を復号する妨げとなっていない符号化データについては、ＪＰＥＧフォーマットの処理を適用する。これに対してＪＰＥＧフォーマットの符号化データのうちで、ランダムに最小符号化処理単位を復号する妨げとなっている符号化データについては、ランダムに最小符号化処理単位を復号する妨げとならないように処理する。
【００３２】
より具体的に、この中間フォーマットは、ＪＰＥＧフォーマットの最小符号化処理単位が最小符号化処理単位に設定され、ＪＰＥＧフォーマットと同様に、ラスタ走査の順序でこの最小符号化処理単位を順次符号化処理する。またこの中間フォーマットは、ＪＰＥＧフォーマットの場合と同様に、各最小符号化処理単位を直交変換処理し、直交変換処理結果の係数データを量子化処理、可変長符号化処理して符号化データＤＤＣ、ＡＣを生成する。
【００３３】
従ってこの中間フォーマットにおいて、直交変換処理して得られる係数データのうちの交流成分の係数データは、図４（Ｂ）に示すように、他の符号化処理単位の処理結果を参照することなく量子化処理、可変長符号化処理されて符号化データＡＣ（ＡＣ１〜ＡＣ１６）が生成され、この交流成分の符号化データＡＣ（ＡＣ１〜ＡＣ１６）は、何らランダムに最小符号化処理単位を復号する妨げとならないことになる。
【００３４】
これに対して直流成分の係数データは、図４（Ａ）において矢印で示すように、直前の最小符号化処理単位の直流成分の係数データとの間で差分値が計算され、この差分値が量子化処理、可変長符号化処理されて符号化データＤＤＣ（ＤＤＣ１〜ＤＤＣ１６）が生成される。従ってこの直流成分の符号化データＤＤＣ（ＤＤＣ１〜ＤＤＣ１６）は、直前の最小符号化処理単位を参照して符号化されていることから、ランダムに最小符号化処理単位を復号する妨げとなる。なおこの図４は、１枚の静止画を４×４個の最小符号化処理単位で表すものである。
【００３５】
そこでこの中間フォーマットでは、直流成分の係数データが、別途、直前の最小符号化処理単位の処理結果を参照することなく量子化処理されて符号化データＤＣ（ＤＣ２〜ＤＣ１６）（図４（Ｃ））が生成される。なおＪＰＥＧフォーマットにおいて、先頭の最小符号化処理単位では、直前に処理する最小符号化処理単位が存在しないことになる。従って先頭の最小符号化処理単位において、直流成分の係数データは、値０との間の差分値が符号化処理され、結局、他の最小符号化処理単位の処理結果を参照しないで符号化処理されることになる。そこでこの実施例において、先頭の最小符号化処理単位では、ＪＰＥＧフォーマットによる直流成分の符号化データＤＤＣのみが生成され、符号化データＤＣは生成されないように設定される。なお直流成分の係数データは、可変長符号化処理するようにしてもよく、また量子化処理を省略するようにしてもよい。
【００３６】
またさらにこの中間フォーマットでは、ＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣが可変長符号化処理されていることから、この符号化データＤＤＣ、ＡＣのデータ列中で、各符号化処理単位の先頭位置を特定する位置情報ＣＭ（ＣＭ１〜ＣＭ１５）（図４（Ｄ））が設けられる。この実施例では、図５（Ａ）に示すように、この位置情報に、各最小符号化処理単位のサイズの情報ＣＭが適用される。なおこの位置情報には、図５（Ｂ）に示すように、先頭の最小符号化処理単位の開始位置を基準にした位置情報ＣＭを適用してもよい。
【００３７】
この中間フォーマットに対応して符号化部８は、図６に示すように構成される。すなわち符号化部８は、ラスタ走査順序で順次最小符号化処理単位の画像データＤ１をディスクリートコサイン変換部（ＤＣＴ）２１に入力し、最小符号化処理単位毎に、画像データＤ１をディスクリートコサイン変換処理する。またその処理結果である各係数データを量子化部２２で量子化処理した後、可変長符号化部２３で可変長符号化処理する。符号化部８は、これらディスクリートコサイン変換部２１、量子化部２２、可変長符号化部２３がＪＰＥＧのフォーマットで順次画像データＤ１を処理するように形成され、可変長符号化部２３からＪＰＥＧフォーマットの符号化データＤＤＣ、ＡＣを出力する。
【００３８】
従って電子スチルカメラ１は、直接、入力画像データＤ１をＪＰＥＧのフォーマットで符号化処理して符号化データＤＪを出力する場合、図示しないバッファメモリを介して、この可変長符号化部２３の出力データにヘッダ等の各種制御コードを設定して出力する。
【００３９】
この符号化部８において、位置情報設定部２４は、可変長符号化部２３から出力される符号化データＤＤＣ、ＡＣのデータ長を最小符号化処理単位毎に集計し、各符号化処理単位の先頭位置を特定する位置情報ＣＭを検出して出力する。
【００４０】
ＤＣ係数処理部２５は、量子化部２２から出力される係数データから直流成分の係数データを選択的に入力し、この直流成分の係数データを符号化処理して符号化データＤＣを出力する。
【００４１】
中央処理ユニット７は、他の最小符号化処理単位を参照することなく符号化処理した直流係数データの符号化データＤＣについては、テーブル形式でメモリ部９に保持する（図１）。また各最小符号化処理単位の先頭位置を特定する位置情報ＣＭについては、マップ形式でメモリ部９に保持する。
【００４２】
中央処理ユニット７は、中間フォーマットでメモリ部９に格納した静止画の外部メモリ１２への記録がユーザーから指示されると、メモリ部９に格納した中間フォーマットの符号化データＤＴからＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣを選択する。またこのＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣにヘッダ等の制御コードを付加してＪＰＥＧフォーマットの符号化データＤＪを生成し、この符号化データＤＪを外部メモリ１２に格納する。
【００４３】
これに対してユーザーが画質改善を指示すると、メモリ部９に保持した中間フォーマットの符号化データＤＴを復号部１０に転送し、元の画像データＤ１を復号する。またこの復号した画像データＤ１を信号処理部１１で処理し、符号化部８で中間フォーマットの符号化データＤＴに符号化処理する。またこの中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＪに変換して外部メモリ１２に格納する。
【００４４】
この処理において、中央処理ユニット７は、信号処理部１１において最小符号化処理単位を順次ラスタ走査の順序で処理するように、メモリ部９に保持した符号化データＤＴを復号部１０に転送して処理する。従って中央処理ユニット７は、例えばメモリ部９に３枚の静止画が格納されている場合、これら３枚の静止画のラスタ走査開始位置の最小符号化処理単位を順次復号部１０で復号した後、続くラスタ走査位置の最小符号化処理単位を順次復号する。従って各静止画の画像データＤ１は、ラスタ走査の順序で最小符号化処理単位が順次復号されるものの、各最小符号化処理単位では、直前に処理した最小符号化処理単位が他の静止画のものとなる。そこでこの電子スチルカメラ１では、任意の位置の最小符号化処理単位を復号することが必要になる。
【００４５】
そこで中央処理ユニット７は、図７に示すように、ＪＰＥＧフォーマットの符号化データＤＤＣ、ＡＣのうちの、直流成分の符号化データＤＤＣを、マップ形式で格納した対応する直流成分の符号化データＤＣで置き換えた後、この符号化データＤＣ、ＡＣを復号部１０に転送する。またこのときテーブル形式で格納した位置情報ＣＭで、処理対象の最小符号化処理単位のデータ位置を検出し、このデータ位置を基準にしてＪＰＥＧフォーマットで符号化処理した符号化データＤＤＣ、ＡＣを取得する。
【００４６】
図８は、この電子スチルカメラ１における複数枚の静止画の処理手順を示すフローチャートである。この場合、電子スチルカメラ１では、ユーザーの操作に応動して撮像結果を取得すると、ステップＳＰ１１からステップＳＰ１２に移り、この撮像結果を中間フォーマットの符号化データＤＴに符号化処理する。また続くステップＳＰ１３において、中間フォーマットの符号化データＤＴを中間バッファのデータとしてメモリ部９に格納する。また例えばユーザーが画質改善を指示すると、ステップＳＰ１４に移り、この中間フォーマットの符号化データＤＴの任意の最小符号化処理単位を復号部１０で復号し、続くステップＳＰ１５で、画像処理する箇所の画像データを取得することになる。
【００４７】
なお図４及び図７との対比により図９及び図１０に示すように、先頭及び末尾の最小符号化処理単位については、直流成分の係数データを符号化データＤＣに符号化処理しないようにして、中間フォーマットの符号化データＤＴのデータ量を低減するようにしてもよい。なおこの場合、復号時、処理対象の直前の最小符号化処理単位の符号化データＤＣを復号して直流値を得、処理対象の最小符号化処理単位の符号化データＤＤＣをこの直流値を基準にして復号することになる。
【００４８】
（２）実施例の動作
以上の構成において、この電子スチルカメラ１では（図２）、ユーザーがシャッターボタンを操作すると、高フレームレートで複数枚の静止画が撮像素子３で順次取得され、この静止画の撮像結果がアナログディジタル変換部４で画像データＤ１に変換される。この画像データＤ１は、カメラ信号処理部５で所定の信号処理を受けた後、メモリ部９に格納される。またこのメモリ部９に格納された複数枚の静止画が信号処理部１１で処理されて画質が改善された後、ＪＰＥＧフォーマットの符号化データＤＪで外部メモリ１２に格納される。この電子スチルカメラ１では、この信号処理部１１における処理が、複数枚の静止画を用いて画質を向上する処理であることから、外部メモリ１２に記録した静止画については、従来に比して画質を向上することができる。
【００４９】
しかしながらこのように複数枚の静止画を処理して画質を向上する場合、何らデータ圧縮することなくこれら複数枚の静止画をメモリ部９に格納したのでは、メモリ部９を大容量化することが必要になる。そこでこれら複数枚の静止画をＪＰＥＧフォーマットで符号化処理してメモリ部９に格納することも考えられるが、ＪＰＥＧフォーマットの符号化データは、所望する箇所の最小符号化処理単位をランダムに復号することが困難なことから、これら複数枚の静止画を効率良く処理できなくなる。
【００５０】
そこでこの電子スチルカメラ１において、これら複数枚の静止画の画像データＤ１は、所望する箇所の最小符号化処理単位をランダムに復号することが可能な中間フォーマットの符号化データＤＴに符号化処理されてデータ圧縮され（図１、図３）、メモリ部９に格納される。またこの符号化データＤＴが復号部１０で復号されて信号処理部１１で処理された後、ＪＰＥＧフォーマットの符号化データＤＪで外部メモリ１２に格納される。
【００５１】
より具体的に、この電子スチルカメラ１において、これら複数枚の静止画の画像データＤ１は、ＪＰＥＧフォーマットの最小符号化処理単位で、ＪＰＥＧフォーマットと同一に、直交変換処理され、直流成分及び交流成分の係数データが生成される。またこれらの係数データのうち、ＪＰＥＧフォーマットで処理して何らランダムに最小符号化処理単位を復号する妨げとならない交流成分の係数データが、直流成分の係数データと共に、ＪＰＥＧフォーマットで量子化処理、可変長符号化処理され、直流成分の符号化データＤＤＣと交流成分の符号化データＡＣとが生成される。
【００５２】
またＪＰＥＧフォーマットで処理してランダムに最小符号化処理単位を復号する妨げとなる直流成分の係数データが、他の最小符号化処理単位を参照することなく符号化処理されて符号化データＤＣが生成され、また直流成分の符号化データＤＤＣと交流成分の符号化データＡＣとのデータ列において、各最小符号化処理単位の先頭位置を示す位置情報ＣＭが設定される。
【００５３】
中間フォーマットの符号化データＤＴは、これらＪＰＥＧフォーマットによる符号化データＤＤＣ、ＡＣ、他の最小符号化処理単位を参照することなく符号化処理した直流成分の符号化データＤＣ、位置情報ＣＭにより、ＪＰＥＧフォーマットの符号化データＤＪに簡易に変換可能に、かつランダムに最小符号化処理単位を復号可能に形成される。
【００５４】
すなわちこの中間フォーマットの符号化データＤＴは、ＪＰＥＧフォーマットによる符号化データＤＤＣ、ＡＣのデータ列にヘッダ情報等を設定するだけで、簡易にＪＰＥＧフォーマットの符号化データＤＪに変換することができる。またＪＰＥＧフォーマットによる符号化データＤＤＣ、ＡＣのうちの、直流成分の符号化データＤＤＣを、他の最小符号化処理単位を参照することなく符号化処理された対応する直流成分の符号化データＤＣで置き換えることにより、直前の最小符号化処理単位を参照することなく、当該最小符号化処理単位を復号することができる。また位置データにより対応する最小符号化処理単位の位置を特定して、所望する最小符号化処理単位の符号化データＤＤＣ、ＡＣを検出することができる。
【００５５】
従って電子スチルカメラ１では、ＪＰＥＧフォーマットの符号化データＤＪに簡易に変換可能に、かつランダムに最小符号化処理単位を復号可能に画像データＤ１を中間フォーマットの符号化データＤＴに符号化処理することができ、メモリ部９を小容量化して効率良く複数枚の静止画を処理することが可能となる。
【００５６】
特にこの電子スチルカメラ１では、ＪＰＥＧフォーマットで処理して何らランダムに最小符号化処理単位を復号する妨げとならない交流成分の係数データだけでなく、直流成分の係数データについても、ＪＰＥＧフォーマットで量子化処理、可変長符号化処理したことにより、中間フォーマットの符号化データＤＴをＪＰＥＧフォーマットの符号化データＤＴに変換する場合には、ＪＰＥＧフォーマットの符号化データＤＤＣ、ＡＣのデータ列にヘッダ情報等を設定するだけの簡易な処理によりフォーマット変換することができる。
【００５７】
（３）実施例の効果
以上の構成によれば、少なくとも交流成分の係数データをＪＰＥＧフォーマットに従って処理すると共に、他の最小符号化処理単位を参照することなく直流成分の係数データを符号化処理し、最小符号化処理単位の先頭位置を特定する位置情報を設定して中間フォーマットの符号化データを生成することにより、最小符号化処理単位をランダムに復号可能に画像データを符号化処理することができる。従って複数系統で中間フォーマットの符号化データを復号して画像処理する場合等にも広く適用することができ、この場合には、画像速度を格段的に高速度化することができる。
【００５８】
また交流成分の係数データに直流成分の係数データを加えて、係数データの全てをＪＰＥＧフォーマットに従って処理することにより、中間フォーマットの符号化データをＪＰＥＧフォーマットの符号化データに簡易に変換することができる。
【実施例２】
【００５９】
図１１は、図４との対比により本発明の実施例２の電子スチルカメラに適用される中間フォーマットを示す略線図である。この実施例２の電子スチルカメラは、この中間フォーマットに関する構成が異なる点を除いて、実施例１の電子スチルカメラと同一に構成される。
【００６０】
ここでこの実施例の中間フォーマットでは、係数データのうち、ＪＰＥＧフォーマットで処理して何らランダムに最小符号化処理単位を復号する妨げとならない交流成分の係数データだけを、ＪＰＥＧフォーマットで処理して符号化データＡＣが形成される。また直流成分の係数データは、全てが他の最小符号化処理単位を参照することなく、符号化処理される。
【００６１】
従って図５との対比により図１２に示すように、位置情報ＣＭは、この交流成分の符号化データＡＣのデータ列において、各最小符号化処理単位の先頭位置を特定するように設定される。なおこの場合も、図１２（Ａ）に示すように、サイズの情報を割り当てるようにしてもよく、図１２（Ｂ）に示すように、データ列の先頭を基準にした位置情報を割り当てるようにしてもよい。
【００６２】
またこれに対応して図７との対比により図１３に示すように、また図１との対比により図１４に示すように、位置情報ＣＭにより所望する最小符号化処理単位の符号化データＡＣを特定して、この特定した交流成分の符号化データＡＣと直流成分の符号化データＤＣとを復号部で処理し、中間フォーマットの符号化データＤＴを画像データＤ１に復号する。またこの復号した画像データＤ１を処理して画質を改善し、中間フォーマットの符号化データＤＴを生成する。
【００６３】
また図１５に示すように、連続する最小符号化処理単位における直流成分の符号化データＤＣｎ、ＤＣｎ＋１から差分値（ＤＣｎ＋１−ＤＣｎ）を計算し、この差分値を再符号化処理してＪＰＥＧフォーマットによる直流成分の符号化データＤＤＣｎを生成する。またこの生成した直流成分の符号化データＤＤＣｎと、交流成分の符号化データＡＣとのデータ列にヘッダ等を設定してＪＰＥＧフォーマットの符号化データＤＪを生成する。
【００６４】
この実施例のように、交流成分の係数データのみをＪＰＥＧフォーマットで符号化処理するようにしても、実施例１と同一の効果を得ることができる。また交流成分の係数データのみをＪＰＥＧフォーマットで符号化処理すれば、実施例１の構成に比して、中間フォーマットの符号化データ量を低減することができ、メモリ部の容量を小容量化することができる。
【実施例３】
【００６５】
図１６及び図１７は、図９及び図１０との対比により本発明の実施例３の電子スチルカメラに適用される中間フォーマットを示す略線図である。この実施例３の電子スチルカメラは、この中間フォーマットに関する構成が異なる点を除いて、実施例１の電子スチルカメラと同一に構成される。
【００６６】
ここでこの実施例において、中間フォーマットの符号化データＤＴは、図１６に示すように、連続する最小符号化処理単位の複数個が、復号の処理単位に設定されて、この復号の処理単位毎に、先頭の最小符号化処理単位の先頭位置を示す位置情報ＣＭが設定される。また各復号の処理単位の直前の最小符号化処理単位について、直流成分の係数データが他の最小符号化処理対象を参照することなく符号化処理されて符号化データＤＣが生成される。従ってこの図１６は、この復号の処理単位を水平方向に連続する４つの最小符号化処理単位に設定した例である。また直流成分及び交流成分の係数データがＪＰＥＧフォーマットで符号化処理されて符号化データＤＤＣ、ＡＣが作成される。
【００６７】
またこの図１６に対応して図１７に示すように、画像データへの復号時は、処理対象の最小符号化処理単位を含む復号の処理単位について、位置情報ＣＭから先頭の最小符号化処理単位の先頭位置を検出し、この先頭の符号化処理単位の直流成分の符号化データＤＤＣに代えて、他の符号化処理単位を参照することなく符号化処理した対応する直流成分の符号化データＤＣを設定し、この復号の処理単位を構成する複数の最小符号化処理単位を順次復号する。
【００６８】
この実施例によれば、複数の最小符号化処理単位毎に、直流成分の係数データを、他の符号化処理単位を参照することなく符号化処理することにより、中間フォーマットの符号化データのデータ量を一段と低減して、実施例１と同様の効果を得ることができる。
【実施例４】
【００６９】
図１８及び図１９は、図１６及び図１７との対比により本発明の実施例４の電子スチルカメラに適用される中間フォーマットを示す略線図である。この実施例４の電子スチルカメラは、この中間フォーマットに関する構成が異なる点を除いて、実施例３の電子スチルカメラと同一に構成される。
【００７０】
ここで中間フォーマットの符号化データＤＴは、実施例３と同様に、連続する最小符号化処理単位の複数個が、復号の処理単位に設定されて、この復号の処理単位毎に、先頭の最小符号化処理単位の先頭位置を示す位置情報ＣＭが設定される。
【００７１】
また各復号の処理単位の先頭の最小符号化処理単位については、交流成分の係数データだけＪＰＥＧフォーマットで符号化処理し、符号化データＡＣを生成する。また各復号の処理単位の先頭及び末尾の最小符号化処理単位については、最後尾の最小符号化処理単位を除いて、他の最小符号化処理単位を参照することなく、直流成分の係数データが符号化処理されて符号化データＤＴが生成される。
【００７２】
この図１８の構成に対応して図１９に示すように、画像データへの復号時、実施例３と同様に、処理対象の最小符号化処理単位を含む復号の処理単位について、位置情報ＣＭから先頭の最小符号化処理単位の先頭位置を検出する。また他の符号化処理単位を参照することなく符号化処理した対応する直流成分の符号化データＤＣを、この先頭の符号化処理単位の直流成分の符号化データに設定し、この復号の処理単位を構成する複数の最小符号化処理単位を順次復号する。
【００７３】
また図１５との対比により図２０に示すように、ＪＰＥＧフォーマットの符号化データＤＪへの変換処理時、復号の処理単位の先頭の最小符号化処理単位で、直前の符号化データＤＣとの間で差分値（ＤＣｎ＋１−ＤＣｎ）を計算し、この差分値（ＤＣｎ＋１−ＤＣｎ）を再符号化処理してこの先頭の最小符号化処理単位における直流成分の符号化データＤＤＣを生成する。
【００７４】
この実施例によれば、複数の最小符号化処理単位毎に、直流成分の係数データを他の符号化処理単位を参照することなく符号化処理するようにして、複数の最小符号化処理単位の先頭及び末尾の符号化処理単位で直流成分の係数データを、他の最小符号化処理単位を参照することなく符号化処理するようにしても、実施例３と同様の効果を得ることができる。
【実施例５】
【００７５】
なお上述の実施例においては、中間フォーマットの符号化データを復号して画像処理した後、中間フォーマットに変換してＪＰＥＧフォーマットの符号化データに変換する場合について述べたが、本発明はこれに限らず、画像処理した後、直接、ＪＰＥＧフォーマットの符号化データに変換するようにしてもよい。
【００７６】
また上述の実施例においては、画質を向上することを目的に、中間フォーマットの符号化データを復号して画像処理する場合について述べたが、本発明はこれに限らず、例えば部分的に撮像結果を拡大表示する場合等にも広く適用することができる。
【００７７】
また上述の実施例においては、静止画を処理対象に設定してＪＰＥＧフォーマットの符号化データを生成する場合について述べたが、本発明はこれに限らず、動画を処理対象に設定してＭＰＥＧフォーマットの符号化データを生成する場合等、最小符号化処理単位で画像データを直交変換処理、可変長符号化処理する場合に広く適用することができる。なおＭＰＥＧフォーマットでは、最小符号化処理単位がマクロブロックとなる。
【００７８】
また上述の実施例においては、本発明を電子スチルカメラに適用した場合について述べたが、本発明はこれに限らず、画像再生装置、ＰＤＡ（Personal Digital Assistants ）、各種ゲーム機、携帯電話、パーソナルコンピュータにおける処理等に広く適用することができる。なおこのパーソナルコンピュータにおける処理に適用する場合、対応するプログラムは、事前にインストールして提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードで提供するようにしてもよい。
【産業上の利用可能性】
【００７９】
本発明は、例えば電子スチルカメラに適用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施例１の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図２】本発明の実施例１の電子スチルカメラを示すブロック図である。
【図３】図２の電子スチルカメラにおける静止画の処理の説明に供するブロック図である。
【図４】図２の電子スチルカメラにおける中間フォーマットの説明に供する略線図である。
【図５】図４の中間フォーマットにおける位置情報の説明に供する略線図である。
【図６】図２の電子スチルカメラにおける符号化部を示すブロック図である。
【図７】図５の中間フォーマットの復号の処理の説明に供する略線図である。
【図８】図２の電子スチルカメラにおける静止画の処理手順を示すフローチャートである。
【図９】図４とは異なる例による中間フォーマットを示す略線図である。
【図１０】図９の中間フォーマットの復号の処理の説明に供する略線図である。
【図１１】本発明の実施例２の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図１２】図１１の中間フォーマットにおける位置情報の説明に供する略線図である。
【図１３】図１１の中間フォーマットの復号の処理の説明に供する略線図である。
【図１４】図１１の中間フォーマットの符号化データをＪＰＥＧフォーマットの符号化データに変換する処理の説明に供する略線図である。
【図１５】図１４の変換処理の説明に供する略線図である。
【図１６】本発明の実施例３の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図１７】図１６の中間フォーマットの復号時の処理の説明に供する略線図である。
【図１８】本発明の実施例４の電子スチルカメラに適用される中間フォーマットの説明に供する略線図である。
【図１９】図１８の中間フォーマットの復号時の処理の説明に供する略線図である。
【図２０】図１８の中間フォーマットの符号化データをＪＰＥＧフォーマットの符号化データに変換する処理の説明に供する略線図である。
【図２１】ＪＰＥＧフォーマットの符号化データを処理する場合に予測される処理手順を示すフローチャートである。
【符号の説明】
【００８１】
１……電子スチルカメラ、２……撮像素子、７……中央処理ユニット、８……符号化部、９……メモリ部、１０……復号部、１１……信号処理部
【特許請求の範囲】
【請求項１】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法において、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理方法は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、
前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、
前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、
前記中間フォーマットの符号化処理のステップは、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理方法。
【請求項２】
前記中間フォーマットの符号化処理のステップで生成した前記中間フォーマットの符号化データをメモリに格納するメモリ格納ステップを有し、
前記中間フォーマットの復号のステップは、
前記メモリに格納した前記中間フォーマットの符号化データから前記画像データを復号する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記中間フォーマットの符号化処理のステップは、
前記係数データの全てを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部を、他の最小符号化処理単位を参照することなく符号化処理する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記中間フォーマットの符号化処理のステップは、
前記交流成分の前記係数データのみを前記所定フォーマットで符号化処理する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記中間フォーマットの符号化処理のステップは、
前記直流成分及び交流成分の係数データの全てを前記所定フォーマットで符号化処理し、
複数の最小符号化処理単位毎に、前記直流成分の係数データを、他の最小符号化処理単位を参照することなく符号化処理する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記所定フォーマットの符号化処理は、
前記画像処理のステップで処理した画像データを前記中間フォーマットの符号化データに符号化処理するステップと、
該中間フォーマットの符号化データを、前記所定フォーマットの符号化データに変換するフォーマット変換のステップとを有する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記画像処理ステップが、
前記画像データの画質を改善する処理である
ことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムにおいて、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理方法は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、
前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、
前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、
前記中間フォーマットの符号化処理のステップは、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理方法のプログラム。
【請求項９】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムを記録した記録媒体において、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理方法は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、
前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、
前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、
前記中間フォーマットの符号化処理のステップは、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【請求項１０】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理装置において、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理装置は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理部と、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号部と、
前記中間フォーマットの復号部で復号した前記画像データを画像処理する画像処理部と、
前記画像処理部で処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理部とを有し、
前記中間フォーマットの符号化処理部は、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理装置。
【請求項１】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法において、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理方法は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、
前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、
前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、
前記中間フォーマットの符号化処理のステップは、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理方法。
【請求項２】
前記中間フォーマットの符号化処理のステップで生成した前記中間フォーマットの符号化データをメモリに格納するメモリ格納ステップを有し、
前記中間フォーマットの復号のステップは、
前記メモリに格納した前記中間フォーマットの符号化データから前記画像データを復号する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記中間フォーマットの符号化処理のステップは、
前記係数データの全てを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部を、他の最小符号化処理単位を参照することなく符号化処理する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記中間フォーマットの符号化処理のステップは、
前記交流成分の前記係数データのみを前記所定フォーマットで符号化処理する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記中間フォーマットの符号化処理のステップは、
前記直流成分及び交流成分の係数データの全てを前記所定フォーマットで符号化処理し、
複数の最小符号化処理単位毎に、前記直流成分の係数データを、他の最小符号化処理単位を参照することなく符号化処理する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記所定フォーマットの符号化処理は、
前記画像処理のステップで処理した画像データを前記中間フォーマットの符号化データに符号化処理するステップと、
該中間フォーマットの符号化データを、前記所定フォーマットの符号化データに変換するフォーマット変換のステップとを有する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記画像処理ステップが、
前記画像データの画質を改善する処理である
ことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムにおいて、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理方法は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、
前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、
前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、
前記中間フォーマットの符号化処理のステップは、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理方法のプログラム。
【請求項９】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理方法のプログラムを記録した記録媒体において、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理方法は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理のステップと、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号のステップと、
前記中間フォーマットの復号のステップで復号した前記画像データを画像処理する画像処理のステップと、
前記画像処理のステップで処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理のステップとを有し、
前記中間フォーマットの符号化処理のステップは、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【請求項１０】
画像データを符号化処理して所定フォーマットの符号化データを生成する画像処理装置において、
前記所定フォーマットは、
最小符号化処理単位毎に、前記画像データを直交変換処理して直流成分及び交流成分の係数データを生成し、
前記交流成分の係数データを他の最小符号化処理単位を参照することなく可変長符号化処理し、
前記直流成分の係数データを、直前に処理した最小符号化処理単位の対応するデータを参照して可変長符号化処理するフォーマットであり、
前記画像処理装置は、
前記画像データを中間フォーマットの符号化データに符号化処理する中間フォーマットの符号化処理部と、
前記中間フォーマットの符号化データから前記画像データを復号する中間フォーマットの復号部と、
前記中間フォーマットの復号部で復号した前記画像データを画像処理する画像処理部と、
前記画像処理部で処理した画像データを前記所定フォーマットの符号化データに符号化処理する所定フォーマットの符号化処理部とを有し、
前記中間フォーマットの符号化処理部は、
前記最小符号化処理単位毎に、前記画像データを直交変換処理して前記直流成分及び交流成分の係数データを生成し、
少なくとも前記交流成分の係数データを前記所定フォーマットで符号化処理し、
前記直流成分の係数データの全部又は一部を、他の最小符号化処理単位を参照することなく符号化処理し、
前記所定フォーマットで符号化処理した符号化データのデータ列において、最小符号化処理単位の先頭位置を示す位置情報を設定して前記中間フォーマットの符号化データを生成する
ことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−３３５９３３（Ｐ２００７−３３５９３３Ａ）
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願番号】特願２００６−１６１９２７（Ｐ２００６−１６１９２７）
【出願日】平成１８年６月１２日（２００６．６．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願日】平成１８年６月１２日（２００６．６．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]