説明

画像処理方法

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像信号をディジタルデータで圧縮符号化する画像処理方法に関する。
【0002】
【従来の技術】従来画像圧縮技術として、例えば文献1,“ISO/JTC1/SC2/WG8 N800”に記載されているADCT方式(Adaptive Discrete Cosine Transform)がある。この方式は数回の試行錯誤を行う反復処理によって画像に依らず一定の符号量に圧縮する機能を有する。この調節機能について、以下に簡単に説明する。
【0003】ADCT方式では、ある符号化パラメータFによって符号量を制御できる。パラメータFと符号量との関係は、図6に示すように、符号量はパラメータFの単調減少関数となる。図6において、(a)と(b)は異なる画像に対するパラメータFと符号量との関係を示している。図6(a),(b)よりわかるように、パラメータFと符号量の関係は画像の内容に依存しているが、必ず単調減少関数となる。従ってパラメータFを調整しながら数回の試行錯誤によって所望の符号量或は圧縮率に収束させることができる。この収束のさせ方については、前記文献1に記載しているように、NewTon Raphson Methodを用いる手法や文献2、1989年電子情報通信学会秋期全国大会予稿集PP6−45講演番号D・45“DCT符号化方式の符号量制御方法”根本、他に記載されているようにさらには高速に収束させようとした研究がなされている。
【0004】前記文献2では2〜3回の反復で所望のビットレート(符号量)に±5%の誤差内で収束できることが述べられている。
【0005】
【発明が解決しようとする課題】現在、DCT(Discrete Cosine Treanform) 演算を高速に行うことのできるハードウエアとしてはInmos社のA121などが知られている。この1Cは一画画分(640×480画素)のDCT演算を約20milli−secで実行する。ADCT符号化方式のうちDCT以外の処理は並列処理できるものとすると、この圧縮符号化において、一回の試行錯誤(すなわち、あるパラメータFを与える圧縮を行い圧縮符号量を得る)のに最低でも30milli−sec必要である。符号量の収束に3回の反復が必要であるとすると、90milli−sec必要であるから、1秒間に約11回の圧縮符号化しかできないことになる。即ち、圧縮速度が用途によっては充分でないという問題が生じる。
【0006】ところで、従来の電子スチルカメラにおいて、撮像素子CCDによって撮像された情報をADCT方式によって圧縮すると実際には秒当り10回程度の撮影しかできないことになる。従って、このような圧縮方式では例えば電子スチルカメラの仕様としては不充分なものになってしまうという問題があった。
【0007】本発明は、このような問題点に鑑みてなされたもので、特に確実に符号量を制御するのに好適な画像処理方法を提供することを目的とするものである。
【0008】
【課題を解決するための手段】前記目的を達成するため、本発明では画像処理方法をつぎのとおりに構成するものである。
【0009】(1)順次与えられる複数画面の画像信号を直交変換し、得られた直交変換係数を量子化パラメータに従って量子化し、圧縮符号化するに際して圧縮符号化した後の符号量を計数しながら前記量子化パラメータを変更し、該符号量に基づいて前記量子化パラメータを第1の値として記録すべき圧縮符号を決定するとともに、後に続く画面を符号化するに際しては前記量子化パラメータを、先行する画面の画像信号を符号化した際の前記第1の値のパラメータに基づいて決定するようにした。
【0010】
【発明の実施の形態】以下本発明を実施例により詳しく説明する。
【0011】図2は本発明の一実施例の“電子スチルカメラ”のブロック図である。ここでは、カメラの他の部分、例えば絞り、シャッタ等は省略されている。
【0012】図において、レンズ1により捕らえられた被写体の光学像は後方に位置する撮像デバイス2 CCD(Charge Coupled Device) によって映像電気信号に変換される。撮像デバイス2は制御部7によって与えられる制御信号に応答して被写体の光学像に対応する電荷の蓄積,映像信号の読み出しを行う。
【0013】読出された映像信号は、A/D(アナログ−ディジタル)変換器3によってディジタル信号に変換される。なお、撮像デバイス2とA/D変換器3との間には図示はしていないが、ガンマ補正,色信号の形成分離,ホワイトバランス処理などの映像信号を処理する手段等が入る。ディジタル信号に変換された映像信号は画像メモリ4に蓄えられる。
【0014】圧縮符号化装置5は、画像メモリから読み出される画像データを前記ADCT圧縮方式によって符号化し、記録装置6に出力する。また、圧縮符号を記録装置6に出力せずに符号量を計数するだけの機能も持つ。その符号量は制御部7が読み出すことができる。
【0015】制御部7は、電子スチルカメラの機能を統合する。つまり撮像、画像メモリ4への蓄積、圧縮、記録媒体への記録といった一連の作業を管理する。又、記録媒体上のファイル管理も行う。
【0016】使用者が通常の記録モードを不図示のモードスイッチによって指定しているときは、制御部7は以下に示す手順で記録を行う。
【0017】使用者が不図示のレリーズボタンを押すと、制御部7はピント合わせ,絞り,シャッタなどを動作させ、撮像デバイス2を露出して画像情報を画像メモリ4に取り込む。制御部7は圧縮符号化装置5に対してパラメータFを渡し、画像メモリ4の画像データを圧縮させて符号量を計数させる。このときは圧縮符号化装置5は記録装置6に圧縮符号は出力せず一画面の符号量を計数するだけである。
【0018】この動作を所望(一定)の符号量になるまでパラメータFを変化させながら数回の試行錯誤を繰返す。
【0019】所望の符号量を発生させるF(以下Fd と記す)が求められると、制御部7は再度そのパターンFd を圧縮符号化装置5に与えて圧縮動作を開始させる。そして、制御部7は記録装置6に対し圧縮符号の記録を指示する。
【0020】以上の処理で画面単位の固定長化がなされた圧縮符号が記録装置6に記録される。このように圧縮符号量を画像に依らず一定に固定する圧縮符号化を固定長圧縮という。
【0021】使用者が連写モードをモードスイッチによって指定しているときは、制御部7は以下の手順で記録を行う。
【0022】最初の一枚目の記録においては、前述の通常記録モードと同一の手順で固定長圧縮を行い記録を行う。2枚目以降は反復処理による圧縮符号量の固定長圧縮は行わず、一枚目の記録に用いられたFd の値を用いて圧縮,記録する。すなわち、画像をメモリ4に入れた後は、制御部7はFd を圧縮符号化装置5に与えて、記録装置6に圧縮符号を出力するように指示して圧縮動作を行わせる。それと同時に、制御部7は記録装置6に対して圧縮符号の記録を指示する。このように圧縮符号量が画像ごとに異なる圧縮符号化を可変長圧縮という。
【0023】ところで、連写される画像の相関は強いことが予想される。従って、一枚目の画像について固定長圧縮を行ったパラメータFd を2枚目以降のパラメータとして用いることにより、2枚目以降の圧縮符号量も一枚目の画像の圧縮符号量と非常に近い値となる可能性が高い。このようにして、所望の符号量に高い圧縮符号量で、所定時間内に、固定長圧縮のみの場合に比べて各段に多い枚数の画像を記録することができる。
【0024】以上の実施例の具体的なフローチャートを図1に示す。
【0025】図において、ステップ1ではレリーズボタンが押されるのを待ち、押されるとステップ2で撮像デバイス2の露出,メモリ4への画像の書き込みを行う。ステップ3で所望の圧縮符号量を与えるパラメータFd を求める。ステップ4で、ステップ3で求めたFd を用いて圧縮して記録装置6の記録媒体に記録する。
【0026】ステップ5で連写モードが設定されていなければ記録は終了する。そうでなければ、ステップ6でレリーズボタンが押されているかを調べる。押されていなければ記録は終了となる。そうでなければ、ステップ7へ進み、撮像デバイス2の露出,メモリ4への画像信号の書き込みを行う。そして、ステップ8でステップ3で求めたFd を用いて画像信号を圧縮して記録装置6の記録媒体に記録する。そして、ステップ5へ戻る。以上のように、ステップ5以降では、反復処理によって所望の符号量を発生するパラメータFd を求めること(固定長圧縮)はしない。
【0027】つぎに図1のステップ3の処理について詳しく説明する。
【0028】文献1に述べられているように、圧縮符号量はパラメータFの単調減少関数となり、その関数は次式で近似される。
【0029】
Log Bit=A Log F+B ……(1)
式(1)において、Bitは圧縮符号量、A,Bは画像に依存した定数である。ここで、ある2つのパラメータF1 ,F2 に対して実験的に圧縮符号量Bit1,Bit2が求まったとすると、式(1)から定数A,Bノ推定値Aest,Bestは次式で求められる。
【0030】
【数1】


【0031】式(1),(2),(3)より所望の符号量Bitd 発生させるパラメメータFd は次式で推定される。
【0032】
【数2】


【0033】図1のステップ3では、式(2),(3),(4)を反復的に用いてFd の収束を行う。この処理フローチャートを図3に示す。
【0034】図3において、変数interationは反復処理の回数を表わす。f0 ,f1 ,f2 はそれぞれ現在の試行におけるパラメータFの値及び前回,前々回の試行におけるFの値である。b0 ,b1 ,b2 はそれぞれパラメータFがf0 ,f1 ,f2 のときの圧縮符号量である。
【0035】以下にフローの説明を述べる。ステップ1で変数の初期化を行う。ステップ2ではパラメータFの値をf0 として圧縮して、符号量b0 を得る。ステップ3でinterationを1だけアップする。ステップ4において、初回の反復処理のときはAestの値は−2/3とする。2回目のときはステップ7に進み、式(2)を用いてAestの推定値を計算する。3回目以降のときはステップ12において、現在と前回の試行における圧縮符号量b0 とb1 が所望の符号量bitd とどのような関係にあるか調べる。より速く収束するためにはf0 ,f1,fd の関係は図4のような条件になることが経験的に望ましい。ステップ12に示すこの条件を満たさない図6のような状態でつぎのfの推定値を求めると、収束できないことがある。このことは式(1)は単なる近似式であるためと考えられる。そこで、ステップ12の条件式が満足されない場合、ステップ13において前々回のデータをf1 ,b1 として、ステップ7でAestの推定値を求めている。
【0036】ステップ8で式(3)を用いてBestを求め、ステップ10で次のFの試行値f0 を求める。
【0037】ステップ11で現在の試行値f0 と前回の試行値f1 を比較し、一致していれば収束したとみなし、Fd をf0 とする。そうでなければステップ2へ戻る。
【0038】2199−記実施例では、連続モード時の一枚目の画像に対しては、固定長圧縮を行い、所望の符号量を与えるパラメータFd を求め、2枚目以降の画像については、そのFd の値を用い可変長圧縮を行うようにした。しかし、本発明はこれに限定されるものではない。
【0039】前記実施例によれば、一枚目の画像の記録により多くの時間を要してしまう。そこで、一枚目の画像についても、パラメータFをあらかじめ定められた値に設定し、反復を用いずに可変長符号化してしまう手法で本発明を実施してもよい。
【0040】このときのFの値は経験的に定めることになる。
【0041】又、前記実施例では、連写モードでは必ず可変長モード圧縮を行うようにしたが、10コマ/sec程度の連写では固定長圧縮も可能であるため、連写速度に応じて固定長圧縮/可変長圧縮を切り換えるようにして実施してもよい。
【0042】前述したように可変長圧縮を用いると画像によって符号量が異なってしまう。従って、記録媒体に何枚記録ができるか保証できなくなってしまう。例えば、シャッタを押したにもかかわらず記録できないという問題も生じる。そのときには、使用者に記録媒体の空容量が不足していることを知らせ、記録媒体を交換することを促し、交換されるのを待ち、交換された記録媒体に再度記録するというような対策がとられる。
【0043】又、前記実施例では、連写モードにおいて、自動的に固定長圧縮/可変長圧縮を切り換えるようにしたが、使用者が通常モード/連写モードにかぎらず、手動で固定長圧縮/可変長圧縮を切り換えるようにしてもよい。その場合、連写モードにおいて、固定長圧縮を選択のときは設定可能な連写速度は10コマ/secとし、可変長圧縮を選択のときは設定可能な連写速度は30コマ/secとするような仕様が考えられる。
【0044】実施例では圧縮方式としてADCTを用いた例について説明したが、本発明はADCT方式に限らず、可変長圧縮,固定長圧縮の両方の圧縮符号化手段をもつカメラにおいて実施できる。
【0045】
【発明の効果】以上説明したように、本発明によれば、連続して順次与えられる複数画面の画像信号を直交変換して圧縮符号化するのに好適な画像処理方法を提供することができる。即ち圧縮符号化した後の符号量を計数しながら圧縮用パラメータを変更しているので、記録すべき圧縮符号をほぼ確実に所定量以下とすることができる。
【0046】また、先行する画面の画像信号を符号化した符号量に基づいて、直交変換係数の量子化のためのパラメータを決定しているので、速やかに符号量を所定値に確実に制御することができる好ましい量子化パラメータを選択することができる。
【図面の簡単な説明】
【図1】 本発明の一実施例の動作を示すフローチャート
【図2】 同実施例のブロック図
【図3】 図2のステップ3の詳細を示す図
【図4】 Fd が速く収束するときの条件を示す図
【図5】 Fd が収束しないことのある条件を示す図
【図6】 パラメータFと圧縮符号量の関係を示す図
【符号の説明】
5 圧縮符号化装置
7 制御部

【特許請求の範囲】
【請求項1】 順次与えられる複数画面の画像信号を直交変換し、得られた直交変換係数を量子化パラメータに従って量子化し、圧縮符号化するに際して圧縮符号化した後の符号量を計数しながら前記量子化パラメータを変更し、該符号量に基づいて前記量子化パラメータを第1の値として記録すべき圧縮符号を決定するとともに、後に続く画面を符号化するに際しては前記量子化パラメータを、先行する画面の画像信号を符号化した際の前記1の値のパラメータに基づいて決定することを特徴とする画像処理方法。

【図1】
image rotate


【図4】
image rotate


【図5】
image rotate


【図2】
image rotate


【図6】
image rotate


【図3】
image rotate


【特許番号】特許第3223866号(P3223866)
【登録日】平成13年8月24日(2001.8.24)
【発行日】平成13年10月29日(2001.10.29)
【国際特許分類】
【出願番号】特願平9−307584
【分割の表示】特願平2−297073の分割
【出願日】平成2年11月5日(1990.11.5)
【公開番号】特開平10−117352
【公開日】平成10年5月6日(1998.5.6)
【審査請求日】平成9年11月28日(1997.11.28)
【出願人】(000001007)キヤノン株式会社 (59,756)
【参考文献】
【文献】特開 平4−170187(JP,A)
【文献】特開 平4−137879(JP,A)