撮像装置および撮像方法
【課題】連続撮像時における圧縮符号化処理を高精度かつ高速に行う。
【解決手段】撮像装置１００は、連続撮像により時間方向に連続する複数の画像データを生成する撮像部１０４と、画像データを補正するための補正要素に基づいて画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部と、圧縮符号化された画像データを画像記憶部に記憶するデータ制御部１２４と、圧縮符号化された画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部１３０と、現圧縮率を時間方向に連続して複数保持する現圧縮率保持部１３２と、保持された複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部１３４と、次圧縮率に基づいて補正要素を導出する補正要素導出部とを備える。
【解決手段】撮像装置１００は、連続撮像により時間方向に連続する複数の画像データを生成する撮像部１０４と、画像データを補正するための補正要素に基づいて画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部と、圧縮符号化された画像データを画像記憶部に記憶するデータ制御部１２４と、圧縮符号化された画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部１３０と、現圧縮率を時間方向に連続して複数保持する現圧縮率保持部１３２と、保持された複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部１３４と、次圧縮率に基づいて補正要素を導出する補正要素導出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続撮像（連写）により生成された画像データに画面内予測符号化による圧縮符号化処理を施して記憶する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
撮像した画像をデジタルデータ（画像データ）として記憶する撮像装置（デジタル撮像装置）には、画像データを圧縮符号化しデータ容量を小さくしてから記憶することで、記憶媒体のデータ領域を有効に利用する機能が搭載されている。このような圧縮符号化方法のひとつとして、ＪＰＥＧ（Joint Photographic Experts Group）圧縮と呼ばれる画面内予測符号化方式がある。この方式は主に静止画を圧縮する際に用いられるものであるが、これを動画に応用したＭｏｔｉｏｎ ＪＰＥＧという方式もある。これらの符号化方式は、ＭＰＥＧ（Moving Picture Experts Group）などと比較して同一ビットレートでの圧縮効率は悪いが、画面間の差分情報を用いないため、符号化、復号化時の処理が軽くて済み、また、任意の箇所を簡単に編集することが可能であるという利点がある。本発明は、このＪＰＥＧ等の画面内符号化方式を用いることを前提としたものである。また、撮像装置には、リリーススイッチを連続的に押止することで、画像を連続撮像する機能を有するものもある。
【０００３】
このような連続撮像では、一度に多くの画像データが生成されるため、生成された画像データのデータ容量が所望のデータ容量に収まるように圧縮符号化処理を適切に制御しなければならない。従来は、撮像後の複数の画像データ（ローデータ）に、予め定められた圧縮に関するパラメータを用いて暫定的に圧縮符号化処理を施し、その結果に応じてパラメータを変更し、再度圧縮符号化処理を施すといった動作を繰り返して、連続撮像した画像データ全てのデータ容量を所望のデータ容量に近づける処理が行われていた（例えば、特許文献１）。
【０００４】
また、圧縮率の探索範囲の初期値の最大値および最小値によって画像信号の圧縮符号化処理をそれぞれ行い、最大値による圧縮符号化処理で得られたデータ容量および最小値による圧縮符号化処理で得られたデータ容量に基づいて圧縮率と圧縮符号化処理後のデータ容量との相関を近似し、圧縮符号化処理後の目標データ容量が得られる圧縮率の候補を推定する技術も知られている（例えば、特許文献２）。
【０００５】
また、短時間の圧縮符号化処理を実現するため、画像データの取り出しおよび圧縮率の算出を継続的に行い、撮像操作がなされる直前に算出されていた圧縮率に従って、次回の画像データの圧縮符号化処理を行う技術が開示されている（例えば、特許文献３）。同様に、圧縮符号化処理後の１の画像データのデータ容量と目標値とを比較し、データ容量が目標値とほぼ一致するように次回の圧縮率を決定する技術も開示されている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１４１５９１号公報
【特許文献２】特開平１０−１５０６３３号公報
【特許文献３】特開平１１−１２２５７３号公報
【特許文献４】特開２０００−１２５２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、データ容量が限られた記憶媒体に、連続撮像した多数の画像データを記憶するためには、撮像された画像データに圧縮符号化処理を施さなければならない。また、連続撮像した多数の画像データを所望のデータ容量に収めるには、圧縮符号化処理における圧縮率を適切に制御する必要もある。撮像装置では、例えば、予め設定された目標圧縮率に従って圧縮符号化処理を行う。しかし、画像データによっては、目標圧縮率と現実の圧縮率が大幅にずれてしまう場合がある。
【０００８】
所望するデータ容量に収めるには、このような圧縮率のずれを補正しなければならないが、例えば、特許文献１および２の技術では、暫定的な圧縮符号化処理に加え、その結果に基づく圧縮符号化処理が繰り返し行われるので、最終的な圧縮率が決定するまでに長時間を要するといった問題があった。また、特許文献３および４の技術では、画像データの圧縮率を直前の画像データの圧縮率のみに基づいて予測しているので、イレギュラーな画像が撮像されたり、画像間の移動量が大きい場合に圧縮率の予測精度が低くなってしまう問題があった。
【０００９】
本発明は、このような課題に鑑み、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能な撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は下記の撮像装置および撮像方法を提供するものである。
（１）連続撮像により時間方向に連続する複数の画像データを生成する撮像部と、画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部と、圧縮符号化された前記画像データを画像記憶部に記憶するデータ制御部と、圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部と、前記現圧縮率を時間方向に連続して複数保持する現圧縮率保持部と、保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部と、前記次圧縮率に基づいて前記補正要素を導出する補正要素導出部と、を備えることを特徴とする撮像装置。
（２）前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均し、その平均値を次圧縮率とすることを特徴とする上記（１）に記載の撮像装置。
（３）前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値を平均し、その平均値を最新の前記現圧縮率に加算して次圧縮率とすることを特徴とする上記（１）に記載の撮像装置。
（４）前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率を平均し、その平均値を最新の前記現圧縮率に乗算して次圧縮率とすることを特徴とする上記（１）に記載の撮像装置。
（５）前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値の平均値を最新の前記現圧縮率に加算する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率の平均値を最新の前記現圧縮率に乗算する処理の群から選択された２または３の処理を、前記現圧縮率の変化態様に応じて切り換え、次圧縮率を予測することを特徴とする上記（１）に記載の撮像装置。
（６）前記画像加工部は、画像データの周波数領域の特性を、前記補正要素としての周波数応答特性に基づいて変換する周波数応答処理部であり、前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記周波数応答特性を導出する周波数応答導出部であることを特徴とする上記（１）から（５）のいずれかに記載の撮像装置。
（７）予め定められた複数の前記周波数応答特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記周波数応答特性とを対応させた周波数応答テーブルとをさらに有し、前記周波数応答導出部は、前記周波数応答テーブルを用いて１の周波数応答特性を選択することを特徴とする上記（６）に記載の撮像装置。
（８）前記画像加工部は、画像データの階調を、前記補正要素としての階調特性に基づいて変換する階調処理部であり、前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記階調特性を導出する階調導出部であることを特徴とする上記（１）から（５）のいずれかに記載の撮像装置。
（９）予め定められた複数の前記階調特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記階調特性とを対応させた階調テーブルとをさらに有し、前記階調導出部は、前記階調テーブルを用いて１の階調特性を選択することを特徴とする上記（８）に記載の撮像装置。
（１０）前記画像加工部は、画像データに対し、前記補正要素としての量子化テーブルに基づいて圧縮符号化処理を行う圧縮処理部であり、前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記量子化テーブルを導出する量子化テーブル導出部であることを特徴とする上記（１）から（５）のいずれかに記載の撮像装置。
（１１）予め定められた複数の量子化テーブルと、前記次圧縮率と前記目標圧縮率との差分値と複数の前記量子化テーブルとを対応させた量子化対応テーブルとをさらに有し、前記量子化テーブル導出部は、前記量子化対応テーブルを用いて１の量子化テーブルを選択することを特徴とする上記（１０）に記載の撮像装置。
（１２）前記データ制御部は、前記圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ前記画像記憶部に記憶することを特徴とする上記（１）から（１１）のいずれかに記載の撮像装置。
（１３）連続撮像により時間方向に連続する複数の画像データを生成し、画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化し、圧縮符号化された前記画像データを画像記憶部に記憶し、圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出し、前記現圧縮率を時間方向に連続して複数保持し、保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測し、前記次圧縮率に基づいて前記補正要素を導出することを特徴とする撮像方法。
【発明の効果】
【００１１】
以上説明したように本発明によれば、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態にかかる撮像装置の概略的な構成を示した機能ブロック図である。
【図２】次圧縮率予測部の動作を説明するための説明図である。
【図３】次圧縮率予測部の動作を説明するための説明図である。
【図４】次圧縮率予測部の動作を説明するための説明図である。
【図５】周波数応答特性による圧縮率の補正を説明するための説明図である。
【図６】階調特性による圧縮率の補正を説明するための説明図である。
【図７】量子化テーブルによる圧縮率の補正を説明するための説明図である。
【図８】撮像装置の他の例を示した機能ブロック図である。
【図９】第１の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。
【図１０】第２の実施形態にかかる撮像装置の概略的な構成を示した機能ブロック図である。
【図１１】画像データの生成速度の変化を説明するためのタイミングチャートである。
【図１２】画像データの生成速度の変化の他の例を説明するためのタイミングチャートである。
【図１３】第２の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。尚、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１４】
本実施形態において「画像データ」は、撮像部の撮像素子による一度の撮像で生成される１画面分のデータを言う。「撮像」は、撮像部を通じて画像データを生成する動作を言い、「記憶」は、生成された画像データを記憶媒体に記憶する動作を言う。
【００１５】
また、「連続撮像」は、画像データを、時間方向に連続して、順次生成する一連の動作を言い、例えば、１秒あたり１枚以上の画像データが生成される。また、本実施形態では、連続撮像し、さらにその画像データを連続的に記憶する場合の速度を撮像記憶速度と言い、撮像記憶速度は、例えば６０枚／ｓｅｃといった値をとる。「単写撮像」は、少なくとも１枚の画像データを生成する動作を言い、その１枚の画像データを記憶する動作までを含む場合もあるが、画像データを記憶する前に、画像データを生成する動作を複数回行うことを排除するものではない。
【００１６】
（第１の実施形態：撮像装置１００）
図１は、第１の実施形態にかかる撮像装置１００の概略的な構成を示した機能ブロック図である。撮像装置１００は、撮像部１０４と、同期信号発生部（ＳＳＧ：Synchronizing Signal Generator）１０６と、タイミング発生部（ＴＧ：Timing Generator）１０８と、リリーススイッチ１１０と、Ｙ／Ｃ処理部１１２と、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８と、システム内部バス１２０と、画像メモリ１２２と、データ制御部１２４と、画像記憶部１２６と、表示部１２８と、現圧縮率導出部１３０と、現圧縮率保持部１３２と、次圧縮率予測部１３４と、周波数応答導出部１３６と、周波数応答保持部１３８と、階調導出部１４０と、階調保持部１４２と、量子化テーブル導出部１４４と、量子化テーブル保持部１４６とを含んで構成される。
【００１７】
また、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８とは、補正要素に基づいて画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部として機能し、周波数応答導出部１３６と、階調導出部１４０と、量子化テーブル導出部１４４とは、補正要素を導出する補正要素導出部として機能する。ここで、補正要素は、画像加工部で用いられる、周波数応答特性、階調特性、量子化テーブルの群から選択された１または複数の要素を言う。周波数応答特性、階調特性、量子化テーブルに関しては後ほど詳述する。
【００１８】
尚、データ制御部１２４、現圧縮率導出部１３０、次圧縮率予測部１３４、周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４は、ハードウェアで構成してもよいし、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等と協働して動作する中央処理装置（ＣＰＵ）を通じてソフトウェアで遂行されてもよい。また、図１においては、周波数応答処理部１１４の後段に階調処理部１１６が縦続されているが、この順序は逆でもよい。
【００１９】
撮像部１０４は、レンズや、レンズを通じて入射した入射光を光電変換し画像データを生成する撮像素子等で構成され、例えば、連続撮像により時間方向に連続する複数の画像データを生成して、生成した複数の画像データを、順次Ｙ／Ｃ処理部１１２に送信する。同期信号発生部１０６は、生成される画像データの水平サイズと垂直サイズに対応させ、内部クロックに同期して、水平同期信号と垂直同期信号を生成しタイミング発生部１０８に送信する。
【００２０】
タイミング発生部１０８は、同期信号発生部１０６で生成された水平同期信号と垂直同期信号に基づいて撮像部１０４の撮像素子のクロックタイミングを変化させる制御信号を生成する。撮像部１０４は、かかる制御信号に応じて画像データを生成する。リリーススイッチ１１０は、ボタンスイッチ等で構成され、撮像者の操作入力を受け付け、撮像部１０４における画像データの生成のトリガ（契機）となる制御信号を生成する。また、本実施形態の撮像装置１００では、撮像者がリリーススイッチ１１０を押止し続けることで連続撮像を行うことができる。
【００２１】
Ｙ／Ｃ処理部１１２は、画像データを輝度データ(Ｙ)と色データ(Ｃ)に分離、変換する処理を行う。周波数応答処理部１１４は、Ｙ／Ｃ処理部１１２を通じた画像データの周波数領域の特性を、後述する周波数応答導出部１３６で導出された周波数応答特性に基づいて変換する。階調処理部１１６は、周波数応答特性の変換処理が施された画像データの階調を、後述する階調導出部１４０で導出された階調特性に基づいて変換する。
【００２２】
圧縮処理部１１８は、ＪＰＥＧ圧縮方式に従い、階調特性の変換処理が施された画像データに対し、量子化テーブルに基づいて圧縮符号化処理を行い、圧縮符号化処理を施した画像データを、システム内部バス１２０を通じて画像メモリ１２２に送信する。ＪＰＥＧ圧縮方式は既存の技術であるので、ここではその詳細な説明を省略する。また、圧縮処理部１１８は、ＪＰＥＧ圧縮方式以外の様々な既存の静止画圧縮方式を採用することが可能である。
【００２３】
画像メモリ１２２は、ＳＲＡＭやＤＲＡＭ等のバッファで構成され、送信された画像データを一時的に保持する。データ制御部１２４は、画像メモリ１２２に一時的に保持されている画像データを、システム内部バス１２０を通じて画像記憶部１２６に転送して画像データを保持させたり、画像メモリ１２２に保持されている画像データに基づく画像を表示部１２８に表示させたりする。
【００２４】
画像記憶部１２６は、撮像装置１００と一体的に形成された、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、１または複数の画像データを保持する。また、画像記憶部１２６として、撮像装置１００から着脱可能な、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、磁気テープ、磁気ディスクといった磁気媒体、フラッシュメモリ、ポータブルＨＤＤ等の外部記憶媒体を適用してもよい。尚、ＨＤＤは正確には装置であるが、説明の便宜上本実施形態では他の記憶媒体と同義として扱う。表示部１２８は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。
【００２５】
現圧縮率導出部１３０は、圧縮処理部１１８によって圧縮符号化処理が施される前の画像データのデータ容量と、圧縮符号化処理が施された後の画像データのデータ容量を比較して、圧縮符号化処理における直近かつ現実の圧縮率である現圧縮率を導出する。また、導出された現圧縮率を現圧縮率保持部１３２に順次保持させる。現圧縮率保持部１３２は、現圧縮率導出部１３０が導出した現圧縮率を時間方向に連続して複数保持する。したがって、現圧縮率保持部１３２には、過去の複数回に渡る現圧縮率が保持されていることとなる。
【００２６】
次圧縮率予測部１３４は、現圧縮率保持部１３２に保持された、直近の現圧縮率を含む過去複数回に渡る現圧縮率を現圧縮率保持部１３２から取得し、その複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する。かかる次圧縮率の予測は、複数の現圧縮率の（１）平均値、（２）差分値、（３）変化率を用いて行う。以下、それぞれにおける次圧縮率の導出処理を詳述する。
【００２７】
図２〜４は、次圧縮率予測部１３４の動作を説明するための説明図である。特に図２は（１）平均値を用いる場合を、図３は（２）差分値を用いる場合を、図４は（３）変化率を用いる場合を示している。ここで、次圧縮率予測部１３４は、直近の現圧縮率と過去４回分の現圧縮率と合わせて５回分の現圧縮率１５０に基づいて次圧縮率１５２を予測している。ただし、次圧縮率予測部１３４で用いる現圧縮率１５０の数は、かかる５に限らず２以上であればよい。
【００２８】
図２のように平均値を用いる場合、次圧縮率予測部１３４は、以下の数式１を用いて、直近を含む５回分の現圧縮率１５０（図２中、ａ、ｂ、ｃ、ｄ、ｅ）の平均値ｆを求める。
【数１】
…（数式１）
こうして求められた平均値ｆが次圧縮率１５２となる。このように平均値を用いると、イレギュラーな画像が撮像された等、圧縮率に短時間に大きな変化があった場合であっても、その変化に安易に追従することなく、適切な次圧縮率１５２を導出することが可能となる。
【００２９】
また、図３のように差分値を用いる場合、次圧縮率予測部１３４は、以下の数式２に示すように、直近を含む５回分の現圧縮率１５０（図３中、ａ、ｂ、ｃ、ｄ、ｅ）のそれぞれ時間方向に隣接する現圧縮率１５０同士の差分値を求め（ｂ−ａ、ｃ−ｂ、ｄ−ｃ、ｅ−ｄ）、その平均値を直近の現圧縮率１５０（ここではｅ）に加算する。
【数２】
…（数式２）
こうして求められた、差分値を利用した値ｇが次圧縮率１５２となる。このように差分値を用いると、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な次圧縮率１５２を導出することが可能となる。
【００３０】
さらに、図４のように変化率を用いる場合、次圧縮率予測部１３４は、以下の数式３に示すように、直近を含む５回分の現圧縮率１５０（図４中、ａ、ｂ、ｃ、ｄ、ｅ）のそれぞれ時間方向に隣接する現圧縮率１５０同士の変化率を求め（ｂ／ａ、ｃ／ｂ、ｄ／ｃ、ｅ／ｄ）、その平均値を直近の現圧縮率１５０（ここではｅ）に乗算する。
【数３】
…（数式３）
こうして求められた、変化率を利用した値ｈが次圧縮率１５２となる。このように変化率を用いると、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な次圧縮率１５２を導出することが可能となる。
【００３１】
上述したように、次圧縮率予測部１３４で用いる現圧縮率１５０の数は２以上であれば足りるが、例えば、連続撮像開始時のように、現圧縮率１５０の数が予め定められた数に満たない場合、次圧縮率予測部１３４は、直近の現圧縮率１５０をそのまま次圧縮率１５２としたり、現圧縮率保持部１３２に保持している、予め定められた数に満たない現圧縮率１５０のみを反映して次圧縮率１５２を予測してもよい。
【００３２】
例えば、連続撮像における１枚目の画像データの撮像では１回前の現圧縮率１５０が存在しないため、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、それぞれ、予め準備されている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。なお、これらの、標準の周波数応答特性、階調特性、量子化テーブルは、ユーザーが外部操作によって設定した目標となる圧縮率に基づいて設定されるものである。そして、次圧縮率予測部１３４は、その変更処理および圧縮符号化処理による画像データの現圧縮率１５０をそのまま次圧縮率１５２とする。また、２枚目の画像データの撮像では、１回分の現圧縮率１５０しか保持されていないものの、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、その１回分の現圧縮率１５０による次圧縮率１５２から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。
【００３３】
同様に、現圧縮率１５０の数が予め定められた数に達するまで、次圧縮率予測部１３４は、現圧縮率保持部１３２に保持している、予め定められた数に満たない現圧縮率１５０を用いて次圧縮率を予測し、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、その次圧縮率１５２から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。このとき、データ制御部１２４は、生成された画像データのうち、現圧縮率１５０の数が予め定められた数に達するまでの画像データを画像記憶部１２６には記憶せず、予め定められた数に達した後に記憶し始めるとすることもできる。
【００３４】
ここでは、連続撮像における２枚目の画像データの撮像から予め定められた数に達するまで、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、現圧縮率保持部１３２に保持している現圧縮率１５０を用いた新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行うとしたが、かかる場合に限らず、１枚目同様、予め定められた数に達するまで予め準備さている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行ってもよい。
【００３５】
また、複数の現圧縮率１５０を取り出す時間的位置は、上述したように直近および過去の１または複数回に限られず、直近を除く過去の所定回とすることもできる。
【００３６】
さらに、次圧縮率予測部１３４は、上述した（１）予め定められた数の現圧縮率１５０を平均する処理、（２）現圧縮率１５０の時間方向に隣接する現圧縮率１５０の差分値の平均値を最新の現圧縮率１５０に加算する処理、（３）現圧縮率１５０の時間方向に隣接する現圧縮率１５０の変化率の平均値を最新の現圧縮率１５０に乗算する処理、の群から選択された２または３の処理を、現圧縮率１５０の変化態様（変化の向きやその大きさ）に応じて切り換え、次圧縮率１５２を予測するとしてもよい。
【００３７】
例えば、（１）予め定められた数の現圧縮率１５０を平均する処理と、（２）現圧縮率１５０の時間方向に隣接する現圧縮率１５０の差分値の平均値を最新の現圧縮率１５０に加算する処理とを切換可能に組み合わせたとする。次圧縮率予測部１３４は、現圧縮率１５０の変化態様を監視し、例えば、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合、（２）差分値を用いて次圧縮率１５２を予測し、イレギュラーな画像が撮像された等、圧縮率に短時間に大きな変化があった場合、（１）平均値を用いて次圧縮率１５２を予測する。このように現圧縮率１５０の変化態様に応じて、それぞれ次圧縮率の効果的な導出方法を用いることで、より高精度に圧縮符号化後の画像データのデータ容量を目標値に近づけることが可能となる。
【００３８】
続いて、画像データの圧縮率の補正について説明する。画像データの圧縮率の補正は、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８それぞれが、周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行うことで為される。したがって、（ａ）周波数応答特性、（ｂ）階調特性、（ｃ）量子化テーブルを補正することで結果的に画像データの圧縮率が相対的に変化し、連続撮像全時間を通じて現圧縮率１５０を目標圧縮率に近づけることができる。
【００３９】
ここで、目標圧縮率は、撮像者が設定した、または複数の選択肢（標準モードやファインモードといった撮像モード等）から選択した１の圧縮率である。また、目標圧縮率は、一度の連続撮像で記憶可能な総データ容量を連続撮像の枚数で除算した１枚当たりのデータ容量に基づいて決定されるとしてもよい。
【００４０】
周波数応答導出部１３６は、予測された次圧縮率１５２が目標圧縮率に近づくように、周波数応答保持部１３８に保持された前回の周波数応答特性と、次圧縮率予測部１３４が予測した次圧縮率１５２と、予め設定されている連続撮像における目標圧縮率とに基づいて、周波数応答処理部１１４が用いる周波数応答特性を導出する。
【００４１】
具体的に、周波数応答導出部１３６は、まず、次圧縮率予測部１３４が予測した次圧縮率１５２と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。例えば、周波数応答特性がＬＰＦ（Low Pass Filter）による周波数応答特性として表されている場合、周波数応答導出部１３６は、圧縮効果を下げるべきと判断すると、そのＬＰＦのカットオフ周波数ｆｃ（大凡３０〜４０ＭＨｚ程度）を上げ（通過帯域幅を拡げ）、圧縮効果を上げるべきと判断した場合、ＬＰＦのカットオフ周波数ｆｃを下げる（通過帯域幅を狭める）。
【００４２】
図５は、周波数応答特性による圧縮率の補正を説明するための説明図である。図５では、横軸は周波数、縦軸は周波数に対する応答（レスポンス）を示す。上記のように、周波数応答特性がＬＰＦによる周波数応答特性として表されている場合、周波数応答導出部１３６は、図５（ａ）に示されたような、前回導出された周波数応答特性を周波数応答保持部１３８から取得し（前回のＬＰＦのカットオフ周波数ｆｃを取得し）、圧縮効果を下げるべきと判断した場合、図５（ｂ）に示すように、前回のＬＰＦのカットオフ周波数ｆｃを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される周波数分だけ上げる。また、周波数応答導出部１３６は、圧縮効果を上げるべきと判断した場合、図５（ｃ）に示すように、前回のＬＰＦのカットオフ周波数ｆｃを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される周波数分だけ下げる。
【００４３】
ここで、圧縮率の補正に周波数応答特性を用いたのは以下の理由による。即ち、画像データでは、高周波成分が多いほど、画像データのデータ容量が大きくなり、その分、圧縮効果を上げなければならない。圧縮率を目標圧縮率に近づけるためには、圧縮符号化処理が施される前の段階で画像データから高周波成分を除けばよいことになる。そこで、本実施形態では、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して周波数応答特性の帯域幅を拡げ、逆に、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して周波数応答特性の帯域幅を狭めている。
【００４４】
また、上記では、周波数応答特性の帯域幅を、次圧縮率１５２と目標圧縮率との差分値に応じて変化させ、その都度、周波数応答特性を求める例を挙げたが、かかる場合に限られず、例えば、予め定められた複数の周波数応答特性（例えば、予め定められた複数のカットオフ周波数ｆｃ）と、次圧縮率１５２と目標圧縮率との差分値と複数の周波数応答特性とを対応させた周波数応答テーブルとを準備しておき、次圧縮率１５２と目標圧縮率との差分値に基づいて、適切な１の周波数応答特性を選択する構成としてもよい。かかる構成によって、周波数応答導出部１３６の処理負荷を削減でき、また、周波数応答特性が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
【００４５】
周波数応答導出部１３６は、このようにして求められた新たな周波数応答特性を周波数応答処理部１１４に送信し、周波数応答処理部１１４は、かかる新たな周波数応答特性に基づいて画像データを変換する。また、周波数応答導出部１３６は、導出された周波数応答特性を周波数応答保持部１３８の周波数応答特性に上書きして次回の処理に備える。
【００４６】
階調導出部１４０は、予測された次圧縮率１５２が目標圧縮率に近づくように、階調保持部１４２に保持された前回の階調特性と、次圧縮率予測部１３４が予測した次圧縮率１５２と、予め設定されている連続撮像における目標圧縮率とに基づいて、階調処理部１１６が用いる階調特性を導出する。
【００４７】
具体的に、階調導出部１４０は、まず、次圧縮率予測部１３４が予測した次圧縮率１５２と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。そして、階調導出部１４０は、圧縮効果を下げるべきと判断した場合、例えば、階調特性である階調変換曲線（ここでは直線）の全体的な傾きを大きくし、圧縮効果を上げるべきと判断した場合、階調変換曲線の全体的な傾きを小さくする。
【００４８】
図６は、階調特性による圧縮率の補正を説明するための説明図である。図６では、横軸は階調処理部１１６に入力された画像データの階調値を、縦軸は階調処理部１１６から出力される画像データの階調値を示す。階調導出部１４０は、図６（ａ）に示されたような、前回導出された階調特性を階調保持部１４２から取得し（前回の階調変換曲線１６０の傾き（ここでは例えば傾き１）を取得し）、圧縮効果を下げるべきと判断した場合、図６（ｂ）に示すように、前回の階調変換曲線１６０の傾きを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ上げる。また、階調導出部１４０は、圧縮効果を上げるべきと判断した場合、図６（ｃ）に示すように、前回の階調変換曲線１６０の傾きを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ下げる。ただし、図６（ａ）〜（ｃ）のように、入力された階調値が０．５であった場合、出力される階調値も０．５となるように、階調変換曲線１６０のオフセットが調整される。
【００４９】
ここで、圧縮率の補正に階調特性を用いたのは以下の理由による。即ち、画像データでは、階調値がとりうる範囲が大きいほどコントラストが大きくなり、それに伴って画像データのデータ容量が大きくなるので、その分、圧縮効果を上げなければならない。圧縮率を目標圧縮率に近づけるためには、圧縮符号化処理が施される前の段階で画像データの階調値のコントラストを変えればよい。そこで、本実施形態では、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して階調特性である階調変換曲線１６０の傾きを上げてコントラストを大きくし、逆に、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して階調変換曲線１６０の傾きを下げてコントラストを小さくしている。
【００５０】
ここでは、階調特性である階調変換曲線１６０が直線（１次の曲線）となる例を挙げて説明したが、階調変換曲線１６０は直線に限られず、折線や２次以上の漸増曲線で構成することもできる。この場合、階調導出部１４０は、階調変換曲線１６０の近似直線の傾きが大きく、または小さくなるように階調変換曲線１６０を変化させるとしてもよい。また、階調値として、８ｂｉｔ入力、８ｂｉｔ出力の例を示したが、別のｂｉｔ値でもよい。
【００５１】
また、上記では、階調特性である階調変換曲線１６０の傾きを、次圧縮率１５２と目標圧縮率との差分値に応じて変化させ、その都度、階調特性を求める例を挙げたが、かかる場合に限られず、予め定められた複数の階調特性（例えば、予め定められた複数の階調変換曲線１６０の傾き）と、次圧縮率１５２と目標圧縮率との差分値と複数の階調変換曲線１６０の傾きとを対応させた階調テーブルとを準備しておき、次圧縮率１５２と目標圧縮率との差分値に基づいて、適切な１の階調変換曲線１６０の傾きを選択する構成としてもよい。かかる構成によって、階調導出部１４０の処理負荷を削減でき、また、階調特性が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
【００５２】
階調導出部１４０は、このようにして求められた新たな階調特性（階調変換曲線１６０の傾き）を階調処理部１１６に送信し、階調処理部１１６は、かかる新たな階調特性に基づいて画像データを変換する。また、階調導出部１４０は、導出された階調特性を階調保持部１４２の階調特性に上書きして次回の処理に備える。
【００５３】
量子化テーブル導出部１４４は、予測された次圧縮率１５２が目標圧縮率に近づくように、量子化テーブル保持部１４６に保持された前回の量子化テーブルと、次圧縮率予測部１３４が予測した次圧縮率１５２と、予め設定されている連続撮像における目標圧縮率とに基づいて、圧縮処理部１１８が用いる量子化テーブルを導出する。ここで、量子化テーブルは、ＪＰＥＧにおける離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）後の画像データの、比較的高い周波数成分を省略するために、その画像データを除算する係数をそれぞれ異ならせて配した表を言い、例えば、画像ブロックが８画素×８画素で表される場合、同じく８×８の係数が配された表となる。
【００５４】
具体的に、量子化テーブル導出部１４４は、まず、次圧縮率予測部１３４が予測した次圧縮率１５２と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。そして、量子化テーブル導出部１４４は、圧縮効果を下げるべきと判断した場合、例えば、量子化テーブルの各係数を比較的小さい（除数が小さい）値にし、圧縮効果を上げるべきと判断した場合、量子化テーブルの各係数を比較的大きい（除数が大きい）値にする。
【００５５】
図７は、量子化テーブル１７０による圧縮率の補正を説明するための説明図である。図７では、量子化テーブル１７０が画像ブロックに合わせて８×８の係数の配列によって表されている。また、量子化テーブル１７０は、図７中、左上に向かって画像ブロックの低周波数成分に対応した係数となり、右下に向かって画像ブロックの高周波数成分に対応した係数となっている。量子化テーブル導出部１４４は、図７（ａ）に示されたような、前回導出した量子化テーブル１７０を量子化テーブル保持部１４６から取得し、圧縮効果を下げるべきと判断した場合、図７（ｂ）に示すように、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ、例えば、各係数に０．５を乗算して、各係数を小さくする。また、量子化テーブル導出部１４４は、圧縮効果を上げるべきと判断した場合、図７（ｃ）に示すように、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ、例えば、各係数に２を乗算して、各係数を大きくする。
【００５６】
ここで、圧縮率の補正に量子化テーブル１７０を用いたのは以下の理由による。即ち、画像データでは、量子化テーブル１７０の各係数が大きいほど圧縮効果が大きくなり、量子化テーブル１７０の各係数が小さいほど圧縮効果が小さくなる。具体的に説明すると、例えば、圧縮前の画像データのデータ容量をＳ、圧縮後の画像データの予測データ容量をＳａ、目標とする画像データのデータ容量をＳｂ、１回前に用いた量子化テーブル１７０の各係数をＱｏｒｇｉ,ｊ（ｉ，ｊは整数）とすると、求める量子化テーブル１７０の係数Ｑｉ,ｊ（ｉ，ｊは整数）は数式４を用いて求められる。
【数４】
…（数式４）
ここでＳａ／Ｓは次圧縮率１５２を示し、Ｓｂ／Ｓは目標圧縮率を示す。
【００５７】
例えば、図７（ａ）に示した量子化テーブル１７０を用いた場合に現圧縮率１５０が２０％となったとすると、図７（ａ）の量子化テーブル１７０の係数を０．５で乗算した図７（ｂ）の量子化テーブル１７０は、現圧縮率が４０％となる。また、同様に、図７（ａ）の量子化テーブル１７０の係数を２で乗算した図７（ｂ）の量子化テーブル１７０は、現圧縮率が１０％となる。かかる圧縮符号化処理は一例であり、圧縮率は基となる画像データの内容によって変化するが、量子化テーブル１７０の係数の比に対する圧縮率の変化量はほぼ反比例の関係となる。
【００５８】
そこで、本実施形態では、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して量子化テーブル１７０の係数を下げ、逆に、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して量子化テーブル１７０の係数を上げる。
【００５９】
また、上記では、量子化テーブル１７０を、次圧縮率１５２と目標圧縮率との差分値に応じて変化させ、その都度、量子化テーブル１７０を求める例を挙げたが、かかる場合に限られず、例えば、予め定められた複数の量子化テーブル１７０（例えば、図７（ａ）、（ｂ）、（ｃ）等）と、次圧縮率１５２と目標圧縮率との差分値と複数の量子化テーブル１７０とを対応させた量子化対応テーブルとを準備しておき、次圧縮率１５２と目標圧縮率との差分値に基づいて、適切な１の量子化テーブル１７０を選択する構成としてもよい。かかる構成によって、量子化テーブル導出部１４４の処理負荷を削減でき、また、量子化テーブル１７０が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
【００６０】
量子化テーブル導出部１４４は、このようにして求められた新たな量子化テーブル１７０を圧縮処理部１１８に送信し、圧縮処理部１１８は、かかる新たな量子化テーブル１７０に基づいて画像データに圧縮符号化処理を施す。また、量子化テーブル導出部１４４は、導出された量子化テーブル１７０を量子化テーブル保持部１４６の量子化テーブル１７０に上書きして次回の処理に備える。
【００６１】
また、ここでは、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８の全てで圧縮率の補正を行う例を挙げたが、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８のうち選択された１または２の機能部のみで圧縮率の補正を行うことも可能である。このとき、採用する機能部を、圧縮率の影響度を踏まえて、圧縮処理部１１８、周波数応答処理部１１４、階調処理部１１６の順に優先して採用するとしてもよい。
【００６２】
例えば、圧縮処理部１１８は、量子化テーブルを用いた圧縮符号化処理を直接行っているので、圧縮率を制御し易く、周波数応答処理部１１４は、既存のＬＰＦを本実施形態の周波数応答特性の変換に用いることで部品点数を少なくでき、階調処理部１１６は、既存の増幅回路やガンマ補正回路を階調特性の変換に用いることで部品点数を少なくすることができる。また、いずれか１の機能部または２つの組み合わせで圧縮率の補正を行う場合、他の機能部の補正要素は固定する。
【００６３】
図８は、撮像装置１００の他の例を示した機能ブロック図である。上述した撮像装置１００では、階調処理部１１６から出力された画像データを圧縮処理部１１８が直接圧縮符号化処理しているが、階調処理部１１６が、階調特性の変換処理を施した画像データを、システム内部バス１２０を通じて画像メモリ１２２に一旦保持させてもよい。この場合、連続撮像された画像データが画像メモリ１２２に蓄積される途中、または、蓄積された後、圧縮処理部１１８は、画像メモリ１２２から画像データを取得し、量子化テーブルに基づいて圧縮符号化処理を行い、また、システム内部バス１２０を通じて画像メモリ１２２に送信する。このような圧縮処理部１１８が画像データを画像メモリ１２２に一旦保持させる構成は後述する第２の実施形態でも用いることができる。
【００６４】
ここでは、画像データの生成と圧縮符号化処理とを独立させ、連続撮像時には画像データの生成のみを行い時間短縮を図ると共に、連続撮像時以外の時間を利用して圧縮符号化処理を行うことで時間効率を高めている。本実施形態では、圧縮符号化処理時に画像メモリ１２２から迅速に画像データを取得することができ、早期に画像メモリ１２２内の画像データを削除することが可能なので、高精度かつ高速に圧縮符号化を行うことが可能である。
【００６５】
また、本実施形態の単写撮像では、画像データの生成に関して連続撮像が実行され、データ制御部１２４が、圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ画像記憶部１２６に記憶する。当該単写撮像の処理は、後述する第２の実施形態でも用いることができる。かかる構成により、連続撮像による圧縮率の補正処理を単写撮像においても利用することができ、単写撮像における画像データのデータ容量を所望のデータ容量に近づけることが可能となる。
【００６６】
また、コンピュータによって撮像装置１００として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００６７】
（撮像方法）
次に、上述した撮像装置１００を用いて、連続撮像（連写）した画像に圧縮符号化処理を施して記憶する撮像方法にについて説明する。
【００６８】
図９は、第１の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。撮像者による連続撮像を実行する際、撮像装置１００の撮像部１０４は、連続撮像により時間方向に連続する複数の画像データを生成し（Ｓ２０２）、Ｙ／Ｃ処理部１１２は、画像データを輝度データ(Ｙ)と色データ(Ｃ)に分離、変換する処理を行う（Ｓ２０４）。続いて、周波数応答処理部１１４は、Ｙ／Ｃ処理部１１２を通じた画像データの周波数領域の特性を、後述する周波数応答導出部１３６で導出された周波数応答特性に基づいて変換し（Ｓ２０６）、階調処理部１１６は、周波数応答特性の変換処理が施された画像データの階調を、後述する階調導出部１４０で導出された階調特性に基づいて変換し（Ｓ２０８）、圧縮処理部１１８は、階調特性の変換処理が施された画像データに対し、量子化テーブルに基づいて圧縮符号化処理を行い、システム内部バス１２０を通じて画像メモリ１２２に送信する（Ｓ２１０）。
【００６９】
現圧縮率導出部１３０は、圧縮処理部１１８によって圧縮符号化処理が施される前の画像データのデータ容量と、圧縮符号化処理が施された後の画像データのデータ容量を比較して、圧縮符号化処理における直近かつ現実の圧縮率である現圧縮率１５０を導出し（Ｓ２１２）、導出された現圧縮率１５０を現圧縮率保持部１３２に保持させる（Ｓ２１４）。そして、次圧縮率予測部１３４は、現圧縮率保持部１３２に保持された、直近の現圧縮率を含む過去複数回に渡る現圧縮率を取得し、その複数の現圧縮率から次回の圧縮率である次圧縮率を予測する（Ｓ２１６）。かかる次圧縮率の予測は、複数の現圧縮率の（１）平均値、（２）差分値、（３）変化率のいずれかを用いて行う。
【００７０】
また、連続撮像における１枚目の画像データ撮像では１回前の現圧縮率が存在しないため、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、それぞれ、予め準備されている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。そして、次圧縮率予測部１３４は、その変更処理および圧縮符号化処理による現圧縮率１５０を次圧縮率１５２とする。また、２枚目の画像データの撮像では、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、その１回分の現圧縮率１５０による次圧縮率１５２から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。
【００７１】
周波数応答導出部１３６は、周波数応答保持部１３８に保持された前回の周波数応答特性と次圧縮率１５２と目標圧縮率とに基づいて、周波数応答処理部１１４が用いる周波数応答特性を導出する（Ｓ２１８）。階調導出部１４０は、階調保持部１４２に保持された前回の階調特性と次圧縮率１５２と目標圧縮率とに基づいて、階調処理部１１６が用いる階調特性を導出する（Ｓ２２０）。量子化テーブル導出部１４４は、量子化テーブル保持部１４６に保持された前回の量子化テーブルと次圧縮率１５２と目標圧縮率とに基づいて、圧縮処理部１１８が用いる量子化テーブルを導出する（Ｓ２２２）。ここで、周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４は、それぞれ、周波数応答テーブル、階調テーブル、量子化対応テーブルを用いて、周波数応答特性、階調特性、量子化テーブルを選択するとしてもよい。最後に、データ制御部１２４は、画像メモリ１２２に保持されている圧縮符号化処理された画像データを、システム内部バス１２０を通じて画像記憶部１２６に転送し、画像データを保持させる（Ｓ２２４）。
【００７２】
従来の圧縮符号化処理を繰り返し行う方法では圧縮符号化に長時間を要し、また、圧縮符号化処理を繰り返すことなく実行する技術もあったが、直前の画像データの圧縮率のみを用いて次回の圧縮符号化のためのパラメータを決定していたので、予測精度が低かった。本実施形態の撮像装置１００や撮像方法では、直前の複数の画像データの現圧縮率１５０から次圧縮率１５２を予測しているので、連続撮像という短時間の画像の時間方向の変化を適切に把握することができ、より高精度に現圧縮率を目標圧縮率に近づけることが可能となる。特に、本実施形態では圧縮符号化の高速化に従い、撮像間隔も短縮されるので、より類似した画像データに基づいて圧縮率を適切に予測することができる。したがって、イレギュラーな画像が撮像されたり、画像間の移動量が大きい（フォーカス、ズーム、パン・チルト動作時等）場合であっても、圧縮率が極端に外れた値になることもなく、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能となる。
【００７３】
（第２の実施形態）
第１の実施形態で説明した撮像装置１００では、直前の複数の画像データの現圧縮率から次圧縮率を予測することで、圧縮符号化処理を高精度かつ高速に行うことが可能となった。ただし、撮像装置１００では、記憶対象となる画像データの圧縮率を予測するために、過去に渡る複数の画像データの現圧縮率１５０を参照しているため、適切な圧縮率の画像データを記憶するまでには、複数の画像データを生成する分だけの撮像時間を要することとなる。
【００７４】
例えば、画像データの記憶を目的とした（画像記憶部１２６に画像データを記憶する、または、画像記憶部１２６に記憶するために少なくとも画像メモリ１２２に画像データを残す）速度である撮像記憶速度が６０枚／ｓｅｃであった場合、記憶する画像データの圧縮率を予測するのに、直近の画像データと１回前の画像データとの２枚分の画像データを得るため、最低でも１／６０×２＝１／３０秒必要となる。このため、撮像を行う場合の起動に時間がかかってしまい、撮影のタイミングを逃してしまう可能性がある。
【００７５】
そこで、第２の実施形態では、第１の実施形態における撮像装置１００を前提に、連続撮像時の画像データの生成速度を制御することで、圧縮符号化処理を高精度に行うと共に、短時間で画像データの記憶を開始することを目的とする。
【００７６】
（撮像装置３００）
図１０は、第２の実施形態にかかる撮像装置３００の概略的な構成を示した機能ブロック図である。撮像装置３００は、撮像部１０４と、同期信号発生部３０６と、タイミング発生部３０８と、リリーススイッチ１１０と、Ｙ／Ｃ処理部１１２と、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８と、システム内部バス１２０と、画像メモリ１２２と、データ制御部１２４と、画像記憶部１２６と、表示部１２８と、現圧縮率導出部１３０と、現圧縮率保持部１３２と、次圧縮率予測部１３４と、周波数応答導出部１３６と、周波数応答保持部１３８と、階調導出部１４０と、階調保持部１４２と、量子化テーブル導出部１４４と、量子化テーブル保持部１４６とを含んで構成される。ここで、同期信号発生部３０６と、タイミング発生部３０８とは、画像データの生成速度を管理する生成速度管理部として機能する。
【００７７】
第１の実施形態における構成要素として既に述べた撮像部１０４と、リリーススイッチ１１０と、Ｙ／Ｃ処理部１１２と、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８と、システム内部バス１２０と、画像メモリ１２２と、データ制御部１２４と、画像記憶部１２６と、表示部１２８と、現圧縮率導出部１３０と、現圧縮率保持部１３２と、次圧縮率予測部１３４と、周波数応答導出部１３６と、周波数応答保持部１３８と、階調導出部１４０と、階調保持部１４２と、量子化テーブル導出部１４４と、量子化テーブル保持部１４６とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する同期信号発生部３０６とタイミング発生部３０８とを挙げ、特に、画像データの生成速度を変化させる構成について説明する。ただし、第１の実施形態では、次圧縮率を求めるために要する現圧縮率を複数としたが、第２の実施形態では、直近の現圧縮率のみによって次圧縮率を求めてもよい。
【００７８】
同期信号発生部３０６は、生成される画像データの水平サイズと垂直サイズに対応させて、水平同期信号と垂直同期信号を生成し、タイミング発生部３０８に送信する。タイミング発生部３０８は、同期信号発生部３０６で生成された水平同期信号と垂直同期信号に基づいて撮像部１０４の撮像素子のクロックタイミングを変化させる制御信号を生成する。撮像部１０４の撮像素子は、外部から光信号を受光すると、クロックタイミングに同期して画像信号（画像データ）を出力する。本実施形態では、撮像部１０４による撮像データの生成速度を制御することを目的の１つとしているので、同期信号発生部３０６は、画像データの生成速度を高くするために水平同期信号および垂直同期信号の発生周期を短くし、一方、画像データの生成速度を低くするために水平同期信号および垂直同期信号の発生周期を長くする。ここで、画像データの生成速度の制御方法に関して触れておく。
【００７９】
画像データの生成速度の制御方法に関し、所定のクロックで撮像部１０４を駆動した場合、撮像素子の１系統の出力バスから単位時間に読み出せる画像データのデータ容量の上限は決まっている。このため、一般的には、画像データの生成速度が高くなるほど、生成された画像データのデータ容量は小さくなり、画像データの生成速度が低くなるほど、画像データのデータ容量は大きくなる。これは、所謂画素混合を用いた手法であり、例えば、特開２００６−２１７３５５号公報等に具体的な実現方法が示されている。また、特開平１０−１９１１８４号公報のように、複数系統の出力バスを設け、複数系統の出力バスから同一のタイミングで同時に画像データを得ることにより、画像データの生成速度が高い場合であってもデータ容量の大きい画像データを得ることができる。
【００８０】
したがって、上述した複数系統の出力バスを設ける技術では、１系統の出力バスを設けた場合と異なり、画像データの生成速度が高速になっても画像データのデータ容量が小さくならない。即ち、画像データのデータ容量が画像データの生成速度に依存しないので、常に画像データの生成速度を高く設定しておくことも可能である。ただし、画像データの生成速度が高いと、その分、電力を消費してしまうため、画像データの生成速度は、そのときの撮像状況に応じて適宜切り換えるのが望ましい。本実施形態では、複数系統の出力バスを設ける技術を用い、画像データの生成速度が切り換わった場合であっても画像データのデータ容量が等しいことを前提とする。
【００８１】
同期信号発生部３０６は、撮像部１０４の画像データの生成速度を、任意のトリガに応じて、画像データの記憶を目的とした撮像記憶速度より一旦高くし、任意のトリガ以降の所定のタイミングで、撮像記憶速度に切り換える。ここで、任意のトリガは、画像データを記憶するための準備処理である。撮像者は、撮像（記憶）を開始する前段の準備処理として、例えば、リリーススイッチ１１０を半押しし、撮像部１０４のオートフォーカスを機能させる。このとき撮像部１０４は、フォーカスレンズを移動することで被写体に焦点を合わせると共に、画像データの生成速度を撮像記憶速度より高くする。撮像装置３００では、高い生成速度で生成された画像データを用いて迅速に次圧縮率１５２を予測する。そして、半押し以降の所定のタイミングで、撮像者が、リリーススイッチ１１０を全押しすると、連続撮像、および、生成された画像データの記憶が開始される。
【００８２】
前段の準備処理は、上記オートフォーカス機能の開始操作に限らず、被写体のスマイル検知の開始操作であったり、所定の画像範囲内の映像の変化の検知開始操作であったり、画像データの画像メモリ１２２への記憶タイミングにタイマを用いるオートタイマの設定操作であってもよい。
【００８３】
そして、予め定められた数の現圧縮率１５０が保持され、次圧縮率が適切に予測されるようになったら、画像データの生成速度を撮像記憶速度に戻して、画像メモリ１２２への記憶が開始される。
【００８４】
図１１は、画像データの生成速度の変化を説明するためのタイミングチャートである。図１１においては、撮像状態として、例えば、画像データの記憶を目的とした記憶状態と、その前段で、主として画像データの圧縮符号化のため次圧縮率１５２を予測する予測状態と、さらにその前段で、生成された画像データを閲覧させるため主として画像データを表示部１２８に表示させる表示状態との３つの状態遷移を示している。
【００８５】
同期信号発生部３０６は、任意のトリガがあるまでの表示状態において、画像データの生成速度を、撮像記憶速度と等しい６０枚／ｓｅｃ（周期１／６０ｓｅｃ）とし、データ制御部１２４は、生成した画像データを表示部１２８に表示させている。
【００８６】
ここで、撮像者によるリリーススイッチ１１０の操作を通じて、画像データを記憶するための準備処理である任意のトリガ（例えば、オートフォーカス機能の開始操作）を受けると、撮像状態は、表示状態から予測状態に遷移し、同期信号発生部３０６は、垂直同期信号ＶＤ１を制御し、画像データの生成速度を、撮像記憶速度より高い、例えば、２４０枚／ｓｅｃ（周期１／２４０ｓｅｃ）に切り換える（６０枚／ｓｅｃ→２４０枚／ｓｅｃ）。
【００８７】
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ１１０の操作を通じた新たなトリガ（例えば、全押し操作）を得ると、撮像状態は、予測状態から記憶状態に遷移し、同期信号発生部３０６が、垂直同期信号ＶＤ１を制御することで画像データの生成速度を、撮像記憶速度に切り換える（２４０枚／ｓｅｃ→６０枚／ｓｅｃ）。そして、データ制御部１２４は、画像メモリ１２２に保持された画像データの画像記憶部１２６への記憶を開始する。ここでは、予測状態において次圧縮率１５２を予測するのに十分な現圧縮率１５０が取得されているので、記憶状態では、適切な圧縮率で画像データの圧縮符号化が行われる。
【００８８】
図１１をさらに具体的に説明すると、撮像装置３００は、任意のトリガを受けると、撮像状態を予測状態に遷移し、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は画像データの圧縮率の補正を開始し、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、その圧縮率の補正に必要な補正要素を導出し始める。そして、予測状態の１回目の垂直同期信号ＶＤ１で現圧縮率保持部１３２に現圧縮率１５０が保持される。
【００８９】
例えば、次圧縮率１５２を予測するための現圧縮率１５０の数を４とした場合、予測状態は、垂直同期信号ＶＤ１の４クロック分継続する。そして、現圧縮率保持部１３２に現圧縮率１５０が４つ保持されると、撮像状態は予測状態から記憶状態に遷移する。
【００９０】
このとき、次圧縮率予測部１３４は、予測状態で蓄積された４つの現圧縮率１５０の平均値等により、次圧縮率１５２を適切に予測することができるので、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、記憶状態における、垂直同期信号ＶＤ１の１クロック目から、その次圧縮率１５２と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮符号化された画像データは、例えば、データ制御部１２４によって画像記憶部１２６に記憶される。
【００９１】
記憶状態における垂直同期信号ＶＤ１の２クロック目では、次圧縮率予測部１３４は、予測状態における直前に取得された３つの現圧縮率１５０と、記憶状態における１回目の画像データの現圧縮率１５０との平均値等により次圧縮率を予測する。したがって、２４０枚／ｓｅｃで生成した３枚の画像データと６０枚／ｓｅｃで生成した１枚の画像データとの圧縮率を参照していることとなる。
【００９２】
本実施形態では、同期信号発生部３０６およびタイミング発生部３０８を用いて、撮像部１０４の画像データの生成速度と、データ制御部１２４の画像データの画像記憶部１２６への記憶速度とを合わせることで連続撮像をスムーズに行うことが可能となる。
【００９３】
連続撮像において記憶する画像データの枚数の上限を例えば２枚に設定している場合、データ制御部１２４が画像記憶部１２６に画像データを２枚記憶したことに応じて、撮像状態は、記憶状態から表示状態に自動的に遷移する。ただし、図１１の例では、画像データの生成速度は、撮像記憶速度（６０枚／ｓｅｃ）に維持される。ここでは、連続撮像において記憶する画像データの枚数の上限を２枚としたが、１枚や３枚以上とすることも勿論可能である。また、本実施形態では、次圧縮率１５２の予測を行うための現圧縮率１５０の数を４としたが、現圧縮率１５０の数は１以上であればよい。
【００９４】
ところで、本実施形態では、画像データの生成速度を切り換えても画像データのデータ容量は変わらないことを前提としたが、切換前後で画像データのデータ容量が変わる場合、画素混合等を用いているため、撮像部１０４で生成された画像データの高周波成分が、その前に生成された画像データの高周波成分と異なってしまう可能性がある。したがって、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、補正要素を導出するパラメータとして、画像データの生成速度の切り換えによる高周波成分の低減を加味する必要がある。
【００９５】
上述した画像データの生成速度の切り換えによって、圧縮符号化は以下のように動作する。即ち、画像データの画像メモリ１２２への記憶が開始される前の現圧縮率１５０の蓄積を高速（撮像記憶速度より高い速度）で行い、短時間で適切な次圧縮率を予測し、それ以降は、撮像記憶速度で圧縮率の補正を継続する。画像データの生成間隔が短いと、次圧縮率１５２の予測に必要な時間が短くなるのみならず、連続する画像データが近似した画像となり、次圧縮率１５２の予測精度も向上する。
【００９６】
また、同期信号発生部３０６は、任意のトリガがあるまでと、最後に圧縮符号化された画像データを画像記憶部に記憶した以降の、撮像部１０４の画像データの生成速度を、撮像記憶速度より低くしてもよい。
【００９７】
図１２は、画像データの生成速度の変化の他の例を説明するためのタイミングチャートである。図１２においても、撮像状態として、記憶状態と、予測状態と、表示状態との３つの状態遷移が示される。図１２では、画像データの生成、圧縮符号化、および画像データの画像記憶部１２６への記憶を行うための垂直同期信号ＶＤ１が示されている。垂直同期信号ＶＤ１は撮像状態に応じて変化する。
【００９８】
同期信号発生部３０６は、任意のトリガがあるまでの表示状態において、画像データの生成速度を、撮像記憶速度である６０枚／ｓｅｃ（周期１／６０ｓｅｃ）より低い３０枚／ｓｅｃ（周期１／３０ｓｅｃ）とし、データ制御部１２４は、生成した画像データを表示部１２８に表示させている。ここでは、画像データの記憶に影響のない表示状態における画像データの生成速度を下げることで、消費電力や発熱を低減している。ただし、画像データの生成速度を下げすぎると、表示部１２８が、撮像者が所望する画像データの閲覧機能を果たせなくなる可能性があるので、本実施形態では、画像データの生成速度を３０枚／ｓｅｃとしている。
【００９９】
ここで、撮像者によるリリーススイッチ１１０の操作を通じて、画像データを記憶するための準備処理である任意のトリガ（例えば、オートフォーカス機能の開始操作）を受けると、撮像状態は、表示状態から予測状態に遷移し、同期信号発生部３０６は、垂直同期信号ＶＤ１を制御し、画像データの生成速度を、撮像記憶速度より高い、例えば、２４０枚／ｓｅｃ（周期１／２４０ｓｅｃ）に切り換える（３０枚／ｓｅｃ→２４０枚／ｓｅｃ）。
【０１００】
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ１１０の操作を通じた新たなトリガ（例えば、全押し操作）を得ると、撮像状態は、予測状態から記憶状態に遷移し、同期信号発生部３０６が、垂直同期信号ＶＤ１を制御することで画像データの生成速度を、撮像記憶速度に切り換える（２４０枚／ｓｅｃ→６０枚／ｓｅｃ）。データ制御部１２４は、撮像記憶速度に切り換えた垂直同期信号ＶＤ１に基づいて、画像メモリ１２２に保持された画像データの画像記憶部１２６への記憶を開始する。ここでは、予測状態において次圧縮率１５２を予測するのに十分な現圧縮率１５０が取得されているので、記憶状態では、適切な圧縮率で画像データの圧縮符号化が行われる。
【０１０１】
ここで、撮像状態が記憶状態となると、同期信号発生部３０６とタイミング発生部３０８とが、画像データの生成速度が撮像記憶速度となるように垂直同期信号ＶＤ１を制御し、圧縮処理部１１８は、データ制御部１２４による画像データの記憶タイミングに合わせて圧縮符号化した画像データを画像メモリ１２２に送信している。したがって、画像データの生成から記憶までを効率的に実行でき、ひいては圧縮符号化の全体的な時間短縮を実現することができる。
【０１０２】
図１２をさらに具体的に説明すると、撮像装置３００は、任意のトリガを受けるまで、消費電力や発熱を低減すべく、３０枚／ｓｅｃで表示部１２８に画像データを表示している。任意のトリガを受けると、撮像装置３００の撮像状態は予測状態となり、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は画像データの圧縮率の補正を開始し、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、その圧縮率の補正に必要な補正要素を導出し始める。そして、予測状態の１回目の垂直同期信号ＶＤ１で現圧縮率保持部１３２に現圧縮率１５０が保持される。
【０１０３】
例えば、図１１同様、次圧縮率１５２を予測するための現圧縮率１５０の数を４とした場合、予測状態は、垂直同期信号ＶＤ１の４クロック分継続する。そして、現圧縮率保持部１３２に現圧縮率１５０が４つ保持されると、撮像状態が予測状態から記憶状態に遷移する。
【０１０４】
このとき、次圧縮率予測部１３４は、予測状態で蓄積された４つの現圧縮率１５０の平均値等により、次圧縮率１５２を適切に予測することができるので、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、記憶状態における、垂直同期信号ＶＤ１の１クロック目から、その次圧縮率１５２と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮符号化された画像データは、例えば、データ制御部１２４によって画像記憶部１２６に記憶される。
【０１０５】
記憶状態における垂直同期信号ＶＤ１の２クロック目では、次圧縮率予測部１３４は、予測状態における直前に取得された３つの現圧縮率１５０と、記憶状態における１回目の画像データの現圧縮率１５０との平均値等により次圧縮率を予測する。したがって、２４０枚／ｓｅｃで生成した３枚の画像データと６０枚／ｓｅｃで生成した１枚の画像データとの圧縮率を参照していることとなる。
【０１０６】
図１２の状態遷移を、撮像者の視点で説明すると、何らの操作を行っていないときの撮像状態が表示状態であり、撮像者は、表示部１２８を通じて、画像データを生成した場合の被写体の位置や大きさを確認することができる。このときの画像データの生成速度は、表示部１２８における画像データの更新速度が撮像者に許容できる範囲で低い値（例えば、３０枚／ｓｅｃ）に設定されている。
【０１０７】
そして、撮像者がリリーススイッチ１１０を半押しすると、撮像装置３００は、オートフォーカス機能を遂行し被写体に焦点を合わせると共に、撮像状態を予測状態に遷移し、画像データの生成速度が高い状態（例えば、２４０枚／ｓｅｃ）で圧縮符号化処理における次圧縮率１５２の予測を開始する。続いて、撮像者がリリーススイッチ１１０を全押しすると、撮像装置３００は、撮像状態を記憶状態に遷移し、画像データの生成速度を画像データの撮像記憶速度（６０枚／ｓｅｃ）に切り換え、連続撮像された画像データを記憶する。そして、撮像者がリリーススイッチ１１０を開放すると、撮像装置３００は、画像データの生成速度を低い値（例えば、３０枚／ｓｅｃ）に戻す。
【０１０８】
このように撮像者は、リリーススイッチ１１０等を操作することで、撮像および記憶タイミングを任意に決めることができ、本実施形態による高精度かつ高速な圧縮符号化処理の恩恵を受けつつ、所望する画像データを所望するタイミングで生成することが可能となる。
【０１０９】
また、コンピュータによって撮像装置３００として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【０１１０】
（撮像方法）
次に、上述した撮像装置３００を用いて、連続撮像（連写）した画像に圧縮符号化処理を施して記憶する撮像方法にについて説明する。
【０１１１】
図１３は、第２の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。ここでも、第１の実施形態における撮像方法で既に述べた処理（Ｓ２０２〜Ｓ２２４）は、実質的に処理が同一なので重複説明を省略する。
【０１１２】
当該撮像方法においては、まず、撮像状態が予測状態または記憶状態であるか否か判定され（Ｓ３５０）、撮像状態が標準の状態である表示状態となっている間（Ｓ３５０におけるＮＯ）、同期信号発生部３０６は、撮像データの生成速度を撮像記憶速度より低く設定する（Ｓ３５２）。
【０１１３】
撮像部１０４が生成した画像データがＹ／Ｃ処理部１１２によってＹ／Ｃ処理が施されると（Ｓ２０４）、撮像状態が予測状態または記憶状態であるか否か判定され（Ｓ３５４）、撮像状態が表示状態である間（Ｓ３５４におけるＮＯ）、撮像装置３００は、生成した画像データを、圧縮符号化処理を施すことなく、直接、画像メモリ１２２に保持させる（Ｓ３５６）。画像メモリ１２２に保持された画像データは表示部１２８に表示される。画像データ保持処理Ｓ３５６が完了すると撮像状態判定ステップＳ３５０に戻る。
【０１１４】
表示状態の間に、任意のトリガとして画像データを記憶するための準備処理、例えば、撮像者によるリリーススイッチ１１０の半押し操作を受けると、撮像状態は、表示状態から予測状態に遷移する。撮像状態判定ステップＳ３５０において、撮像状態が予測状態であると判定されると（Ｓ３５０におけるＹＥＳ）、撮像状態が記憶状態であるか否か判定される（Ｓ３５８）。撮像状態が記憶状態でなければ、即ち、撮像状態が予測状態であれば（Ｓ３５８におけるＮＯ）、同期信号発生部３０６は、画像データの生成速度を撮像記憶速度より高く設定する（Ｓ３６０）。
【０１１５】
また、撮像状態判定ステップＳ３５４において、撮像状態が予測状態であると判定されると（Ｓ３５４におけるＹＥＳ）、圧縮符号化処理（Ｓ２０６〜Ｓ２２２）が遂行される。そして、撮像状態が記憶状態であるか否か判定され（Ｓ３６２）、撮像状態が記憶状態でなければ（Ｓ３６２におけるＮＯ）、撮像状態判定ステップＳ３５０に戻る。
【０１１６】
続いて、任意のトリガに基づく所定のタイミング、例えば、任意のトリガから所定の時間経過後に撮像者によるリリーススイッチ１１０の全押し操作を受けると、撮像状態は予測状態から記憶状態に遷移する。撮像状態判定ステップＳ３５０において、撮像状態が記憶状態であると判定され（Ｓ３５０におけるＹＥＳ）、かつ、撮像状態判定ステップＳ３５８において、撮像状態が記憶状態であると判定されると（Ｓ３５８におけるＹＥＳ）、同期信号発生部３０６は、画像データの生成速度を撮像記憶速度に設定する（Ｓ３６４）。
【０１１７】
また、撮像状態判定ステップＳ３５４において、撮像状態が記憶状態であると判定されると（Ｓ３５４におけるＹＥＳ）、予測状態同様、圧縮符号化処理（Ｓ２０６〜Ｓ２２２）が遂行される。そして、撮像状態判定ステップＳ３６２において、撮像状態が記憶状態であると判定されると（Ｓ３６２におけるＹＥＳ）、データ制御部１２４によって画像データが画像記憶部１２６に記憶される（Ｓ２２４）。画像データ保持処理Ｓ２２４が完了すると撮像状態判定ステップＳ３５０に戻る。
【０１１８】
以上、説明した撮像装置３００や撮像方法によれば、直前の１または複数の画像データの現圧縮率１５０から次圧縮率１５２を予測しているので、撮像装置３００は、連続撮像という短時間の画像データの時間方向の変化を適切に把握することができ、より高精度に圧縮率を目標圧縮率に近づけることが可能となる。さらに、画像データの生成速度を切換制御することで、画像データの圧縮率の予測をさらに高精度かつ高速に行うことができ、また、画像データの記憶に影響がない表示状態において消費電力や発熱を低減することが可能となる。かかる効果は連続撮像のみならず単写撮像においても期待することができる。
【０１１９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２０】
尚、本明細書の撮像方法として挙げた各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２１】
本発明は、連続撮像により生成された画像データに画面内予測符号化による圧縮符号化処理を施して記憶する撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１２２】
１００、３００ …撮像装置
１０４ …撮像部
１１４ …周波数応答処理部
１１６ …階調処理部
１１８ …圧縮処理部
１２４ …データ制御部
１２６ …画像記憶部
１３０ …現圧縮率導出部
１３２ …現圧縮率保持部
１３４ …次圧縮率予測部
１３６ …周波数応答導出部
１４０ …階調導出部
１４４ …量子化テーブル導出部
１５０ …現圧縮率
１５２ …次圧縮率
１６０ …階調変換曲線
１７０ …量子化テーブル
３０６ …同期信号発生部
３０８ …タイミング発生部
【技術分野】
【０００１】
本発明は、連続撮像（連写）により生成された画像データに画面内予測符号化による圧縮符号化処理を施して記憶する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
撮像した画像をデジタルデータ（画像データ）として記憶する撮像装置（デジタル撮像装置）には、画像データを圧縮符号化しデータ容量を小さくしてから記憶することで、記憶媒体のデータ領域を有効に利用する機能が搭載されている。このような圧縮符号化方法のひとつとして、ＪＰＥＧ（Joint Photographic Experts Group）圧縮と呼ばれる画面内予測符号化方式がある。この方式は主に静止画を圧縮する際に用いられるものであるが、これを動画に応用したＭｏｔｉｏｎ ＪＰＥＧという方式もある。これらの符号化方式は、ＭＰＥＧ（Moving Picture Experts Group）などと比較して同一ビットレートでの圧縮効率は悪いが、画面間の差分情報を用いないため、符号化、復号化時の処理が軽くて済み、また、任意の箇所を簡単に編集することが可能であるという利点がある。本発明は、このＪＰＥＧ等の画面内符号化方式を用いることを前提としたものである。また、撮像装置には、リリーススイッチを連続的に押止することで、画像を連続撮像する機能を有するものもある。
【０００３】
このような連続撮像では、一度に多くの画像データが生成されるため、生成された画像データのデータ容量が所望のデータ容量に収まるように圧縮符号化処理を適切に制御しなければならない。従来は、撮像後の複数の画像データ（ローデータ）に、予め定められた圧縮に関するパラメータを用いて暫定的に圧縮符号化処理を施し、その結果に応じてパラメータを変更し、再度圧縮符号化処理を施すといった動作を繰り返して、連続撮像した画像データ全てのデータ容量を所望のデータ容量に近づける処理が行われていた（例えば、特許文献１）。
【０００４】
また、圧縮率の探索範囲の初期値の最大値および最小値によって画像信号の圧縮符号化処理をそれぞれ行い、最大値による圧縮符号化処理で得られたデータ容量および最小値による圧縮符号化処理で得られたデータ容量に基づいて圧縮率と圧縮符号化処理後のデータ容量との相関を近似し、圧縮符号化処理後の目標データ容量が得られる圧縮率の候補を推定する技術も知られている（例えば、特許文献２）。
【０００５】
また、短時間の圧縮符号化処理を実現するため、画像データの取り出しおよび圧縮率の算出を継続的に行い、撮像操作がなされる直前に算出されていた圧縮率に従って、次回の画像データの圧縮符号化処理を行う技術が開示されている（例えば、特許文献３）。同様に、圧縮符号化処理後の１の画像データのデータ容量と目標値とを比較し、データ容量が目標値とほぼ一致するように次回の圧縮率を決定する技術も開示されている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１４１５９１号公報
【特許文献２】特開平１０−１５０６３３号公報
【特許文献３】特開平１１−１２２５７３号公報
【特許文献４】特開２０００−１２５２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、データ容量が限られた記憶媒体に、連続撮像した多数の画像データを記憶するためには、撮像された画像データに圧縮符号化処理を施さなければならない。また、連続撮像した多数の画像データを所望のデータ容量に収めるには、圧縮符号化処理における圧縮率を適切に制御する必要もある。撮像装置では、例えば、予め設定された目標圧縮率に従って圧縮符号化処理を行う。しかし、画像データによっては、目標圧縮率と現実の圧縮率が大幅にずれてしまう場合がある。
【０００８】
所望するデータ容量に収めるには、このような圧縮率のずれを補正しなければならないが、例えば、特許文献１および２の技術では、暫定的な圧縮符号化処理に加え、その結果に基づく圧縮符号化処理が繰り返し行われるので、最終的な圧縮率が決定するまでに長時間を要するといった問題があった。また、特許文献３および４の技術では、画像データの圧縮率を直前の画像データの圧縮率のみに基づいて予測しているので、イレギュラーな画像が撮像されたり、画像間の移動量が大きい場合に圧縮率の予測精度が低くなってしまう問題があった。
【０００９】
本発明は、このような課題に鑑み、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能な撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は下記の撮像装置および撮像方法を提供するものである。
（１）連続撮像により時間方向に連続する複数の画像データを生成する撮像部と、画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部と、圧縮符号化された前記画像データを画像記憶部に記憶するデータ制御部と、圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部と、前記現圧縮率を時間方向に連続して複数保持する現圧縮率保持部と、保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部と、前記次圧縮率に基づいて前記補正要素を導出する補正要素導出部と、を備えることを特徴とする撮像装置。
（２）前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均し、その平均値を次圧縮率とすることを特徴とする上記（１）に記載の撮像装置。
（３）前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値を平均し、その平均値を最新の前記現圧縮率に加算して次圧縮率とすることを特徴とする上記（１）に記載の撮像装置。
（４）前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率を平均し、その平均値を最新の前記現圧縮率に乗算して次圧縮率とすることを特徴とする上記（１）に記載の撮像装置。
（５）前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値の平均値を最新の前記現圧縮率に加算する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率の平均値を最新の前記現圧縮率に乗算する処理の群から選択された２または３の処理を、前記現圧縮率の変化態様に応じて切り換え、次圧縮率を予測することを特徴とする上記（１）に記載の撮像装置。
（６）前記画像加工部は、画像データの周波数領域の特性を、前記補正要素としての周波数応答特性に基づいて変換する周波数応答処理部であり、前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記周波数応答特性を導出する周波数応答導出部であることを特徴とする上記（１）から（５）のいずれかに記載の撮像装置。
（７）予め定められた複数の前記周波数応答特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記周波数応答特性とを対応させた周波数応答テーブルとをさらに有し、前記周波数応答導出部は、前記周波数応答テーブルを用いて１の周波数応答特性を選択することを特徴とする上記（６）に記載の撮像装置。
（８）前記画像加工部は、画像データの階調を、前記補正要素としての階調特性に基づいて変換する階調処理部であり、前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記階調特性を導出する階調導出部であることを特徴とする上記（１）から（５）のいずれかに記載の撮像装置。
（９）予め定められた複数の前記階調特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記階調特性とを対応させた階調テーブルとをさらに有し、前記階調導出部は、前記階調テーブルを用いて１の階調特性を選択することを特徴とする上記（８）に記載の撮像装置。
（１０）前記画像加工部は、画像データに対し、前記補正要素としての量子化テーブルに基づいて圧縮符号化処理を行う圧縮処理部であり、前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記量子化テーブルを導出する量子化テーブル導出部であることを特徴とする上記（１）から（５）のいずれかに記載の撮像装置。
（１１）予め定められた複数の量子化テーブルと、前記次圧縮率と前記目標圧縮率との差分値と複数の前記量子化テーブルとを対応させた量子化対応テーブルとをさらに有し、前記量子化テーブル導出部は、前記量子化対応テーブルを用いて１の量子化テーブルを選択することを特徴とする上記（１０）に記載の撮像装置。
（１２）前記データ制御部は、前記圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ前記画像記憶部に記憶することを特徴とする上記（１）から（１１）のいずれかに記載の撮像装置。
（１３）連続撮像により時間方向に連続する複数の画像データを生成し、画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化し、圧縮符号化された前記画像データを画像記憶部に記憶し、圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出し、前記現圧縮率を時間方向に連続して複数保持し、保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測し、前記次圧縮率に基づいて前記補正要素を導出することを特徴とする撮像方法。
【発明の効果】
【００１１】
以上説明したように本発明によれば、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態にかかる撮像装置の概略的な構成を示した機能ブロック図である。
【図２】次圧縮率予測部の動作を説明するための説明図である。
【図３】次圧縮率予測部の動作を説明するための説明図である。
【図４】次圧縮率予測部の動作を説明するための説明図である。
【図５】周波数応答特性による圧縮率の補正を説明するための説明図である。
【図６】階調特性による圧縮率の補正を説明するための説明図である。
【図７】量子化テーブルによる圧縮率の補正を説明するための説明図である。
【図８】撮像装置の他の例を示した機能ブロック図である。
【図９】第１の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。
【図１０】第２の実施形態にかかる撮像装置の概略的な構成を示した機能ブロック図である。
【図１１】画像データの生成速度の変化を説明するためのタイミングチャートである。
【図１２】画像データの生成速度の変化の他の例を説明するためのタイミングチャートである。
【図１３】第２の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。尚、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１４】
本実施形態において「画像データ」は、撮像部の撮像素子による一度の撮像で生成される１画面分のデータを言う。「撮像」は、撮像部を通じて画像データを生成する動作を言い、「記憶」は、生成された画像データを記憶媒体に記憶する動作を言う。
【００１５】
また、「連続撮像」は、画像データを、時間方向に連続して、順次生成する一連の動作を言い、例えば、１秒あたり１枚以上の画像データが生成される。また、本実施形態では、連続撮像し、さらにその画像データを連続的に記憶する場合の速度を撮像記憶速度と言い、撮像記憶速度は、例えば６０枚／ｓｅｃといった値をとる。「単写撮像」は、少なくとも１枚の画像データを生成する動作を言い、その１枚の画像データを記憶する動作までを含む場合もあるが、画像データを記憶する前に、画像データを生成する動作を複数回行うことを排除するものではない。
【００１６】
（第１の実施形態：撮像装置１００）
図１は、第１の実施形態にかかる撮像装置１００の概略的な構成を示した機能ブロック図である。撮像装置１００は、撮像部１０４と、同期信号発生部（ＳＳＧ：Synchronizing Signal Generator）１０６と、タイミング発生部（ＴＧ：Timing Generator）１０８と、リリーススイッチ１１０と、Ｙ／Ｃ処理部１１２と、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８と、システム内部バス１２０と、画像メモリ１２２と、データ制御部１２４と、画像記憶部１２６と、表示部１２８と、現圧縮率導出部１３０と、現圧縮率保持部１３２と、次圧縮率予測部１３４と、周波数応答導出部１３６と、周波数応答保持部１３８と、階調導出部１４０と、階調保持部１４２と、量子化テーブル導出部１４４と、量子化テーブル保持部１４６とを含んで構成される。
【００１７】
また、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８とは、補正要素に基づいて画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部として機能し、周波数応答導出部１３６と、階調導出部１４０と、量子化テーブル導出部１４４とは、補正要素を導出する補正要素導出部として機能する。ここで、補正要素は、画像加工部で用いられる、周波数応答特性、階調特性、量子化テーブルの群から選択された１または複数の要素を言う。周波数応答特性、階調特性、量子化テーブルに関しては後ほど詳述する。
【００１８】
尚、データ制御部１２４、現圧縮率導出部１３０、次圧縮率予測部１３４、周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４は、ハードウェアで構成してもよいし、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等と協働して動作する中央処理装置（ＣＰＵ）を通じてソフトウェアで遂行されてもよい。また、図１においては、周波数応答処理部１１４の後段に階調処理部１１６が縦続されているが、この順序は逆でもよい。
【００１９】
撮像部１０４は、レンズや、レンズを通じて入射した入射光を光電変換し画像データを生成する撮像素子等で構成され、例えば、連続撮像により時間方向に連続する複数の画像データを生成して、生成した複数の画像データを、順次Ｙ／Ｃ処理部１１２に送信する。同期信号発生部１０６は、生成される画像データの水平サイズと垂直サイズに対応させ、内部クロックに同期して、水平同期信号と垂直同期信号を生成しタイミング発生部１０８に送信する。
【００２０】
タイミング発生部１０８は、同期信号発生部１０６で生成された水平同期信号と垂直同期信号に基づいて撮像部１０４の撮像素子のクロックタイミングを変化させる制御信号を生成する。撮像部１０４は、かかる制御信号に応じて画像データを生成する。リリーススイッチ１１０は、ボタンスイッチ等で構成され、撮像者の操作入力を受け付け、撮像部１０４における画像データの生成のトリガ（契機）となる制御信号を生成する。また、本実施形態の撮像装置１００では、撮像者がリリーススイッチ１１０を押止し続けることで連続撮像を行うことができる。
【００２１】
Ｙ／Ｃ処理部１１２は、画像データを輝度データ(Ｙ)と色データ(Ｃ)に分離、変換する処理を行う。周波数応答処理部１１４は、Ｙ／Ｃ処理部１１２を通じた画像データの周波数領域の特性を、後述する周波数応答導出部１３６で導出された周波数応答特性に基づいて変換する。階調処理部１１６は、周波数応答特性の変換処理が施された画像データの階調を、後述する階調導出部１４０で導出された階調特性に基づいて変換する。
【００２２】
圧縮処理部１１８は、ＪＰＥＧ圧縮方式に従い、階調特性の変換処理が施された画像データに対し、量子化テーブルに基づいて圧縮符号化処理を行い、圧縮符号化処理を施した画像データを、システム内部バス１２０を通じて画像メモリ１２２に送信する。ＪＰＥＧ圧縮方式は既存の技術であるので、ここではその詳細な説明を省略する。また、圧縮処理部１１８は、ＪＰＥＧ圧縮方式以外の様々な既存の静止画圧縮方式を採用することが可能である。
【００２３】
画像メモリ１２２は、ＳＲＡＭやＤＲＡＭ等のバッファで構成され、送信された画像データを一時的に保持する。データ制御部１２４は、画像メモリ１２２に一時的に保持されている画像データを、システム内部バス１２０を通じて画像記憶部１２６に転送して画像データを保持させたり、画像メモリ１２２に保持されている画像データに基づく画像を表示部１２８に表示させたりする。
【００２４】
画像記憶部１２６は、撮像装置１００と一体的に形成された、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、１または複数の画像データを保持する。また、画像記憶部１２６として、撮像装置１００から着脱可能な、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、磁気テープ、磁気ディスクといった磁気媒体、フラッシュメモリ、ポータブルＨＤＤ等の外部記憶媒体を適用してもよい。尚、ＨＤＤは正確には装置であるが、説明の便宜上本実施形態では他の記憶媒体と同義として扱う。表示部１２８は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。
【００２５】
現圧縮率導出部１３０は、圧縮処理部１１８によって圧縮符号化処理が施される前の画像データのデータ容量と、圧縮符号化処理が施された後の画像データのデータ容量を比較して、圧縮符号化処理における直近かつ現実の圧縮率である現圧縮率を導出する。また、導出された現圧縮率を現圧縮率保持部１３２に順次保持させる。現圧縮率保持部１３２は、現圧縮率導出部１３０が導出した現圧縮率を時間方向に連続して複数保持する。したがって、現圧縮率保持部１３２には、過去の複数回に渡る現圧縮率が保持されていることとなる。
【００２６】
次圧縮率予測部１３４は、現圧縮率保持部１３２に保持された、直近の現圧縮率を含む過去複数回に渡る現圧縮率を現圧縮率保持部１３２から取得し、その複数の現圧縮率、または、保持された複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する。かかる次圧縮率の予測は、複数の現圧縮率の（１）平均値、（２）差分値、（３）変化率を用いて行う。以下、それぞれにおける次圧縮率の導出処理を詳述する。
【００２７】
図２〜４は、次圧縮率予測部１３４の動作を説明するための説明図である。特に図２は（１）平均値を用いる場合を、図３は（２）差分値を用いる場合を、図４は（３）変化率を用いる場合を示している。ここで、次圧縮率予測部１３４は、直近の現圧縮率と過去４回分の現圧縮率と合わせて５回分の現圧縮率１５０に基づいて次圧縮率１５２を予測している。ただし、次圧縮率予測部１３４で用いる現圧縮率１５０の数は、かかる５に限らず２以上であればよい。
【００２８】
図２のように平均値を用いる場合、次圧縮率予測部１３４は、以下の数式１を用いて、直近を含む５回分の現圧縮率１５０（図２中、ａ、ｂ、ｃ、ｄ、ｅ）の平均値ｆを求める。
【数１】
…（数式１）
こうして求められた平均値ｆが次圧縮率１５２となる。このように平均値を用いると、イレギュラーな画像が撮像された等、圧縮率に短時間に大きな変化があった場合であっても、その変化に安易に追従することなく、適切な次圧縮率１５２を導出することが可能となる。
【００２９】
また、図３のように差分値を用いる場合、次圧縮率予測部１３４は、以下の数式２に示すように、直近を含む５回分の現圧縮率１５０（図３中、ａ、ｂ、ｃ、ｄ、ｅ）のそれぞれ時間方向に隣接する現圧縮率１５０同士の差分値を求め（ｂ−ａ、ｃ−ｂ、ｄ−ｃ、ｅ−ｄ）、その平均値を直近の現圧縮率１５０（ここではｅ）に加算する。
【数２】
…（数式２）
こうして求められた、差分値を利用した値ｇが次圧縮率１５２となる。このように差分値を用いると、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な次圧縮率１５２を導出することが可能となる。
【００３０】
さらに、図４のように変化率を用いる場合、次圧縮率予測部１３４は、以下の数式３に示すように、直近を含む５回分の現圧縮率１５０（図４中、ａ、ｂ、ｃ、ｄ、ｅ）のそれぞれ時間方向に隣接する現圧縮率１５０同士の変化率を求め（ｂ／ａ、ｃ／ｂ、ｄ／ｃ、ｅ／ｄ）、その平均値を直近の現圧縮率１５０（ここではｅ）に乗算する。
【数３】
…（数式３）
こうして求められた、変化率を利用した値ｈが次圧縮率１５２となる。このように変化率を用いると、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合に、その変化に追従した適切な次圧縮率１５２を導出することが可能となる。
【００３１】
上述したように、次圧縮率予測部１３４で用いる現圧縮率１５０の数は２以上であれば足りるが、例えば、連続撮像開始時のように、現圧縮率１５０の数が予め定められた数に満たない場合、次圧縮率予測部１３４は、直近の現圧縮率１５０をそのまま次圧縮率１５２としたり、現圧縮率保持部１３２に保持している、予め定められた数に満たない現圧縮率１５０のみを反映して次圧縮率１５２を予測してもよい。
【００３２】
例えば、連続撮像における１枚目の画像データの撮像では１回前の現圧縮率１５０が存在しないため、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、それぞれ、予め準備されている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。なお、これらの、標準の周波数応答特性、階調特性、量子化テーブルは、ユーザーが外部操作によって設定した目標となる圧縮率に基づいて設定されるものである。そして、次圧縮率予測部１３４は、その変更処理および圧縮符号化処理による画像データの現圧縮率１５０をそのまま次圧縮率１５２とする。また、２枚目の画像データの撮像では、１回分の現圧縮率１５０しか保持されていないものの、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、その１回分の現圧縮率１５０による次圧縮率１５２から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。
【００３３】
同様に、現圧縮率１５０の数が予め定められた数に達するまで、次圧縮率予測部１３４は、現圧縮率保持部１３２に保持している、予め定められた数に満たない現圧縮率１５０を用いて次圧縮率を予測し、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、その次圧縮率１５２から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。このとき、データ制御部１２４は、生成された画像データのうち、現圧縮率１５０の数が予め定められた数に達するまでの画像データを画像記憶部１２６には記憶せず、予め定められた数に達した後に記憶し始めるとすることもできる。
【００３４】
ここでは、連続撮像における２枚目の画像データの撮像から予め定められた数に達するまで、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、現圧縮率保持部１３２に保持している現圧縮率１５０を用いた新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行うとしたが、かかる場合に限らず、１枚目同様、予め定められた数に達するまで予め準備さている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行ってもよい。
【００３５】
また、複数の現圧縮率１５０を取り出す時間的位置は、上述したように直近および過去の１または複数回に限られず、直近を除く過去の所定回とすることもできる。
【００３６】
さらに、次圧縮率予測部１３４は、上述した（１）予め定められた数の現圧縮率１５０を平均する処理、（２）現圧縮率１５０の時間方向に隣接する現圧縮率１５０の差分値の平均値を最新の現圧縮率１５０に加算する処理、（３）現圧縮率１５０の時間方向に隣接する現圧縮率１５０の変化率の平均値を最新の現圧縮率１５０に乗算する処理、の群から選択された２または３の処理を、現圧縮率１５０の変化態様（変化の向きやその大きさ）に応じて切り換え、次圧縮率１５２を予測するとしてもよい。
【００３７】
例えば、（１）予め定められた数の現圧縮率１５０を平均する処理と、（２）現圧縮率１５０の時間方向に隣接する現圧縮率１５０の差分値の平均値を最新の現圧縮率１５０に加算する処理とを切換可能に組み合わせたとする。次圧縮率予測部１３４は、現圧縮率１５０の変化態様を監視し、例えば、画像間の移動量が大きい等、圧縮率が連続的に大小一方向に変化し続けたり、その変化方向が偏っている場合、（２）差分値を用いて次圧縮率１５２を予測し、イレギュラーな画像が撮像された等、圧縮率に短時間に大きな変化があった場合、（１）平均値を用いて次圧縮率１５２を予測する。このように現圧縮率１５０の変化態様に応じて、それぞれ次圧縮率の効果的な導出方法を用いることで、より高精度に圧縮符号化後の画像データのデータ容量を目標値に近づけることが可能となる。
【００３８】
続いて、画像データの圧縮率の補正について説明する。画像データの圧縮率の補正は、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８それぞれが、周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行うことで為される。したがって、（ａ）周波数応答特性、（ｂ）階調特性、（ｃ）量子化テーブルを補正することで結果的に画像データの圧縮率が相対的に変化し、連続撮像全時間を通じて現圧縮率１５０を目標圧縮率に近づけることができる。
【００３９】
ここで、目標圧縮率は、撮像者が設定した、または複数の選択肢（標準モードやファインモードといった撮像モード等）から選択した１の圧縮率である。また、目標圧縮率は、一度の連続撮像で記憶可能な総データ容量を連続撮像の枚数で除算した１枚当たりのデータ容量に基づいて決定されるとしてもよい。
【００４０】
周波数応答導出部１３６は、予測された次圧縮率１５２が目標圧縮率に近づくように、周波数応答保持部１３８に保持された前回の周波数応答特性と、次圧縮率予測部１３４が予測した次圧縮率１５２と、予め設定されている連続撮像における目標圧縮率とに基づいて、周波数応答処理部１１４が用いる周波数応答特性を導出する。
【００４１】
具体的に、周波数応答導出部１３６は、まず、次圧縮率予測部１３４が予測した次圧縮率１５２と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。例えば、周波数応答特性がＬＰＦ（Low Pass Filter）による周波数応答特性として表されている場合、周波数応答導出部１３６は、圧縮効果を下げるべきと判断すると、そのＬＰＦのカットオフ周波数ｆｃ（大凡３０〜４０ＭＨｚ程度）を上げ（通過帯域幅を拡げ）、圧縮効果を上げるべきと判断した場合、ＬＰＦのカットオフ周波数ｆｃを下げる（通過帯域幅を狭める）。
【００４２】
図５は、周波数応答特性による圧縮率の補正を説明するための説明図である。図５では、横軸は周波数、縦軸は周波数に対する応答（レスポンス）を示す。上記のように、周波数応答特性がＬＰＦによる周波数応答特性として表されている場合、周波数応答導出部１３６は、図５（ａ）に示されたような、前回導出された周波数応答特性を周波数応答保持部１３８から取得し（前回のＬＰＦのカットオフ周波数ｆｃを取得し）、圧縮効果を下げるべきと判断した場合、図５（ｂ）に示すように、前回のＬＰＦのカットオフ周波数ｆｃを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される周波数分だけ上げる。また、周波数応答導出部１３６は、圧縮効果を上げるべきと判断した場合、図５（ｃ）に示すように、前回のＬＰＦのカットオフ周波数ｆｃを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される周波数分だけ下げる。
【００４３】
ここで、圧縮率の補正に周波数応答特性を用いたのは以下の理由による。即ち、画像データでは、高周波成分が多いほど、画像データのデータ容量が大きくなり、その分、圧縮効果を上げなければならない。圧縮率を目標圧縮率に近づけるためには、圧縮符号化処理が施される前の段階で画像データから高周波成分を除けばよいことになる。そこで、本実施形態では、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して周波数応答特性の帯域幅を拡げ、逆に、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して周波数応答特性の帯域幅を狭めている。
【００４４】
また、上記では、周波数応答特性の帯域幅を、次圧縮率１５２と目標圧縮率との差分値に応じて変化させ、その都度、周波数応答特性を求める例を挙げたが、かかる場合に限られず、例えば、予め定められた複数の周波数応答特性（例えば、予め定められた複数のカットオフ周波数ｆｃ）と、次圧縮率１５２と目標圧縮率との差分値と複数の周波数応答特性とを対応させた周波数応答テーブルとを準備しておき、次圧縮率１５２と目標圧縮率との差分値に基づいて、適切な１の周波数応答特性を選択する構成としてもよい。かかる構成によって、周波数応答導出部１３６の処理負荷を削減でき、また、周波数応答特性が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
【００４５】
周波数応答導出部１３６は、このようにして求められた新たな周波数応答特性を周波数応答処理部１１４に送信し、周波数応答処理部１１４は、かかる新たな周波数応答特性に基づいて画像データを変換する。また、周波数応答導出部１３６は、導出された周波数応答特性を周波数応答保持部１３８の周波数応答特性に上書きして次回の処理に備える。
【００４６】
階調導出部１４０は、予測された次圧縮率１５２が目標圧縮率に近づくように、階調保持部１４２に保持された前回の階調特性と、次圧縮率予測部１３４が予測した次圧縮率１５２と、予め設定されている連続撮像における目標圧縮率とに基づいて、階調処理部１１６が用いる階調特性を導出する。
【００４７】
具体的に、階調導出部１４０は、まず、次圧縮率予測部１３４が予測した次圧縮率１５２と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。そして、階調導出部１４０は、圧縮効果を下げるべきと判断した場合、例えば、階調特性である階調変換曲線（ここでは直線）の全体的な傾きを大きくし、圧縮効果を上げるべきと判断した場合、階調変換曲線の全体的な傾きを小さくする。
【００４８】
図６は、階調特性による圧縮率の補正を説明するための説明図である。図６では、横軸は階調処理部１１６に入力された画像データの階調値を、縦軸は階調処理部１１６から出力される画像データの階調値を示す。階調導出部１４０は、図６（ａ）に示されたような、前回導出された階調特性を階調保持部１４２から取得し（前回の階調変換曲線１６０の傾き（ここでは例えば傾き１）を取得し）、圧縮効果を下げるべきと判断した場合、図６（ｂ）に示すように、前回の階調変換曲線１６０の傾きを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ上げる。また、階調導出部１４０は、圧縮効果を上げるべきと判断した場合、図６（ｃ）に示すように、前回の階調変換曲線１６０の傾きを、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ下げる。ただし、図６（ａ）〜（ｃ）のように、入力された階調値が０．５であった場合、出力される階調値も０．５となるように、階調変換曲線１６０のオフセットが調整される。
【００４９】
ここで、圧縮率の補正に階調特性を用いたのは以下の理由による。即ち、画像データでは、階調値がとりうる範囲が大きいほどコントラストが大きくなり、それに伴って画像データのデータ容量が大きくなるので、その分、圧縮効果を上げなければならない。圧縮率を目標圧縮率に近づけるためには、圧縮符号化処理が施される前の段階で画像データの階調値のコントラストを変えればよい。そこで、本実施形態では、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して階調特性である階調変換曲線１６０の傾きを上げてコントラストを大きくし、逆に、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して階調変換曲線１６０の傾きを下げてコントラストを小さくしている。
【００５０】
ここでは、階調特性である階調変換曲線１６０が直線（１次の曲線）となる例を挙げて説明したが、階調変換曲線１６０は直線に限られず、折線や２次以上の漸増曲線で構成することもできる。この場合、階調導出部１４０は、階調変換曲線１６０の近似直線の傾きが大きく、または小さくなるように階調変換曲線１６０を変化させるとしてもよい。また、階調値として、８ｂｉｔ入力、８ｂｉｔ出力の例を示したが、別のｂｉｔ値でもよい。
【００５１】
また、上記では、階調特性である階調変換曲線１６０の傾きを、次圧縮率１５２と目標圧縮率との差分値に応じて変化させ、その都度、階調特性を求める例を挙げたが、かかる場合に限られず、予め定められた複数の階調特性（例えば、予め定められた複数の階調変換曲線１６０の傾き）と、次圧縮率１５２と目標圧縮率との差分値と複数の階調変換曲線１６０の傾きとを対応させた階調テーブルとを準備しておき、次圧縮率１５２と目標圧縮率との差分値に基づいて、適切な１の階調変換曲線１６０の傾きを選択する構成としてもよい。かかる構成によって、階調導出部１４０の処理負荷を削減でき、また、階調特性が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
【００５２】
階調導出部１４０は、このようにして求められた新たな階調特性（階調変換曲線１６０の傾き）を階調処理部１１６に送信し、階調処理部１１６は、かかる新たな階調特性に基づいて画像データを変換する。また、階調導出部１４０は、導出された階調特性を階調保持部１４２の階調特性に上書きして次回の処理に備える。
【００５３】
量子化テーブル導出部１４４は、予測された次圧縮率１５２が目標圧縮率に近づくように、量子化テーブル保持部１４６に保持された前回の量子化テーブルと、次圧縮率予測部１３４が予測した次圧縮率１５２と、予め設定されている連続撮像における目標圧縮率とに基づいて、圧縮処理部１１８が用いる量子化テーブルを導出する。ここで、量子化テーブルは、ＪＰＥＧにおける離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）後の画像データの、比較的高い周波数成分を省略するために、その画像データを除算する係数をそれぞれ異ならせて配した表を言い、例えば、画像ブロックが８画素×８画素で表される場合、同じく８×８の係数が配された表となる。
【００５４】
具体的に、量子化テーブル導出部１４４は、まず、次圧縮率予測部１３４が予測した次圧縮率１５２と、目標圧縮率とを比較し、圧縮効果を下げるべきか上げるべきか判断する。そして、量子化テーブル導出部１４４は、圧縮効果を下げるべきと判断した場合、例えば、量子化テーブルの各係数を比較的小さい（除数が小さい）値にし、圧縮効果を上げるべきと判断した場合、量子化テーブルの各係数を比較的大きい（除数が大きい）値にする。
【００５５】
図７は、量子化テーブル１７０による圧縮率の補正を説明するための説明図である。図７では、量子化テーブル１７０が画像ブロックに合わせて８×８の係数の配列によって表されている。また、量子化テーブル１７０は、図７中、左上に向かって画像ブロックの低周波数成分に対応した係数となり、右下に向かって画像ブロックの高周波数成分に対応した係数となっている。量子化テーブル導出部１４４は、図７（ａ）に示されたような、前回導出した量子化テーブル１７０を量子化テーブル保持部１４６から取得し、圧縮効果を下げるべきと判断した場合、図７（ｂ）に示すように、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ、例えば、各係数に０．５を乗算して、各係数を小さくする。また、量子化テーブル導出部１４４は、圧縮効果を上げるべきと判断した場合、図７（ｃ）に示すように、次圧縮率１５２と目標圧縮率との差分値に応じて決定される値分だけ、例えば、各係数に２を乗算して、各係数を大きくする。
【００５６】
ここで、圧縮率の補正に量子化テーブル１７０を用いたのは以下の理由による。即ち、画像データでは、量子化テーブル１７０の各係数が大きいほど圧縮効果が大きくなり、量子化テーブル１７０の各係数が小さいほど圧縮効果が小さくなる。具体的に説明すると、例えば、圧縮前の画像データのデータ容量をＳ、圧縮後の画像データの予測データ容量をＳａ、目標とする画像データのデータ容量をＳｂ、１回前に用いた量子化テーブル１７０の各係数をＱｏｒｇｉ,ｊ（ｉ，ｊは整数）とすると、求める量子化テーブル１７０の係数Ｑｉ,ｊ（ｉ，ｊは整数）は数式４を用いて求められる。
【数４】
…（数式４）
ここでＳａ／Ｓは次圧縮率１５２を示し、Ｓｂ／Ｓは目標圧縮率を示す。
【００５７】
例えば、図７（ａ）に示した量子化テーブル１７０を用いた場合に現圧縮率１５０が２０％となったとすると、図７（ａ）の量子化テーブル１７０の係数を０．５で乗算した図７（ｂ）の量子化テーブル１７０は、現圧縮率が４０％となる。また、同様に、図７（ａ）の量子化テーブル１７０の係数を２で乗算した図７（ｂ）の量子化テーブル１７０は、現圧縮率が１０％となる。かかる圧縮符号化処理は一例であり、圧縮率は基となる画像データの内容によって変化するが、量子化テーブル１７０の係数の比に対する圧縮率の変化量はほぼ反比例の関係となる。
【００５８】
そこで、本実施形態では、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より大きい場合、圧縮効果を下げるべきと判断して量子化テーブル１７０の係数を下げ、逆に、次圧縮率１５２の圧縮効果が目標圧縮率の圧縮効果より小さい場合、圧縮効果を上げるべきと判断して量子化テーブル１７０の係数を上げる。
【００５９】
また、上記では、量子化テーブル１７０を、次圧縮率１５２と目標圧縮率との差分値に応じて変化させ、その都度、量子化テーブル１７０を求める例を挙げたが、かかる場合に限られず、例えば、予め定められた複数の量子化テーブル１７０（例えば、図７（ａ）、（ｂ）、（ｃ）等）と、次圧縮率１５２と目標圧縮率との差分値と複数の量子化テーブル１７０とを対応させた量子化対応テーブルとを準備しておき、次圧縮率１５２と目標圧縮率との差分値に基づいて、適切な１の量子化テーブル１７０を選択する構成としてもよい。かかる構成によって、量子化テーブル導出部１４４の処理負荷を削減でき、また、量子化テーブル１７０が迅速に求められるため、画像データの圧縮符号化処理に費やす時間を短縮でき、ひいては、連続撮像における画像データの生成間隔を短縮することも可能となる。
【００６０】
量子化テーブル導出部１４４は、このようにして求められた新たな量子化テーブル１７０を圧縮処理部１１８に送信し、圧縮処理部１１８は、かかる新たな量子化テーブル１７０に基づいて画像データに圧縮符号化処理を施す。また、量子化テーブル導出部１４４は、導出された量子化テーブル１７０を量子化テーブル保持部１４６の量子化テーブル１７０に上書きして次回の処理に備える。
【００６１】
また、ここでは、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８の全てで圧縮率の補正を行う例を挙げたが、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８のうち選択された１または２の機能部のみで圧縮率の補正を行うことも可能である。このとき、採用する機能部を、圧縮率の影響度を踏まえて、圧縮処理部１１８、周波数応答処理部１１４、階調処理部１１６の順に優先して採用するとしてもよい。
【００６２】
例えば、圧縮処理部１１８は、量子化テーブルを用いた圧縮符号化処理を直接行っているので、圧縮率を制御し易く、周波数応答処理部１１４は、既存のＬＰＦを本実施形態の周波数応答特性の変換に用いることで部品点数を少なくでき、階調処理部１１６は、既存の増幅回路やガンマ補正回路を階調特性の変換に用いることで部品点数を少なくすることができる。また、いずれか１の機能部または２つの組み合わせで圧縮率の補正を行う場合、他の機能部の補正要素は固定する。
【００６３】
図８は、撮像装置１００の他の例を示した機能ブロック図である。上述した撮像装置１００では、階調処理部１１６から出力された画像データを圧縮処理部１１８が直接圧縮符号化処理しているが、階調処理部１１６が、階調特性の変換処理を施した画像データを、システム内部バス１２０を通じて画像メモリ１２２に一旦保持させてもよい。この場合、連続撮像された画像データが画像メモリ１２２に蓄積される途中、または、蓄積された後、圧縮処理部１１８は、画像メモリ１２２から画像データを取得し、量子化テーブルに基づいて圧縮符号化処理を行い、また、システム内部バス１２０を通じて画像メモリ１２２に送信する。このような圧縮処理部１１８が画像データを画像メモリ１２２に一旦保持させる構成は後述する第２の実施形態でも用いることができる。
【００６４】
ここでは、画像データの生成と圧縮符号化処理とを独立させ、連続撮像時には画像データの生成のみを行い時間短縮を図ると共に、連続撮像時以外の時間を利用して圧縮符号化処理を行うことで時間効率を高めている。本実施形態では、圧縮符号化処理時に画像メモリ１２２から迅速に画像データを取得することができ、早期に画像メモリ１２２内の画像データを削除することが可能なので、高精度かつ高速に圧縮符号化を行うことが可能である。
【００６５】
また、本実施形態の単写撮像では、画像データの生成に関して連続撮像が実行され、データ制御部１２４が、圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ画像記憶部１２６に記憶する。当該単写撮像の処理は、後述する第２の実施形態でも用いることができる。かかる構成により、連続撮像による圧縮率の補正処理を単写撮像においても利用することができ、単写撮像における画像データのデータ容量を所望のデータ容量に近づけることが可能となる。
【００６６】
また、コンピュータによって撮像装置１００として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００６７】
（撮像方法）
次に、上述した撮像装置１００を用いて、連続撮像（連写）した画像に圧縮符号化処理を施して記憶する撮像方法にについて説明する。
【００６８】
図９は、第１の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。撮像者による連続撮像を実行する際、撮像装置１００の撮像部１０４は、連続撮像により時間方向に連続する複数の画像データを生成し（Ｓ２０２）、Ｙ／Ｃ処理部１１２は、画像データを輝度データ(Ｙ)と色データ(Ｃ)に分離、変換する処理を行う（Ｓ２０４）。続いて、周波数応答処理部１１４は、Ｙ／Ｃ処理部１１２を通じた画像データの周波数領域の特性を、後述する周波数応答導出部１３６で導出された周波数応答特性に基づいて変換し（Ｓ２０６）、階調処理部１１６は、周波数応答特性の変換処理が施された画像データの階調を、後述する階調導出部１４０で導出された階調特性に基づいて変換し（Ｓ２０８）、圧縮処理部１１８は、階調特性の変換処理が施された画像データに対し、量子化テーブルに基づいて圧縮符号化処理を行い、システム内部バス１２０を通じて画像メモリ１２２に送信する（Ｓ２１０）。
【００６９】
現圧縮率導出部１３０は、圧縮処理部１１８によって圧縮符号化処理が施される前の画像データのデータ容量と、圧縮符号化処理が施された後の画像データのデータ容量を比較して、圧縮符号化処理における直近かつ現実の圧縮率である現圧縮率１５０を導出し（Ｓ２１２）、導出された現圧縮率１５０を現圧縮率保持部１３２に保持させる（Ｓ２１４）。そして、次圧縮率予測部１３４は、現圧縮率保持部１３２に保持された、直近の現圧縮率を含む過去複数回に渡る現圧縮率を取得し、その複数の現圧縮率から次回の圧縮率である次圧縮率を予測する（Ｓ２１６）。かかる次圧縮率の予測は、複数の現圧縮率の（１）平均値、（２）差分値、（３）変化率のいずれかを用いて行う。
【００７０】
また、連続撮像における１枚目の画像データ撮像では１回前の現圧縮率が存在しないため、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、それぞれ、予め準備されている標準の周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。そして、次圧縮率予測部１３４は、その変更処理および圧縮符号化処理による現圧縮率１５０を次圧縮率１５２とする。また、２枚目の画像データの撮像では、周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８は、その１回分の現圧縮率１５０による次圧縮率１５２から導出された新たな周波数応答特性、階調特性、量子化テーブルに基づいて変換処理または圧縮符号化処理を行う。
【００７１】
周波数応答導出部１３６は、周波数応答保持部１３８に保持された前回の周波数応答特性と次圧縮率１５２と目標圧縮率とに基づいて、周波数応答処理部１１４が用いる周波数応答特性を導出する（Ｓ２１８）。階調導出部１４０は、階調保持部１４２に保持された前回の階調特性と次圧縮率１５２と目標圧縮率とに基づいて、階調処理部１１６が用いる階調特性を導出する（Ｓ２２０）。量子化テーブル導出部１４４は、量子化テーブル保持部１４６に保持された前回の量子化テーブルと次圧縮率１５２と目標圧縮率とに基づいて、圧縮処理部１１８が用いる量子化テーブルを導出する（Ｓ２２２）。ここで、周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４は、それぞれ、周波数応答テーブル、階調テーブル、量子化対応テーブルを用いて、周波数応答特性、階調特性、量子化テーブルを選択するとしてもよい。最後に、データ制御部１２４は、画像メモリ１２２に保持されている圧縮符号化処理された画像データを、システム内部バス１２０を通じて画像記憶部１２６に転送し、画像データを保持させる（Ｓ２２４）。
【００７２】
従来の圧縮符号化処理を繰り返し行う方法では圧縮符号化に長時間を要し、また、圧縮符号化処理を繰り返すことなく実行する技術もあったが、直前の画像データの圧縮率のみを用いて次回の圧縮符号化のためのパラメータを決定していたので、予測精度が低かった。本実施形態の撮像装置１００や撮像方法では、直前の複数の画像データの現圧縮率１５０から次圧縮率１５２を予測しているので、連続撮像という短時間の画像の時間方向の変化を適切に把握することができ、より高精度に現圧縮率を目標圧縮率に近づけることが可能となる。特に、本実施形態では圧縮符号化の高速化に従い、撮像間隔も短縮されるので、より類似した画像データに基づいて圧縮率を適切に予測することができる。したがって、イレギュラーな画像が撮像されたり、画像間の移動量が大きい（フォーカス、ズーム、パン・チルト動作時等）場合であっても、圧縮率が極端に外れた値になることもなく、連続撮像時における圧縮符号化処理を高精度かつ高速に行うことが可能となる。
【００７３】
（第２の実施形態）
第１の実施形態で説明した撮像装置１００では、直前の複数の画像データの現圧縮率から次圧縮率を予測することで、圧縮符号化処理を高精度かつ高速に行うことが可能となった。ただし、撮像装置１００では、記憶対象となる画像データの圧縮率を予測するために、過去に渡る複数の画像データの現圧縮率１５０を参照しているため、適切な圧縮率の画像データを記憶するまでには、複数の画像データを生成する分だけの撮像時間を要することとなる。
【００７４】
例えば、画像データの記憶を目的とした（画像記憶部１２６に画像データを記憶する、または、画像記憶部１２６に記憶するために少なくとも画像メモリ１２２に画像データを残す）速度である撮像記憶速度が６０枚／ｓｅｃであった場合、記憶する画像データの圧縮率を予測するのに、直近の画像データと１回前の画像データとの２枚分の画像データを得るため、最低でも１／６０×２＝１／３０秒必要となる。このため、撮像を行う場合の起動に時間がかかってしまい、撮影のタイミングを逃してしまう可能性がある。
【００７５】
そこで、第２の実施形態では、第１の実施形態における撮像装置１００を前提に、連続撮像時の画像データの生成速度を制御することで、圧縮符号化処理を高精度に行うと共に、短時間で画像データの記憶を開始することを目的とする。
【００７６】
（撮像装置３００）
図１０は、第２の実施形態にかかる撮像装置３００の概略的な構成を示した機能ブロック図である。撮像装置３００は、撮像部１０４と、同期信号発生部３０６と、タイミング発生部３０８と、リリーススイッチ１１０と、Ｙ／Ｃ処理部１１２と、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８と、システム内部バス１２０と、画像メモリ１２２と、データ制御部１２４と、画像記憶部１２６と、表示部１２８と、現圧縮率導出部１３０と、現圧縮率保持部１３２と、次圧縮率予測部１３４と、周波数応答導出部１３６と、周波数応答保持部１３８と、階調導出部１４０と、階調保持部１４２と、量子化テーブル導出部１４４と、量子化テーブル保持部１４６とを含んで構成される。ここで、同期信号発生部３０６と、タイミング発生部３０８とは、画像データの生成速度を管理する生成速度管理部として機能する。
【００７７】
第１の実施形態における構成要素として既に述べた撮像部１０４と、リリーススイッチ１１０と、Ｙ／Ｃ処理部１１２と、周波数応答処理部１１４と、階調処理部１１６と、圧縮処理部１１８と、システム内部バス１２０と、画像メモリ１２２と、データ制御部１２４と、画像記憶部１２６と、表示部１２８と、現圧縮率導出部１３０と、現圧縮率保持部１３２と、次圧縮率予測部１３４と、周波数応答導出部１３６と、周波数応答保持部１３８と、階調導出部１４０と、階調保持部１４２と、量子化テーブル導出部１４４と、量子化テーブル保持部１４６とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する同期信号発生部３０６とタイミング発生部３０８とを挙げ、特に、画像データの生成速度を変化させる構成について説明する。ただし、第１の実施形態では、次圧縮率を求めるために要する現圧縮率を複数としたが、第２の実施形態では、直近の現圧縮率のみによって次圧縮率を求めてもよい。
【００７８】
同期信号発生部３０６は、生成される画像データの水平サイズと垂直サイズに対応させて、水平同期信号と垂直同期信号を生成し、タイミング発生部３０８に送信する。タイミング発生部３０８は、同期信号発生部３０６で生成された水平同期信号と垂直同期信号に基づいて撮像部１０４の撮像素子のクロックタイミングを変化させる制御信号を生成する。撮像部１０４の撮像素子は、外部から光信号を受光すると、クロックタイミングに同期して画像信号（画像データ）を出力する。本実施形態では、撮像部１０４による撮像データの生成速度を制御することを目的の１つとしているので、同期信号発生部３０６は、画像データの生成速度を高くするために水平同期信号および垂直同期信号の発生周期を短くし、一方、画像データの生成速度を低くするために水平同期信号および垂直同期信号の発生周期を長くする。ここで、画像データの生成速度の制御方法に関して触れておく。
【００７９】
画像データの生成速度の制御方法に関し、所定のクロックで撮像部１０４を駆動した場合、撮像素子の１系統の出力バスから単位時間に読み出せる画像データのデータ容量の上限は決まっている。このため、一般的には、画像データの生成速度が高くなるほど、生成された画像データのデータ容量は小さくなり、画像データの生成速度が低くなるほど、画像データのデータ容量は大きくなる。これは、所謂画素混合を用いた手法であり、例えば、特開２００６−２１７３５５号公報等に具体的な実現方法が示されている。また、特開平１０−１９１１８４号公報のように、複数系統の出力バスを設け、複数系統の出力バスから同一のタイミングで同時に画像データを得ることにより、画像データの生成速度が高い場合であってもデータ容量の大きい画像データを得ることができる。
【００８０】
したがって、上述した複数系統の出力バスを設ける技術では、１系統の出力バスを設けた場合と異なり、画像データの生成速度が高速になっても画像データのデータ容量が小さくならない。即ち、画像データのデータ容量が画像データの生成速度に依存しないので、常に画像データの生成速度を高く設定しておくことも可能である。ただし、画像データの生成速度が高いと、その分、電力を消費してしまうため、画像データの生成速度は、そのときの撮像状況に応じて適宜切り換えるのが望ましい。本実施形態では、複数系統の出力バスを設ける技術を用い、画像データの生成速度が切り換わった場合であっても画像データのデータ容量が等しいことを前提とする。
【００８１】
同期信号発生部３０６は、撮像部１０４の画像データの生成速度を、任意のトリガに応じて、画像データの記憶を目的とした撮像記憶速度より一旦高くし、任意のトリガ以降の所定のタイミングで、撮像記憶速度に切り換える。ここで、任意のトリガは、画像データを記憶するための準備処理である。撮像者は、撮像（記憶）を開始する前段の準備処理として、例えば、リリーススイッチ１１０を半押しし、撮像部１０４のオートフォーカスを機能させる。このとき撮像部１０４は、フォーカスレンズを移動することで被写体に焦点を合わせると共に、画像データの生成速度を撮像記憶速度より高くする。撮像装置３００では、高い生成速度で生成された画像データを用いて迅速に次圧縮率１５２を予測する。そして、半押し以降の所定のタイミングで、撮像者が、リリーススイッチ１１０を全押しすると、連続撮像、および、生成された画像データの記憶が開始される。
【００８２】
前段の準備処理は、上記オートフォーカス機能の開始操作に限らず、被写体のスマイル検知の開始操作であったり、所定の画像範囲内の映像の変化の検知開始操作であったり、画像データの画像メモリ１２２への記憶タイミングにタイマを用いるオートタイマの設定操作であってもよい。
【００８３】
そして、予め定められた数の現圧縮率１５０が保持され、次圧縮率が適切に予測されるようになったら、画像データの生成速度を撮像記憶速度に戻して、画像メモリ１２２への記憶が開始される。
【００８４】
図１１は、画像データの生成速度の変化を説明するためのタイミングチャートである。図１１においては、撮像状態として、例えば、画像データの記憶を目的とした記憶状態と、その前段で、主として画像データの圧縮符号化のため次圧縮率１５２を予測する予測状態と、さらにその前段で、生成された画像データを閲覧させるため主として画像データを表示部１２８に表示させる表示状態との３つの状態遷移を示している。
【００８５】
同期信号発生部３０６は、任意のトリガがあるまでの表示状態において、画像データの生成速度を、撮像記憶速度と等しい６０枚／ｓｅｃ（周期１／６０ｓｅｃ）とし、データ制御部１２４は、生成した画像データを表示部１２８に表示させている。
【００８６】
ここで、撮像者によるリリーススイッチ１１０の操作を通じて、画像データを記憶するための準備処理である任意のトリガ（例えば、オートフォーカス機能の開始操作）を受けると、撮像状態は、表示状態から予測状態に遷移し、同期信号発生部３０６は、垂直同期信号ＶＤ１を制御し、画像データの生成速度を、撮像記憶速度より高い、例えば、２４０枚／ｓｅｃ（周期１／２４０ｓｅｃ）に切り換える（６０枚／ｓｅｃ→２４０枚／ｓｅｃ）。
【００８７】
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ１１０の操作を通じた新たなトリガ（例えば、全押し操作）を得ると、撮像状態は、予測状態から記憶状態に遷移し、同期信号発生部３０６が、垂直同期信号ＶＤ１を制御することで画像データの生成速度を、撮像記憶速度に切り換える（２４０枚／ｓｅｃ→６０枚／ｓｅｃ）。そして、データ制御部１２４は、画像メモリ１２２に保持された画像データの画像記憶部１２６への記憶を開始する。ここでは、予測状態において次圧縮率１５２を予測するのに十分な現圧縮率１５０が取得されているので、記憶状態では、適切な圧縮率で画像データの圧縮符号化が行われる。
【００８８】
図１１をさらに具体的に説明すると、撮像装置３００は、任意のトリガを受けると、撮像状態を予測状態に遷移し、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は画像データの圧縮率の補正を開始し、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、その圧縮率の補正に必要な補正要素を導出し始める。そして、予測状態の１回目の垂直同期信号ＶＤ１で現圧縮率保持部１３２に現圧縮率１５０が保持される。
【００８９】
例えば、次圧縮率１５２を予測するための現圧縮率１５０の数を４とした場合、予測状態は、垂直同期信号ＶＤ１の４クロック分継続する。そして、現圧縮率保持部１３２に現圧縮率１５０が４つ保持されると、撮像状態は予測状態から記憶状態に遷移する。
【００９０】
このとき、次圧縮率予測部１３４は、予測状態で蓄積された４つの現圧縮率１５０の平均値等により、次圧縮率１５２を適切に予測することができるので、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、記憶状態における、垂直同期信号ＶＤ１の１クロック目から、その次圧縮率１５２と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮符号化された画像データは、例えば、データ制御部１２４によって画像記憶部１２６に記憶される。
【００９１】
記憶状態における垂直同期信号ＶＤ１の２クロック目では、次圧縮率予測部１３４は、予測状態における直前に取得された３つの現圧縮率１５０と、記憶状態における１回目の画像データの現圧縮率１５０との平均値等により次圧縮率を予測する。したがって、２４０枚／ｓｅｃで生成した３枚の画像データと６０枚／ｓｅｃで生成した１枚の画像データとの圧縮率を参照していることとなる。
【００９２】
本実施形態では、同期信号発生部３０６およびタイミング発生部３０８を用いて、撮像部１０４の画像データの生成速度と、データ制御部１２４の画像データの画像記憶部１２６への記憶速度とを合わせることで連続撮像をスムーズに行うことが可能となる。
【００９３】
連続撮像において記憶する画像データの枚数の上限を例えば２枚に設定している場合、データ制御部１２４が画像記憶部１２６に画像データを２枚記憶したことに応じて、撮像状態は、記憶状態から表示状態に自動的に遷移する。ただし、図１１の例では、画像データの生成速度は、撮像記憶速度（６０枚／ｓｅｃ）に維持される。ここでは、連続撮像において記憶する画像データの枚数の上限を２枚としたが、１枚や３枚以上とすることも勿論可能である。また、本実施形態では、次圧縮率１５２の予測を行うための現圧縮率１５０の数を４としたが、現圧縮率１５０の数は１以上であればよい。
【００９４】
ところで、本実施形態では、画像データの生成速度を切り換えても画像データのデータ容量は変わらないことを前提としたが、切換前後で画像データのデータ容量が変わる場合、画素混合等を用いているため、撮像部１０４で生成された画像データの高周波成分が、その前に生成された画像データの高周波成分と異なってしまう可能性がある。したがって、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、補正要素を導出するパラメータとして、画像データの生成速度の切り換えによる高周波成分の低減を加味する必要がある。
【００９５】
上述した画像データの生成速度の切り換えによって、圧縮符号化は以下のように動作する。即ち、画像データの画像メモリ１２２への記憶が開始される前の現圧縮率１５０の蓄積を高速（撮像記憶速度より高い速度）で行い、短時間で適切な次圧縮率を予測し、それ以降は、撮像記憶速度で圧縮率の補正を継続する。画像データの生成間隔が短いと、次圧縮率１５２の予測に必要な時間が短くなるのみならず、連続する画像データが近似した画像となり、次圧縮率１５２の予測精度も向上する。
【００９６】
また、同期信号発生部３０６は、任意のトリガがあるまでと、最後に圧縮符号化された画像データを画像記憶部に記憶した以降の、撮像部１０４の画像データの生成速度を、撮像記憶速度より低くしてもよい。
【００９７】
図１２は、画像データの生成速度の変化の他の例を説明するためのタイミングチャートである。図１２においても、撮像状態として、記憶状態と、予測状態と、表示状態との３つの状態遷移が示される。図１２では、画像データの生成、圧縮符号化、および画像データの画像記憶部１２６への記憶を行うための垂直同期信号ＶＤ１が示されている。垂直同期信号ＶＤ１は撮像状態に応じて変化する。
【００９８】
同期信号発生部３０６は、任意のトリガがあるまでの表示状態において、画像データの生成速度を、撮像記憶速度である６０枚／ｓｅｃ（周期１／６０ｓｅｃ）より低い３０枚／ｓｅｃ（周期１／３０ｓｅｃ）とし、データ制御部１２４は、生成した画像データを表示部１２８に表示させている。ここでは、画像データの記憶に影響のない表示状態における画像データの生成速度を下げることで、消費電力や発熱を低減している。ただし、画像データの生成速度を下げすぎると、表示部１２８が、撮像者が所望する画像データの閲覧機能を果たせなくなる可能性があるので、本実施形態では、画像データの生成速度を３０枚／ｓｅｃとしている。
【００９９】
ここで、撮像者によるリリーススイッチ１１０の操作を通じて、画像データを記憶するための準備処理である任意のトリガ（例えば、オートフォーカス機能の開始操作）を受けると、撮像状態は、表示状態から予測状態に遷移し、同期信号発生部３０６は、垂直同期信号ＶＤ１を制御し、画像データの生成速度を、撮像記憶速度より高い、例えば、２４０枚／ｓｅｃ（周期１／２４０ｓｅｃ）に切り換える（３０枚／ｓｅｃ→２４０枚／ｓｅｃ）。
【０１００】
また、任意のトリガから所定の時間が経過すると、もしくは、任意のトリガから所定時間経過後にさらに撮像者のリリーススイッチ１１０の操作を通じた新たなトリガ（例えば、全押し操作）を得ると、撮像状態は、予測状態から記憶状態に遷移し、同期信号発生部３０６が、垂直同期信号ＶＤ１を制御することで画像データの生成速度を、撮像記憶速度に切り換える（２４０枚／ｓｅｃ→６０枚／ｓｅｃ）。データ制御部１２４は、撮像記憶速度に切り換えた垂直同期信号ＶＤ１に基づいて、画像メモリ１２２に保持された画像データの画像記憶部１２６への記憶を開始する。ここでは、予測状態において次圧縮率１５２を予測するのに十分な現圧縮率１５０が取得されているので、記憶状態では、適切な圧縮率で画像データの圧縮符号化が行われる。
【０１０１】
ここで、撮像状態が記憶状態となると、同期信号発生部３０６とタイミング発生部３０８とが、画像データの生成速度が撮像記憶速度となるように垂直同期信号ＶＤ１を制御し、圧縮処理部１１８は、データ制御部１２４による画像データの記憶タイミングに合わせて圧縮符号化した画像データを画像メモリ１２２に送信している。したがって、画像データの生成から記憶までを効率的に実行でき、ひいては圧縮符号化の全体的な時間短縮を実現することができる。
【０１０２】
図１２をさらに具体的に説明すると、撮像装置３００は、任意のトリガを受けるまで、消費電力や発熱を低減すべく、３０枚／ｓｅｃで表示部１２８に画像データを表示している。任意のトリガを受けると、撮像装置３００の撮像状態は予測状態となり、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は画像データの圧縮率の補正を開始し、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、その圧縮率の補正に必要な補正要素を導出し始める。そして、予測状態の１回目の垂直同期信号ＶＤ１で現圧縮率保持部１３２に現圧縮率１５０が保持される。
【０１０３】
例えば、図１１同様、次圧縮率１５２を予測するための現圧縮率１５０の数を４とした場合、予測状態は、垂直同期信号ＶＤ１の４クロック分継続する。そして、現圧縮率保持部１３２に現圧縮率１５０が４つ保持されると、撮像状態が予測状態から記憶状態に遷移する。
【０１０４】
このとき、次圧縮率予測部１３４は、予測状態で蓄積された４つの現圧縮率１５０の平均値等により、次圧縮率１５２を適切に予測することができるので、補正要素導出部（周波数応答導出部１３６、階調導出部１４０、量子化テーブル導出部１４４）は、記憶状態における、垂直同期信号ＶＤ１の１クロック目から、その次圧縮率１５２と目標圧縮率とに基づいて適切に補正要素を決定することが可能となり、画像加工部（周波数応答処理部１１４、階調処理部１１６、圧縮処理部１１８）は、その適切な補正要素に基づいて画像データの圧縮率を補正することができる。こうして圧縮符号化された画像データは、例えば、データ制御部１２４によって画像記憶部１２６に記憶される。
【０１０５】
記憶状態における垂直同期信号ＶＤ１の２クロック目では、次圧縮率予測部１３４は、予測状態における直前に取得された３つの現圧縮率１５０と、記憶状態における１回目の画像データの現圧縮率１５０との平均値等により次圧縮率を予測する。したがって、２４０枚／ｓｅｃで生成した３枚の画像データと６０枚／ｓｅｃで生成した１枚の画像データとの圧縮率を参照していることとなる。
【０１０６】
図１２の状態遷移を、撮像者の視点で説明すると、何らの操作を行っていないときの撮像状態が表示状態であり、撮像者は、表示部１２８を通じて、画像データを生成した場合の被写体の位置や大きさを確認することができる。このときの画像データの生成速度は、表示部１２８における画像データの更新速度が撮像者に許容できる範囲で低い値（例えば、３０枚／ｓｅｃ）に設定されている。
【０１０７】
そして、撮像者がリリーススイッチ１１０を半押しすると、撮像装置３００は、オートフォーカス機能を遂行し被写体に焦点を合わせると共に、撮像状態を予測状態に遷移し、画像データの生成速度が高い状態（例えば、２４０枚／ｓｅｃ）で圧縮符号化処理における次圧縮率１５２の予測を開始する。続いて、撮像者がリリーススイッチ１１０を全押しすると、撮像装置３００は、撮像状態を記憶状態に遷移し、画像データの生成速度を画像データの撮像記憶速度（６０枚／ｓｅｃ）に切り換え、連続撮像された画像データを記憶する。そして、撮像者がリリーススイッチ１１０を開放すると、撮像装置３００は、画像データの生成速度を低い値（例えば、３０枚／ｓｅｃ）に戻す。
【０１０８】
このように撮像者は、リリーススイッチ１１０等を操作することで、撮像および記憶タイミングを任意に決めることができ、本実施形態による高精度かつ高速な圧縮符号化処理の恩恵を受けつつ、所望する画像データを所望するタイミングで生成することが可能となる。
【０１０９】
また、コンピュータによって撮像装置３００として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【０１１０】
（撮像方法）
次に、上述した撮像装置３００を用いて、連続撮像（連写）した画像に圧縮符号化処理を施して記憶する撮像方法にについて説明する。
【０１１１】
図１３は、第２の実施形態にかかる撮像方法の処理の流れを示したフローチャートである。ここでも、第１の実施形態における撮像方法で既に述べた処理（Ｓ２０２〜Ｓ２２４）は、実質的に処理が同一なので重複説明を省略する。
【０１１２】
当該撮像方法においては、まず、撮像状態が予測状態または記憶状態であるか否か判定され（Ｓ３５０）、撮像状態が標準の状態である表示状態となっている間（Ｓ３５０におけるＮＯ）、同期信号発生部３０６は、撮像データの生成速度を撮像記憶速度より低く設定する（Ｓ３５２）。
【０１１３】
撮像部１０４が生成した画像データがＹ／Ｃ処理部１１２によってＹ／Ｃ処理が施されると（Ｓ２０４）、撮像状態が予測状態または記憶状態であるか否か判定され（Ｓ３５４）、撮像状態が表示状態である間（Ｓ３５４におけるＮＯ）、撮像装置３００は、生成した画像データを、圧縮符号化処理を施すことなく、直接、画像メモリ１２２に保持させる（Ｓ３５６）。画像メモリ１２２に保持された画像データは表示部１２８に表示される。画像データ保持処理Ｓ３５６が完了すると撮像状態判定ステップＳ３５０に戻る。
【０１１４】
表示状態の間に、任意のトリガとして画像データを記憶するための準備処理、例えば、撮像者によるリリーススイッチ１１０の半押し操作を受けると、撮像状態は、表示状態から予測状態に遷移する。撮像状態判定ステップＳ３５０において、撮像状態が予測状態であると判定されると（Ｓ３５０におけるＹＥＳ）、撮像状態が記憶状態であるか否か判定される（Ｓ３５８）。撮像状態が記憶状態でなければ、即ち、撮像状態が予測状態であれば（Ｓ３５８におけるＮＯ）、同期信号発生部３０６は、画像データの生成速度を撮像記憶速度より高く設定する（Ｓ３６０）。
【０１１５】
また、撮像状態判定ステップＳ３５４において、撮像状態が予測状態であると判定されると（Ｓ３５４におけるＹＥＳ）、圧縮符号化処理（Ｓ２０６〜Ｓ２２２）が遂行される。そして、撮像状態が記憶状態であるか否か判定され（Ｓ３６２）、撮像状態が記憶状態でなければ（Ｓ３６２におけるＮＯ）、撮像状態判定ステップＳ３５０に戻る。
【０１１６】
続いて、任意のトリガに基づく所定のタイミング、例えば、任意のトリガから所定の時間経過後に撮像者によるリリーススイッチ１１０の全押し操作を受けると、撮像状態は予測状態から記憶状態に遷移する。撮像状態判定ステップＳ３５０において、撮像状態が記憶状態であると判定され（Ｓ３５０におけるＹＥＳ）、かつ、撮像状態判定ステップＳ３５８において、撮像状態が記憶状態であると判定されると（Ｓ３５８におけるＹＥＳ）、同期信号発生部３０６は、画像データの生成速度を撮像記憶速度に設定する（Ｓ３６４）。
【０１１７】
また、撮像状態判定ステップＳ３５４において、撮像状態が記憶状態であると判定されると（Ｓ３５４におけるＹＥＳ）、予測状態同様、圧縮符号化処理（Ｓ２０６〜Ｓ２２２）が遂行される。そして、撮像状態判定ステップＳ３６２において、撮像状態が記憶状態であると判定されると（Ｓ３６２におけるＹＥＳ）、データ制御部１２４によって画像データが画像記憶部１２６に記憶される（Ｓ２２４）。画像データ保持処理Ｓ２２４が完了すると撮像状態判定ステップＳ３５０に戻る。
【０１１８】
以上、説明した撮像装置３００や撮像方法によれば、直前の１または複数の画像データの現圧縮率１５０から次圧縮率１５２を予測しているので、撮像装置３００は、連続撮像という短時間の画像データの時間方向の変化を適切に把握することができ、より高精度に圧縮率を目標圧縮率に近づけることが可能となる。さらに、画像データの生成速度を切換制御することで、画像データの圧縮率の予測をさらに高精度かつ高速に行うことができ、また、画像データの記憶に影響がない表示状態において消費電力や発熱を低減することが可能となる。かかる効果は連続撮像のみならず単写撮像においても期待することができる。
【０１１９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２０】
尚、本明細書の撮像方法として挙げた各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２１】
本発明は、連続撮像により生成された画像データに画面内予測符号化による圧縮符号化処理を施して記憶する撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１２２】
１００、３００ …撮像装置
１０４ …撮像部
１１４ …周波数応答処理部
１１６ …階調処理部
１１８ …圧縮処理部
１２４ …データ制御部
１２６ …画像記憶部
１３０ …現圧縮率導出部
１３２ …現圧縮率保持部
１３４ …次圧縮率予測部
１３６ …周波数応答導出部
１４０ …階調導出部
１４４ …量子化テーブル導出部
１５０ …現圧縮率
１５２ …次圧縮率
１６０ …階調変換曲線
１７０ …量子化テーブル
３０６ …同期信号発生部
３０８ …タイミング発生部
【特許請求の範囲】
【請求項１】
連続撮像により時間方向に連続する複数の画像データを生成する撮像部と、
画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部と、
圧縮符号化された前記画像データを画像記憶部に記憶するデータ制御部と、
圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部と、
前記現圧縮率を時間方向に連続して複数保持する現圧縮率保持部と、
保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部と、
前記次圧縮率に基づいて前記補正要素を導出する補正要素導出部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均し、その平均値を次圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値を平均し、その平均値を最新の前記現圧縮率に加算して次圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率を平均し、その平均値を最新の前記現圧縮率に乗算して次圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値の平均値を最新の前記現圧縮率に加算する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率の平均値を最新の前記現圧縮率に乗算する処理の群から選択された２または３の処理を、前記現圧縮率の変化態様に応じて切り換え、次圧縮率を予測することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画像加工部は、画像データの周波数領域の特性を、前記補正要素としての周波数応答特性に基づいて変換する周波数応答処理部であり、
前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記周波数応答特性を導出する周波数応答導出部であることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
予め定められた複数の前記周波数応答特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記周波数応答特性とを対応させた周波数応答テーブルとをさらに有し、
前記周波数応答導出部は、前記周波数応答テーブルを用いて１の周波数応答特性を選択することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像加工部は、画像データの階調を、前記補正要素としての階調特性に基づいて変換する階調処理部であり、
前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記階調特性を導出する階調導出部であることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項９】
予め定められた複数の前記階調特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記階調特性とを対応させた階調テーブルとをさらに有し、
前記階調導出部は、前記階調テーブルを用いて１の階調特性を選択することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画像加工部は、画像データに対し、前記補正要素としての量子化テーブルに基づいて圧縮符号化処理を行う圧縮処理部であり、
前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記量子化テーブルを導出する量子化テーブル導出部であることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項１１】
予め定められた複数の量子化テーブルと、前記次圧縮率と前記目標圧縮率との差分値と複数の前記量子化テーブルとを対応させた量子化対応テーブルとをさらに有し、
前記量子化テーブル導出部は、前記量子化対応テーブルを用いて１の量子化テーブルを選択することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記データ制御部は、前記圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ前記画像記憶部に記憶することを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
【請求項１３】
連続撮像により時間方向に連続する複数の画像データを生成し、
画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化し、
圧縮符号化された前記画像データを画像記憶部に記憶し、
圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出し、
前記現圧縮率を時間方向に連続して複数保持し、
保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測し、
前記次圧縮率に基づいて前記補正要素を導出することを特徴とする撮像方法。
【請求項１】
連続撮像により時間方向に連続する複数の画像データを生成する撮像部と、
画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化する画像加工部と、
圧縮符号化された前記画像データを画像記憶部に記憶するデータ制御部と、
圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出する現圧縮率導出部と、
前記現圧縮率を時間方向に連続して複数保持する現圧縮率保持部と、
保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測する次圧縮率予測部と、
前記次圧縮率に基づいて前記補正要素を導出する補正要素導出部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均し、その平均値を次圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値を平均し、その平均値を最新の前記現圧縮率に加算して次圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率を平均し、その平均値を最新の前記現圧縮率に乗算して次圧縮率とすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記次圧縮率予測部は、予め定められた数の前記現圧縮率を平均する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の差分値の平均値を最新の前記現圧縮率に加算する処理、前記現圧縮率の時間方向に隣接する前記現圧縮率の変化率の平均値を最新の前記現圧縮率に乗算する処理の群から選択された２または３の処理を、前記現圧縮率の変化態様に応じて切り換え、次圧縮率を予測することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画像加工部は、画像データの周波数領域の特性を、前記補正要素としての周波数応答特性に基づいて変換する周波数応答処理部であり、
前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記周波数応答特性を導出する周波数応答導出部であることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
予め定められた複数の前記周波数応答特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記周波数応答特性とを対応させた周波数応答テーブルとをさらに有し、
前記周波数応答導出部は、前記周波数応答テーブルを用いて１の周波数応答特性を選択することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像加工部は、画像データの階調を、前記補正要素としての階調特性に基づいて変換する階調処理部であり、
前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記階調特性を導出する階調導出部であることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項９】
予め定められた複数の前記階調特性と、前記次圧縮率と前記目標圧縮率との差分値と複数の前記階調特性とを対応させた階調テーブルとをさらに有し、
前記階調導出部は、前記階調テーブルを用いて１の階調特性を選択することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画像加工部は、画像データに対し、前記補正要素としての量子化テーブルに基づいて圧縮符号化処理を行う圧縮処理部であり、
前記補正要素導出部は、前記次圧縮率と目標圧縮率とに基づいて前記量子化テーブルを導出する量子化テーブル導出部であることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項１１】
予め定められた複数の量子化テーブルと、前記次圧縮率と前記目標圧縮率との差分値と複数の前記量子化テーブルとを対応させた量子化対応テーブルとをさらに有し、
前記量子化テーブル導出部は、前記量子化対応テーブルを用いて１の量子化テーブルを選択することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記データ制御部は、前記圧縮符号化された複数の画像データのうち、最後に圧縮符号化された画像データのみ前記画像記憶部に記憶することを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
【請求項１３】
連続撮像により時間方向に連続する複数の画像データを生成し、
画像データを補正するための補正要素に基づいて前記画像データの圧縮率を補正し、画面内予測符号化方式を用いて圧縮符号化し、
圧縮符号化された前記画像データを画像記憶部に記憶し、
圧縮符号化された前記画像データの現実の圧縮率である現圧縮率を導出し、
前記現圧縮率を時間方向に連続して複数保持し、
保持された複数の前記現圧縮率、または、保持された前記複数の現圧縮率と今回圧縮符号化する画像データの圧縮率とから、次回圧縮符号化する画像データの圧縮率である次圧縮率を予測し、
前記次圧縮率に基づいて前記補正要素を導出することを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−９９８７８（Ｐ２０１２−９９８７８Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４３２１３（Ｐ２０１０−２４３２１３）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]