画像処理装置、画像処理方法、及び記録媒体
【課題】 従来の画像処理装置では、画像品質を指定して符号化処理を行っても画像の内容に依存して品質が変動してしまうという問題点があったが、本発明では、画像の内容に依存せずに指定された品質の符号化画像を生成できる画像処理装置、画像処理方法、及び記録媒体を提供する。
【解決手段】 符号化パラメータ推定部４３が入出力条件と、画像品質値と、入力画像データとに基づいて符号化パラメータを推定し、推定した符号化パラメータで符号化部４４が入力画像データを符号化し、さらに復号した画像データと入力画像データとから符号化パラメータを逐次補正して、補正後の符号化パラメータで入力画像データの符号化を行う画像処理装置、画像処理方法、及び画像処理プログラムを格納した記録媒体である。
【解決手段】 符号化パラメータ推定部４３が入出力条件と、画像品質値と、入力画像データとに基づいて符号化パラメータを推定し、推定した符号化パラメータで符号化部４４が入力画像データを符号化し、さらに復号した画像データと入力画像データとから符号化パラメータを逐次補正して、補正後の符号化パラメータで入力画像データの符号化を行う画像処理装置、画像処理方法、及び画像処理プログラムを格納した記録媒体である。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像圧縮を行う画像処理装置、画像処理方法、及び画像処理プログラムを格納した記録媒体に係り、特に画像品質設定の改良に関する。
【０００２】
【従来の技術】近年、コンピュータや、デジタルカメラの普及に伴い、デジタル関連製品での画像処理技術が注目されている。コンピュータ上では種々の静止画像を加工（レタッチ）するためのソフトウエアがあり、デジタルカメラ内部ではＣＣＤ（光−電子変換素子）等でキャプチャーした画像を所定のフォーマットの画像ファイルとして格納する。さらに動画像であってもデジタルデータとして取り扱うことができるようになっており、動画像データをデジタル的に格納するデジタルビデオカメラも数多く製造されている。
【０００３】従来、これら画像データを取り扱う製品においては、電気通信網を介して、画像データの交換を行う際の負荷や、フロッピー（登録商標）ディスクやＭＯ（光磁気ディスク）に格納する際の事情を考慮して、所定の方法で圧縮処理が行われている。
【０００４】このような圧縮処理には、大別して元のデータを完全に再現できる形式の圧縮（損失なし圧縮）と、元のデータの一部を削除する形式の圧縮（損失あり圧縮）の２種類がある。一般に画像データでは、十分な画質があれば多少の損失があっても構わない場合が多いため、損失あり圧縮によりデータの圧縮を行うことが多い。そのような圧縮方式の代表的なものとして、ＪＰＥＧ（Joint PhotographicExperts Group）がある。デジタルカメラ等では、撮像した画像データをこのＪＰＥＧ方式により圧縮処理し、圧縮した画像データを各種の媒体に記録している。
【０００５】以下、ＪＰＥＧ圧縮処理を行う従来の画像処理装置について、デジタルカメラを例として説明する。従来のデジタルカメラは、図１０に示すように、撮像部１０と、画像処理部２０と、外部記憶装置３０とから基本的に構成されている。また、画像処理部２０は、ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３とから構成されている。
【０００６】以下、各部を具体的に説明する。撮像部１０は、ＣＣＤ素子（光−電気変換素子）を格子状に配列したもので、各素子で受光した光の強度に応じた信号を画像処理部２０に出力する。画像処理部２０のＣＰＵ２１は、この信号に基づいて、各画素における光の三原色（赤、緑、青）の各色ごとの強度値（ＲＧＢ値）を演算して、ＲＡＭ２２上に画像データを展開する。また、このＣＰＵ２１は、ＲＡＭ２２上に展開した画像データを事前に設定された圧縮率でＪＰＥＧ圧縮し、外部記憶装置３０に出力する。ＲＡＭ２２は、ＣＰＵ２１のワークメモリとして動作する。ＲＯＭ２３は、ＣＰＵ２１によって実行される処理プログラム（ＪＰＥＧ圧縮プログラム等）が格納されている。外部記憶装置３０は、ＣＰＵ２１から入力されるＪＰＥＧ圧縮された画像データをスマートメディア（商標）等の外部記憶媒体に格納する。
【０００７】ここで、ＣＰＵ２１が行うＪＰＥＧ圧縮処理について簡単に説明する。ＣＰＵ２１は、ＲＡＭ２２に格納された圧縮前の画像データを８×８画素ごとのブロックに分割し、各ブロックに含まれる座標（ｘ，ｙ）（ｘ，ｙはそれぞれ０から７までの整数）における画素のＲＧＢ値ｆ（ｘ，ｙ）ごとに離散コサイン変換（ＤＣＴ（Discrete Cosine Transform））を適用して、次の［数１］によりＤＣＴ係数Ｓ（ｕ，ｖ）を得る。この手続きは、画素のＲＧＢ値の変化量を周波数領域に変換する手続きに相当する。
【０００８】
【数１】
そしてＣＰＵ２１は、このＤＣＴ係数Ｓ（ｕ，ｖ）を次の［数２］に示すように量子化テーブルの値Ｑ（ｕ，ｖ）で除して、四捨五入（round）し、量子化ＤＣＴ係数Ｓｑ（ｕ，ｖ）を得る。この手続きは、周波数ごとの情報量を量子化により低減する圧縮処理に相当する。
【０００９】
【数２】
ここで、量子化テーブルの値Ｑは、ＪＰＥＧ標準化グループの推奨値ＩＴＵ勧告Ｔ．８０の付録Ｋに記載されているものが一般に用いられる。一般に写真画像では隣接する画素のＲＧＢ値が極端に変化することが少ないために、高周波領域の成分が少なく、この領域の量子化を大きくしても画質の劣化にはさほどの影響がないといわれる。しかし、現実には画像によって画質の劣化に影響する周波数成分は異なるため、この量子化テーブルの値Ｑは、予め想定された写真画像で、所定の品質を達成することができるようにある程度調整されている。
【００１０】また、パーソナルコンピュータ上で動作する多くのフォトレタッチソフトウエアでは、この量子化テーブルの値を全体的にスケーリングして画質を調整することが行われている。
【００１１】
【発明が解決しようとする課題】このように、上記従来の画像処理装置では、予め想定された画像で所定品質を達成することができても、利用者が撮影したり加工したりする画像での品質は保証されていない。例えば利用者がコントラストの強い映像（高周波成分を多く含む画像）を撮影したときには、デジタルカメラのように事前に設定された量子化テーブル値によってＪＰＥＧ圧縮を行うこととすれば、高周波成分の量子化が強すぎてブロックノイズやモスキートノイズといった画質の劣化を生じる。また、フォトレタッチソフトにおいても、一定の量子化テーブルの値をスケーリングしているだけであるので、「高品質」のオプションで画像を加工しても、画像の内容によって、その現実の品質値は大きく異なる。すなわち、従来の画像処理装置では、画像の内容によらず、一定の量子化テーブルの値を用いるので、品質が一定しないという問題点があった。
【００１２】さらに、常に高品質を得られるように量子化テーブルを設定すると、ＪＰＥＧ圧縮の効果が薄れてファイルサイズが大きくなってしまうという問題点があった。
【００１３】そこで、従来、画質主導型と呼ばれるＪＰＥＧ符号化の方法が考えられている。この画質主導型のＪＰＥＧ符号化方法においては、画質を測定する量として、１〜１００までの値をとるQuality Scale（ＱＳ）を用いて、量子化テーブルの値Ｑ＊を次の［数３］に示すように補正する。
【００１４】
【数３】
そして、この補正後の量子化テーブル値Ｑ＊を用いて、［数２］に対応する次の［数４］を用いて量子化ＤＣＴ係数を算出する。
【００１５】
【数４】
また、Quality Scaleは、人間の目に感じる画質の評価を表す値：ＱＭ（Quality Measure）には必ずしも線形に応答していないので、実験的にこのＱＭからＱＳを推定する。このためには、事前に数枚の静止画像に基づいてアンケート試験により集計し、ＱＭとＱＳとの相関関係式を近似的に評価する。この近似式は、具体的には、次の［数５］に示すようなものである。
【００１６】
【数５】
尚、電子情報通信学会論文誌Ｂ Vol.J83-B, No.1の１２１ページ〜１２７ページに掲載されている堀田裕弘他著の「白黒静止画像における画質主導型ＪＰＥＧ符号化方式」には、このようにして利用者が指定した画質評価値ＱＭから求めたＱＳをさらに、画像の性質を表すテクスチャ特徴量を用いて補正し、さらに符号化特性をフィードバック制御して所望の画質を達成する実用的システムが開示されている。
【００１７】しかしながら、この論文に開示の内容によっても、画像の最終出力やそれを利用者が目にするときの状況、さらに撮影、スキャン時点の条件など入出力条件が考慮されていないので、例えばディスプレイ画面（約１００ｄｐｉの画像を１０〜３０ｃｍ離れてみる）であると、ポスター印刷（約３００ｄｐｉの画像を１ｍ以上離れてみる）であるとを問わず、同一の処理で得られたＱＳ及びそれによって算出された量子化テーブルを用いるので、入出力の条件如何によっては、意図した品質で観察されなかったり、圧縮の効果が薄れてしまう可能性がある。
【００１８】さらに、上記論文に開示されている方法によって量子化テーブルを決定したとしても、ステレオグラム（立体視）用の画像圧縮や、動画像の圧縮には配慮していないので、これらの画像の圧縮には、そのまま応用することができない。
【００１９】本発明は上記実情に鑑みて為されたもので、画像の内容、種類のいかんを問わず、均質な画像品質での画像圧縮処理を行うことができる画像処理装置、画像処理方法及び画像処理プログラムを格納した記録媒体を提供することを目的とする。
【００２０】
【課題を解決するための手段】上記従来例の問題点を解決するための請求項１記載の発明は、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置において、前記入力画像データの特徴量を検出する手段と、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、を含むことを特徴としている。これにより、入出力条件を考慮した画像圧縮を行うことができる。尚、ここで画像品質値は、段階的に設定可能とすることも好ましい。
【００２１】また、上記従来例の問題点を解決するための請求項２記載の発明は、請求項１記載の画像処理装置において、さらに、圧縮画像データの現実の品質値を検出する手段と、入力された画像品質値と、現実の品質値との差信号が所定のしきい値を下回るまで、当該差信号に基づいて前記符号化パラメータの補正を行う動作と、当該補正後の符号化パラメータで入力画像データを圧縮する動作とを繰り返し行う補正手段と、を含むことを特徴としている。このように、フィードバック制御を行うことで、より適切な符号化パラメータを設定でき、利用者の希望した品質を達成できる。
【００２２】上記従来例の問題点を解決するための請求項３記載の発明は、請求項２記載の画像処理装置において、前記入力画像データは左目用入力画像データと右目用入力画像データとを含み、前記特徴量を検出する手段は、前記左目用画像データ及び右目用画像データの各々の特徴量を検出し、前記補正手段は、平均的符号化パラメータを前記左目用画像データ及び右目用画像データの各特徴量で補正するとともに、圧縮後の左目用画像データの現実の品質値と、圧縮後の右目用画像データの現実の品質値との差である第１の差信号と、入力された画像品質値と圧縮後の左目用又は右目用の画像データの少なくとも一方の現実の品質値との第２の差信号とがそれぞれ所定のしきい値を下回るまで、前記第１の差信号及び第２の差信号とに基づいて、前記左目用画像データの符号化パラメータと、右目用画像データの符号化パラメータとの補正と、入力画像データの圧縮とを繰り返し行うことを特徴としている。
【００２３】このように、左目用画像と右目用画像との画像品質の差を一定以下とすることで、違和感のないステレオ画像を提供でき、また、利用者の希望した品質を達成することができる。
【００２４】さらに、上記従来例の問題点を解決するための請求項４記載の発明は、一連の静止画像データからなる動画像データに対し、符号化パラメータに基づいて逐次圧縮処理し、圧縮動画像データを生成する画像処理装置において、前記一連の静止画像データの各々の特徴量を検出する手段と、圧縮動画像データの画像品質値の入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する補正手段と、を含むことを特徴としている。
【００２５】また、上記従来例の問題点を解決するための請求項５記載の発明は、請求項４に記載の画像処理装置において、さらに、先行する静止画像データの現実の品質値を保持する手段を含み、前記補正手段は、入力された画像品質値と現実の品質値とに応じて逐次補正演算することを特徴としている。このように、先行する画像の現実の品質値に応じた符号化パラメータの補正を行うことで、動画像全体での画像品質を均質なものとすることができる。
【００２６】上記従来例の問題点を解決するための請求項６記載の発明は、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理方法であって、前記入力画像データの特徴量を検出する工程と、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴としている。
【００２７】また、上記従来例の問題点を解決するための請求項７記載の発明は、一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理方法であって、前記各静止画像データの特徴量を検出する工程と、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴としている。
【００２８】さらに、上記従来例の問題点を解決するための本発明は、コンピュータ読み取り可能な記録媒体であって、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理プログラムであって、前記入力画像データの特徴量を検出するモジュールと、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とする。
【００２９】上記従来例の問題点を解決するための本発明は、コンピュータ読み取り可能な記録媒体であって、一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理プログラムであって、前記各静止画像データの特徴量を検出するモジュールと、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とする。
【００３０】上記従来例の問題点を解決するための本発明は、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置であって、前記入力画像データの特徴量を検出する手段と、電気通信網を介して、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとを取得して、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、前記符号化パラメータを用いて圧縮処理された圧縮画像データを電気通信網を介して配信する手段と、を含むことを特徴とする。
【００３１】
【発明の実施の形態】［実施形態１］本発明の第１の実施の形態について図面を参照しながら説明する。以下、本発明の第１の実施の形態に係る画像処理装置として、具体的にデジタルカメラの場合を例として説明する。本実施の形態に係る画像処理装置としてのデジタルカメラは、図１に示すように、撮像部１０と、画像処理部４０と、外部記憶装置３０とから主として構成されている。尚、従来と同様の構成をとる部分については同一の符号を付して詳細な説明を省略する。
【００３２】本実施の形態の画像処理部４０は、図２に示すように、入出力条件入力部４１と、画像品質値入力部４２と、符号化パラメータ推定部４３と、符号化部４４と、復号化部４５と、画像品質評価部４６と、符号化パラメータ補正部４７とから基本的に構成されている。尚、この画像処理部４０は、ＣＰＵのソフトウエア処理として実現しておくことも好ましい。この場合には、外部からＥＥＰＲＯＭ等の記録媒体にこの画像処理部の各部を具現化するソフトウエアを格納してＣＰＵに処理させることが好ましい。
【００３３】以下、この画像処理部４０の各部の動作について説明する。入出力条件入力部４１は、撮影対象画像の性質や、撮影方式、さらに最終出力の予定形態等の入力を利用者から受けて、これらの条件に基づくパラメータ値を符号化パラメータ推定部４３と、画像品質評価部４６と、符号化パラメータ補正部４７とにそれぞれ出力する。具体的に、この入出力条件入力部４１は、図３に示すように、デイライトで撮影する場合と、フラッシュで撮影する場合との区別を設定するとともに、ホームページ用画像等、主としてディスプレイ上で観察される画像として用いるか、ビデオプリンタ等で印刷して観るための画像として用いるかを設定する。尚、図３では、液晶ディスプレイ等にグラフィカルなユーザインタフェースを表示して、利用者からの入力を受ける公知の方法を用いて本実施の形態の入出力条件入力部４１を具現化した場合を図示している。この場合には、入力条件に応じて高周波成分の反映度の強弱（デイライトでは反映度を弱く、フラッシュ撮影時等コントラストの明確な画像では反映度を強くする）を表すパラメータと、最終出力を見る際の当該画像のサイズと、当該画像とそれを見る者との距離との関係を表すパラメータ（視点距離と称する）とが出力される。
【００３４】尚、この入出力条件入力部４１は、さらに、ピントの位置（被写体までの距離）及び被写界深度等の種々の条件を考慮してパラメータを出力することとするのも好適である。このようなピント等の情報は、レンズ設定や絞りの設定から取得することで、利用者の利便性を向上することができる。
【００３５】画像品質値入力部４２は、利用者が望む画像の品質値の入力を受けて、符号化パラメータ推定部４３と、符号化パラメータ補正部４７とに出力する。この画像品質値入力部４２にて入力する画像品質値は、広く用いられている評価語に対応する５段階評価によることで実現できる。具体的にこの５段階とは、「（圧縮前の画像に比べ圧縮後の画像では）劣化がひどくて使いものにならない」とする第１の段階と、「劣化が邪魔になる」と感じられる第２の段階と、「劣化が気になるが邪魔にならない」と感じられる第３の段階と、「劣化が分かるが気にならない」と感じられる第４の段階と、「劣化が全く気にならない」と感じられる第５の段階とである。一般にこの評価尺度の「５」段階目と「４」段階目の中間である４．５程度がいわゆる検知限と呼ばれ、劣化が検知されるかされないかの限界値に相当する。また、３．５程度は許容限と呼ばれ、多くの利用者が使いものになる画像として認識する限界値に相当する。さらに、２．５程度の値は、いわゆる我慢限と呼ばれ、これ以上劣化すると、見るに耐えないと一般の利用者が判断する限界の値に相当する。すなわち、画像品質値入力部４２では、これらの検知限、許容限、我慢限の値のいずれかを利用者が選択できるようにしておくことが好ましい。
【００３６】尚、実際のインタフェースとしては、例えば図４に示すように、液晶ディスプレイ等にグラフィカルなインタフェースを表示し、利用者がスライダを左右に動かして所望の画像品質値を入力するようにしておく。また、スライダの所定の点には、図示したように、例えば「低品質」、「標準」、「高品質」等、それぞれ我慢限、許容限、検知限に対応したラベルを付しておけば、利便性を向上できる。また、図示したように「非圧縮」時の設定も可能としておくのが好ましい。
【００３７】符号化パラメータ推定部４３は、入出力条件入力部４１と、画像品質値入力部４２とからそれぞれ入出力条件に対応するパラメータ値と、画像品質値との入力を受けて、また、撮像部１０から入力画像データの入力を受けて、適切な符号化パラメータを推定する。
【００３８】ここで、符号化パラメータ推定部４３の具体的内容について、図５を参照しつつ説明する。符号化パラメータ推定部４３は、平均的符号化パラメータ算出部５０と、テクスチャ特徴量算出部５１と、符号化パラメータ算出部５２とから構成されている。この平均的符号化パラメータ算出部５０が本発明の平均的符号化パラメータを出力する手段に対応し、テクスチャ特徴量算出部５１が本発明の入力画像データの特徴量を検出する手段に相当し、符号化パラメータ算出部５２が本発明の符号化パラメータを演算する手段に相当している。
【００３９】平均的符号化パラメータ算出部５０は、画質評価値と、入出力パラメータ値との入力を受けて、まず、画像品質値に基づいて［数５］により、基本符号化パラメータを算出する。さらに、この平均的符号化パラメータ算出部５０は、この基本符号化パラメータを入出力パラメータに基づいてスケーリングする。このスケーリングの度合いは、人間の目で見た実際の画質に合わせるために実験的に設定する。具体的に、視点距離と、［数５］を検定した実験の際に用いた視点距離（通常の２１インチモニタスクリーンの縦方向画像サイズの４倍（尚、視角に関連づけるため、画像のサイズに対する比によって視点距離を設定している））を基準視点距離としたときの差によって、視点距離が基準視点距離よりも長いときには基本符号化パラメータを低くスケーリングし、視点距離が基準視点距離よりも短いときには基本符号化パラメータを高くスケーリングして、このスケーリング後の基本符号化パラメータを平均的符号化パラメータとして符号化パラメータ算出部５２に出力する。
【００４０】テクスチャ特徴量算出部５１は、入力画像データのテクスチャ特徴量を算出して、画像の特徴量として符号化パラメータ算出部５２に出力する。符号化パラメータ算出部５２は、平均的符号化パラメータをテクスチャ特徴量で補正して符号化パラメータＱＳを出力する。例えば、テクスチャ特徴量としての自己相関性が大きいとき（地模様として周期的に現れる部分が多いとき）には、平坦部分が多い画像に比べて劣化が目立ちにくいことが知られているので、テクスチャ特徴量が大きいときには、平均的符号化パラメータを低くスケーリングする。そして、この符号化パラメータＱＳは、このように補正した平均的符号化パラメータを符号化パラメータＱＳとして符号化部４４に出力する。
【００４１】さらに、ここでは、テクスチャ特徴量のみを使って説明したが、画像の特徴量としては、最高輝度と最低輝度との差（コントラストが強いほど平均的符号化パラメータを小さくスケーリングする）や平均輝度、色味等により、各特徴量に応じた平均的符号化パラメータのスケーリングを行うこととするのが好ましい。
【００４２】符号化部４４は、符号化パラメータ推定部４３から入力される符号化パラメータとしてのＱＳ値により、入力画像データのＪＰＥＧ符号化を行い、ＪＰＥＧ圧縮した画像データを出力する。また、この符号化部４４は、符号化パラメータ補正部４７から補正後の符号化パラメータの入力を受けて、さらにこの符号化パラメータによって入力画像データのＪＰＥＧ符号化を行い、ＪＰＥＧ圧縮した画像データを出力する。復号化部４５は、符号化部４４にてＪＰＥＧ圧縮された画像データを復号化し、この復号画像データを画像品質評価部４６に出力する。
【００４３】画像品質評価部４６は、入力画像データと復号画像データとの差の信号（差信号）を演算し、入出力条件入力部４１から入力される入出力条件のパラメータ値に応じて、当該復号画像データの劣化度を評価する。この画像品質評価部４６は、具体的には、図６に示すように、輪郭検出部６１と、重み付け誤差算出部６２と、テクスチャ特徴量算出部６３と、誤差特徴量算出部６４と、評価値算出部６５とから構成されている。この画像品質評価部４６が、本発明の現実の品質値を検出する手段に相当する。
【００４４】ここで、輪郭検出部６１は、入力画像データから輪郭を検出し、輪郭画像データを出力する。輪郭の検出については、隣接する画素の輝度の微分値が所定のしきい値を越える部分を検出するような一般的な方法で実現できる。重み付け誤差算出部６２は、入力画像データと復号画像データとの差信号を演算し、さらに、入出力条件のパラメータに応じてこの差信号をスケーリングする。具体的には、視点距離と事前に設定されている基準となる視点距離（基準視点距離）との差に基づいて、基準視点距離よりも視点距離が長ければ差信号を小さくスケーリングし、基準視点距離よりも視点距離が短ければ差信号を大きくスケーリングし、誤差信号として出力する。テクスチャ特徴量算出部６３は、すでに説明した符号化パラメータ推定部４３のテクスチャ特徴量算出部５１と同様にして、復号画像データに基づいてテクスチャ特徴量を算出する。
【００４５】誤差特徴量算出部６４は、輪郭画像データと、誤差信号との入力を受けて、符号化した画像データの誤差特徴量を算出する。本実施の形態において特徴的なことは、この誤差特徴量算出部６４が、輪郭画像データを用いて、誤差信号を補正していることである。すなわち、輪郭部分では符号化時の量子化の効果によっていわゆるモスキートノイズが発生しやすいため、輪郭部分の周囲の誤差信号を抑制して評価することとして画面全体に平均化した誤差特徴量を算出できる。また、輪郭部分の周囲の誤差信号を強めて評価すれば、誤差特徴量が厳しく評価されることになる。
【００４６】評価値算出部６５は、誤差特徴量と、テクスチャ特徴量との入力を受けて、誤差特徴量をテクスチャ特徴量で補正して評価値を算出し、出力する。具体的にテクスチャ特徴量により相関量が大きいと判断される場合には、評価値を低めにスケーリングする。すなわち、この評価値は、元の画像との差、すなわち画質品質に相当している。
【００４７】符号化パラメータ補正部４７は、符号化パラメータ推定部４３が出力する符号化パラメータを初期値として、入力された画像品質値に基づいて、求められている画像の品質が得られるまで繰り返し符号化パラメータを補正する。具体的に符号化パラメータ補正部４７は、図７に示すように画像品質誤差算出部７１と、符号化パラメータメモリ７２と、補正パラメータ算出部７３とから構成されている。この符号化パラメータ補正部が、本発明の補正手段に相当する。
【００４８】ここで、画像品質誤差算出部７１は、画像品質値と、評価値との入力を受けて、評価値で表される画像品質（以下、評価値と略称する）よりも、画像品質値が大きく、かつその差が所定の値を超えているときには、補正パラメータ算出部７３に符号化パラメータを低めにスケーリングすべき指示を出力する。符号化パラメータメモリ７２は、符号化パラメータ推定部４３から符号化パラメータの入力を受けると、この符号化パラメータを格納して保持する。また、この符号化パラメータメモリ７２は、補正パラメータ算出部７３から入力された補正後の符号化パラメータを格納して保持する。
【００４９】補正パラメータ算出部７３は、画像品質誤差算出部７１から符号化パラメータを低めにスケーリングすべき指示の入力を受けて符号化パラメータメモリ７２に格納されている符号化パラメータを小さめにスケーリングし、このスケーリング後の符号化パラメータを符号化パラメータメモリ７２に格納して保持させるとともに、符号化部４４に出力する。
【００５０】尚、画像品質誤差算出部７１は、画像品質値と評価値との差が所定の値以下であるときには、符号化パラメータメモリ７２に格納されている符号化パラメータを符号化部４４に出力し、符号化部４４が出力する符号化後の画像データを外部記憶装置３０に出力させる。
【００５１】さらに、この画像品質誤差算出部７１は、評価値よりも画像品質値が小さく、かつその差が所定の値を超えていれば、補正パラメータ算出部７３に符号化パラメータを大きめにスケーリングすべき指示を出力することとしてもよい。この場合には、利用者が指定した画質の条件を満たす適切な圧縮率とすることができ、圧縮効率を高めることができる。
【００５２】次に本実施の形態に係る画像処理装置としてのデジタルカメラの動作について説明する。利用者は、撮影の前に入力条件としての撮影条件の情報と、出力条件としての撮影後の画像データの取り扱いの情報とを図３に示すインタフェースにより入力する。具体的にここでは、デイライトで人物等を撮影して、プリンタに出力する場合を想定して説明する。利用者はさらに、事前に必要な画像品質を図４に示すスライダを調整して設定する。このスライダの設定においては、品質値のほか、外部記憶装置３０に挿入されている外部記憶素子の残り記憶容量から、あと何枚程度保存できるかを表す情報とすることも好ましい。この場合には、残り容量情報と、圧縮率の平均的な情報とから残り枚数を算出する。以下の説明では、利用者が「高品質」（検知限であり、ＱＭ＝４．５）を選択したとして説明する。また、［数５］の関係式の検定に用いられた画像データがデイライトで撮影されたものであるとする。
【００５３】すると、入出力条件入力部４１がデイライト撮影で、プリンタ出力（画像サイズが高々１５ｃｍ程度で、１５ｃｍ程度の距離から眺めるため、視点距離は「１」）であることを表す入出力パラメータ値を出力し、画像品質値入力部４２が、検知限としてのＱＭ値（４．５）を出力する。そして、符号化パラメータ推定部４３がＱＭ値に基づいて［数５］から基本符号化パラメータを得、入出力条件が［数５］の関係式の検定に用いた画像データと同様にデイライト撮影されているので、この基本符号化パラメータを平均的符号化パラメータとし、入力画像のテクスチャ特徴量に基づいて、この平均的符号化パラメータを補正して、符号化パラメータの初期値ＱＳ0として出力する。
【００５４】ここで利用者がシャッターボタンを押下して、撮像部１０がレンズを通して撮影された風景写真をデジタルの入力画像データとして画像処理部４０に出力する。すると、画像処理部４０の符号化部４４に入力画像データが入力され、符号化部４４が符号化パラメータ推定部４３から入力される符号化パラメータＱＳ0で画像データを符号化して出力する。
【００５５】この符号化された画像データは、復号化部４５で復号画像データに復号化され、画像品質評価部４６により、入力画像データとの差に基づく評価値が算出される。そして、符号化パラメータ補正部４７が、符号化パラメータＱＳ0を初期値として、評価値と画像品質値とに応じて符号化パラメータＱＳ0を補正し、補正後の符号化パラメータＱＳ1を出力する。そして、符号化部４４がこの符号化パラメータＱＳ1で入力画像データを符号化して出力する。以下、この符号化と符号化パラメータとの補正を繰り返し行い、やがて評価値と画像品質値との差が所定の値より小さくなれば、そのときの符号化パラメータによって符号化された画像データが外部記憶装置３０に出力され、外部記憶装置３０が、この符号化された画像データを挿入された外部記憶素子に格納する。
【００５６】このように本実施形態の画像処理装置としてのデジタルカメラであれば、画像の内容に拘わらず、利用者が求める品質を達成できる圧縮符号化が行われるので、圧縮の効果を高めつつ、画像の内容によらずに所定の品質の画像データを生成できる。
【００５７】［実施形態２］本発明の第２の実施の形態に係る画像処理装置について、図８を参照しつつ説明する。本実施の形態に係る画像処理装置は、立体視用の画像データを生成するもので、具体的には、図８に示すように、左目用の画像を撮影する第１の撮像部１０ａと、右目用の画像を撮影する第２の撮像部１０ｂと、画像処理部８０と、外部記憶装置３０とから構成されている。また、画像処理部８０は、入出力条件入力部４１と、画像品質値入力部４２と、符号化パラメータ推定部４３と、第１の符号化部４４ａと、第２の符号化部４４ｂと、第１の復号化部４５ａと、第２の復号化部４５ｂと、第１の画像品質評価部４６ａと、第２の画像品質評価部４６ｂと、第１の符号化パラメータ補正部８１ａと、第２の符号化パラメータ補正部８１ｂとから構成されている。尚、第１の実施の形態と同様の構成をとるものについては同じ符号を付して詳細な説明を省略する。ここで第１の符号化パラメータ補正部８１ａ及び第２の符号化パラメータ補正部８１ｂとが、本発明の補正手段に相当する。
【００５８】符号化パラメータ推定部４３は、左目用の入力画像データ又は右目用の入力画像データのいずれかに基づいて符号化パラメータを推定して出力する。第１の符号化部４４ａは、第１の撮像部１０ａで撮影された左目用の入力画像データを符号化パラメータによって符号化して出力する。第２の符号化部４４ｂは、第２の撮像部１０ｂで撮影された右目用の入力画像データを符号化パラメータによって符号化して出力する。第１の復号化部４５ａは、第１の符号化部４４ａで符号化された画像データを復号化して、第１の復号画像データとして出力する。第２の復号化部４５ｂは、第２の符号化部４４ｂで符号化された画像データを復号化して、第２の復号画像データとして出力する。第１の画像品質評価部４６ａは、第１の復号画像データに基づく第１の評価値を出力する。第２の画像品質評価部４６ｂは、第２の復号画像データに基づく第２の評価値を出力する。
【００５９】第１の符号化パラメータ補正部８１ａは、第１の評価値と、第２の評価値と、画像品質値との入力を受けて、これらに基づいて符号化パラメータ推定部４３が出力する符号化パラメータを逐次補正し、補正後の符号化パラメータを第１の符号化部４４ａに出力する処理を繰り返し行う。また、この第１の符号化パラメータ補正部８１ａは、第１の評価値と第２の評価値との差が事前に設定された値よりも小さくなり、かつ、第１の評価値と画像品質値との差が事前に設定されたもう一つの値よりも小さくなったときには、その時点での符号化パラメータによって符号化した画像データを外部記憶装置３０に出力するよう制御する。
【００６０】また、第２の符号化パラメータ補正部８１ｂは、第２の評価値と、画像品質値との入力を受けて、これらに基づいて符号化パラメータを逐次補正し、補正後の符号化パラメータを第２の符号化部４４ｂに出力する処理を繰り返し行う。
【００６１】このようにすることで、第１の符号化部４４ａが符号化した左目用の符号化画像データと、第２の符号化部４４ｂが符号化した右目用の符号化画像データとの画像品質の差が小さくなるように制御することで、立体視の際に違和感のない画像データを生成でき、かつ画像の内容に拘わらず、利用者が求める品質を達成できるＪＰＥＧ圧縮符号化が行われるので、圧縮の効果を高めつつ、画像の内容によらずに所定の品質の画像データを生成できる。
【００６２】さらに、ここでは、第１の符号化パラメータ補正部８１ａが第２の符号化パラメータ補正部８１ｂの出力する符号化パラメータにすりあわせることとしているが、その逆としてもよい。具体的に上記の第２の符号化パラメータ補正部８１ｂのように主導的な役割を持つ符号化パラメータ補正部は、利用者の利き目に対応するものとするのが好適である。
【００６３】［実施の形態３］次に、本発明の第３の実施の形態に係る画像処理装置について図面を参照しつつ説明する。本実施の形態の画像処理装置は、動画像を処理して、動画像の内容によらず、利用者が望む品質の画像を生成するもので、具体的には、図９に示すように、撮像部１０と、画像処理部９０と、外部記憶装置３０とから基本的に構成されており、画像処理部９０は、入出力条件入力部４１と、画像品質値入力部４２と、符号化パラメータ推定部４３と、符号化部４４と、復号化部４５と、画像品質評価部４６と、符号化パラメータ補正部９１と、画像品質記憶部９２とから構成されている。尚、第１の実施の形態のものと同様の構成をとる部分については、同じ符号を付して詳細な説明を省略する。ここで、画像品質記憶部９２が現実の品質値を保持する手段に相当する。
【００６４】本実施の形態の画像処理装置は、第１の実施の形態のものと同様の動作によって、動画像をなす一連の静止画像の各々を符号化処理するものであるが、各々直前の静止画像の画像品質を記憶し、この記憶した画像品質と現在の静止画像の画像品質との差が所定の値以下となるまで符号化パラメータの補正を行う点が異なる。
【００６５】すなわち、符号化パラメータ補正部９１は、動画をなす１枚目の静止画像に対しては、評価値と、画像品質値との比較により、符号化パラメータ推定部４３が推定した符号化パラメータを逐次補正した符号化パラメータを用い、以降は、直前の評価値を画像品質記憶部９２に格納して、この直前の静止画像に対する評価値（過去評価値）と、現在の静止画に対する評価値（現在評価値）との比較により、符号化パラメータを逐次補正する。尚、このときに、過去評価値から見て画像品質値との差の符号及び値に応じて、現在評価値を設定することが好ましい。すなわち、現在評価値を過去評価値と画像品質値との間になるまで逐次補正することとすることで、動画像を再生しつつ、所望の画像品質に設定することができる。また、本実施の形態の画像処理装置によれば、画像の品質が再生中に不連続にならないように制御しているので、違和感のない動画像を生成できる。また、この動画像の各コマの静止画像の品質を画像の内容によらず一定のものとすることができる。
【００６６】尚、本発明の第１から第３の実施の形態に係る画像処理装置は、例えば米国Ａｄｏｂｅ社のｐｈｏｔｏｓｈｏｐ（商標）に対する画像データ書き出し用のプラグインとして実現することも可能である。
【００６７】さらに、ここまでの説明では、符号化としてＪＰＥＧ符号化について説明したが、符号化パラメータが品質に関連する符号化の方式であれば、本発明は、ＪＰＥＧ２０００やＭＰＥＧ、さらにＰＮＧ形式等そのほかのものにも適用できる。
【００６８】また、ここまでの説明では、画像処理装置が利用者から画質評価値（ＱＭ）の入力を受けて圧縮処理を行う場合について説明したが、この画像処理装置がさらに、画像データを格納する格納部と、通信処理部とを含み、ネットワーク等の電気通信網を介して受信したＱＭ及び、画像データを特定する情報に応じて、当該特定された画像データのテクスチャ特徴量等の特徴量と、ＱＭとに応じて当該画像データを圧縮処理して、画像データの要求元に対して圧縮後の画像データを提供することとするのも好ましい。すなわち、これによれば、Ｗｅｂ等のページ上で公開されている画像データを取得する際に、画質評価値を本発明の第１から第３の実施の形態に係る画像処理装置側に送信し、画像処理装置側で当該画質評価値に対応する品質の画像データを圧縮生成して配信する。これにより、本発明の第１から第３の実施の形態に係る画像処理装置を画像データベースやネットワークを介した動画像放送等に適用して、その利便性を向上できる。
【００６９】
【発明の効果】本発明によれば、画像の内容に依存せずに指定された品質の画像を生成でき、かつ圧縮の効果を高めることができる。
【００７０】また、左目用画像と右目用画像との品質の差が所定の値以下になるまで繰り返し処理を行う本発明によれば、さらに、違和感のない立体視画像を生成できる。
【００７１】さらに、一連の静止画像からなる動画像について、先行する静止画像の品質と現在の静止画像の品質との差を所定の値以下にするよう制御する本発明によれば、違和感のない動画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る画像処理装置の構成ブロック図である。
【図２】 本発明の第１の実施の形態に係る画像処理部の構成ブロック図である。
【図３】 入出力条件入力部のインタフェースの一例を表す説明図である。
【図４】 画像品質値入力部のインタフェースの一例を表す説明図である。
【図５】 符号化パラメータ推定部の構成ブロック図である。
【図６】 画像品質評価部の構成ブロック図である。
【図７】 符号化パラメータ補正部の構成ブロック図である。
【図８】 本発明の第２の実施の形態に係る画像処理装置の構成ブロック図である。
【図９】 本発明の第３の実施の形態に係る画像処理装置の構成ブロック図である。
【図１０】 従来の画像処理装置の一例を表す構成ブロック図である。
【符号の説明】
１０ 撮像部、２０ 画像処理部、３０ 外部記憶装置、４０，８０，９０画像処理部、４１ 入出力条件入力部、４２ 画像品質値入力部、４３ 符号化パラメータ推定部、４４ 符号化部、４５ 復号化部、４６ 画像品質評価部、４７，８１，９１ 符号化パラメータ補正部、５０ 平均的符号化パラメータ算出部、５１，６３ テクスチャ特徴量算出部、５２ 符号化パラメータ算出部、６１ 輪郭検出部、６２ 誤差算出部、６４ 誤差特徴量算出部、６５ 評価値算出部、７１ 画像品質誤差算出部、７２ 符号化パラメータメモリ、７３ 補正パラメータ算出部、９２ 画像品質記憶部。
【０００１】
【発明の属する技術分野】本発明は、画像圧縮を行う画像処理装置、画像処理方法、及び画像処理プログラムを格納した記録媒体に係り、特に画像品質設定の改良に関する。
【０００２】
【従来の技術】近年、コンピュータや、デジタルカメラの普及に伴い、デジタル関連製品での画像処理技術が注目されている。コンピュータ上では種々の静止画像を加工（レタッチ）するためのソフトウエアがあり、デジタルカメラ内部ではＣＣＤ（光−電子変換素子）等でキャプチャーした画像を所定のフォーマットの画像ファイルとして格納する。さらに動画像であってもデジタルデータとして取り扱うことができるようになっており、動画像データをデジタル的に格納するデジタルビデオカメラも数多く製造されている。
【０００３】従来、これら画像データを取り扱う製品においては、電気通信網を介して、画像データの交換を行う際の負荷や、フロッピー（登録商標）ディスクやＭＯ（光磁気ディスク）に格納する際の事情を考慮して、所定の方法で圧縮処理が行われている。
【０００４】このような圧縮処理には、大別して元のデータを完全に再現できる形式の圧縮（損失なし圧縮）と、元のデータの一部を削除する形式の圧縮（損失あり圧縮）の２種類がある。一般に画像データでは、十分な画質があれば多少の損失があっても構わない場合が多いため、損失あり圧縮によりデータの圧縮を行うことが多い。そのような圧縮方式の代表的なものとして、ＪＰＥＧ（Joint PhotographicExperts Group）がある。デジタルカメラ等では、撮像した画像データをこのＪＰＥＧ方式により圧縮処理し、圧縮した画像データを各種の媒体に記録している。
【０００５】以下、ＪＰＥＧ圧縮処理を行う従来の画像処理装置について、デジタルカメラを例として説明する。従来のデジタルカメラは、図１０に示すように、撮像部１０と、画像処理部２０と、外部記憶装置３０とから基本的に構成されている。また、画像処理部２０は、ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３とから構成されている。
【０００６】以下、各部を具体的に説明する。撮像部１０は、ＣＣＤ素子（光−電気変換素子）を格子状に配列したもので、各素子で受光した光の強度に応じた信号を画像処理部２０に出力する。画像処理部２０のＣＰＵ２１は、この信号に基づいて、各画素における光の三原色（赤、緑、青）の各色ごとの強度値（ＲＧＢ値）を演算して、ＲＡＭ２２上に画像データを展開する。また、このＣＰＵ２１は、ＲＡＭ２２上に展開した画像データを事前に設定された圧縮率でＪＰＥＧ圧縮し、外部記憶装置３０に出力する。ＲＡＭ２２は、ＣＰＵ２１のワークメモリとして動作する。ＲＯＭ２３は、ＣＰＵ２１によって実行される処理プログラム（ＪＰＥＧ圧縮プログラム等）が格納されている。外部記憶装置３０は、ＣＰＵ２１から入力されるＪＰＥＧ圧縮された画像データをスマートメディア（商標）等の外部記憶媒体に格納する。
【０００７】ここで、ＣＰＵ２１が行うＪＰＥＧ圧縮処理について簡単に説明する。ＣＰＵ２１は、ＲＡＭ２２に格納された圧縮前の画像データを８×８画素ごとのブロックに分割し、各ブロックに含まれる座標（ｘ，ｙ）（ｘ，ｙはそれぞれ０から７までの整数）における画素のＲＧＢ値ｆ（ｘ，ｙ）ごとに離散コサイン変換（ＤＣＴ（Discrete Cosine Transform））を適用して、次の［数１］によりＤＣＴ係数Ｓ（ｕ，ｖ）を得る。この手続きは、画素のＲＧＢ値の変化量を周波数領域に変換する手続きに相当する。
【０００８】
【数１】
そしてＣＰＵ２１は、このＤＣＴ係数Ｓ（ｕ，ｖ）を次の［数２］に示すように量子化テーブルの値Ｑ（ｕ，ｖ）で除して、四捨五入（round）し、量子化ＤＣＴ係数Ｓｑ（ｕ，ｖ）を得る。この手続きは、周波数ごとの情報量を量子化により低減する圧縮処理に相当する。
【０００９】
【数２】
ここで、量子化テーブルの値Ｑは、ＪＰＥＧ標準化グループの推奨値ＩＴＵ勧告Ｔ．８０の付録Ｋに記載されているものが一般に用いられる。一般に写真画像では隣接する画素のＲＧＢ値が極端に変化することが少ないために、高周波領域の成分が少なく、この領域の量子化を大きくしても画質の劣化にはさほどの影響がないといわれる。しかし、現実には画像によって画質の劣化に影響する周波数成分は異なるため、この量子化テーブルの値Ｑは、予め想定された写真画像で、所定の品質を達成することができるようにある程度調整されている。
【００１０】また、パーソナルコンピュータ上で動作する多くのフォトレタッチソフトウエアでは、この量子化テーブルの値を全体的にスケーリングして画質を調整することが行われている。
【００１１】
【発明が解決しようとする課題】このように、上記従来の画像処理装置では、予め想定された画像で所定品質を達成することができても、利用者が撮影したり加工したりする画像での品質は保証されていない。例えば利用者がコントラストの強い映像（高周波成分を多く含む画像）を撮影したときには、デジタルカメラのように事前に設定された量子化テーブル値によってＪＰＥＧ圧縮を行うこととすれば、高周波成分の量子化が強すぎてブロックノイズやモスキートノイズといった画質の劣化を生じる。また、フォトレタッチソフトにおいても、一定の量子化テーブルの値をスケーリングしているだけであるので、「高品質」のオプションで画像を加工しても、画像の内容によって、その現実の品質値は大きく異なる。すなわち、従来の画像処理装置では、画像の内容によらず、一定の量子化テーブルの値を用いるので、品質が一定しないという問題点があった。
【００１２】さらに、常に高品質を得られるように量子化テーブルを設定すると、ＪＰＥＧ圧縮の効果が薄れてファイルサイズが大きくなってしまうという問題点があった。
【００１３】そこで、従来、画質主導型と呼ばれるＪＰＥＧ符号化の方法が考えられている。この画質主導型のＪＰＥＧ符号化方法においては、画質を測定する量として、１〜１００までの値をとるQuality Scale（ＱＳ）を用いて、量子化テーブルの値Ｑ＊を次の［数３］に示すように補正する。
【００１４】
【数３】
そして、この補正後の量子化テーブル値Ｑ＊を用いて、［数２］に対応する次の［数４］を用いて量子化ＤＣＴ係数を算出する。
【００１５】
【数４】
また、Quality Scaleは、人間の目に感じる画質の評価を表す値：ＱＭ（Quality Measure）には必ずしも線形に応答していないので、実験的にこのＱＭからＱＳを推定する。このためには、事前に数枚の静止画像に基づいてアンケート試験により集計し、ＱＭとＱＳとの相関関係式を近似的に評価する。この近似式は、具体的には、次の［数５］に示すようなものである。
【００１６】
【数５】
尚、電子情報通信学会論文誌Ｂ Vol.J83-B, No.1の１２１ページ〜１２７ページに掲載されている堀田裕弘他著の「白黒静止画像における画質主導型ＪＰＥＧ符号化方式」には、このようにして利用者が指定した画質評価値ＱＭから求めたＱＳをさらに、画像の性質を表すテクスチャ特徴量を用いて補正し、さらに符号化特性をフィードバック制御して所望の画質を達成する実用的システムが開示されている。
【００１７】しかしながら、この論文に開示の内容によっても、画像の最終出力やそれを利用者が目にするときの状況、さらに撮影、スキャン時点の条件など入出力条件が考慮されていないので、例えばディスプレイ画面（約１００ｄｐｉの画像を１０〜３０ｃｍ離れてみる）であると、ポスター印刷（約３００ｄｐｉの画像を１ｍ以上離れてみる）であるとを問わず、同一の処理で得られたＱＳ及びそれによって算出された量子化テーブルを用いるので、入出力の条件如何によっては、意図した品質で観察されなかったり、圧縮の効果が薄れてしまう可能性がある。
【００１８】さらに、上記論文に開示されている方法によって量子化テーブルを決定したとしても、ステレオグラム（立体視）用の画像圧縮や、動画像の圧縮には配慮していないので、これらの画像の圧縮には、そのまま応用することができない。
【００１９】本発明は上記実情に鑑みて為されたもので、画像の内容、種類のいかんを問わず、均質な画像品質での画像圧縮処理を行うことができる画像処理装置、画像処理方法及び画像処理プログラムを格納した記録媒体を提供することを目的とする。
【００２０】
【課題を解決するための手段】上記従来例の問題点を解決するための請求項１記載の発明は、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置において、前記入力画像データの特徴量を検出する手段と、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、を含むことを特徴としている。これにより、入出力条件を考慮した画像圧縮を行うことができる。尚、ここで画像品質値は、段階的に設定可能とすることも好ましい。
【００２１】また、上記従来例の問題点を解決するための請求項２記載の発明は、請求項１記載の画像処理装置において、さらに、圧縮画像データの現実の品質値を検出する手段と、入力された画像品質値と、現実の品質値との差信号が所定のしきい値を下回るまで、当該差信号に基づいて前記符号化パラメータの補正を行う動作と、当該補正後の符号化パラメータで入力画像データを圧縮する動作とを繰り返し行う補正手段と、を含むことを特徴としている。このように、フィードバック制御を行うことで、より適切な符号化パラメータを設定でき、利用者の希望した品質を達成できる。
【００２２】上記従来例の問題点を解決するための請求項３記載の発明は、請求項２記載の画像処理装置において、前記入力画像データは左目用入力画像データと右目用入力画像データとを含み、前記特徴量を検出する手段は、前記左目用画像データ及び右目用画像データの各々の特徴量を検出し、前記補正手段は、平均的符号化パラメータを前記左目用画像データ及び右目用画像データの各特徴量で補正するとともに、圧縮後の左目用画像データの現実の品質値と、圧縮後の右目用画像データの現実の品質値との差である第１の差信号と、入力された画像品質値と圧縮後の左目用又は右目用の画像データの少なくとも一方の現実の品質値との第２の差信号とがそれぞれ所定のしきい値を下回るまで、前記第１の差信号及び第２の差信号とに基づいて、前記左目用画像データの符号化パラメータと、右目用画像データの符号化パラメータとの補正と、入力画像データの圧縮とを繰り返し行うことを特徴としている。
【００２３】このように、左目用画像と右目用画像との画像品質の差を一定以下とすることで、違和感のないステレオ画像を提供でき、また、利用者の希望した品質を達成することができる。
【００２４】さらに、上記従来例の問題点を解決するための請求項４記載の発明は、一連の静止画像データからなる動画像データに対し、符号化パラメータに基づいて逐次圧縮処理し、圧縮動画像データを生成する画像処理装置において、前記一連の静止画像データの各々の特徴量を検出する手段と、圧縮動画像データの画像品質値の入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する補正手段と、を含むことを特徴としている。
【００２５】また、上記従来例の問題点を解決するための請求項５記載の発明は、請求項４に記載の画像処理装置において、さらに、先行する静止画像データの現実の品質値を保持する手段を含み、前記補正手段は、入力された画像品質値と現実の品質値とに応じて逐次補正演算することを特徴としている。このように、先行する画像の現実の品質値に応じた符号化パラメータの補正を行うことで、動画像全体での画像品質を均質なものとすることができる。
【００２６】上記従来例の問題点を解決するための請求項６記載の発明は、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理方法であって、前記入力画像データの特徴量を検出する工程と、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴としている。
【００２７】また、上記従来例の問題点を解決するための請求項７記載の発明は、一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理方法であって、前記各静止画像データの特徴量を検出する工程と、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴としている。
【００２８】さらに、上記従来例の問題点を解決するための本発明は、コンピュータ読み取り可能な記録媒体であって、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理プログラムであって、前記入力画像データの特徴量を検出するモジュールと、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とする。
【００２９】上記従来例の問題点を解決するための本発明は、コンピュータ読み取り可能な記録媒体であって、一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理プログラムであって、前記各静止画像データの特徴量を検出するモジュールと、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とする。
【００３０】上記従来例の問題点を解決するための本発明は、入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置であって、前記入力画像データの特徴量を検出する手段と、電気通信網を介して、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとを取得して、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、前記符号化パラメータを用いて圧縮処理された圧縮画像データを電気通信網を介して配信する手段と、を含むことを特徴とする。
【００３１】
【発明の実施の形態】［実施形態１］本発明の第１の実施の形態について図面を参照しながら説明する。以下、本発明の第１の実施の形態に係る画像処理装置として、具体的にデジタルカメラの場合を例として説明する。本実施の形態に係る画像処理装置としてのデジタルカメラは、図１に示すように、撮像部１０と、画像処理部４０と、外部記憶装置３０とから主として構成されている。尚、従来と同様の構成をとる部分については同一の符号を付して詳細な説明を省略する。
【００３２】本実施の形態の画像処理部４０は、図２に示すように、入出力条件入力部４１と、画像品質値入力部４２と、符号化パラメータ推定部４３と、符号化部４４と、復号化部４５と、画像品質評価部４６と、符号化パラメータ補正部４７とから基本的に構成されている。尚、この画像処理部４０は、ＣＰＵのソフトウエア処理として実現しておくことも好ましい。この場合には、外部からＥＥＰＲＯＭ等の記録媒体にこの画像処理部の各部を具現化するソフトウエアを格納してＣＰＵに処理させることが好ましい。
【００３３】以下、この画像処理部４０の各部の動作について説明する。入出力条件入力部４１は、撮影対象画像の性質や、撮影方式、さらに最終出力の予定形態等の入力を利用者から受けて、これらの条件に基づくパラメータ値を符号化パラメータ推定部４３と、画像品質評価部４６と、符号化パラメータ補正部４７とにそれぞれ出力する。具体的に、この入出力条件入力部４１は、図３に示すように、デイライトで撮影する場合と、フラッシュで撮影する場合との区別を設定するとともに、ホームページ用画像等、主としてディスプレイ上で観察される画像として用いるか、ビデオプリンタ等で印刷して観るための画像として用いるかを設定する。尚、図３では、液晶ディスプレイ等にグラフィカルなユーザインタフェースを表示して、利用者からの入力を受ける公知の方法を用いて本実施の形態の入出力条件入力部４１を具現化した場合を図示している。この場合には、入力条件に応じて高周波成分の反映度の強弱（デイライトでは反映度を弱く、フラッシュ撮影時等コントラストの明確な画像では反映度を強くする）を表すパラメータと、最終出力を見る際の当該画像のサイズと、当該画像とそれを見る者との距離との関係を表すパラメータ（視点距離と称する）とが出力される。
【００３４】尚、この入出力条件入力部４１は、さらに、ピントの位置（被写体までの距離）及び被写界深度等の種々の条件を考慮してパラメータを出力することとするのも好適である。このようなピント等の情報は、レンズ設定や絞りの設定から取得することで、利用者の利便性を向上することができる。
【００３５】画像品質値入力部４２は、利用者が望む画像の品質値の入力を受けて、符号化パラメータ推定部４３と、符号化パラメータ補正部４７とに出力する。この画像品質値入力部４２にて入力する画像品質値は、広く用いられている評価語に対応する５段階評価によることで実現できる。具体的にこの５段階とは、「（圧縮前の画像に比べ圧縮後の画像では）劣化がひどくて使いものにならない」とする第１の段階と、「劣化が邪魔になる」と感じられる第２の段階と、「劣化が気になるが邪魔にならない」と感じられる第３の段階と、「劣化が分かるが気にならない」と感じられる第４の段階と、「劣化が全く気にならない」と感じられる第５の段階とである。一般にこの評価尺度の「５」段階目と「４」段階目の中間である４．５程度がいわゆる検知限と呼ばれ、劣化が検知されるかされないかの限界値に相当する。また、３．５程度は許容限と呼ばれ、多くの利用者が使いものになる画像として認識する限界値に相当する。さらに、２．５程度の値は、いわゆる我慢限と呼ばれ、これ以上劣化すると、見るに耐えないと一般の利用者が判断する限界の値に相当する。すなわち、画像品質値入力部４２では、これらの検知限、許容限、我慢限の値のいずれかを利用者が選択できるようにしておくことが好ましい。
【００３６】尚、実際のインタフェースとしては、例えば図４に示すように、液晶ディスプレイ等にグラフィカルなインタフェースを表示し、利用者がスライダを左右に動かして所望の画像品質値を入力するようにしておく。また、スライダの所定の点には、図示したように、例えば「低品質」、「標準」、「高品質」等、それぞれ我慢限、許容限、検知限に対応したラベルを付しておけば、利便性を向上できる。また、図示したように「非圧縮」時の設定も可能としておくのが好ましい。
【００３７】符号化パラメータ推定部４３は、入出力条件入力部４１と、画像品質値入力部４２とからそれぞれ入出力条件に対応するパラメータ値と、画像品質値との入力を受けて、また、撮像部１０から入力画像データの入力を受けて、適切な符号化パラメータを推定する。
【００３８】ここで、符号化パラメータ推定部４３の具体的内容について、図５を参照しつつ説明する。符号化パラメータ推定部４３は、平均的符号化パラメータ算出部５０と、テクスチャ特徴量算出部５１と、符号化パラメータ算出部５２とから構成されている。この平均的符号化パラメータ算出部５０が本発明の平均的符号化パラメータを出力する手段に対応し、テクスチャ特徴量算出部５１が本発明の入力画像データの特徴量を検出する手段に相当し、符号化パラメータ算出部５２が本発明の符号化パラメータを演算する手段に相当している。
【００３９】平均的符号化パラメータ算出部５０は、画質評価値と、入出力パラメータ値との入力を受けて、まず、画像品質値に基づいて［数５］により、基本符号化パラメータを算出する。さらに、この平均的符号化パラメータ算出部５０は、この基本符号化パラメータを入出力パラメータに基づいてスケーリングする。このスケーリングの度合いは、人間の目で見た実際の画質に合わせるために実験的に設定する。具体的に、視点距離と、［数５］を検定した実験の際に用いた視点距離（通常の２１インチモニタスクリーンの縦方向画像サイズの４倍（尚、視角に関連づけるため、画像のサイズに対する比によって視点距離を設定している））を基準視点距離としたときの差によって、視点距離が基準視点距離よりも長いときには基本符号化パラメータを低くスケーリングし、視点距離が基準視点距離よりも短いときには基本符号化パラメータを高くスケーリングして、このスケーリング後の基本符号化パラメータを平均的符号化パラメータとして符号化パラメータ算出部５２に出力する。
【００４０】テクスチャ特徴量算出部５１は、入力画像データのテクスチャ特徴量を算出して、画像の特徴量として符号化パラメータ算出部５２に出力する。符号化パラメータ算出部５２は、平均的符号化パラメータをテクスチャ特徴量で補正して符号化パラメータＱＳを出力する。例えば、テクスチャ特徴量としての自己相関性が大きいとき（地模様として周期的に現れる部分が多いとき）には、平坦部分が多い画像に比べて劣化が目立ちにくいことが知られているので、テクスチャ特徴量が大きいときには、平均的符号化パラメータを低くスケーリングする。そして、この符号化パラメータＱＳは、このように補正した平均的符号化パラメータを符号化パラメータＱＳとして符号化部４４に出力する。
【００４１】さらに、ここでは、テクスチャ特徴量のみを使って説明したが、画像の特徴量としては、最高輝度と最低輝度との差（コントラストが強いほど平均的符号化パラメータを小さくスケーリングする）や平均輝度、色味等により、各特徴量に応じた平均的符号化パラメータのスケーリングを行うこととするのが好ましい。
【００４２】符号化部４４は、符号化パラメータ推定部４３から入力される符号化パラメータとしてのＱＳ値により、入力画像データのＪＰＥＧ符号化を行い、ＪＰＥＧ圧縮した画像データを出力する。また、この符号化部４４は、符号化パラメータ補正部４７から補正後の符号化パラメータの入力を受けて、さらにこの符号化パラメータによって入力画像データのＪＰＥＧ符号化を行い、ＪＰＥＧ圧縮した画像データを出力する。復号化部４５は、符号化部４４にてＪＰＥＧ圧縮された画像データを復号化し、この復号画像データを画像品質評価部４６に出力する。
【００４３】画像品質評価部４６は、入力画像データと復号画像データとの差の信号（差信号）を演算し、入出力条件入力部４１から入力される入出力条件のパラメータ値に応じて、当該復号画像データの劣化度を評価する。この画像品質評価部４６は、具体的には、図６に示すように、輪郭検出部６１と、重み付け誤差算出部６２と、テクスチャ特徴量算出部６３と、誤差特徴量算出部６４と、評価値算出部６５とから構成されている。この画像品質評価部４６が、本発明の現実の品質値を検出する手段に相当する。
【００４４】ここで、輪郭検出部６１は、入力画像データから輪郭を検出し、輪郭画像データを出力する。輪郭の検出については、隣接する画素の輝度の微分値が所定のしきい値を越える部分を検出するような一般的な方法で実現できる。重み付け誤差算出部６２は、入力画像データと復号画像データとの差信号を演算し、さらに、入出力条件のパラメータに応じてこの差信号をスケーリングする。具体的には、視点距離と事前に設定されている基準となる視点距離（基準視点距離）との差に基づいて、基準視点距離よりも視点距離が長ければ差信号を小さくスケーリングし、基準視点距離よりも視点距離が短ければ差信号を大きくスケーリングし、誤差信号として出力する。テクスチャ特徴量算出部６３は、すでに説明した符号化パラメータ推定部４３のテクスチャ特徴量算出部５１と同様にして、復号画像データに基づいてテクスチャ特徴量を算出する。
【００４５】誤差特徴量算出部６４は、輪郭画像データと、誤差信号との入力を受けて、符号化した画像データの誤差特徴量を算出する。本実施の形態において特徴的なことは、この誤差特徴量算出部６４が、輪郭画像データを用いて、誤差信号を補正していることである。すなわち、輪郭部分では符号化時の量子化の効果によっていわゆるモスキートノイズが発生しやすいため、輪郭部分の周囲の誤差信号を抑制して評価することとして画面全体に平均化した誤差特徴量を算出できる。また、輪郭部分の周囲の誤差信号を強めて評価すれば、誤差特徴量が厳しく評価されることになる。
【００４６】評価値算出部６５は、誤差特徴量と、テクスチャ特徴量との入力を受けて、誤差特徴量をテクスチャ特徴量で補正して評価値を算出し、出力する。具体的にテクスチャ特徴量により相関量が大きいと判断される場合には、評価値を低めにスケーリングする。すなわち、この評価値は、元の画像との差、すなわち画質品質に相当している。
【００４７】符号化パラメータ補正部４７は、符号化パラメータ推定部４３が出力する符号化パラメータを初期値として、入力された画像品質値に基づいて、求められている画像の品質が得られるまで繰り返し符号化パラメータを補正する。具体的に符号化パラメータ補正部４７は、図７に示すように画像品質誤差算出部７１と、符号化パラメータメモリ７２と、補正パラメータ算出部７３とから構成されている。この符号化パラメータ補正部が、本発明の補正手段に相当する。
【００４８】ここで、画像品質誤差算出部７１は、画像品質値と、評価値との入力を受けて、評価値で表される画像品質（以下、評価値と略称する）よりも、画像品質値が大きく、かつその差が所定の値を超えているときには、補正パラメータ算出部７３に符号化パラメータを低めにスケーリングすべき指示を出力する。符号化パラメータメモリ７２は、符号化パラメータ推定部４３から符号化パラメータの入力を受けると、この符号化パラメータを格納して保持する。また、この符号化パラメータメモリ７２は、補正パラメータ算出部７３から入力された補正後の符号化パラメータを格納して保持する。
【００４９】補正パラメータ算出部７３は、画像品質誤差算出部７１から符号化パラメータを低めにスケーリングすべき指示の入力を受けて符号化パラメータメモリ７２に格納されている符号化パラメータを小さめにスケーリングし、このスケーリング後の符号化パラメータを符号化パラメータメモリ７２に格納して保持させるとともに、符号化部４４に出力する。
【００５０】尚、画像品質誤差算出部７１は、画像品質値と評価値との差が所定の値以下であるときには、符号化パラメータメモリ７２に格納されている符号化パラメータを符号化部４４に出力し、符号化部４４が出力する符号化後の画像データを外部記憶装置３０に出力させる。
【００５１】さらに、この画像品質誤差算出部７１は、評価値よりも画像品質値が小さく、かつその差が所定の値を超えていれば、補正パラメータ算出部７３に符号化パラメータを大きめにスケーリングすべき指示を出力することとしてもよい。この場合には、利用者が指定した画質の条件を満たす適切な圧縮率とすることができ、圧縮効率を高めることができる。
【００５２】次に本実施の形態に係る画像処理装置としてのデジタルカメラの動作について説明する。利用者は、撮影の前に入力条件としての撮影条件の情報と、出力条件としての撮影後の画像データの取り扱いの情報とを図３に示すインタフェースにより入力する。具体的にここでは、デイライトで人物等を撮影して、プリンタに出力する場合を想定して説明する。利用者はさらに、事前に必要な画像品質を図４に示すスライダを調整して設定する。このスライダの設定においては、品質値のほか、外部記憶装置３０に挿入されている外部記憶素子の残り記憶容量から、あと何枚程度保存できるかを表す情報とすることも好ましい。この場合には、残り容量情報と、圧縮率の平均的な情報とから残り枚数を算出する。以下の説明では、利用者が「高品質」（検知限であり、ＱＭ＝４．５）を選択したとして説明する。また、［数５］の関係式の検定に用いられた画像データがデイライトで撮影されたものであるとする。
【００５３】すると、入出力条件入力部４１がデイライト撮影で、プリンタ出力（画像サイズが高々１５ｃｍ程度で、１５ｃｍ程度の距離から眺めるため、視点距離は「１」）であることを表す入出力パラメータ値を出力し、画像品質値入力部４２が、検知限としてのＱＭ値（４．５）を出力する。そして、符号化パラメータ推定部４３がＱＭ値に基づいて［数５］から基本符号化パラメータを得、入出力条件が［数５］の関係式の検定に用いた画像データと同様にデイライト撮影されているので、この基本符号化パラメータを平均的符号化パラメータとし、入力画像のテクスチャ特徴量に基づいて、この平均的符号化パラメータを補正して、符号化パラメータの初期値ＱＳ0として出力する。
【００５４】ここで利用者がシャッターボタンを押下して、撮像部１０がレンズを通して撮影された風景写真をデジタルの入力画像データとして画像処理部４０に出力する。すると、画像処理部４０の符号化部４４に入力画像データが入力され、符号化部４４が符号化パラメータ推定部４３から入力される符号化パラメータＱＳ0で画像データを符号化して出力する。
【００５５】この符号化された画像データは、復号化部４５で復号画像データに復号化され、画像品質評価部４６により、入力画像データとの差に基づく評価値が算出される。そして、符号化パラメータ補正部４７が、符号化パラメータＱＳ0を初期値として、評価値と画像品質値とに応じて符号化パラメータＱＳ0を補正し、補正後の符号化パラメータＱＳ1を出力する。そして、符号化部４４がこの符号化パラメータＱＳ1で入力画像データを符号化して出力する。以下、この符号化と符号化パラメータとの補正を繰り返し行い、やがて評価値と画像品質値との差が所定の値より小さくなれば、そのときの符号化パラメータによって符号化された画像データが外部記憶装置３０に出力され、外部記憶装置３０が、この符号化された画像データを挿入された外部記憶素子に格納する。
【００５６】このように本実施形態の画像処理装置としてのデジタルカメラであれば、画像の内容に拘わらず、利用者が求める品質を達成できる圧縮符号化が行われるので、圧縮の効果を高めつつ、画像の内容によらずに所定の品質の画像データを生成できる。
【００５７】［実施形態２］本発明の第２の実施の形態に係る画像処理装置について、図８を参照しつつ説明する。本実施の形態に係る画像処理装置は、立体視用の画像データを生成するもので、具体的には、図８に示すように、左目用の画像を撮影する第１の撮像部１０ａと、右目用の画像を撮影する第２の撮像部１０ｂと、画像処理部８０と、外部記憶装置３０とから構成されている。また、画像処理部８０は、入出力条件入力部４１と、画像品質値入力部４２と、符号化パラメータ推定部４３と、第１の符号化部４４ａと、第２の符号化部４４ｂと、第１の復号化部４５ａと、第２の復号化部４５ｂと、第１の画像品質評価部４６ａと、第２の画像品質評価部４６ｂと、第１の符号化パラメータ補正部８１ａと、第２の符号化パラメータ補正部８１ｂとから構成されている。尚、第１の実施の形態と同様の構成をとるものについては同じ符号を付して詳細な説明を省略する。ここで第１の符号化パラメータ補正部８１ａ及び第２の符号化パラメータ補正部８１ｂとが、本発明の補正手段に相当する。
【００５８】符号化パラメータ推定部４３は、左目用の入力画像データ又は右目用の入力画像データのいずれかに基づいて符号化パラメータを推定して出力する。第１の符号化部４４ａは、第１の撮像部１０ａで撮影された左目用の入力画像データを符号化パラメータによって符号化して出力する。第２の符号化部４４ｂは、第２の撮像部１０ｂで撮影された右目用の入力画像データを符号化パラメータによって符号化して出力する。第１の復号化部４５ａは、第１の符号化部４４ａで符号化された画像データを復号化して、第１の復号画像データとして出力する。第２の復号化部４５ｂは、第２の符号化部４４ｂで符号化された画像データを復号化して、第２の復号画像データとして出力する。第１の画像品質評価部４６ａは、第１の復号画像データに基づく第１の評価値を出力する。第２の画像品質評価部４６ｂは、第２の復号画像データに基づく第２の評価値を出力する。
【００５９】第１の符号化パラメータ補正部８１ａは、第１の評価値と、第２の評価値と、画像品質値との入力を受けて、これらに基づいて符号化パラメータ推定部４３が出力する符号化パラメータを逐次補正し、補正後の符号化パラメータを第１の符号化部４４ａに出力する処理を繰り返し行う。また、この第１の符号化パラメータ補正部８１ａは、第１の評価値と第２の評価値との差が事前に設定された値よりも小さくなり、かつ、第１の評価値と画像品質値との差が事前に設定されたもう一つの値よりも小さくなったときには、その時点での符号化パラメータによって符号化した画像データを外部記憶装置３０に出力するよう制御する。
【００６０】また、第２の符号化パラメータ補正部８１ｂは、第２の評価値と、画像品質値との入力を受けて、これらに基づいて符号化パラメータを逐次補正し、補正後の符号化パラメータを第２の符号化部４４ｂに出力する処理を繰り返し行う。
【００６１】このようにすることで、第１の符号化部４４ａが符号化した左目用の符号化画像データと、第２の符号化部４４ｂが符号化した右目用の符号化画像データとの画像品質の差が小さくなるように制御することで、立体視の際に違和感のない画像データを生成でき、かつ画像の内容に拘わらず、利用者が求める品質を達成できるＪＰＥＧ圧縮符号化が行われるので、圧縮の効果を高めつつ、画像の内容によらずに所定の品質の画像データを生成できる。
【００６２】さらに、ここでは、第１の符号化パラメータ補正部８１ａが第２の符号化パラメータ補正部８１ｂの出力する符号化パラメータにすりあわせることとしているが、その逆としてもよい。具体的に上記の第２の符号化パラメータ補正部８１ｂのように主導的な役割を持つ符号化パラメータ補正部は、利用者の利き目に対応するものとするのが好適である。
【００６３】［実施の形態３］次に、本発明の第３の実施の形態に係る画像処理装置について図面を参照しつつ説明する。本実施の形態の画像処理装置は、動画像を処理して、動画像の内容によらず、利用者が望む品質の画像を生成するもので、具体的には、図９に示すように、撮像部１０と、画像処理部９０と、外部記憶装置３０とから基本的に構成されており、画像処理部９０は、入出力条件入力部４１と、画像品質値入力部４２と、符号化パラメータ推定部４３と、符号化部４４と、復号化部４５と、画像品質評価部４６と、符号化パラメータ補正部９１と、画像品質記憶部９２とから構成されている。尚、第１の実施の形態のものと同様の構成をとる部分については、同じ符号を付して詳細な説明を省略する。ここで、画像品質記憶部９２が現実の品質値を保持する手段に相当する。
【００６４】本実施の形態の画像処理装置は、第１の実施の形態のものと同様の動作によって、動画像をなす一連の静止画像の各々を符号化処理するものであるが、各々直前の静止画像の画像品質を記憶し、この記憶した画像品質と現在の静止画像の画像品質との差が所定の値以下となるまで符号化パラメータの補正を行う点が異なる。
【００６５】すなわち、符号化パラメータ補正部９１は、動画をなす１枚目の静止画像に対しては、評価値と、画像品質値との比較により、符号化パラメータ推定部４３が推定した符号化パラメータを逐次補正した符号化パラメータを用い、以降は、直前の評価値を画像品質記憶部９２に格納して、この直前の静止画像に対する評価値（過去評価値）と、現在の静止画に対する評価値（現在評価値）との比較により、符号化パラメータを逐次補正する。尚、このときに、過去評価値から見て画像品質値との差の符号及び値に応じて、現在評価値を設定することが好ましい。すなわち、現在評価値を過去評価値と画像品質値との間になるまで逐次補正することとすることで、動画像を再生しつつ、所望の画像品質に設定することができる。また、本実施の形態の画像処理装置によれば、画像の品質が再生中に不連続にならないように制御しているので、違和感のない動画像を生成できる。また、この動画像の各コマの静止画像の品質を画像の内容によらず一定のものとすることができる。
【００６６】尚、本発明の第１から第３の実施の形態に係る画像処理装置は、例えば米国Ａｄｏｂｅ社のｐｈｏｔｏｓｈｏｐ（商標）に対する画像データ書き出し用のプラグインとして実現することも可能である。
【００６７】さらに、ここまでの説明では、符号化としてＪＰＥＧ符号化について説明したが、符号化パラメータが品質に関連する符号化の方式であれば、本発明は、ＪＰＥＧ２０００やＭＰＥＧ、さらにＰＮＧ形式等そのほかのものにも適用できる。
【００６８】また、ここまでの説明では、画像処理装置が利用者から画質評価値（ＱＭ）の入力を受けて圧縮処理を行う場合について説明したが、この画像処理装置がさらに、画像データを格納する格納部と、通信処理部とを含み、ネットワーク等の電気通信網を介して受信したＱＭ及び、画像データを特定する情報に応じて、当該特定された画像データのテクスチャ特徴量等の特徴量と、ＱＭとに応じて当該画像データを圧縮処理して、画像データの要求元に対して圧縮後の画像データを提供することとするのも好ましい。すなわち、これによれば、Ｗｅｂ等のページ上で公開されている画像データを取得する際に、画質評価値を本発明の第１から第３の実施の形態に係る画像処理装置側に送信し、画像処理装置側で当該画質評価値に対応する品質の画像データを圧縮生成して配信する。これにより、本発明の第１から第３の実施の形態に係る画像処理装置を画像データベースやネットワークを介した動画像放送等に適用して、その利便性を向上できる。
【００６９】
【発明の効果】本発明によれば、画像の内容に依存せずに指定された品質の画像を生成でき、かつ圧縮の効果を高めることができる。
【００７０】また、左目用画像と右目用画像との品質の差が所定の値以下になるまで繰り返し処理を行う本発明によれば、さらに、違和感のない立体視画像を生成できる。
【００７１】さらに、一連の静止画像からなる動画像について、先行する静止画像の品質と現在の静止画像の品質との差を所定の値以下にするよう制御する本発明によれば、違和感のない動画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る画像処理装置の構成ブロック図である。
【図２】 本発明の第１の実施の形態に係る画像処理部の構成ブロック図である。
【図３】 入出力条件入力部のインタフェースの一例を表す説明図である。
【図４】 画像品質値入力部のインタフェースの一例を表す説明図である。
【図５】 符号化パラメータ推定部の構成ブロック図である。
【図６】 画像品質評価部の構成ブロック図である。
【図７】 符号化パラメータ補正部の構成ブロック図である。
【図８】 本発明の第２の実施の形態に係る画像処理装置の構成ブロック図である。
【図９】 本発明の第３の実施の形態に係る画像処理装置の構成ブロック図である。
【図１０】 従来の画像処理装置の一例を表す構成ブロック図である。
【符号の説明】
１０ 撮像部、２０ 画像処理部、３０ 外部記憶装置、４０，８０，９０画像処理部、４１ 入出力条件入力部、４２ 画像品質値入力部、４３ 符号化パラメータ推定部、４４ 符号化部、４５ 復号化部、４６ 画像品質評価部、４７，８１，９１ 符号化パラメータ補正部、５０ 平均的符号化パラメータ算出部、５１，６３ テクスチャ特徴量算出部、５２ 符号化パラメータ算出部、６１ 輪郭検出部、６２ 誤差算出部、６４ 誤差特徴量算出部、６５ 評価値算出部、７１ 画像品質誤差算出部、７２ 符号化パラメータメモリ、７３ 補正パラメータ算出部、９２ 画像品質記憶部。
【特許請求の範囲】
【請求項１】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置において、前記入力画像データの特徴量を検出する手段と、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、を含むことを特徴とする画像処理装置。
【請求項２】 請求項１記載の画像処理装置において、さらに、圧縮画像データの現実の品質値を検出する手段と、入力された画像品質値と、現実の品質値との差信号が所定のしきい値を下回るまで、当該差信号に基づいて前記符号化パラメータの補正を行う動作と、当該補正後の符号化パラメータで入力画像データを圧縮する動作とを繰り返し行う補正手段と、を含むことを特徴とする画像処理装置。
【請求項３】 請求項２記載の画像処理装置において、前記入力画像データは左目用入力画像データと右目用入力画像データとを含み、前記特徴量を検出する手段は、前記左目用画像データ及び右目用画像データの各々の特徴量を検出し、前記補正手段は、平均的符号化パラメータを前記左目用画像データ及び右目用画像データの各特徴量で補正するとともに、圧縮後の左目用画像データの現実の品質値と、圧縮後の右目用画像データの現実の品質値との差である第１の差信号と、入力された画像品質値と圧縮後の左目用又は右目用の画像データの少なくとも一方の現実の品質値との第２の差信号とがそれぞれ所定のしきい値を下回るまで、前記第１の差信号及び第２の差信号とに基づいて、前記左目用画像データの符号化パラメータと、右目用画像データの符号化パラメータとの補正と、入力画像データの圧縮とを繰り返し行うことを特徴とする画像処理装置。
【請求項４】 一連の静止画像データからなる動画像データに対し、符号化パラメータに基づいて逐次圧縮処理し、圧縮動画像データを生成する画像処理装置において、前記一連の静止画像データの各々の特徴量を検出する手段と、圧縮動画像データの画像品質値の入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する補正手段と、を含むことを特徴とする画像処理装置。
【請求項５】 請求項４に記載の画像処理装置において、さらに、先行する静止画像データの現実の品質値を保持する手段を含み、前記補正手段は、入力された画像品質値と現実の品質値とに応じて逐次補正演算することを特徴とする画像処理装置。
【請求項６】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理方法であって、前記入力画像データの特徴量を検出する工程と、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴とする画像処理方法。
【請求項７】 一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理方法であって、前記各静止画像データの特徴量を検出する工程と、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴とする画像処理方法。
【請求項８】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理プログラムであって、前記入力画像データの特徴量を検出するモジュールと、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項９】 一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理プログラムであって、前記各静止画像データの特徴量を検出するモジュールと、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１０】 請求項６又は７に記載の画像処理方法によって得られることを特徴とする画像データ。
【請求項１１】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置であって、前記入力画像データの特徴量を検出する手段と、電気通信網を介して、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとを取得して、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、前記符号化パラメータを用いて圧縮処理された圧縮画像データを電気通信網を介して配信する手段と、を含むことを特徴とする画像処理装置。
【請求項１】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置において、前記入力画像データの特徴量を検出する手段と、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、を含むことを特徴とする画像処理装置。
【請求項２】 請求項１記載の画像処理装置において、さらに、圧縮画像データの現実の品質値を検出する手段と、入力された画像品質値と、現実の品質値との差信号が所定のしきい値を下回るまで、当該差信号に基づいて前記符号化パラメータの補正を行う動作と、当該補正後の符号化パラメータで入力画像データを圧縮する動作とを繰り返し行う補正手段と、を含むことを特徴とする画像処理装置。
【請求項３】 請求項２記載の画像処理装置において、前記入力画像データは左目用入力画像データと右目用入力画像データとを含み、前記特徴量を検出する手段は、前記左目用画像データ及び右目用画像データの各々の特徴量を検出し、前記補正手段は、平均的符号化パラメータを前記左目用画像データ及び右目用画像データの各特徴量で補正するとともに、圧縮後の左目用画像データの現実の品質値と、圧縮後の右目用画像データの現実の品質値との差である第１の差信号と、入力された画像品質値と圧縮後の左目用又は右目用の画像データの少なくとも一方の現実の品質値との第２の差信号とがそれぞれ所定のしきい値を下回るまで、前記第１の差信号及び第２の差信号とに基づいて、前記左目用画像データの符号化パラメータと、右目用画像データの符号化パラメータとの補正と、入力画像データの圧縮とを繰り返し行うことを特徴とする画像処理装置。
【請求項４】 一連の静止画像データからなる動画像データに対し、符号化パラメータに基づいて逐次圧縮処理し、圧縮動画像データを生成する画像処理装置において、前記一連の静止画像データの各々の特徴量を検出する手段と、圧縮動画像データの画像品質値の入力を受けて、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する補正手段と、を含むことを特徴とする画像処理装置。
【請求項５】 請求項４に記載の画像処理装置において、さらに、先行する静止画像データの現実の品質値を保持する手段を含み、前記補正手段は、入力された画像品質値と現実の品質値とに応じて逐次補正演算することを特徴とする画像処理装置。
【請求項６】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理方法であって、前記入力画像データの特徴量を検出する工程と、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴とする画像処理方法。
【請求項７】 一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理方法であって、前記各静止画像データの特徴量を検出する工程と、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算する工程と、を含むことを特徴とする画像処理方法。
【請求項８】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理プログラムであって、前記入力画像データの特徴量を検出するモジュールと、圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとの入力を受けて、当該画像品質値と、入出力条件パラメータと、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項９】 一連の静止画像データからなる動画像データに対し、前記静止画像データの各々を符号化パラメータに基づいて圧縮処理し、圧縮動画像データを生成する画像処理プログラムであって、前記各静止画像データの特徴量を検出するモジュールと、圧縮動画像データの画像品質値と、前記特徴量とに基づいて、前記符号化パラメータを演算するモジュールと、を含む画像処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１０】 請求項６又は７に記載の画像処理方法によって得られることを特徴とする画像データ。
【請求項１１】 入力画像データに対し、符号化パラメータに基づく圧縮処理を行って圧縮画像データを生成する画像処理装置であって、前記入力画像データの特徴量を検出する手段と、電気通信網を介して、前記圧縮画像データの画像品質値と、入力又は出力の少なくとも一方の条件に関連した入出力条件パラメータとを取得して、平均的符号化パラメータを出力する手段と、前記平均的符号化パラメータを前記特徴量で補正し、前記符号化パラメータを演算する手段と、前記符号化パラメータを用いて圧縮処理された圧縮画像データを電気通信網を介して配信する手段と、を含むことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００１−２９２４４９（Ｐ２００１−２９２４４９Ａ）
【公開日】平成１３年１０月１９日（２００１．１０．１９）
【国際特許分類】
【出願番号】特願２０００−１０８５４９（Ｐ２０００−１０８５４９）
【出願日】平成１２年４月１０日（２０００．４．１０）
【出願人】（３９９１２６６３９）日本ビジュアルサイエンス株式会社 (1)
【Ｆターム（参考）】
【公開日】平成１３年１０月１９日（２００１．１０．１９）
【国際特許分類】
【出願日】平成１２年４月１０日（２０００．４．１０）
【出願人】（３９９１２６６３９）日本ビジュアルサイエンス株式会社 (1)
【Ｆターム（参考）】
[ Back to top ]