画像処理装置、画像処理方法、及びプログラム
【課題】フレーム間の相関を用いた画像情報圧縮によって符号化されて記録された動画から、ノイズ劣化の少ない高画質の静止画を生成することができる画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】撮像装置１は、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６と、外部からの指示に基づき、又は自動的に、画像処理部１２６から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、フィルタ処理部は、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する。
【解決手段】撮像装置１は、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６と、外部からの指示に基づき、又は自動的に、画像処理部１２６から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、フィルタ処理部は、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から静止画を取得するための画像処理装置、画像処理方法、及びプログラムに関し、特に、複数枚のフレーム画像から静止画を取得するための画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラでは、撮像系を通して入力される、時系列に連続する複数のフレーム画像データ（あるいはフィールド画像データ）を、ＭＰＥＧ（Moving Picture Experts Group）−２やＨ．２６４／ＡＶＣなどのフレーム間の相関を用いた画像情報圧縮処理の符号化を行って記録媒体に記録している。
【０００３】
ＭＰＥＧ−２の動画像データは、フレーム内のみの相関を利用してフレーム内圧縮を行ったＩピクチャ（Intra Picture：フレーム内符号化画像）と、時間的に前のピクチャとの間で動き補償フレーム間予測を行って、フレーム間の相関を利用した圧縮を行ったＰピクチャ（Predictive coded:フレーム間順方向予測符号化画像）と、さらに複数のピクチャとの間で動き補償フレーム間予測を行って、フレーム間の相関を利用した圧縮を行ったＢピクチャ（Bi-directionally predictive coded:双方向予測符号化画像）とで構成される。さらに、Ｈ.２６４／ＡＶＣでは、Ｂピクチャは、双予測ピクチャ（Bi-predictive Picture）とされ、ＭＰＥＧ−２の場合は、前と後のピクチャを参照するのに対して、Ｈ.２６４/ＡＶＣの場合は、前と後でもよく、前と前でもよく、後と後でもよいというように自由度を高めている
【０００４】
図５は、ＭＰＥＧ−２におけるフレーム構造を示す図である。図５に示すように、時系列に連続する複数のフレームのそれぞれがＩ、Ｐ、Ｂピクチャとして扱われる。図中の矢印は動き補償フレーム間予測の方向を示したもので、Ｐピクチャは時間的に前のＰピクチャ又はＩピクチャから予測される。Ｂピクチャは、時間的に前と後ろのＰピクチャ又はＩピクチャから動き補償フレーム間予測される。一般に、Ｉピクチャは最も細かい量子化ステップで量子化され、Ｐピクチャはより粗く、Ｂピクチャはさらに粗い量子化ステップで量子化されることが多い。
【０００５】
また、Ｈ．２６４／ＡＶＣでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの構造に加えて、１枚のフレーム画像を複数の領域（スライスと呼ぶ）に分割して、スライス単位でＩスライス、Ｐスライス、Ｂスライスとすることができる。この場合も、一般にＩスライスは最も細かい量子化ステップで量子化され、Ｐスライスはより粗く、Ｂスライスはさらに粗い量子化ステップで量子化されることが多い。
【０００６】
なお、量子化ステップはマクロブロックと呼ばれる画素ブロック単位で異なる値とされる。したがって、１つのピクチャ内でも比較的細かい量子化ステップで量子化されたマクロブロックと、比較的荒い量子化ステップで量子化されたマクロブロックとが混在する。
【０００７】
ところで、従来から、動画用に記録された信号やデジタルデータの一部を抽出して、別途静止画を生成するビデオカメラレコーダーが製品化されている。このような装置においては、記録された動画像データを再生しながら、ユーザによって選択された１枚のフレーム画像を選択し、静止画として抽出することが考えられる。
【０００８】
これに対し、動画像から静止画像を取得する際に、複数枚のフレーム画像を抽出し、その複数枚のフレーム画像から静止画像を得る装置が従来提案されている。例えば、特許文献１には、動画像の表示中にユーザから入力される一時停止指示操作が検出されると、動画像に代えて、複数の静止画像のうち少なくとも２以上の静止画像を合成した一時停止表示用合成画像を表示モニタに表示させる一時停止表示制御手段を有する撮像装置が開示されている。
これは、通常の静止画像の鑑賞では像流れのない鮮明な画像が好まれる一方で、動画像再生中に一時停止して静止画像を観賞する場合は、像流れのある画像の方が動きに流れが生じるので好ましいことがあるため、そのような静止画を取得することを目的としたものである。
【０００９】
さらに、特許文献１においては、動画再生に用いる合成画像の生成時に加算するフレーム数を「３」に設定した場合、中心のフレームを基準画像とし、基準画像に対して時間軸方向で前（過去）と後（未来）との１フレーム分ずつを補間画像に設定し、画像の加算比率を「０．２５：０．５：０．２５」に設定する。この特許文献１に記載の撮像装置のおいては、動きベクトルの大きさ（換言すれば被写体の動き量）に応じて、合成画像を生成する際の加算枚数や加算比率を制御している。これにより、画像ファイルを動画再生するときには、加算フレーム数及び加算比率のデータを参照することで、動画再生に適した合成画像を容易に生成することが可能となる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１０−０４５６１９号公報
【特許文献２】特開２００８−００３６７４号公報
【非特許文献】
【００１１】
【非特許文献１】大久保 榮監修「改訂版Ｈ．２６４／ＡＶＣ教科書（インプレス標準教科書シリーズ）」、インプレス社（２００６年）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、動画像中から１つのフレーム画像を静止画として取り出すと、撮像素子によるノイズ成分が動画像より目立ちやすいという問題点がある。これは、動画像では人間の時間軸方向の視覚が鈍感であるため、つまり動画像ではフレーム間の補間を行っているため、動画像の方が１フレーム中のノイズ成分が見えにくくなるためと考えられる。特に、撮影環境が暗かった場合には、各フレーム画像のノイズ成分が大きくなる。これは、撮像素子の各セルに入射する光量が少ないために、光電変換の出力が小さく、ノイズに埋もれてしまうためである。
【００１３】
更に、ユーザが選択したフレーム画像がＢピクチャであった場合、他のピクチャよりも粗い量子化ステップで量子化しているため、量子化によるノイズ成分による劣化も目だってしまう。
【００１４】
また、Ｈ．２６４／ＡＶＣでは、デブロッキング・フィルタ処理が行われる場合がある。これは、ブロック歪みと呼ばれるノイズを緩和するために、ブロック境界に平滑化フィルタをかけるものである。このデブロッキング・フィルタは、ブロック歪みを緩和する一方で、本来の画像データの高域成分を減衰させてしまうという弊害を起こすこともある。デブロッキング・フィルタの強度はスライス単位で可変であり、個々のブロック境界の画素にフィルタ処理が行われるか否かは、周辺ブロックを含めたブロックの属性で決定される。
【００１５】
特許文献１の目的とは異なるが、特許文献１に記載の撮像装置のように、複数枚の静止画像を合成することで、上述の画像に含まれるノイズ成分を相殺することができる。しかしながら、量子化によるノイズ成分や、デブロッキング・フィルタによるブロック歪は、単に複数のフレーム画像を単純に合成したのみでは、取り除くことができない。
【００１６】
本発明は、このような問題点を解決するためになされたものであり、フレーム間の相関を用いた画像情報圧縮によって符号化されて記録された動画から、ノイズ劣化の少ない高画質の静止画を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明に係る画像処理装置は、圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、前記フィルタ処理部は、前記圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００１８】
本発明においては、動画像から複数フレームを選択して１枚の静止画像を生成するに当たり、例えば、量子化ノイズ及びデブロッキング・フィルタによる減衰ノイズ等の圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することにより、撮像素子に基づくノイズと共に、圧縮時のノイズを低減することができる。
【００１９】
また、前記復号部は、異なる量子化ステップを使用して圧縮処理された圧縮データを復号するものであって、前記フィルタ処理部は、前記選択フレーム画像の圧縮時の量子化ステップに基づき、異なる重み係数を使用したフィルタ処理を実施することができる。これにより、量子化ノイズを低減することができる。
【００２０】
さらに、前記フィルタ処理部は、デブロッキング・フィルタ処理で使用するＦＩＲ（Finite Impulse Response Filter）フィルタ処理の有無に応じて異なる重み係数を使用することができ、これにより、撮像素子によるノイズと共に減衰ノイズを低減することができる。
【００２１】
本発明に係る他の画像処理装置は、圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、記フィルタ処理部は、前記選択フレーム画像が、Ｉピクチャ若しくはスライス（Intra Picture or slice：フレーム内符号化画像）、Ｐピクチャ若しくはスライス（Predictive coded Picture or slice:フレーム間順方向予測符号化画像）又はＢピクチャ若しくはスライス（双方向予測ピクチャ Bi-directional Predictive Picture or slice若しくは双予測ピクチャ Bi-predictive Picture or slice）のいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２２】
また、前記Ｉピクチャ若しくはスライス、前記Ｐピクチャ若しくはスライス及び前記Ｂピクチャ若しくはスライスの重み係数をそれぞれＫｉ、Ｋｐ、Ｋｂとした場合、Ｋｉ、Ｋｐ、Ｋｂは下記を満たすものとすることができる。つまり、Ｉピクチャ又はスライスは画質が最もよいため、重み係数を最も大きくし、Ｂピクチャ又はスライスは画質が最も悪いので、重み係数を最も小さいものとすることで、より効率よく量子化ノイズを低減する。
Ｋｉ≧Ｋｐ≧Ｋｂ
かつ
Ｋｉ＝Ｋｐ＝Ｋｂを含まない
【００２３】
また、前記フィルタ処理部は、画像圧縮時の圧縮率に応じて前記重み係数Ｋｉ、Ｋｐ、Ｋｂを異ならせるものであって、前記圧縮率が高い場合は、各重み係数の比率が１から離れる値とし、前記圧縮率が低い場合は、各重み係数の比率が１に近くなる値となるよう設定することができる。ピクチャ毎に重み係数を異ならせると共に、圧縮率に応じて、同じピクチャ内でも異なる重み係数を採用することで、より効率よく量子化ノイズを低減することができる。
【００２４】
具体的には、前記フィルタ処理部は、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタのタップ数に基づき、前記選択フレーム毎に予め定められた異なる重み係数を使用したり、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに基づいて異なる重み係数を使用したりすることができる。
【００２５】
また、前記フィルタ処理部は、デブロッキング・フィルタ処理を行なわない、ブロック境界以外の画素については、マクロブロックの量子化ステップに基づき、前記選択フレーム毎に予め定められた重み係数を使用し、前記デブロッキング・フィルタ処理を実施する画素については量子化ステップ及び当該デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに応じて異なる重み係数を使用することができ、撮像素子によるノイズ、減衰ノイズ、及び量子化ノイズの各種のノイズを低減することができる。
【００２６】
本発明に係る画像処理方法は、圧縮処理された圧縮データを復号する復号工程と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択工程と、前記フレーム選択工程にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理工程とを有し、前記フィルタ処理工程では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス（Intra Picture or slice：フレーム内符号化画像）、Ｐピクチャ若しくはスライス（Predictive coded Picture or slice:フレーム間順方向予測符号化画像）又はＢピクチャ若しくはスライス（双方向予測ピクチャ Bi-directional Predictive Picture or slice若しくは双予測ピクチャ Bi-predictive Picture or slice）のいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２７】
本発明に係るプログラムは、圧縮処理された圧縮データを復号する復号処理と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択処理と、前記フレーム選択処理にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理とを実行させ、前記フィルタ処理では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス（Intra Picture or slice：フレーム内符号化画像）、Ｐピクチャ若しくはスライス（Predictive coded Picture or slice:フレーム間順方向予測符号化画像）又はＢピクチャ若しくはスライス（双方向予測ピクチャ Bi-directional Predictive Picture or slice若しくは双予測ピクチャ Bi-predictive Picture or slice）のいずれであるかを示すピクチャタイプ又はスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実行させることを特徴とするものである。
【発明の効果】
【００２８】
本発明によれば、フレーム間の相関を用いた画像情報圧縮によって符号化されて記録された動画から、ノイズ劣化の少ない高画質の静止画を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態にかかる撮像装置の一例を示した外観図である
【図２】本発明の第１の実施形態にかかる撮像装置を示すブロック図である。
【図３】本発明の第１の実施形態にかかる撮像装置における静止画像データ生成手順を示すフローチャートである。
【図４】ＭＰＥＧ−２におけるフレーム構造を示す図である。
【図５】（ｂ）はユーザによって選択されたフレーム画面を示す図であり、（ｂ）はその前後のフレーム画面のうちの１つを示す図である。
【図６】本発明の第１の実施形態の第３の変形例における撮像装置を示すブロック図である。
【図７】１つのフレームが２つのスライスに分割されている例を示す図である。
【図８】本発明の第２の実施形態おける撮像装置を示す図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００３１】
この実施の形態は、本発明を、動画像から複数枚のフレーム画像を選択して１枚の静止画像を生成する際に、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する画像処理装置に適用したものである。
【００３２】
上述したように、本願発明者は、鋭意実験研究し、複数枚のフレーム画像を単純に平均化処理しても撮像素子に基づくランダムなノイズを除去することはできても、量子化ノイズやブロック歪みを取り除けないことを知見し、圧縮処理によるノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することで、動画像に生じている撮像素子によるノイズを除去すると共に圧縮処理によるノイズをも取り除くことができる方法を見出した。
【００３３】
具体的に圧縮処理で生じたノイズとは、例えば、量子化ノイズやデブロッキング・フィルタによる減衰ノイズである。ここで、量子化ノイズを取り除くためには、複数のフレーム画像に対し、圧縮時の量子化ステップに基づき、異なる重み係数を使用したフィルタ処理を実施する。この場合、各選択フレーム画像について、フレーム毎、フレームに含まれるスライス毎、又はフレームに含まれるマクロブロック毎に、異なる重み係数を使用してフィルタ処理を実施することも可能である。フィルタ処理とは、例えば、量子化ステップに応じた重み係数を使用した加重平均フィルタによるものである。さらに、選択した複数のフレーム画像が、Ｉピクチャ、Ｐピクチャ、又はＢピクチャのいずれかであるかを示すピクチャタイプに応じて異なる重み係数を使用することも可能である。
【００３４】
また、デブロッキング・フィルタの減衰ノイズを取り除くためには、複数のフレーム画像を合成する際に、デブロッキング・フィルタ処理で使用するＦＩＲ（Finite Impulse Response Filter）フィルタ処理の有無に応じて異なる重み係数を使用することができる。また、デブロッキング・フィルタ処理で使用するＦＩＲフィルタのタップ数に応じて異なる重み係数を使用したり、デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに応じて異なる重み係数を使用することも可能である。以下、本発明の実施形態について詳細に説明する。
【００３５】
＜１＞本発明の第１の実施形態
本実施の形態においては、復号されたフレーム画像列から、ユーザからの指示に基づき、又は自動的に２以上のフレーム画像を選択し、これらのフレーム画像がＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかであるかによって、重み係数を変えてフィルタ処理を行うことで、ノイズ劣化の少ない高画質の静止画を生成する。
【００３６】
＜１−１＞撮像装置
先ず、本第１の実施形態にかかる撮像装置について説明する。図１は、第１の実施形態にかかる撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、複数の操作部１０６と、モニタとしての液晶モニタ１０８とを有する。
【００３７】
本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作部１０６へのユーザ入力に応じてその記録タイミングや画角を調整する。
【００３８】
また、操作部１０６へのユーザ入力に応じて、記録した動画像データの再生や、フレーム画像の選択、及び静止画の生成が行われる。再生した動画像は、外部出力されるとともに液晶モニタ１０８に表示される。
【００３９】
図２は、第１の実施形態にかかる撮像装置１００を示すブロック図である。撮像装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部１２６と、記録Ｉ／Ｆ（インターフェース）部１２８と、画像出力部１３０と、撮像記録再生制御部１３２とメイン記憶部１３４とを有する。なお、操作部１０６、信号処理部１２２、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０、メイン記憶部１３４、駆動制御部１５４及び撮像記録再生制御部１３２はシステムバス１３６を介して接続されている。
【００４０】
撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮像部１２０は、具体的に、近赤外光を遮るＩＲ（infrared：赤外線）カットフィルタ１４０、ズーム機能を実現するためのズームレンズ１４２、焦点調整に用いられるフォーカスレンズ１４４、露光調整に用いられる絞り１４６、撮像レンズ１０４を通じて入射する被写体像等の光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled Devices）等で構成される撮像素子（撮像回路）１４８、撮像素子１４８からの画像信号を増幅する増幅器１５０、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ（アナログディジタル）変換器１５２、ズームレンズ１４２、フォーカスレンズ１４４及び絞り１４６の駆動を制御する駆動制御部１５４、及びその駆動回路１５６を有する。
【００４１】
信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成し、画像記憶部１２４に伝達する。また、画面の平均輝度を求めるなどして、その結果を撮像記録再生制御部１３２へ出力する。
【００４２】
画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶し、画像処理部１２６等にその画像データを参照させることができる。
【００４３】
画像処理部１２６は、画像記憶部１２４からの動画像データをＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等の形式で圧縮して記録用のデータを生成する。また、画像処理部１２６は、画像記憶部１２４からの静止画像をＪＰＥＧ（Joint Photographic Experts Group）等の形式で圧縮して記録用のデータを生成する。さらに、画像処理部１２６は、撮像記録再生制御部１３２の指示により画像データを縮小して表示用画像（ビュー画像）を生成する。一方、記録したデータを再生する際には、画像処理部１２６は、圧縮された記憶用データを伸長復元する処理を実行する。
【００４４】
記録Ｉ／Ｆ部１２８は、符号化処理を通じ画像データを符号化して記録信号（データストリーム）を生成し、その記憶信号を任意の記録媒体１６０に記録する。任意の記録媒体１６０としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、ＳＤカードなどの外部から接続可能な別体の記録媒体を用いることもできる。
【００４５】
駆動制御部１５４は、撮像記録再生制御部１３２からの指示を受けて、ズームレンズ１４２、フォーカスレンズ１４４及び絞り１４６の駆動を制御する。
【００４６】
メイン記憶部１３４は、撮像記録再生制御部１３２で処理されるプログラムなどを記憶する。
【００４７】
撮像記録再生制御部１３２は、半導体集積回路により撮像装置１００全体を管理及び制御し、撮像などに必要となる各種演算を実行する。また、撮像記録再生制御部１３２は、静止画像生成部１３３としても機能する。
【００４８】
記録された動画像データから静止画像を生成する場合、記録媒体１６０にある動画像データを記録Ｉ／Ｆ部１２８経由で読み出して、画像処理部１２６で圧縮データの伸張復元を行って、その結果のフレーム画像を画像記憶部１２４に格納する。ユーザ操作に基づいて選択された、あるフレーム画像とその前後の複数のフレーム画像が画像記憶部１２４に格納される。また、各フレーム画像がＩ、Ｐ、Ｂピクチャのいずれのピクチャタイプで符号化されていたかという情報も格納される。
【００４９】
静止画像生成部１３３は、フレーム選択部２０１及びフィルタ処理部２０２を有し、画像記憶部１２４に格納されている複数のフレーム画像に対して、フィルタ処理の一種である動き補償重み付き平均処理を行って静止画データを生成する。
【００５０】
＜１−２＞静止画像生成部の構成
次に、静止画像生成部１３３の詳細について説明する。図２に示すように、静止画像生成部１３３は、フレーム選択部２０１及びフィルタ処理部２０２を有する。フレーム選択部２０１は、外部からの指示に基づき、又は自動的に、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択する。この選択フレーム画像は、時間軸に対して連続するフレーム画像であっても、不連続のフレーム画像であってもよい。フィルタ処理部２０２は、フレーム選択部２０１が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成する処理部である。このフィルタ処理部２０２は、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する。具体的には、フレーム選択部２０１が選択した複数のフレーム画像のそれぞれが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれかであるかによって、重み係数を変えて加重平均フィルタにより静止画像データを生成する。
【００５１】
＜１−３＞静止画像データ生成動作
次に、静止画像データ生成手順について説明する。図３は、静止画像データ生成手順を示すフローチャートである。操作部１０６に対するユーザ操作によって、撮像装置１００は静止画データ生成モードになり、画像処理を開始する。
【００５２】
図３に示すように、画像処理を開始すると、ユーザ操作に基づくフレーム画像の選択が行われる。フレーム画像の選択は、動画像をスロー再生やコマ送り再生しながら、ユーザが操作部１０６を操作することで行われる（ステップＳ２００）。
【００５３】
フレーム画像が選択されると、そのフレーム画像は、画像記憶部１２４に記憶される。また、そのフレーム画像の時系列で直前の２枚と直後の２枚のフレーム画像が伸張復元されて、画像記憶部１２４に記憶される。また、これら計５枚のフレーム画像のピクチャタイプ情報が選択されて画像記憶部１２４に記憶される（ステップＳ２０１）。
【００５４】
図４は、ＭＰＥＧ−２におけるフレーム構造を示す図である。ここで、ユーザ操作に基づいて選択されたフレーム画像が、図４の矢印で示したフレーム画像であるとする。ここでは、Ｂ（２）で表す。直前の２枚はＩピクチャとＢピクチャであり、Ｉ（１）とＢ（１）で表す。直後の２枚はＰピクチャとＢピクチャであり、Ｐ（１）とＢ（３）で表す。
【００５５】
Ｉピクチャに対する重み係数をＫｉ、Ｐピクチャに対する重み係数をＫｐ、Ｂピクチャに対する重み係数をＫｂとする。ここで、Ｋｉ≧Ｋｐ≧Ｋｂで、Ｋｉ＝Ｋｐ＝Ｋｂ ではない数値である。
【００５６】
各フレームの画素を、ｐＩ（１）、ｐＢ（１）、ｐＢ（２）、ｐＰ（１）、ｐＢ（３）で表す。５枚のピクチャを通じて被写体が静止していると見なされた場合には、フレーム画像の各画素について、次のように以下の式（１）に基づき重み付き平均化処理を行って静止画の各画素ｐＳを算出する。
ｐＳ＝（Ｋｉ×ｐＩ（１）＋Ｋｂ×ｐＢ（１）＋Ｋｂ×ｐＢ（２）＋Ｋｐ×ｐＰ（１）＋Ｋｂ×ｐＢ（３））／（Ｋｉ＋Ｋｂ＋Ｋｂ＋Ｋｐ＋Ｋｂ）・・・（１）
【００５７】
＜１−４＞動き補償の重み付き平均化処理
次に、被写体に動きがあると見なされた場合の処理について、図５を参照して説明する。図５（ｂ）はユーザによって選択されたフレーム画面３０３であり、図５（ａ）に示すフレーム画像３０１はフレーム画像３０３の前後のフレーム画面のうちの１つである。図５（ａ）の画面左上にある四角形の灰色物体３０２が、図５（ｂ）では少し右側に移動している（３０４）。灰色物体３０２を除いた背景は静止しているものとする。図５（ａ）と図５（ｂ）のフレーム画面３０１、３０３から灰色物体３０２の動きベクトルＶが算出される。動きベクトルＶの算出は、勾配法やマッチング法などの公知の方法で行われる（例えば特許文献２）。
【００５８】
上記（１）式の重み付き平均化処理を行うに当たって、灰色物体３０２に属する画素については、図５（ｂ）のフレーム画像３０４の画素に対して、図５（ａ）では動きベクトルＶだけ移動した画素３０２を用いて演算を行う。つまり、灰色物体３０２については、フレーム画像３０１内の灰色物体３０２と、フレーム画像３０３内の物体３０４とで、上記（１）式の演算を実施する。一方、静止している背景に属する画素については、画面内の同じ位置の画素を用いて演算を行う。また、図５（ｂ）で、灰色物体３０２が移動したことにより新たに出現した領域Ｇは、図５（ａ）には相当する画素が存在しないので、図５（ａ）のフレーム画像３０１に相当する重み係数を０として、上記（１）式の演算を行う。演算結果の静止画は、画像記憶部１２４に格納する（ステップＳ２２０）。画像記憶部１２４に格納された静止画は、画像処理部１２６で読み出されて、ＪＰＥＧ符号化され、記録媒体１６０に記録される（ステップＳ２３０）。以上で静止画データ生成手順が終了する。
【００５９】
本実施の形態においては、複数枚のフレーム画像から１枚の静止画を生成するため、撮像素子に基づくノイズを低減できると共に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの各ピクチャタイプに応じて異なる重み係数を使用したフィルタ処理を実施することにより、量子化によって生じる量子化ノイズを低減することができる。
【００６０】
＜１−５＞第１の変形例
次に、第１の実施形態の第２の変形例について説明する。上記の第１の実施形態においては、動き補償の重み付き平均化処理について説明したが、動き適応の重み付き平均化処理としてもよい。動き適応の場合、静止していないと見なされる部分の画素について、演算対象から除外する。図５の例では、例えば、図５（ｂ）のフレーム画像３０３をユーザが選択したフレーム画像とすると、図５（ａ）のフレーム画像３０１と図５（ｂ）のフレーム画像３０３で動きのある領域（Ｇ、３０４）に属する図５（ａ）のフレーム画像３０１の画素については、重み係数を０として上記（１）式の演算を行う。その他の画素については、画面内の同じ位置の画素を用いて演算を行う。画質の点では、動き補償を行った方がよいが、動き適応の方が処理手段である回路の規模を小さくできるという利点がある。
【００６１】
＜１−６＞第２の変形例
次に、第１の実施形態の第２の変形例について説明する。フレーム選択部２０１は、所定速度以上のズーム操作又はパンチルト操作が行われたフレーム画像については、選択フレーム画像から除外するようにすることができる。すなわち、動画の撮影中に比較的動きの速いズーム操作やパンチルト操作が行われた場合に、それらのフレーム画像を除外する。これは、比較的動きの速いズーム操作やパンチルト操作が行われていた場合、動き補償が適正に行われなくなるからである。
【００６２】
例えば、図４において、例えば５枚のフレーム画像を選択する場合、ユーザ操作に基づいて選択されたフレーム画像よりも後ろのフレーム画像において、比較的動きの速いズーム操作やパンチルト操作が行われていた場合には、前２枚＋後ろ２枚の代わりに、前４枚とする。比較的動きの速いズーム操作やパンチルト操作が行われていたか否かの判定は、フレーム選択部２０１は、フレーム画像全体の動きベクトルの平均値が所定値以上であるフレーム画像については、選択フレーム画像から除外するようにしてもよいし、フレーム画像に基づいて動きベクトルを算出して判断してもよいし、撮影時の操作情報を動画ストリームに格納し、再生時に選択するようにしてもよい。
【００６３】
＜１−７＞第３の変形例
次に、第３の変形例について説明する。図６は、第１の実施形態の第３の変形例における撮像装置１００ａを示すブロック図である。図６に示すように、静止画像生成部１３３は、図２の構成に加えて、対象物検出部２０３を有する。この対象物検出部２０３は、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６から出力されるフレーム画像列に含まれる２以上のフレーム画像に特定の対象物画像が含まれるか否かを検出する。そして、フレーム選択部２０１は、対象物検出部２０３の検出結果に基づき、対象物が含まれる２以上のフレームを選択フレーム画像として選択する。
【００６４】
たとえば、対象物検出部２０３は、動画内のユーザの笑顔を自動検出し、ユーザの笑顔が含まれているフレーム画像を選択することができる。また、笑顔以外でも、ユーザの設定に応じて、他の対象物を含んでいる場合に自動的にフレーム選択するようにしてもよい。これにより、ユーザは、所望の静止画を動画像からユーザの選択ではなく、自動で取得することができ、より操作性が向上する。
【００６５】
＜１−８＞その他の変形例
次に、選択フレームが５枚のフレーム画像からなる場合について説明する。先ず、フレーム選択部２０１は、選択フレーム画像に１以上のＩピクチャが含まれるように選択することができる。つまり、５枚のフレーム画像の中に必ずＩピクチャが含まれるように、フレーム画像選択を限定する。例えば、図４において、ユーザの指示により、１番目のＰピクチャが選択された場合には、フレーム選択部２０１は、前３枚、後ろ１枚のピクチャを選択フレーム画像とすることにより、選択フレーム画像にＩピクチャを含めることができる。
【００６６】
選択フレーム画像にＩピクチャを含めることにより、画質的にはＩピクチャが最もよいため、静止画の画質を向上することができる。同様に、Ｂピクチャの画質は、Ｉピクチャ又はＰピクチャの画質より劣るため、フレーム選択部２０１におけるフレーム画像選択では、Ｉ又はＰピクチャに限定して選択するようし、Ｂピクチャについては重み付き平均化処理から除外することで、生成する静止画の画質を向上することができる。なお、本例では、静止画像生成部１３３が、５枚の選択フレームを使用して重み付き平均化処理を行うものとしたが、選択フレームは、５枚以外の枚数でもよいことは言うまでもない。
【００６７】
また、上記第１の実施形態及び変形例では、フレーム画像を例にとって説明したが、インターレス走査の映像データの場合には、フィールド画像としてもよい。その場合、フレーム画像の場合と同様の処理を行ってもよい。又は、奇数フィールドは奇数フィールドのみで動き補償の重み付き平均化処理を行って画像を作成し、偶数フィールドは偶数フィールドのみで動き補償の重み付き平均化処理を行って画像を作成して、最後にＩＰ変換して静止画像を生成するようにしてもよい。
【００６８】
さらに、フィルタ処理部２０１は、画像圧縮時の圧縮率に応じて重み係数Ｋｉ、Ｋｐ、Ｋｂを異ならせる、すなわち、値の比率を異ならせることができる。この場合、圧縮率が高い場合は、各重み係数の比率が１から離れる値とし、圧縮率が低い場合は、各重み係数の比率が１に近くなる値となるよう設定することができる。
【００６９】
すなわち、圧縮率が比較的小さい場合に、Ｋｉ、Ｋｐ、Ｋｂが比較的近い値になるようにする。例えば、｛１、０．９、０．８｝等である。一方、圧縮率が比較的大きい場合には、Ｋｉ、Ｋｐ、Ｋｂの値の比率に差がつくようにする。例えば、{１、０．７、０．３}等である。圧縮率が比較的小さい場合には、Ｐピクチャ、及びＢピクチャの量子化ノイズの量が比較的小さいため、Ｐピクチャ、Ｂピクチャの画素の値の混合比率を大きくしても、量子化ノイズの影響を受けにくいからである。
【００７０】
＜２＞本発明の第２の実施形態
次に、本発明の第２の実施形態について説明する。本実施形態は、本発明を、Ｈ．２６４／ＡＶＣ規格で規格化されているＩスライス、Ｐスライス、Ｂスライスからなる動画像から静止画像を生成する撮像装置に適用したものである。
【００７１】
図７は、１つのフレームが２つのスライスに分割されている例を示す図である。この場合、第１の実施形態においてピクチャとしたものを、本実施形態においては、スライスとする。
【００７２】
本実施形態においては、撮像装置の構成は、図２に示す第１の実施形態にかかる撮像装置の構成と同様であって、図３に示す静止画生成部においては、フレーム選択部をスライス選択部とする。図８は、本第２の実施形態における撮像装置１００ｂを示す図である。図８に示すように、図２に示すフレーム選択部２０１の代わりに、スライス選択部２０４を有している。スライス選択部２０４は、外部からの指示に基づき、又は自動的に、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６から出力されるフレーム画像列から、２以上のスライス画像、好ましくは４以上のスライス画像を選択スライス画像として選択する。フィルタ処理部２０２は、スライス選択部２０４が選択した選択スライス画像をフィルタ処理することにより一のフレーム画像を生成する処理部である。このフィルタ処理部２０２は、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する。具体的には、スライス選択部２０４が選択した複数のスライス画像のそれぞれが、Ｉスライス、Ｐスライス、Ｂスライスのいずれかであるかによって、重み係数を変えて加重平均フィルタにより静止画像データを生成する。
【００７３】
本第２の実施形態においても、上記第１の実施形態と同様の効果を奏する。さらに、上述の第１乃至第３の変形例並びにその他の変形例についても、本実施の形態で適用可能である。
【００７４】
＜３＞本発明の第３の実施形態
次に、本発明の第３の実施形態について説明する。第１の実施形態では、Ｉ、Ｐ、Ｂの各ピクチャタイプに画質が依存するものとしたが、より詳細には、画質は、各マクロブロックの量子化ステップの大きさに依存している。
【００７５】
そこで、記録した動画像データを再生して伸張復元する際に、各フレーム画像の全マクロブロックの量子化ステップを抽出して、図２に示す画像記憶部１２４に格納する。量子化ステップの値に対応して、重み係数Ｋを決めておく。量子化ステップが大きくなるほど、重み係数Ｋが小さくなるように決める。そして、第１の実施形態においては、ピクチャタイプに応じた重み係数を使用したのに対し、本実施形態においては、マクロブロックの量子化ステップに応じた重み係数を使用するものとする。
【００７６】
本実施形態においては、撮像装置の構成は、図２に示す第１の実施形態にかかる撮像装置の構成と同様であって、静止画生成部の構成も、図２に示す静止画生成部と同様である。ここで、フィルタ処理部２０２は、フレーム選択部２０１が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成する処理部であるが、本実施形態におけるフィルタ処理部２０２は、フレーム選択部２０１が選択した選択フレーム画像において、マクロブロックの量子化ステップに応じた重み係数を使用して、加重平均フィルタにより静止画像データを生成する。
【００７７】
また、各マクロブロックの量子化ステップの代わりに、ピクチャ毎の量子化ステップの平均値を算出し、その平均値に対応してピクチャ毎の重み係数Ｋを決めるようにしてもよい。その場合は、フィルタ処理部２０２は、ピクチャタイプ毎ではなく、各ピクチャ毎に決定された重み係数を使用してフィルタ演算すればよい。
【００７８】
本第３の実施形態においても、上記第１の実施形態と同様の効果を奏する。さらに、上述の第１乃至第３の変形例並びにその他の変形例についても、本実施の形態で適用可能である。
【００７９】
＜４＞本発明の第４の実施形態
次に、本発明の第４の実施形態について説明する。なお、本実施の形態にかかる撮像装置及び静止画生成部の構成は、図２に示す実施の形態１にかかる撮像装置及び静止画生成部の構成と同様である。上述したように、Ｈ．２６４／ＡＶＣのデブロッキング・フィルタ処理は、スライス毎の設定パラメータに応じて、特定のブロック境界の画素について、３乃至５タップのＦＩＲフィルタを施すものである。ＦＩＲフィルタ処理により、量子化に伴うブロック歪が軽減される。一方、ＦＩＲフィルタ処理により本来の信号の空間周波数高域成分が失われることがある。
【００８０】
記録した動画像データを再生して伸張復元する際に、各フレーム画像の全ブロックの境界の画素について、どのようなＦＩＲフィルタをかけたかの情報を抽出して、画像記憶部１２４に格納しておく。そして、フィルタ処理部２０１は、デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理の有無に応じて異なる重み係数を使用するものとする。すなわち、どのようなＦＩＲフィルタをかけたかに対応して、重み係数Ｋを決めておく。この場合、例えば、フィルタのタップ数が大きいほど、重み係数Ｋが小さくなるように決める。フィルタをかけていない画素の重み係数が最も大きくなるようにする。
【００８１】
又は、どのようなＦＩＲフィルタをかけたかの情報の代わりに、ＦＩＲフィルタをかける前の画素値とかけた後の画素値との差分の絶対の情報を抽出するようにしてもよい。差分の絶対値が大きいほど、重み係数Ｋが小さくなるように決定することができる。
【００８２】
なお、どのようなＦＩＲフィルタをかけたか、又はＦＩＲフィルタをかける前後の差分の絶対値と、上述の第３の実施形態におけるマクロブロックの量子化ステップとの組み合わせに応じて重み係数Ｋを決めるようにしてもよい。すなわち、ブロック境界以外の画素についてはマクロブロックの量子化ステップに応じて重み係数Ｋを決める。ブロック境界については、量子化ステップに加えて、ＦＩＲフィルタをかける前後の差分の絶対値を加味して重み係数Ｋを決める。ブロック境界以外の画素や差分が０の画素については量子化ステップに応じた重み係数Ｋとし、差分が０でない画素については、その差分の絶対値に応じてさらに重み係数Ｋを小さくする。
【００８３】
本実施の形態においては、複数枚のフレーム画像から１枚の静止画を生成するため、撮像素子に基づくノイズを低減できると共に、ＦＩＲフィルタ処理の有無に応じて異なる重み係数を使用することで、Ｈ．２６４／ＡＶＣのデブロッキング・フィルタ処理で生じた圧縮処理時のノイズ（デブロッキング・フィルタによる減衰ノイズ）を低減することができる。さらに、合わせて量子化ステップに応じた重み係数を使用すれば、量子化ノイズを低減することも可能となる。
【００８４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８５】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００８６】
１００ 撮像装置
１０２ 本体
１０４ 撮像レンズ
１０６ 操作部
１０８ 液晶モニタ
１２０ 撮像部
１２２ 信号処理部
１２４ 画像記憶部
１２６ 画像処理部
１２８ 部
１３０ 画像出力部
１３２ 撮像記録再生制御部
１３３ 静止画像生成部
１３４ メイン記憶部
１３６ システムバス
１４０ カットフィルタ
１４２ ズームレンズ
１４４ フォーカスレンズ
１４８ 撮像素子
１５０ 増幅器
１５２ 変換器
１５４ 駆動制御部
１５６ 駆動回路Ｉ／Ｆ 記録
２０１ フレーム選択部
２０２ フィルタ処理部
２０３ 対象物検出部
２０４ スライス選択部
【技術分野】
【０００１】
本発明は、動画像から静止画を取得するための画像処理装置、画像処理方法、及びプログラムに関し、特に、複数枚のフレーム画像から静止画を取得するための画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年のデジタルビデオカメラでは、撮像系を通して入力される、時系列に連続する複数のフレーム画像データ（あるいはフィールド画像データ）を、ＭＰＥＧ（Moving Picture Experts Group）−２やＨ．２６４／ＡＶＣなどのフレーム間の相関を用いた画像情報圧縮処理の符号化を行って記録媒体に記録している。
【０００３】
ＭＰＥＧ−２の動画像データは、フレーム内のみの相関を利用してフレーム内圧縮を行ったＩピクチャ（Intra Picture：フレーム内符号化画像）と、時間的に前のピクチャとの間で動き補償フレーム間予測を行って、フレーム間の相関を利用した圧縮を行ったＰピクチャ（Predictive coded:フレーム間順方向予測符号化画像）と、さらに複数のピクチャとの間で動き補償フレーム間予測を行って、フレーム間の相関を利用した圧縮を行ったＢピクチャ（Bi-directionally predictive coded:双方向予測符号化画像）とで構成される。さらに、Ｈ.２６４／ＡＶＣでは、Ｂピクチャは、双予測ピクチャ（Bi-predictive Picture）とされ、ＭＰＥＧ−２の場合は、前と後のピクチャを参照するのに対して、Ｈ.２６４/ＡＶＣの場合は、前と後でもよく、前と前でもよく、後と後でもよいというように自由度を高めている
【０００４】
図５は、ＭＰＥＧ−２におけるフレーム構造を示す図である。図５に示すように、時系列に連続する複数のフレームのそれぞれがＩ、Ｐ、Ｂピクチャとして扱われる。図中の矢印は動き補償フレーム間予測の方向を示したもので、Ｐピクチャは時間的に前のＰピクチャ又はＩピクチャから予測される。Ｂピクチャは、時間的に前と後ろのＰピクチャ又はＩピクチャから動き補償フレーム間予測される。一般に、Ｉピクチャは最も細かい量子化ステップで量子化され、Ｐピクチャはより粗く、Ｂピクチャはさらに粗い量子化ステップで量子化されることが多い。
【０００５】
また、Ｈ．２６４／ＡＶＣでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの構造に加えて、１枚のフレーム画像を複数の領域（スライスと呼ぶ）に分割して、スライス単位でＩスライス、Ｐスライス、Ｂスライスとすることができる。この場合も、一般にＩスライスは最も細かい量子化ステップで量子化され、Ｐスライスはより粗く、Ｂスライスはさらに粗い量子化ステップで量子化されることが多い。
【０００６】
なお、量子化ステップはマクロブロックと呼ばれる画素ブロック単位で異なる値とされる。したがって、１つのピクチャ内でも比較的細かい量子化ステップで量子化されたマクロブロックと、比較的荒い量子化ステップで量子化されたマクロブロックとが混在する。
【０００７】
ところで、従来から、動画用に記録された信号やデジタルデータの一部を抽出して、別途静止画を生成するビデオカメラレコーダーが製品化されている。このような装置においては、記録された動画像データを再生しながら、ユーザによって選択された１枚のフレーム画像を選択し、静止画として抽出することが考えられる。
【０００８】
これに対し、動画像から静止画像を取得する際に、複数枚のフレーム画像を抽出し、その複数枚のフレーム画像から静止画像を得る装置が従来提案されている。例えば、特許文献１には、動画像の表示中にユーザから入力される一時停止指示操作が検出されると、動画像に代えて、複数の静止画像のうち少なくとも２以上の静止画像を合成した一時停止表示用合成画像を表示モニタに表示させる一時停止表示制御手段を有する撮像装置が開示されている。
これは、通常の静止画像の鑑賞では像流れのない鮮明な画像が好まれる一方で、動画像再生中に一時停止して静止画像を観賞する場合は、像流れのある画像の方が動きに流れが生じるので好ましいことがあるため、そのような静止画を取得することを目的としたものである。
【０００９】
さらに、特許文献１においては、動画再生に用いる合成画像の生成時に加算するフレーム数を「３」に設定した場合、中心のフレームを基準画像とし、基準画像に対して時間軸方向で前（過去）と後（未来）との１フレーム分ずつを補間画像に設定し、画像の加算比率を「０．２５：０．５：０．２５」に設定する。この特許文献１に記載の撮像装置のおいては、動きベクトルの大きさ（換言すれば被写体の動き量）に応じて、合成画像を生成する際の加算枚数や加算比率を制御している。これにより、画像ファイルを動画再生するときには、加算フレーム数及び加算比率のデータを参照することで、動画再生に適した合成画像を容易に生成することが可能となる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１０−０４５６１９号公報
【特許文献２】特開２００８−００３６７４号公報
【非特許文献】
【００１１】
【非特許文献１】大久保 榮監修「改訂版Ｈ．２６４／ＡＶＣ教科書（インプレス標準教科書シリーズ）」、インプレス社（２００６年）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、動画像中から１つのフレーム画像を静止画として取り出すと、撮像素子によるノイズ成分が動画像より目立ちやすいという問題点がある。これは、動画像では人間の時間軸方向の視覚が鈍感であるため、つまり動画像ではフレーム間の補間を行っているため、動画像の方が１フレーム中のノイズ成分が見えにくくなるためと考えられる。特に、撮影環境が暗かった場合には、各フレーム画像のノイズ成分が大きくなる。これは、撮像素子の各セルに入射する光量が少ないために、光電変換の出力が小さく、ノイズに埋もれてしまうためである。
【００１３】
更に、ユーザが選択したフレーム画像がＢピクチャであった場合、他のピクチャよりも粗い量子化ステップで量子化しているため、量子化によるノイズ成分による劣化も目だってしまう。
【００１４】
また、Ｈ．２６４／ＡＶＣでは、デブロッキング・フィルタ処理が行われる場合がある。これは、ブロック歪みと呼ばれるノイズを緩和するために、ブロック境界に平滑化フィルタをかけるものである。このデブロッキング・フィルタは、ブロック歪みを緩和する一方で、本来の画像データの高域成分を減衰させてしまうという弊害を起こすこともある。デブロッキング・フィルタの強度はスライス単位で可変であり、個々のブロック境界の画素にフィルタ処理が行われるか否かは、周辺ブロックを含めたブロックの属性で決定される。
【００１５】
特許文献１の目的とは異なるが、特許文献１に記載の撮像装置のように、複数枚の静止画像を合成することで、上述の画像に含まれるノイズ成分を相殺することができる。しかしながら、量子化によるノイズ成分や、デブロッキング・フィルタによるブロック歪は、単に複数のフレーム画像を単純に合成したのみでは、取り除くことができない。
【００１６】
本発明は、このような問題点を解決するためになされたものであり、フレーム間の相関を用いた画像情報圧縮によって符号化されて記録された動画から、ノイズ劣化の少ない高画質の静止画を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明に係る画像処理装置は、圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、前記フィルタ処理部は、前記圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００１８】
本発明においては、動画像から複数フレームを選択して１枚の静止画像を生成するに当たり、例えば、量子化ノイズ及びデブロッキング・フィルタによる減衰ノイズ等の圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することにより、撮像素子に基づくノイズと共に、圧縮時のノイズを低減することができる。
【００１９】
また、前記復号部は、異なる量子化ステップを使用して圧縮処理された圧縮データを復号するものであって、前記フィルタ処理部は、前記選択フレーム画像の圧縮時の量子化ステップに基づき、異なる重み係数を使用したフィルタ処理を実施することができる。これにより、量子化ノイズを低減することができる。
【００２０】
さらに、前記フィルタ処理部は、デブロッキング・フィルタ処理で使用するＦＩＲ（Finite Impulse Response Filter）フィルタ処理の有無に応じて異なる重み係数を使用することができ、これにより、撮像素子によるノイズと共に減衰ノイズを低減することができる。
【００２１】
本発明に係る他の画像処理装置は、圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、記フィルタ処理部は、前記選択フレーム画像が、Ｉピクチャ若しくはスライス（Intra Picture or slice：フレーム内符号化画像）、Ｐピクチャ若しくはスライス（Predictive coded Picture or slice:フレーム間順方向予測符号化画像）又はＢピクチャ若しくはスライス（双方向予測ピクチャ Bi-directional Predictive Picture or slice若しくは双予測ピクチャ Bi-predictive Picture or slice）のいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２２】
また、前記Ｉピクチャ若しくはスライス、前記Ｐピクチャ若しくはスライス及び前記Ｂピクチャ若しくはスライスの重み係数をそれぞれＫｉ、Ｋｐ、Ｋｂとした場合、Ｋｉ、Ｋｐ、Ｋｂは下記を満たすものとすることができる。つまり、Ｉピクチャ又はスライスは画質が最もよいため、重み係数を最も大きくし、Ｂピクチャ又はスライスは画質が最も悪いので、重み係数を最も小さいものとすることで、より効率よく量子化ノイズを低減する。
Ｋｉ≧Ｋｐ≧Ｋｂ
かつ
Ｋｉ＝Ｋｐ＝Ｋｂを含まない
【００２３】
また、前記フィルタ処理部は、画像圧縮時の圧縮率に応じて前記重み係数Ｋｉ、Ｋｐ、Ｋｂを異ならせるものであって、前記圧縮率が高い場合は、各重み係数の比率が１から離れる値とし、前記圧縮率が低い場合は、各重み係数の比率が１に近くなる値となるよう設定することができる。ピクチャ毎に重み係数を異ならせると共に、圧縮率に応じて、同じピクチャ内でも異なる重み係数を採用することで、より効率よく量子化ノイズを低減することができる。
【００２４】
具体的には、前記フィルタ処理部は、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタのタップ数に基づき、前記選択フレーム毎に予め定められた異なる重み係数を使用したり、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに基づいて異なる重み係数を使用したりすることができる。
【００２５】
また、前記フィルタ処理部は、デブロッキング・フィルタ処理を行なわない、ブロック境界以外の画素については、マクロブロックの量子化ステップに基づき、前記選択フレーム毎に予め定められた重み係数を使用し、前記デブロッキング・フィルタ処理を実施する画素については量子化ステップ及び当該デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに応じて異なる重み係数を使用することができ、撮像素子によるノイズ、減衰ノイズ、及び量子化ノイズの各種のノイズを低減することができる。
【００２６】
本発明に係る画像処理方法は、圧縮処理された圧縮データを復号する復号工程と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択工程と、前記フレーム選択工程にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理工程とを有し、前記フィルタ処理工程では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス（Intra Picture or slice：フレーム内符号化画像）、Ｐピクチャ若しくはスライス（Predictive coded Picture or slice:フレーム間順方向予測符号化画像）又はＢピクチャ若しくはスライス（双方向予測ピクチャ Bi-directional Predictive Picture or slice若しくは双予測ピクチャ Bi-predictive Picture or slice）のいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２７】
本発明に係るプログラムは、圧縮処理された圧縮データを復号する復号処理と、外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択処理と、前記フレーム選択処理にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理とを実行させ、前記フィルタ処理では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス（Intra Picture or slice：フレーム内符号化画像）、Ｐピクチャ若しくはスライス（Predictive coded Picture or slice:フレーム間順方向予測符号化画像）又はＢピクチャ若しくはスライス（双方向予測ピクチャ Bi-directional Predictive Picture or slice若しくは双予測ピクチャ Bi-predictive Picture or slice）のいずれであるかを示すピクチャタイプ又はスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実行させることを特徴とするものである。
【発明の効果】
【００２８】
本発明によれば、フレーム間の相関を用いた画像情報圧縮によって符号化されて記録された動画から、ノイズ劣化の少ない高画質の静止画を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態にかかる撮像装置の一例を示した外観図である
【図２】本発明の第１の実施形態にかかる撮像装置を示すブロック図である。
【図３】本発明の第１の実施形態にかかる撮像装置における静止画像データ生成手順を示すフローチャートである。
【図４】ＭＰＥＧ−２におけるフレーム構造を示す図である。
【図５】（ｂ）はユーザによって選択されたフレーム画面を示す図であり、（ｂ）はその前後のフレーム画面のうちの１つを示す図である。
【図６】本発明の第１の実施形態の第３の変形例における撮像装置を示すブロック図である。
【図７】１つのフレームが２つのスライスに分割されている例を示す図である。
【図８】本発明の第２の実施形態おける撮像装置を示す図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００３１】
この実施の形態は、本発明を、動画像から複数枚のフレーム画像を選択して１枚の静止画像を生成する際に、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する画像処理装置に適用したものである。
【００３２】
上述したように、本願発明者は、鋭意実験研究し、複数枚のフレーム画像を単純に平均化処理しても撮像素子に基づくランダムなノイズを除去することはできても、量子化ノイズやブロック歪みを取り除けないことを知見し、圧縮処理によるノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することで、動画像に生じている撮像素子によるノイズを除去すると共に圧縮処理によるノイズをも取り除くことができる方法を見出した。
【００３３】
具体的に圧縮処理で生じたノイズとは、例えば、量子化ノイズやデブロッキング・フィルタによる減衰ノイズである。ここで、量子化ノイズを取り除くためには、複数のフレーム画像に対し、圧縮時の量子化ステップに基づき、異なる重み係数を使用したフィルタ処理を実施する。この場合、各選択フレーム画像について、フレーム毎、フレームに含まれるスライス毎、又はフレームに含まれるマクロブロック毎に、異なる重み係数を使用してフィルタ処理を実施することも可能である。フィルタ処理とは、例えば、量子化ステップに応じた重み係数を使用した加重平均フィルタによるものである。さらに、選択した複数のフレーム画像が、Ｉピクチャ、Ｐピクチャ、又はＢピクチャのいずれかであるかを示すピクチャタイプに応じて異なる重み係数を使用することも可能である。
【００３４】
また、デブロッキング・フィルタの減衰ノイズを取り除くためには、複数のフレーム画像を合成する際に、デブロッキング・フィルタ処理で使用するＦＩＲ（Finite Impulse Response Filter）フィルタ処理の有無に応じて異なる重み係数を使用することができる。また、デブロッキング・フィルタ処理で使用するＦＩＲフィルタのタップ数に応じて異なる重み係数を使用したり、デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに応じて異なる重み係数を使用することも可能である。以下、本発明の実施形態について詳細に説明する。
【００３５】
＜１＞本発明の第１の実施形態
本実施の形態においては、復号されたフレーム画像列から、ユーザからの指示に基づき、又は自動的に２以上のフレーム画像を選択し、これらのフレーム画像がＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかであるかによって、重み係数を変えてフィルタ処理を行うことで、ノイズ劣化の少ない高画質の静止画を生成する。
【００３６】
＜１−１＞撮像装置
先ず、本第１の実施形態にかかる撮像装置について説明する。図１は、第１の実施形態にかかる撮像装置１００の一例を示した外観図である。撮像装置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、複数の操作部１０６と、モニタとしての液晶モニタ１０８とを有する。
【００３７】
本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録すると共に、操作部１０６へのユーザ入力に応じてその記録タイミングや画角を調整する。
【００３８】
また、操作部１０６へのユーザ入力に応じて、記録した動画像データの再生や、フレーム画像の選択、及び静止画の生成が行われる。再生した動画像は、外部出力されるとともに液晶モニタ１０８に表示される。
【００３９】
図２は、第１の実施形態にかかる撮像装置１００を示すブロック図である。撮像装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部１２６と、記録Ｉ／Ｆ（インターフェース）部１２８と、画像出力部１３０と、撮像記録再生制御部１３２とメイン記憶部１３４とを有する。なお、操作部１０６、信号処理部１２２、画像記憶部１２４、画像処理部１２６、記録Ｉ／Ｆ部１２８、画像出力部１３０、メイン記憶部１３４、駆動制御部１５４及び撮像記録再生制御部１３２はシステムバス１３６を介して接続されている。
【００４０】
撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮像部１２０は、具体的に、近赤外光を遮るＩＲ（infrared：赤外線）カットフィルタ１４０、ズーム機能を実現するためのズームレンズ１４２、焦点調整に用いられるフォーカスレンズ１４４、露光調整に用いられる絞り１４６、撮像レンズ１０４を通じて入射する被写体像等の光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled Devices）等で構成される撮像素子（撮像回路）１４８、撮像素子１４８からの画像信号を増幅する増幅器１５０、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ（アナログディジタル）変換器１５２、ズームレンズ１４２、フォーカスレンズ１４４及び絞り１４６の駆動を制御する駆動制御部１５４、及びその駆動回路１５６を有する。
【００４１】
信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成し、画像記憶部１２４に伝達する。また、画面の平均輝度を求めるなどして、その結果を撮像記録再生制御部１３２へ出力する。
【００４２】
画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶し、画像処理部１２６等にその画像データを参照させることができる。
【００４３】
画像処理部１２６は、画像記憶部１２４からの動画像データをＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等の形式で圧縮して記録用のデータを生成する。また、画像処理部１２６は、画像記憶部１２４からの静止画像をＪＰＥＧ（Joint Photographic Experts Group）等の形式で圧縮して記録用のデータを生成する。さらに、画像処理部１２６は、撮像記録再生制御部１３２の指示により画像データを縮小して表示用画像（ビュー画像）を生成する。一方、記録したデータを再生する際には、画像処理部１２６は、圧縮された記憶用データを伸長復元する処理を実行する。
【００４４】
記録Ｉ／Ｆ部１２８は、符号化処理を通じ画像データを符号化して記録信号（データストリーム）を生成し、その記憶信号を任意の記録媒体１６０に記録する。任意の記録媒体１６０としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、ＳＤカードなどの外部から接続可能な別体の記録媒体を用いることもできる。
【００４５】
駆動制御部１５４は、撮像記録再生制御部１３２からの指示を受けて、ズームレンズ１４２、フォーカスレンズ１４４及び絞り１４６の駆動を制御する。
【００４６】
メイン記憶部１３４は、撮像記録再生制御部１３２で処理されるプログラムなどを記憶する。
【００４７】
撮像記録再生制御部１３２は、半導体集積回路により撮像装置１００全体を管理及び制御し、撮像などに必要となる各種演算を実行する。また、撮像記録再生制御部１３２は、静止画像生成部１３３としても機能する。
【００４８】
記録された動画像データから静止画像を生成する場合、記録媒体１６０にある動画像データを記録Ｉ／Ｆ部１２８経由で読み出して、画像処理部１２６で圧縮データの伸張復元を行って、その結果のフレーム画像を画像記憶部１２４に格納する。ユーザ操作に基づいて選択された、あるフレーム画像とその前後の複数のフレーム画像が画像記憶部１２４に格納される。また、各フレーム画像がＩ、Ｐ、Ｂピクチャのいずれのピクチャタイプで符号化されていたかという情報も格納される。
【００４９】
静止画像生成部１３３は、フレーム選択部２０１及びフィルタ処理部２０２を有し、画像記憶部１２４に格納されている複数のフレーム画像に対して、フィルタ処理の一種である動き補償重み付き平均処理を行って静止画データを生成する。
【００５０】
＜１−２＞静止画像生成部の構成
次に、静止画像生成部１３３の詳細について説明する。図２に示すように、静止画像生成部１３３は、フレーム選択部２０１及びフィルタ処理部２０２を有する。フレーム選択部２０１は、外部からの指示に基づき、又は自動的に、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択する。この選択フレーム画像は、時間軸に対して連続するフレーム画像であっても、不連続のフレーム画像であってもよい。フィルタ処理部２０２は、フレーム選択部２０１が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成する処理部である。このフィルタ処理部２０２は、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する。具体的には、フレーム選択部２０１が選択した複数のフレーム画像のそれぞれが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれかであるかによって、重み係数を変えて加重平均フィルタにより静止画像データを生成する。
【００５１】
＜１−３＞静止画像データ生成動作
次に、静止画像データ生成手順について説明する。図３は、静止画像データ生成手順を示すフローチャートである。操作部１０６に対するユーザ操作によって、撮像装置１００は静止画データ生成モードになり、画像処理を開始する。
【００５２】
図３に示すように、画像処理を開始すると、ユーザ操作に基づくフレーム画像の選択が行われる。フレーム画像の選択は、動画像をスロー再生やコマ送り再生しながら、ユーザが操作部１０６を操作することで行われる（ステップＳ２００）。
【００５３】
フレーム画像が選択されると、そのフレーム画像は、画像記憶部１２４に記憶される。また、そのフレーム画像の時系列で直前の２枚と直後の２枚のフレーム画像が伸張復元されて、画像記憶部１２４に記憶される。また、これら計５枚のフレーム画像のピクチャタイプ情報が選択されて画像記憶部１２４に記憶される（ステップＳ２０１）。
【００５４】
図４は、ＭＰＥＧ−２におけるフレーム構造を示す図である。ここで、ユーザ操作に基づいて選択されたフレーム画像が、図４の矢印で示したフレーム画像であるとする。ここでは、Ｂ（２）で表す。直前の２枚はＩピクチャとＢピクチャであり、Ｉ（１）とＢ（１）で表す。直後の２枚はＰピクチャとＢピクチャであり、Ｐ（１）とＢ（３）で表す。
【００５５】
Ｉピクチャに対する重み係数をＫｉ、Ｐピクチャに対する重み係数をＫｐ、Ｂピクチャに対する重み係数をＫｂとする。ここで、Ｋｉ≧Ｋｐ≧Ｋｂで、Ｋｉ＝Ｋｐ＝Ｋｂ ではない数値である。
【００５６】
各フレームの画素を、ｐＩ（１）、ｐＢ（１）、ｐＢ（２）、ｐＰ（１）、ｐＢ（３）で表す。５枚のピクチャを通じて被写体が静止していると見なされた場合には、フレーム画像の各画素について、次のように以下の式（１）に基づき重み付き平均化処理を行って静止画の各画素ｐＳを算出する。
ｐＳ＝（Ｋｉ×ｐＩ（１）＋Ｋｂ×ｐＢ（１）＋Ｋｂ×ｐＢ（２）＋Ｋｐ×ｐＰ（１）＋Ｋｂ×ｐＢ（３））／（Ｋｉ＋Ｋｂ＋Ｋｂ＋Ｋｐ＋Ｋｂ）・・・（１）
【００５７】
＜１−４＞動き補償の重み付き平均化処理
次に、被写体に動きがあると見なされた場合の処理について、図５を参照して説明する。図５（ｂ）はユーザによって選択されたフレーム画面３０３であり、図５（ａ）に示すフレーム画像３０１はフレーム画像３０３の前後のフレーム画面のうちの１つである。図５（ａ）の画面左上にある四角形の灰色物体３０２が、図５（ｂ）では少し右側に移動している（３０４）。灰色物体３０２を除いた背景は静止しているものとする。図５（ａ）と図５（ｂ）のフレーム画面３０１、３０３から灰色物体３０２の動きベクトルＶが算出される。動きベクトルＶの算出は、勾配法やマッチング法などの公知の方法で行われる（例えば特許文献２）。
【００５８】
上記（１）式の重み付き平均化処理を行うに当たって、灰色物体３０２に属する画素については、図５（ｂ）のフレーム画像３０４の画素に対して、図５（ａ）では動きベクトルＶだけ移動した画素３０２を用いて演算を行う。つまり、灰色物体３０２については、フレーム画像３０１内の灰色物体３０２と、フレーム画像３０３内の物体３０４とで、上記（１）式の演算を実施する。一方、静止している背景に属する画素については、画面内の同じ位置の画素を用いて演算を行う。また、図５（ｂ）で、灰色物体３０２が移動したことにより新たに出現した領域Ｇは、図５（ａ）には相当する画素が存在しないので、図５（ａ）のフレーム画像３０１に相当する重み係数を０として、上記（１）式の演算を行う。演算結果の静止画は、画像記憶部１２４に格納する（ステップＳ２２０）。画像記憶部１２４に格納された静止画は、画像処理部１２６で読み出されて、ＪＰＥＧ符号化され、記録媒体１６０に記録される（ステップＳ２３０）。以上で静止画データ生成手順が終了する。
【００５９】
本実施の形態においては、複数枚のフレーム画像から１枚の静止画を生成するため、撮像素子に基づくノイズを低減できると共に、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの各ピクチャタイプに応じて異なる重み係数を使用したフィルタ処理を実施することにより、量子化によって生じる量子化ノイズを低減することができる。
【００６０】
＜１−５＞第１の変形例
次に、第１の実施形態の第２の変形例について説明する。上記の第１の実施形態においては、動き補償の重み付き平均化処理について説明したが、動き適応の重み付き平均化処理としてもよい。動き適応の場合、静止していないと見なされる部分の画素について、演算対象から除外する。図５の例では、例えば、図５（ｂ）のフレーム画像３０３をユーザが選択したフレーム画像とすると、図５（ａ）のフレーム画像３０１と図５（ｂ）のフレーム画像３０３で動きのある領域（Ｇ、３０４）に属する図５（ａ）のフレーム画像３０１の画素については、重み係数を０として上記（１）式の演算を行う。その他の画素については、画面内の同じ位置の画素を用いて演算を行う。画質の点では、動き補償を行った方がよいが、動き適応の方が処理手段である回路の規模を小さくできるという利点がある。
【００６１】
＜１−６＞第２の変形例
次に、第１の実施形態の第２の変形例について説明する。フレーム選択部２０１は、所定速度以上のズーム操作又はパンチルト操作が行われたフレーム画像については、選択フレーム画像から除外するようにすることができる。すなわち、動画の撮影中に比較的動きの速いズーム操作やパンチルト操作が行われた場合に、それらのフレーム画像を除外する。これは、比較的動きの速いズーム操作やパンチルト操作が行われていた場合、動き補償が適正に行われなくなるからである。
【００６２】
例えば、図４において、例えば５枚のフレーム画像を選択する場合、ユーザ操作に基づいて選択されたフレーム画像よりも後ろのフレーム画像において、比較的動きの速いズーム操作やパンチルト操作が行われていた場合には、前２枚＋後ろ２枚の代わりに、前４枚とする。比較的動きの速いズーム操作やパンチルト操作が行われていたか否かの判定は、フレーム選択部２０１は、フレーム画像全体の動きベクトルの平均値が所定値以上であるフレーム画像については、選択フレーム画像から除外するようにしてもよいし、フレーム画像に基づいて動きベクトルを算出して判断してもよいし、撮影時の操作情報を動画ストリームに格納し、再生時に選択するようにしてもよい。
【００６３】
＜１−７＞第３の変形例
次に、第３の変形例について説明する。図６は、第１の実施形態の第３の変形例における撮像装置１００ａを示すブロック図である。図６に示すように、静止画像生成部１３３は、図２の構成に加えて、対象物検出部２０３を有する。この対象物検出部２０３は、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６から出力されるフレーム画像列に含まれる２以上のフレーム画像に特定の対象物画像が含まれるか否かを検出する。そして、フレーム選択部２０１は、対象物検出部２０３の検出結果に基づき、対象物が含まれる２以上のフレームを選択フレーム画像として選択する。
【００６４】
たとえば、対象物検出部２０３は、動画内のユーザの笑顔を自動検出し、ユーザの笑顔が含まれているフレーム画像を選択することができる。また、笑顔以外でも、ユーザの設定に応じて、他の対象物を含んでいる場合に自動的にフレーム選択するようにしてもよい。これにより、ユーザは、所望の静止画を動画像からユーザの選択ではなく、自動で取得することができ、より操作性が向上する。
【００６５】
＜１−８＞その他の変形例
次に、選択フレームが５枚のフレーム画像からなる場合について説明する。先ず、フレーム選択部２０１は、選択フレーム画像に１以上のＩピクチャが含まれるように選択することができる。つまり、５枚のフレーム画像の中に必ずＩピクチャが含まれるように、フレーム画像選択を限定する。例えば、図４において、ユーザの指示により、１番目のＰピクチャが選択された場合には、フレーム選択部２０１は、前３枚、後ろ１枚のピクチャを選択フレーム画像とすることにより、選択フレーム画像にＩピクチャを含めることができる。
【００６６】
選択フレーム画像にＩピクチャを含めることにより、画質的にはＩピクチャが最もよいため、静止画の画質を向上することができる。同様に、Ｂピクチャの画質は、Ｉピクチャ又はＰピクチャの画質より劣るため、フレーム選択部２０１におけるフレーム画像選択では、Ｉ又はＰピクチャに限定して選択するようし、Ｂピクチャについては重み付き平均化処理から除外することで、生成する静止画の画質を向上することができる。なお、本例では、静止画像生成部１３３が、５枚の選択フレームを使用して重み付き平均化処理を行うものとしたが、選択フレームは、５枚以外の枚数でもよいことは言うまでもない。
【００６７】
また、上記第１の実施形態及び変形例では、フレーム画像を例にとって説明したが、インターレス走査の映像データの場合には、フィールド画像としてもよい。その場合、フレーム画像の場合と同様の処理を行ってもよい。又は、奇数フィールドは奇数フィールドのみで動き補償の重み付き平均化処理を行って画像を作成し、偶数フィールドは偶数フィールドのみで動き補償の重み付き平均化処理を行って画像を作成して、最後にＩＰ変換して静止画像を生成するようにしてもよい。
【００６８】
さらに、フィルタ処理部２０１は、画像圧縮時の圧縮率に応じて重み係数Ｋｉ、Ｋｐ、Ｋｂを異ならせる、すなわち、値の比率を異ならせることができる。この場合、圧縮率が高い場合は、各重み係数の比率が１から離れる値とし、圧縮率が低い場合は、各重み係数の比率が１に近くなる値となるよう設定することができる。
【００６９】
すなわち、圧縮率が比較的小さい場合に、Ｋｉ、Ｋｐ、Ｋｂが比較的近い値になるようにする。例えば、｛１、０．９、０．８｝等である。一方、圧縮率が比較的大きい場合には、Ｋｉ、Ｋｐ、Ｋｂの値の比率に差がつくようにする。例えば、{１、０．７、０．３}等である。圧縮率が比較的小さい場合には、Ｐピクチャ、及びＢピクチャの量子化ノイズの量が比較的小さいため、Ｐピクチャ、Ｂピクチャの画素の値の混合比率を大きくしても、量子化ノイズの影響を受けにくいからである。
【００７０】
＜２＞本発明の第２の実施形態
次に、本発明の第２の実施形態について説明する。本実施形態は、本発明を、Ｈ．２６４／ＡＶＣ規格で規格化されているＩスライス、Ｐスライス、Ｂスライスからなる動画像から静止画像を生成する撮像装置に適用したものである。
【００７１】
図７は、１つのフレームが２つのスライスに分割されている例を示す図である。この場合、第１の実施形態においてピクチャとしたものを、本実施形態においては、スライスとする。
【００７２】
本実施形態においては、撮像装置の構成は、図２に示す第１の実施形態にかかる撮像装置の構成と同様であって、図３に示す静止画生成部においては、フレーム選択部をスライス選択部とする。図８は、本第２の実施形態における撮像装置１００ｂを示す図である。図８に示すように、図２に示すフレーム選択部２０１の代わりに、スライス選択部２０４を有している。スライス選択部２０４は、外部からの指示に基づき、又は自動的に、圧縮処理された圧縮データを復号する復号部として機能する画像処理部１２６から出力されるフレーム画像列から、２以上のスライス画像、好ましくは４以上のスライス画像を選択スライス画像として選択する。フィルタ処理部２０２は、スライス選択部２０４が選択した選択スライス画像をフィルタ処理することにより一のフレーム画像を生成する処理部である。このフィルタ処理部２０２は、圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施する。具体的には、スライス選択部２０４が選択した複数のスライス画像のそれぞれが、Ｉスライス、Ｐスライス、Ｂスライスのいずれかであるかによって、重み係数を変えて加重平均フィルタにより静止画像データを生成する。
【００７３】
本第２の実施形態においても、上記第１の実施形態と同様の効果を奏する。さらに、上述の第１乃至第３の変形例並びにその他の変形例についても、本実施の形態で適用可能である。
【００７４】
＜３＞本発明の第３の実施形態
次に、本発明の第３の実施形態について説明する。第１の実施形態では、Ｉ、Ｐ、Ｂの各ピクチャタイプに画質が依存するものとしたが、より詳細には、画質は、各マクロブロックの量子化ステップの大きさに依存している。
【００７５】
そこで、記録した動画像データを再生して伸張復元する際に、各フレーム画像の全マクロブロックの量子化ステップを抽出して、図２に示す画像記憶部１２４に格納する。量子化ステップの値に対応して、重み係数Ｋを決めておく。量子化ステップが大きくなるほど、重み係数Ｋが小さくなるように決める。そして、第１の実施形態においては、ピクチャタイプに応じた重み係数を使用したのに対し、本実施形態においては、マクロブロックの量子化ステップに応じた重み係数を使用するものとする。
【００７６】
本実施形態においては、撮像装置の構成は、図２に示す第１の実施形態にかかる撮像装置の構成と同様であって、静止画生成部の構成も、図２に示す静止画生成部と同様である。ここで、フィルタ処理部２０２は、フレーム選択部２０１が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成する処理部であるが、本実施形態におけるフィルタ処理部２０２は、フレーム選択部２０１が選択した選択フレーム画像において、マクロブロックの量子化ステップに応じた重み係数を使用して、加重平均フィルタにより静止画像データを生成する。
【００７７】
また、各マクロブロックの量子化ステップの代わりに、ピクチャ毎の量子化ステップの平均値を算出し、その平均値に対応してピクチャ毎の重み係数Ｋを決めるようにしてもよい。その場合は、フィルタ処理部２０２は、ピクチャタイプ毎ではなく、各ピクチャ毎に決定された重み係数を使用してフィルタ演算すればよい。
【００７８】
本第３の実施形態においても、上記第１の実施形態と同様の効果を奏する。さらに、上述の第１乃至第３の変形例並びにその他の変形例についても、本実施の形態で適用可能である。
【００７９】
＜４＞本発明の第４の実施形態
次に、本発明の第４の実施形態について説明する。なお、本実施の形態にかかる撮像装置及び静止画生成部の構成は、図２に示す実施の形態１にかかる撮像装置及び静止画生成部の構成と同様である。上述したように、Ｈ．２６４／ＡＶＣのデブロッキング・フィルタ処理は、スライス毎の設定パラメータに応じて、特定のブロック境界の画素について、３乃至５タップのＦＩＲフィルタを施すものである。ＦＩＲフィルタ処理により、量子化に伴うブロック歪が軽減される。一方、ＦＩＲフィルタ処理により本来の信号の空間周波数高域成分が失われることがある。
【００８０】
記録した動画像データを再生して伸張復元する際に、各フレーム画像の全ブロックの境界の画素について、どのようなＦＩＲフィルタをかけたかの情報を抽出して、画像記憶部１２４に格納しておく。そして、フィルタ処理部２０１は、デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理の有無に応じて異なる重み係数を使用するものとする。すなわち、どのようなＦＩＲフィルタをかけたかに対応して、重み係数Ｋを決めておく。この場合、例えば、フィルタのタップ数が大きいほど、重み係数Ｋが小さくなるように決める。フィルタをかけていない画素の重み係数が最も大きくなるようにする。
【００８１】
又は、どのようなＦＩＲフィルタをかけたかの情報の代わりに、ＦＩＲフィルタをかける前の画素値とかけた後の画素値との差分の絶対の情報を抽出するようにしてもよい。差分の絶対値が大きいほど、重み係数Ｋが小さくなるように決定することができる。
【００８２】
なお、どのようなＦＩＲフィルタをかけたか、又はＦＩＲフィルタをかける前後の差分の絶対値と、上述の第３の実施形態におけるマクロブロックの量子化ステップとの組み合わせに応じて重み係数Ｋを決めるようにしてもよい。すなわち、ブロック境界以外の画素についてはマクロブロックの量子化ステップに応じて重み係数Ｋを決める。ブロック境界については、量子化ステップに加えて、ＦＩＲフィルタをかける前後の差分の絶対値を加味して重み係数Ｋを決める。ブロック境界以外の画素や差分が０の画素については量子化ステップに応じた重み係数Ｋとし、差分が０でない画素については、その差分の絶対値に応じてさらに重み係数Ｋを小さくする。
【００８３】
本実施の形態においては、複数枚のフレーム画像から１枚の静止画を生成するため、撮像素子に基づくノイズを低減できると共に、ＦＩＲフィルタ処理の有無に応じて異なる重み係数を使用することで、Ｈ．２６４／ＡＶＣのデブロッキング・フィルタ処理で生じた圧縮処理時のノイズ（デブロッキング・フィルタによる減衰ノイズ）を低減することができる。さらに、合わせて量子化ステップに応じた重み係数を使用すれば、量子化ノイズを低減することも可能となる。
【００８４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８５】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００８６】
１００ 撮像装置
１０２ 本体
１０４ 撮像レンズ
１０６ 操作部
１０８ 液晶モニタ
１２０ 撮像部
１２２ 信号処理部
１２４ 画像記憶部
１２６ 画像処理部
１２８ 部
１３０ 画像出力部
１３２ 撮像記録再生制御部
１３３ 静止画像生成部
１３４ メイン記憶部
１３６ システムバス
１４０ カットフィルタ
１４２ ズームレンズ
１４４ フォーカスレンズ
１４８ 撮像素子
１５０ 増幅器
１５２ 変換器
１５４ 駆動制御部
１５６ 駆動回路Ｉ／Ｆ 記録
２０１ フレーム選択部
２０２ フィルタ処理部
２０３ 対象物検出部
２０４ スライス選択部
【特許請求の範囲】
【請求項１】
圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、
前記フィルタ処理部は、前記圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項２】
前記復号部は、異なる量子化ステップを使用して圧縮処理された圧縮データを復号し、
前記フィルタ処理部は、前記選択フレーム画像の圧縮時の量子化ステップに基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フィルタ処理部は、デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理に応じて異なる重み係数を使用することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、
前記フィルタ処理部は、前記選択フレーム画像が、Ｉピクチャ若しくはスライス、Ｐピクチャ若しくはスライス又はＢピクチャ若しくはスライスのいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項５】
前記Ｉピクチャ若しくはスライス、前記Ｐピクチャ若しくはスライス及び前記Ｂピクチャ若しくはスライスの重み係数をそれぞれＫｉ、Ｋｐ、Ｋｂとした場合、Ｋｉ、Ｋｐ、Ｋｂは下記を満たすことを特徴とする請求項４記載の画像処理装置。
Ｋｉ≧Ｋｐ≧Ｋｂ
かつ
Ｋｉ＝Ｋｐ＝Ｋｂを含まない
【請求項６】
前記フィルタ処理部は、画像圧縮時の圧縮率に応じて前記重み係数Ｋｉ、Ｋｐ、Ｋｂを異ならせるものであって、前記圧縮率が高い場合は、各重み係数の比率が１から離れる値とし、前記圧縮率が低い場合は、各重み係数の比率が１に近くなる値となるよう設定ことを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記フィルタ処理部は、前記選択フレーム画像を動き適応又は動き補償の重み付き平均化処理することにより前記一のフレーム画像を生成することを特徴とする請求項１〜請求項６のいずれか１項記載の画像処理装置。
【請求項８】
前記フィルタ処理部は、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタのタップ数に基づき、前記選択フレーム毎に予め定められた異なる重み係数を使用することを特徴とする請求項３記載の画像処理装置。
【請求項９】
前記フィルタ処理部は、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに基づき、前記選択フレーム毎に予め定められた重み係数を使用することを特徴とする請求項３記載の画像処理装置。
【請求項１０】
前記フィルタ処理部は、デブロッキング・フィルタ処理を行なわない、ブロック境界以外の画素については、マクロブロックの量子化ステップに基づき、前記選択フレーム毎に予め定められた重み係数を使用し、前記デブロッキング・フィルタ処理を実施する画素については量子化ステップ及び当該デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさから選択される１以上に応じて異なる重み係数を使用することを特徴とする請求項３、８、及び９のいずれか１項記載の画像処理装置。
【請求項１１】
圧縮処理された圧縮データを復号する復号工程と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択工程と、
前記フレーム選択工程にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理工程とを有し、
前記フィルタ処理工程では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス、Ｐピクチャ若しくはスライス又はＢピクチャ若しくはスライスのいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理方法。
【請求項１２】
圧縮処理された圧縮データを復号する復号処理と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択処理と、
前記フレーム選択処理にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理とを実行させ、
前記フィルタ処理では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス、Ｐピクチャ若しくはスライス又はＢピクチャ若しくはスライスのいずれであるかを示すピクチャタイプ又はスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実行させることを特徴とするプログラム。
【請求項１】
圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、
前記フィルタ処理部は、前記圧縮処理で生じたノイズの大きさに基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項２】
前記復号部は、異なる量子化ステップを使用して圧縮処理された圧縮データを復号し、
前記フィルタ処理部は、前記選択フレーム画像の圧縮時の量子化ステップに基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フィルタ処理部は、デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理に応じて異なる重み係数を使用することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理部とを有し、
前記フィルタ処理部は、前記選択フレーム画像が、Ｉピクチャ若しくはスライス、Ｐピクチャ若しくはスライス又はＢピクチャ若しくはスライスのいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項５】
前記Ｉピクチャ若しくはスライス、前記Ｐピクチャ若しくはスライス及び前記Ｂピクチャ若しくはスライスの重み係数をそれぞれＫｉ、Ｋｐ、Ｋｂとした場合、Ｋｉ、Ｋｐ、Ｋｂは下記を満たすことを特徴とする請求項４記載の画像処理装置。
Ｋｉ≧Ｋｐ≧Ｋｂ
かつ
Ｋｉ＝Ｋｐ＝Ｋｂを含まない
【請求項６】
前記フィルタ処理部は、画像圧縮時の圧縮率に応じて前記重み係数Ｋｉ、Ｋｐ、Ｋｂを異ならせるものであって、前記圧縮率が高い場合は、各重み係数の比率が１から離れる値とし、前記圧縮率が低い場合は、各重み係数の比率が１に近くなる値となるよう設定ことを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記フィルタ処理部は、前記選択フレーム画像を動き適応又は動き補償の重み付き平均化処理することにより前記一のフレーム画像を生成することを特徴とする請求項１〜請求項６のいずれか１項記載の画像処理装置。
【請求項８】
前記フィルタ処理部は、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタのタップ数に基づき、前記選択フレーム毎に予め定められた異なる重み係数を使用することを特徴とする請求項３記載の画像処理装置。
【請求項９】
前記フィルタ処理部は、前記デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさに基づき、前記選択フレーム毎に予め定められた重み係数を使用することを特徴とする請求項３記載の画像処理装置。
【請求項１０】
前記フィルタ処理部は、デブロッキング・フィルタ処理を行なわない、ブロック境界以外の画素については、マクロブロックの量子化ステップに基づき、前記選択フレーム毎に予め定められた重み係数を使用し、前記デブロッキング・フィルタ処理を実施する画素については量子化ステップ及び当該デブロッキング・フィルタ処理で使用するＦＩＲフィルタ処理前後の画素値の差分の絶対値の大きさから選択される１以上に応じて異なる重み係数を使用することを特徴とする請求項３、８、及び９のいずれか１項記載の画像処理装置。
【請求項１１】
圧縮処理された圧縮データを復号する復号工程と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択工程と、
前記フレーム選択工程にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理工程とを有し、
前記フィルタ処理工程では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス、Ｐピクチャ若しくはスライス又はＢピクチャ若しくはスライスのいずれであるかを示すピクチャタイプ若しくはスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理方法。
【請求項１２】
圧縮処理された圧縮データを復号する復号処理と、
外部からの指示に基づき、又は自動的に、前記復号部から出力されるフレーム画像列から、２以上のフレーム画像を選択フレーム画像として選択するフレーム選択処理と、
前記フレーム選択処理にて選択された選択フレーム画像をフィルタ処理することにより一のフレーム画像を生成するフィルタ処理とを実行させ、
前記フィルタ処理では、前記選択フレーム画像が、Ｉピクチャ若しくはスライス、Ｐピクチャ若しくはスライス又はＢピクチャ若しくはスライスのいずれであるかを示すピクチャタイプ又はスライスタイプに応じて異なる重み係数を使用したフィルタ処理を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１７８７１３（Ｐ２０１２−１７８７１３Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−４０５１２（Ｐ２０１１−４０５１２）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]