画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
【課題】映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための調整量を適切に決定する。
【解決手段】画像調整量決定装置１０は、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段１０１と、決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段１０２と、抽出された近傍画像に関する所定の特徴量に基づいて、上記決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段１０４とを備えた。
【解決手段】画像調整量決定装置１０は、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段１０１と、決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段１０２と、抽出された近傍画像に関する所定の特徴量に基づいて、上記決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段１０４とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像調整量を決定する画像調整量決定装置、画像調整量決定方法および画像調整量決定プログラム、並びに、上記画像調整量決定装置を含んで構成される画像処理装置に関する。
【背景技術】
【０００２】
「映像」は、単一の静止画像である「フレーム画像」を連続させることにより構成されている。映像の取得、蓄積、伝送、表示、符号化および復号化等を含む映像処理は、一般的に個々のフレーム画像の鮮明度（以降、単に「鮮明度」と呼ぶ）が一定または徐々に変化する映像を対象としている。一方、人間の眼は、画像の鮮明度の違いを明確に識別することができる。したがって、鮮明度の違いは画像の品質に対する評価に直接結びつくことが多く、一般には、高鮮明度の画像は高品質と評価される。
【０００３】
ここで、個々のフレーム画像が鮮明度の低い画像（ボケのある画像）であっても、各フレーム画像が連続した映像として表示された場合、この映像を見る人には、フレーム画像の鮮明度が上がり映像として鮮明に見えたり、また、より滑らかな動きであるように知覚したりといった、錯視現象が生ずることが非特許文献１に記載されている。このような錯視現象は、motion sharpening現象（動きに基づく鮮明化現象ともいう）と呼ばれる。
【０００４】
非特許文献１には、このmotion sharpening現象は、フレーム画像に含まれる被撮影物の動きの大きさ、および空間周波数の高周波成分に起因する可能性があると記載されている。また、非特許文献１には、motion sharpening現象の中で、鮮明度が所定の基準よりも低いフレーム画像（以下「低鮮明度画像」という）で構成された映像の中に、鮮明度が所定の基準よりも高いフレーム画像（以下「高鮮明度画像」という）が挿入されることで、映像として見たときに、低鮮明度画像の鮮明度が実際の鮮明度よりも高く知覚される場合があると記載されている。特に、映像を構成するフレーム画像のうちの５０％が高鮮明度画像で構成される場合、当該映像を見た人間の目に知覚される鮮明度が、全てのフレーム画像が高鮮明度画像で構成された映像を見たときの鮮明度と変わらないように見える（即ち、主観的には知覚される鮮明度が変わらないように錯覚される）場合がある。このようにmotion sharpening現象は、高鮮明度画像と低鮮明度画像がと混在することで主観的な品質が保たれる現象ともいえる。
【０００５】
そこで、出願人は、このようなmotion sharpening現象は、映像のシーンチェンジ等でも確認されている時間方向のマスキング現象の一種ではないかと考えた。つまり、高鮮明度画像が低鮮明度画像の見えにくさを低減している（つまりマスクしている）と考えた。
【０００６】
非特許文献２には、一般にマスキング現象は、マスク刺激（マスキング効果を与える刺激）とターゲット刺激（マスキング効果を受ける刺激）の間の空間周波数成分の大きさの関係や、マスク刺激とターゲット刺激の表示タイミング（Forward masking現象やBackward masking現象）によって、当該マスキング現象の効果は変化する、と記載されている。
【０００７】
また、非特許文献３には、motion sharpening現象は記憶や学習といった高次の視覚認知メカニズムではなく、人間の眼の初期視覚系に存在するメカニズムの非線形な働きがもたらす、との考え方が記載されている。このことから、出願人は、主観的な品質が保たれるmotion sharpening現象には、映像を構成するフレーム画像間の「動き」と、初期視覚系に非常に大きな影響を与える「平均輝度」の両方の影響が強いものと考えた。また、マスキング効果の影響を決定する「空間周波数成分の大きさ」と「刺激同士の時間間隔」も、この現象に関わっているものと考え、これらの映像の特徴に注目し、motion sharpening現象を一種のマスキング現象として捉えた。
【非特許文献１】Takeuchi,T. & De Valois, K.K. (2005), "Sharpening image motion based on spatio-temporal characteristics of human vision", Human Vision and Electronic Imaging X
【非特許文献２】大山正・今井省吾・和気典二、「新編 感覚・知覚心理ハンドブック」誠心書房、ISBN：4414305039、第６６４ページ
【非特許文献３】竹内龍人、「動きによる映像の鮮明化」、［平成１８年１０月２６日検索］、インターネット＜URL: http://www.ntt.co.jp/journal/0510/files/jn200510050.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の非特許文献１や非特許文献３では、motion sharpening現象に関係する映像の特徴量として「動きの大きさ」や「空間周波数成分の構成」が報告されているが、これら「動きの大きさ」、「空間周波数成分の構成」とmotion sharpening現象の効果との定量的な関係は明確ではない。また、各フレーム画像を連続した映像として見た場合に知覚される鮮明度に関して、各フレーム画像の空間周波数を低下させた場合に（即ち、鮮明度を低下させた場合に）、人間の眼には、どの程度の空間周波数が存在しているように見えるかといった実験結果の報告はなされているものの、人間の目で知覚される鮮明度（以下「主観鮮明度」と呼ぶ）を保持するための条件（即ち、映像としての主観的な品質を保持するための条件）は明確にされていない。
【０００９】
そこで、出願人は、上記のようなmotion sharpening現象の中で、対象の映像に含まれる特徴量と、主観鮮明度が保持される低鮮明度画像の最低限の空間周波数成分との関係を実験的に算出したところ、低鮮明度画像と、当該低鮮明度画像に対し表示順序において隣接する高鮮明度画像との間の特徴量の関係によって、主観鮮明度が保持される低鮮明度画像の最低限の空間周波数成分が異なることを明らかにしたので、本発明に至った。
【００１０】
本発明は、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量を適切に決定することを目的とする。
【課題を解決するための手段】
【００１１】
上述の課題を解決するために、本発明に係る画像調整量決定装置は、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段と、を備えることを特徴とする。
【００１２】
このような画像調整量決定装置によれば、処理画像決定手段が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定し、画像特徴抽出手段が、上記決定された近傍画像に関する所定の特徴量を抽出し、画像調整量決定手段が、上記抽出された前記近傍画像に関する所定の特徴量に基づいて、上記決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する。これにより、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量（空間周波数成分の振幅および帯域幅の少なくとも一方の調整量）を適切に決定することができる。
【００１３】
また、本発明に係る画像調整量決定装置では、画像特徴抽出手段が、さらに、前記処理対象画像に関する所定の特徴量を抽出し、画像調整量決定手段が、画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量および前記処理対象画像に関する所定の特徴量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。この場合、近傍画像に関する所定の特徴量に加え、処理対象画像に関する所定の特徴量をも基礎として、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定するため、例えば、近傍画像に関する所定の特徴量と処理対象画像に関する所定の特徴量の両者の関係に基づいて決定される視覚的なマスキング効果を考慮して上記調整量を決定することができる。
【００１４】
また、本発明に係る画像調整量決定装置は、前記処理対象画像と前記近傍画像の間の変化を表す所定の変化量を算出するフレーム間変化算出手段をさらに備え、前記画像調整量決定手段は、前記フレーム間変化算出手段により算出された変化量をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。この場合、処理対象画像と近傍画像の間の変化を表す所定の変化量をも基礎として、上記調整量を決定することができる。このため、例えば、処理対象画像と近傍画像の間の変化により引き起こされる輝度値の不連続性などによる人間の目の能力の低下が引き起こす時間的なマスキング効果を踏まえることができるため、より大きな視覚的なマスキング効果を考慮して上記調整量を決定することができる。
【００１５】
また、本発明に係る画像調整量決定装置では、画像特徴抽出手段が、所定の特徴量として、平均輝度および空間周波数成分の振幅の少なくとも一つを抽出する構成とすることが望ましい。この場合、画像の特徴量として、視覚特性およびマスキング現象に大きな影響を与える平均輝度および空間周波数成分の振幅の少なくとも一つを抽出することができるため、視覚的なマスキング効果を十分に考慮して上記調整量を決定することができる。
【００１６】
また、本発明に係る画像調整量決定装置では、フレーム間変化算出手段が、所定の変化量として、前記処理対象画像と前記近傍画像の間の動き量を算出する構成とすることが望ましい。motion sharpening現象では動きが大きいほどそのマスキング効果が大きいという相関関係が報告されている。そのため、処理対象画像と近傍画像の間の動き量を算出することで、上記の相関関係を踏まえ、視覚的なマスキング効果を十分に考慮して上記調整量を決定することができる。
【００１７】
また、本発明に係る画像調整量決定装置では、処理画像決定手段が、近傍画像として、表示順序において前記処理対象画像より前に位置する画像と、前記処理対象画像より後に位置する画像のうち、両方又は一方を決定する構成とすることが望ましい。ここでは、近傍画像として、表示順序において処理対象画像より前に位置する画像を決定することで、近傍画像から処理対象画像に対するForward masking現象としての視覚的なマスキング効果を考慮した上記調整量を決定することができる。同様に、近傍画像として、表示順序において処理対象画像より後に位置する画像を決定することで、近傍画像から処理対象画像に対するBackward masking現象としての視覚的なマスキング効果を考慮した上記調整量を決定することができる。さらに、近傍画像として、表示順序において処理対象画像より前に位置する画像と後に位置する画像の両方を決定することで、時間的に前後の近傍画像から受けるForward maskingおよびBackward maskingの両方のマスキング効果を考慮した上記調整量を決定することができる。
【００１８】
また、本発明に係る画像調整量決定装置では、画像調整量決定手段が、処理対象画像と近傍画像の間の時間間隔をも基礎として、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。motion sharpening現象では、マスキング効果のマスク量は時間的に近いほど強く、時間の経過にともなってマスク量が減少する、といった特性がある。このようにマスキング効果と時間経過には相関関係があるため、処理対象画像と近傍画像の間の時間間隔の影響を考慮して上記調整量を適切に決定することができる。
【００１９】
また、本発明に係る画像調整量決定装置では、画像調整量決定手段が、調整前の映像信号について知覚される鮮明度に対し、調整後の処理対象画像を含む映像信号について知覚される鮮明度が、所定の同一範囲内に保持されるように予め設定された基準、を満たすように、調整量を決定する構成とすることが望ましい。この場合、motion sharpening現象によって、鮮明度が所定の同一範囲内に保持される基準（主観的な品質が保たれる基準）を考慮して上記調整量を決定することができる。上記の基準としては、例えば、主観評価試験等で利用されるＭＯＳ値が一定値を超える、といった基準を採用することができる。
【００２０】
また、本発明に係る画像調整量決定装置では、画像処理量決定手段が、調整量として、２種類以上の異なる特性の合成で表現される調整量を決定する構成とすることが望ましい。この場合、例えば、処理対象画像に対する調整量の空間周波数成分の形状について、視覚の時空間周波数特性が「過渡」と「持続」と呼ばれる２種類の異なる特性を持つ部分から構成される場合、motion sharpening現象に関しマスキング効果がこれら２種類の特性の存在によって表現可能であり、調整量としての空間周波数成分の形状を決定することで、主観的品質を保持する上でのmotion sharpening現象について視覚的見地からも説明可能な調整量を決定することができる。
【００２１】
本発明に係る画像処理装置は、前述したような画像調整量決定装置と、画像処理量決定装置により決定された調整量に基づいて、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方を調整する画像調整手段と、を備えることを特徴とする。このような画像処理装置によれば、前述したような画像調整量決定装置により決定された調整量に基づいて、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方を調整することができる。
【００２２】
さて、画像調整量決定装置に係る発明は、画像調整量決定方法に係る発明、および画像調整量決定プログラムに係る発明として捉え、それぞれ以下のように記載することができる。これら画像調整量決定方法に係る発明、および画像調整量決定プログラムに係る発明は、画像調整量決定装置に係る発明と同様の効果を奏する。
【００２３】
本発明に係る画像調整量決定方法は、画像調整量決定装置が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定ステップと、前記画像調整量決定装置が、前記処理画像決定ステップにて決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出ステップと、前記画像調整量決定装置が、前記画像特徴抽出ステップにて抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定ステップにて決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定ステップと、を有することを特徴とする。
【００２４】
本発明に係る画像調整量決定プログラムは、コンピュータを、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段として、機能させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量を適切に決定することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明に係る各種の実施形態を図面に基づき説明する。なお、各図において、同一構成要素には同一符号を付して重複する説明を省略する。
【００２７】
［第１実施形態］
まず、本発明に係る第１実施形態について説明する。図１は、第１実施形態における画像調整量決定装置１０の機能構成を例示するブロック構成図である。この画像調整量決定装置１０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像調整量決定装置１０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
【００２８】
［画像調整量決定装置１０の機能ブロック構成］
次に、図１を参照して画像調整量決定装置１０の機能ブロック構成について説明する。図１に示すように、画像調整量決定装置１０は、処理画像決定手段１０１と、画像特徴抽出手段１０２と、フレーム画像間変化算出手段１０３と、画像調整量決定手段１０４と、パラメータ格納手段１０５とを含んで構成される。
【００２９】
（処理画像決定手段１０１について）
このうち処理画像決定手段１０１は、外部から動画像信号として入力された入力映像信号１０６を受け取り、該入力映像信号１０６に対しフレームレートｆの分析を行ってフレーム画像に分解し、所定の基準Ｋに基づいて、画像処理の対象となる処理対象画像Ｆ１を決定する。ここでは、基準Ｋとして、例えば、フレーム画像を表示順序に並べたときの当該表示順序を示すフレーム番号（以下「表示順序番号」という）が偶数であるとの基準を採用する。
【００３０】
なお、基準Ｋとしては、上記に限定されるものではなく、例えば、表示順序番号が予め定められた数値Ｍによって割り切れるとの基準や、表示順序番号が予め定められた数値Ｍによって割り切れないとの基準を採用してもよい。また、基準Ｋとしては、表示順序以外のもの、例えば、平均輝度、帯域幅、画像の空間周波数成分の大きさといった数値を用いても良く、平均輝度、帯域幅、および画像の空間周波数成分の大きさが、それぞれ所定の基準値よりも大きいとの基準を採用してもよい。なお、上記のような基準Ｋは、処理画像決定手段１０１が予め記憶していてもよいし、外部から処理画像決定手段１０１へ入力してもよい。
【００３１】
さらに、処理画像決定手段１０１は、処理対象フレーム画像Ｆ１を決定した後、表示順序において直前の画像であるフレーム画像Ｆ０と、直後の画像であるフレーム画像Ｆ２とを決定する。その後、上記分解されたフレーム画像は、Ｌ１０７経由で画像特徴抽出手段１０２およびフレーム画像間変化算出手段１０３に送られる。
【００３２】
なお、上記では、処理対象フレーム画像Ｆ１以外に、直前のフレーム画像Ｆ０と直後のフレーム画像Ｆ２とを決定する例を示したが、これに限定されるものではなく、表示順序において処理対象画像Ｆ１の前後であれば、どのフレーム画像を決定してもよい。また、表示順序において処理対象画像Ｆ１より前の画像のみを決定してもよいし、処理対象画像Ｆ１より後の画像のみを決定してもよい。
【００３３】
また、上記のようなフレーム画像Ｆ０、Ｆ２の決定は、表示順序のみを基準として決定したが、表示順序以外のものを基準として決定してもよい。例えば、後述する画像の特徴量を基準としてもよいし、表示時間を基準としてもよい。表示時間を基準とする例としては、処理対象フレーム画像Ｆ１の前後１００ミリ秒以内に存在するフレーム画像をフレーム画像Ｆ０、Ｆ２として決定してもよい。
【００３４】
また、本実施形態では、近傍画像として、処理対象画像Ｆ１の前後の画像（計２枚の画像）を決定したが、決定する枚数は１枚以上であれば何枚であってもよい。
【００３５】
（画像特徴抽出手段１０２について）
次に、画像特徴抽出手段１０２について説明する。まず、画像特徴抽出手段１０２は、処理対象画像Ｆ１およびフレーム画像Ｆ０、Ｆ２についての平均輝度および空間周波数成分の振幅の大きさを以下のようにして算出する。具体的には、画像特徴抽出手段１０２は、各フレーム画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像特徴抽出手段１０２は、各フーリエ係数の実数項の２乗と虚数項の２乗の和の平方根を、各空間周波数の空間周波数振幅の大きさとして算出する。また、平均輝度については、画像特徴抽出手段１０２は、空間周波数のＤＣ成分のみを抽出し輝度値に逆変換を行うことで平均輝度を算出する。図３のグラフには、周波数領域における空間周波数成分の振幅を例示しており、空間周波数＝０における振幅がＤＣ成分の大きさを示している。なお、空間周波数成分の振幅に関する表現法は、上記に限定されるものではなく、その他の表現法でもよい。また、平均輝度は、各フレーム画像の輝度値の平均値を算出することで求めても良い。また、平均輝度と、空間周波数成分の振幅の大きさのうち、何れか一方を算出してもよい。
【００３６】
なお、本実施形態では、フレーム画像単位で平均輝度と空間周波数成分の振幅を求める例を示すが、これに限るものではなく、例えばブロック単位で平均輝度と空間周波数成分の振幅を求めても良い。
【００３７】
また、本実施形態では、２次元の空間周波数成分の振幅を算出したが、１次元フーリエ変換を用いて空間周波数成分の振幅を算出しても良い。その場合、例えば、水平方向の各１列にフーリエ変換を行って算出してもよい。また、垂直方向、水平方向、水平垂直以外の所定方向、のうち何れか１つ以上に対する空間周波数成分の振幅を対象としてもよい。
【００３８】
また、本実施形態では、空間周波数成分の振幅をそのまま利用したが、ある基準値からの空間周波数成分の大きさの差分によって空間周波数成分の振幅を表現してもよい。例えば、空間周波数成分を電力の大きさとして表現し、所定の電力基準値Ｙ[dB]（Ｙ＝４０）からの空間周波数成分の大きさの差分によって空間周波数成分の振幅を表現してもよい。
【００３９】
また、本実施形態では、周波数変換にフーリエ変換を用いたが、フーリエ変換以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。
【００４０】
また、本実施形態では、画像の「特徴量」として平均輝度と空間周波数成分の振幅の大きさとを算出したが、その他の特徴量を算出しても良い。例えば、空間周波数成分の帯域幅の分散や振幅の分散を算出しても良いし、画像の輝度値を用いた特徴量（画素値の分散、画像のコントラストなど）を算出しても良い。
【００４１】
また、本実施形態では、処理対象画像Ｆ１と、表示順序においてその前後に存在するフレーム画像Ｆ０、Ｆ２の双方に関する特徴量を算出したが、処理対象画像Ｆ１に関する特徴量については算出せず、その前後に存在するフレーム画像Ｆ０、Ｆ２に関する特徴量のみを算出し、フレーム画像Ｆ０、Ｆ２に関する特徴量のみに基づいて、処理対象画像Ｆ１に関する調整量を決定してもよい。
【００４２】
その後、画像特徴抽出手段１０２は、上記のようにして算出された平均輝度および空間周波数成分の振幅の大きさを、画像調整量決定手段１０４に送信する。
【００４３】
（フレーム画像間変化算出手段１０３について）
次に、フレーム画像間変化算出手段１０３について説明する。図２は、複数のフレーム画像から成る映像の概念図である。なお、説明の便宜のため、図２に示す処理対象画像Ｆ１および画像Ｆ０、Ｆ２の連続する計３枚のフレーム画像を用いて説明する。フレーム画像間変化算出手段１０３は、以下のようにして画像Ｆ０〜Ｆ２の間の動き量を算出する。以下、動き量の算出処理について詳細に説明する。
【００４４】
まず、フレーム画像間変化算出手段１０３は、連続する２枚のフレーム画像を順次読み込む。そして、フレーム画像間変化算出手段１０３は、読み込んだ２枚のフレーム画像間で、一致度が所定値以上の画像信号パターン（いわゆる互いに類似する画像信号パターン）に基づいて、上記２枚のフレーム画像間における空間的な変位量としての動きベクトル（ＭＶｂｘ，ＭＶｂｙ）を算出する。
【００４５】
本実施形態では、フレーム画像間変化算出手段１０３は、フレーム画像を所定の大きさの複数のブロックに分割し、画像Ｆ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターン（例えば一致度が所定値以上の画像信号パターン）を、ブロックマッチング法などの探索処理を用いて画像Ｆ０から探索する。そして、フレーム画像間変化算出手段１０３は、画像Ｆ０とＦ１との間で画像信号パターンが共通するブロック同士で、フレーム画像内で位置がどの程度ずれているかを示すずれ量を判断することにより、動きベクトルを算出する。
【００４６】
その後、フレーム画像間変化算出手段１０３は、全ブロックについて算出された動きベクトル（ＭＶｂｘ，ＭＶｂｙ）に基づいて、各ブロックの動きベクトルの中央値を算出することによりフレーム画像全体における動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）を算出する。また、画像Ｆ２と画像Ｆ１の間の動きベクトルに関しても、同様の手順で、動き量Ｖ２（ＭＶｘ２，ＭＶｙ２）算出する。
【００４７】
なお、本実施形態では、全ブロックについて算出された動きベクトルの中央値を算出したが、全ブロックについての動きベクトルの中央値に代えて、例えばフレーム画像に含まれるブロックごとに算出された動きベクトルの大きさ（ＭＶｘ，ＭＶｙ）についての平均値、最大値、中間値、最小値、のうちの何れかを用いても良い。また、各ブロックの動きベクトルをそのまま利用してもよい。
【００４８】
また、本実施形態では、動き量の算出にブロックマッチング法を用いたが、これに限るものではない。他の算出法、例えばオプティカルフロー等を用いて動きベクトルを算出してもよい。
【００４９】
また、本実施形態では、動きベクトルを利用して動き量を算出したが、画像の動きに注目した他の特徴量、例えば、動きの方向、フレーム画像内のブロックの持つ動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合などに基づいて、フレーム画像間の変化量を算出してもよい。
【００５０】
また、本実施形態では、フレーム画像間の変化として、動き量を算出したが、それ以外にも、画素値の変化に注目をしたフレーム画像間の変化（例えば、輝度値の変化量、平均輝度の変化など）を算出してもよい。
【００５１】
また、動き量は、画像の周波数変換時の位相を用いて算出してもよい。この場合、２枚の画像の全画素それぞれに対し離散フーリエ変換などを行い、画素空間から周波数空間への変換を行って、各画像の同一周波数成分を除算することで、位相の大きさを用いた動き量を算出すればよい。各周波数成分の位相を算出した後、全位相の値を合計し、合計値を動き量とする。また、周波数変換後の位相の利用は、これに限るものではなく、２画像間の動き量を表すものであればどのように算出してもよい。
【００５２】
また、本実施形態では、処理対象画像Ｆ１に対し直前のフレーム画像と直後のフレーム画像を利用して動き量を算出しているが、これに限定されるものではない。例えば、処理対象画像Ｆ１と近傍のフレーム画像Ｆ０との間に別のフレーム画像が存在する場合には、当該別のフレーム画像も利用して動きベクトルを算出してもよい。
【００５３】
また、本実施形態では、処理対象画像Ｆ１および画像Ｆ０、Ｆ２をそのまま利用して動きベクトルを算出したが、これら処理対象画像Ｆ１および画像Ｆ０、Ｆ２に対しフィルタ処理などを行ってから動きベクトルを算出してもよい。例えば、エッジ強調フィルタ等を用いることで、ボケに対してもっとも変化のある、エッジに注目した動きベクトルを算出することができる。また、ローパスフィルタ等を用いることで、雑音の影響の少ない画像間で動きベクトルを算出することができる。
【００５４】
その後、フレーム画像間変化算出手段１０３は、算出した画像Ｆ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）と、Ｆ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２，ＭＶｙ２）を画像調整量決定手段１０４に送信する。
【００５５】
（パラメータ格納手段１０５について）
パラメータ格納手段１０５には、人間が各特徴を持つ映像（フレーム画像Ｆ０〜Ｆ２）を合わせて見た際に主観的な品質が保たれる基準Ｖ（例えばＭＯＳ評価が4.0以上となるなど）を満たすパラメータが予め格納されている。
【００５６】
ただし、パラメータ格納手段１０５には、上記基準Ｖ以外の基準、例えば、ＰＳＮＲなどの客観指標に基づく基準Ｖに基づくパラメータ群を格納しておいてもよい。
【００５７】
（画像調整量決定手段１０４について）
次に、画像調整量決定手段１０４について説明する。画像調整量決定手段１０４には、フレーム画像Ｆ０〜Ｆ２についての平均輝度および空間周波数成分の振幅の大きさがＬ１０８経由で入力され、フレーム画像Ｆ０〜Ｆ１間の動き量およびフレーム画像Ｆ１〜Ｆ２間の動き量がＬ１０９経由で入力される。画像調整量決定手段１０４は、送られてきた平均輝度、空間周波数成分の振幅の大きさ、および動きベクトルの大きさに基づいて、以下のようにして、処理対象画像Ｆ１についての空間周波数成分の振幅・帯域幅が制限される調整量を決定する。なお、本実施形態で説明する帯域幅は、周波数係数列にある係数の中でその大きさが直流成分のｙ％以下となる最大周波数成分をその画素列の帯域とする。例えば、本実施形態ではｙ＝0.5とするが、それ以外の数値を用いてもよい。また、本実施形態では、水平方向、垂直方向それぞれの空間周波数成分に対する調整量を以下のようにして決定する。
【００５８】
まず、画像調整量決定手段１０４は、水平方向について、画像Ｆ０の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ０）と、画像Ｆ１の対応する空間周波数ｓｆの成分の大きさＰ＿ｓｆ（Ｆ１）とをそれぞれ比較する。そして、全ての空間周波数成分について比較した後、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうちＸ％（ここではＸ＝５０％と設定する）を超える場合に、画像調整量決定手段１０４は、(1)画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)各空間周波数成分ｓｆ、(3)各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ０）、(4)Ｆ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）におけるＭＶｘ１の値、および(5)処理画像決定手段１０１にて算出したフレームレートｆと両フレーム画像の間のフレーム画像枚数Ｎとによって求められるフレーム画像同士の時間間隔ｔ（（フレーム画像枚数Ｎ／フレームレートｆ）に相当）に基づいて、以下の式１におけるパラメータＡ〜Ｇをパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量１ｘを決定する。
【数１】
一方、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうちＸ％を超えない場合には、上記Ａ〜Ｇとは異なるパラメータ群をパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量１ｘを決定する。
【００５９】
次に、画像調整量決定手段１０４は、垂直方向についての空間周波数成分の調整量１ｙも、上記と同様の手法を用いて算出する。その際、各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆとしては垂直方向のものを利用し、動き量としてはＦ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）におけるＭＶｙ１の値を利用する。
【００６０】
なお、式１において調整量(Yave,sf,Psf,mv,t)は、一次元空間周波数成分の調整量の振幅特性を意味し、各係数n、α、β、γ１、γ２、γ３は定数である。
【００６１】
同様に、画像調整量決定手段１０４は、まず水平方向について、画像Ｆ２の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ２）と、画像Ｆ１の対応する空間周波数ｓｆの成分の大きさＰ＿ｓｆ（Ｆ１）とをそれぞれ比較する。そして、全ての空間周波数成分について比較した後、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ２）の数が、全ての空間周波数のうちＸ％（ここではＸ＝５０％と設定する）を超える場合に、画像調整量決定手段１０４は、(1)画像Ｆ２の平均輝度Ｙave（Ｆ２）、(2)各空間周波数成分ｓｆ、(3)各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ２）、(4)Ｆ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２、ＭＶｙ２）におけるＭＶｘ２の値、および(5)処理画像決定手段１０１にて算出したフレームレートｆと両フレーム画像の間のフレーム画像枚数Ｎとによって求められるフレーム画像同士の時間間隔ｔ（（フレーム画像枚数Ｎ／フレームレートｆ）に相当）に基づいて、上記の式１におけるパラメータＡ〜Ｇをパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量２ｘを決定する。
【００６２】
一方、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ２）の数が、全ての空間周波数のうちＸ％を超えない場合には、上記Ａ〜Ｇとは異なるパラメータ群をパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量２ｘを決定する。
【００６３】
次に、画像調整量決定手段１０４は、垂直方向についての空間周波数成分の調整量２ｙも、上記と同様の手法を用いて算出する。その際、各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆとしては垂直方向のものを利用し、動き量としてはＦ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２、ＭＶｙ２）におけるＭＶｙ２の値を利用する。
【００６４】
以上のように求められた、画像Ｆ０と画像Ｆ１間の特徴量から決定されたパラメータに基づき計算された調整量１ｘおよび調整量１ｙ、並びに、画像Ｆ１と画像Ｆ２間の特徴量から決定されたパラメータに基づき計算された調整量２ｘおよび調整量２ｙより、同方向同士の調整量を合計することで調整量３ｘおよび調整量３ｙを算出する。即ち、３ｘ＝１ｘ＋２ｘ、３ｙ＝１ｙ＋２ｙである。
【００６５】
その後、画像調整量決定手段１０４は、算出された調整量３ｘおよび調整量３ｙをＬ１１１経由で出力する。
【００６６】
なお、本実施形態では、調整量１ｉと調整量２ｉ（ｉはｘもしくはｙを示す）を別々に算出し、それらを用いて調整量３ｉを算出したが、フレーム画像Ｆ０〜Ｆ２の特徴量から、調整量３ｉのパラメータを直接決定してもよい。
【００６７】
また、本実施形態では、調整量を水平方向・垂直方向について別々に算出したが、２次元の調整量の算出を行っても良い。
【００６８】
また、本実施形態では、フレーム画像間の全ての空間周波数成分について振幅の大きさの比較を行ってパラメータを選択したが、空間周波数成分のうち一部のみについて比較を行ってパラメータを選択してもよいし、上記のような比較を行わずにパラメータを選択してもよい。また、比較の際の割合Ｘを「５０」と設定したが、それに限るものではない。また、全ての空間周波数成分の振幅の大きさに基づいて空間周波数ごとにパラメータの選択を行っても良い。
【００６９】
なお、本実施形態では、(1)フレーム画像Ｆ０又はＦ２の平均輝度Ｙave、(2)各空間周波数成分ｓｆ、(3)フレーム画像Ｆ０又はＦ２の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ、(4)フレーム画像間の動きベクトルＶ（ＭＶｘ、ＭＶｙ）、および(5)フレーム画像同士の時間間隔ｔに基づいて、パラメータＡ〜Ｇを決定したが、(1)〜(5)のうち少なくとも１つの特徴量を用いてパラメータを決定すればよい。また、（１）および（３）についてはフレーム画像Ｆ０又はＦ２の相対的な関係を用いて、パラメータを決定してもよい。また、映像の特徴量以外にも、映像を見ている環境に関する情報も利用してパラメータを決定してもよい。例えば、ディスプレイの表示能力（解像度等）、観視距離、映像のサイズ等の情報を外部から入力してそれらの値も用いてパラメータを決定してもよい。
【００７０】
また、本実施形態では、比較としては、画像Ｆ０と処理対象画像Ｆ１の空間周波数成分の振幅の比較、および、画像Ｆ２と処理対象画像Ｆ１の空間周波数成分の振幅の比較を行ったが、これに限るものではなく、平均輝度の比較を行っても良い。
【００７１】
また、本実施形態では、動き量Ｖ（ＭＶｘ、ＭＶｙ）以外にフレーム画像間の変化に関する特徴量は用いていないが、例えば、平均輝度の変化量や空間周波数成分の変化量なども特徴量として利用してパラメータを決定してもよい。また、動きの方向、フレーム画像内の動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合、といった特徴量は用いて動き量を算出してもよい。
【００７２】
なお、本実施形態の空間周波数成分の振幅・帯域幅の制限量の振幅特性を示す上記の式１は、マスキング現象の定性的なモデルを見習い、右辺の第１項
【数２】
が人間の視覚における「過渡」チャネルを表現し、右辺の第２項〜第４項
【数３】
が「持続」チャネルを表現するように（即ち、２つの異なる特性を表現するように）、１つのローパスフィルタと３つのバンドパスフィルタとを合成した構成としている。これにより、視覚的見地からも説明しやすいものとしている。ただし、空間周波数成分の振幅・帯域幅の制限量を表現する方法はこれに限るものではなく、例えば３つ以上の異なる特性の合成で表現するものであってもよい。また、フィルタを用いて表現する場合でもフィルタの種類や数はこれに限定するものではない。また、より一般的なフィルタ、例えばローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、バンドリジェクトフィルタ、これらを組み合わせたフィルタなどを用いてよい。また、式１における各係数ｎ、α、β、γ１、γ２、γ３は定数としたが、これらの値も各フレーム画像の特徴量によって決定されるパラメータとして設定してもよい。
【００７３】
また、本実施形態では、調整量１ｉと調整量２ｉの合計値を算出して、調整量３ｉとしたが、調整量１ｉと調整量２ｉのうち、空間周波数成分の調整量の帯域幅制限が大きい方（又は小さい方）を調整量３ｉとしてもよい。また、調整量３ｉとしては、調整量１ｉと調整量２ｉの平均値、最大値、最小値、中央値等を用いてもよい。
【００７４】
また、上記以外の異なる基準、例えば、通過域の特性が所定基準よりも良いこと、減衰域の特性が所定基準よりも良いこと、といった振幅特性の性質の良さに関する基準を用いてもよい。また、２枚以上のフレーム画像が選択された場合にも、同様の基準を用いて判定すればよい。
【００７５】
また、本実施形態では、調整量１ｉと調整量２ｉは、同じ式１を用いて調整量を決定したが、互いに異なる式によって調整量を決定してもよい。例えば、表示順序の前後でマスキング効果の性質が異なることを表現するような異なる式を用いても良い。
【００７６】
また、本実施形態の調整量は、空間周波数成分の振幅と帯域幅の両方に関する調整量を示しているが、空間周波数成分の振幅と帯域幅のうち、どちらか一方に関する調整量を示しても良い。
【００７７】
また、本実施形態では、調整量として、空間周波数成分の振幅および帯域幅を制限するための量として説明したが、空間周波数成分の振幅および帯域幅を広げるための量であってもよい。
【００７８】
［画像調整量決定装置１０における画像処理］
次に、図４に基づいて、第１実施形態の画像調整量決定装置１０における画像処理について説明する。図４は、画像調整量決定装置１０の画像処理を示すフローチャートである。
【００７９】
まず、処理画像決定手段１０１は、Ｌ１０７経由で送られてきた入力映像信号１０６を受け取り（ステップＳ４００）、該入力映像信号１０６に対しフレームレートｆの分析を行ってフレーム画像に分解し（ステップＳ４０１）、分解で得られたフレーム画像の中から、処理対象画像Ｆ１および表示順序で処理対象画像の前後に隣接するフレーム画像Ｆ０、Ｆ２の計３枚を決定する（ステップＳ４０２）。決定されたフレーム画像Ｆ０〜Ｆ２は、順次画像特徴抽出手段１０２およびフレーム画像間変化算出手段１０３に送信される。
【００８０】
次に、画像特徴抽出手段１０２は、上記フレーム画像Ｆ０〜Ｆ２の平均輝度および各空間周波数成分の振幅の大きさを算出する（ステップＳ４０３）。その算出方法は、前述したとおりである。算出された平均輝度および空間周波数成分の振幅の大きさは画像調整量決定手段１０４に送られる。
【００８１】
ステップＳ４０３と並行して、フレーム画像間変化算出手段１０３は、画像Ｆ０〜画像F２に基づいて、動き量として、Ｆ０〜Ｆ１間およびＦ１〜Ｆ２間のフレーム画像間の動きベクトルを算出し、フレーム画像Ｆ０からフレーム画像Ｆ１の動き量およびフレーム画像Ｆ１からフレーム画像Ｆ２の動き量を算出する（ステップＳ４０４）。動き量の算出方法は、前述したとおりである。算出された動き量は画像調整量決定手段１０４に送られる。
【００８２】
次に、画像調整量決定手段１０４は、算出された平均輝度、空間周波数成分の振幅、空間周波数、動き量、フレーム画像間の時間間隔に基づき、パラメータ格納手段１０５に格納されるパラメータを選択する（ステップＳ４０５）。そして、画像調整量決定手段１０４は、選択したパラメータに基づき生成される、フレーム画像Ｆ０から処理対象画像Ｆ１に対する空間周波数成分の振幅・帯域幅の調整量１と、フレーム画像Ｆ２からフレーム画像Ｆ１に対する調整量２との合計値を算出し、算出した合計値を、処理対象画像に対する空間周波数成分の振幅・帯域幅の調整量３として決定する（ステップＳ４０６）。ここでの調整量の決定方法は、前述したとおりである。その後、決定された調整量３は出力され、図４の処理を終了する。
【００８３】
［第１実施形態の効果］
以上のように、第１実施形態における画像調整量決定装置１０によれば、映像の中の処理対象フレーム画像が決定され、表示順序が処理対象フレーム画像の前後のフレーム画像の平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量が算出される。そして、算出された上記の特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の空間周波数成分の振幅・帯域幅を示す調整量を構成するためのパラメータを決定して調整量が決定される。したがって、入力映像信号の処理対象画像Ｆ１に対して、処理対象画像Ｆ１とその前後のフレーム画像Ｆ０、Ｆ２の特徴量から、映像として前後のフレーム画像と合わせて見た際には主観鮮明度が保たれるような空間周波数の振幅・帯域幅の調整量を決定し、映像としての品質を保ちながら、処理対象画像Ｆ１に対する情報量の削減の指標となる調整量を適切に決定することができる。
【００８４】
［第２実施形態］
次に、本発明に係る第２実施形態について説明する。図５は、第２実施形態における画像処理装置５０の機能構成を例示するブロック構成図である。この画像処理装置５０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置５０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
【００８５】
［画像処理装置５０の機能ブロック構成］
以下、図５を参照して画像処理装置５０の機能ブロック構成について説明する。図５に示すように、画像処理装置５０は、上述した第１実施形態に記載された画像調整量決定装置１０と、画像調整手段５０２とを含んで構成される。
【００８６】
このうち画像調整量決定装置１０は、第１実施形態で述べたように、図１に示す機能構成を有し、処理画像決定手段１０１と、画像特徴抽出手段１０２と、フレーム画像間変化算出手段１０３と、画像調整量決定手段１０４と、パラメータ格納手段１０５とを含んで構成される。この画像調整量決定装置１０は、外部から動画像信号として入力された入力映像信号５０３のフレームレートの分析を行ってフレーム画像に分解し、分解で得られたフレーム画像の中から、処理対象画像Ｆ１および表示順序で処理対象画像の前後に隣接するフレーム画像Ｆ０、Ｆ２の計３枚を決定する。そして、画像調整量決定装置１０は、フレーム画像Ｆ０〜Ｆ２についての平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量を算出し、算出した上記の特徴量に基づいて処理対象画像Ｆ１の空間周波数成分の振幅・帯域幅の大きさの調整量を決定し、そして、該調整量をＬ５０４経由で画像調整手段５０２に出力する。
【００８７】
画像調整手段５０２は、上記の調整量に基づき画像の空間周波数成分の振幅・帯域幅の調整を行う。具体的には、画像調整手段５０２は、まず、処理対象画像Ｆ１の空間周波数成分（空間周波数振幅の大きさおよび平均輝度）を算出する。即ち、画像調整手段５０２は、各フレーム画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像調整手段５０２は、各フーリエ係数の実数項の２乗と虚数項の２乗との和の平方根を各空間周波数の振幅の大きさとして算出する。また、画像調整手段５０２は、空間周波数のＤＣ成分のみを抽出し該空間周波数のＤＣ成分を輝度値に逆変換することで、平均輝度を算出する。なお、空間周波数成分の振幅の表現法は、これに限るものではなく、その他の表現法でもよい。また、平均輝度は、各フレーム画像の輝度値の平均値を算出し、該平均値を平均輝度として求めても良い。
【００８８】
なお、第２実施形態では、空間周波数成分の振幅の算出に、第１実施形態の画像調整量決定装置１０と同じ手法を利用したが、異なる手法によって空間周波数成分の振幅を算出しても良い。
【００８９】
その後、画像調整手段５０２は、算出された処理対象画像Ｆ１の空間周波数成分に対して周波数領域で調整量を乗算することで、空間周波数成分の振幅・帯域幅の調整を行う。そして、画像調整手段５０２は、調整後の空間周波数成分に対して逆２次元フーリエ変換を施し、画素値に変換して出力する。
【００９０】
なお、本実施形態では、処理対象画像を周波数領域に変換し、周波数領域で空間周波数成分の振幅・帯域幅の調整を行ったが、画素空間で処理を行っても良い。例えば、画素値に対しフィルタ処理を行うなどの方法を採用しても良い。また、本実施形態では、フレーム画像単位での処理を示したが、処理単位には特に制限はなく、例えばブロック単位で処理を行っても良い。
【００９１】
また、本実施形態では、処理対象画像Ｆ１の空間周波数成分に対して調整量を乗算する調整方法を示したが、これに限るものではない。例えば、空間周波数成分の振幅は変化させずに、調整量が示す帯域幅に空間周波数成分を制限するなどの処理を行っても良い。
【００９２】
また、周波数成分に対してある量子化基準を定めた量子化および逆量子化の処理を行うことで、電力レベルの低い空間高周波数成分の値を削減することで空間周波数成分の振幅・帯域幅の調整を行っても良い。また、これら以外にも、空間周波数成分の振幅・帯域幅を調整する手段であれば、どのような手法を用いても良い。
【００９３】
［画像処理装置５０における画像処理］
次に、図６に基づいて、第２実施形態の画像処理装置５０における画像処理について説明する。図６は、画像処理装置５０の画像処理を示すフローチャートである。
【００９４】
まず、対象映像が入力され、入力された入力映像信号５０３は画像処理量決定装置１０に送られる。画像調整量決定装置１０は、入力映像信号５０３を用いて、処理対象画像Ｆ１に対する空間周波数成分の振幅・帯域幅の調整量の算出を行う。即ち、画像調整量決定装置１０は、入力映像信号５０３を用いて、第１実施形態にて説明した図４のステップＳ４０１〜Ｓ４０６の画像調整量算出処理を行うことによって、処理対象画像Ｆ１の空間周波数成分の調整量を決定する（ステップＳ６０１）。
【００９５】
次に、画像調整手段５０２は、画像調整量決定装置１０が決定した調整量に基づき画像の空間周波数成分の調整を行う（ステップＳ６０２）。具体的な調整方法は、前述したとおりである。調整後、画像調整手段５０２は、空間周波数成分に対して逆変換を行い画素値に変換することで、空間周波数成分の振幅・帯域幅が調整された画像を出力して、図６の処理を終了する。
【００９６】
［第２実施形態の効果］
以上のように、第２実施形態における画像処理装置５０によれば、映像の中の処理対象フレーム画像が決定され、表示順序が処理対象フレーム画像の前後の平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量が算出される。そして算出された特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の空間周波数成分の振幅・帯域幅を示す調整量を構成するためのパラメータを決定して調整量が決定される。その後、決定された調整量に基づき、処理対象画像Ｆ１の空間周波数成分の振幅・帯域幅の調整が行われる。したがって、入力映像信号の処理対象画像Ｆ１に対して、処理対象画像Ｆ１とその前後のフレーム画像Ｆ０、Ｆ２の特徴量から、映像として前後のフレーム画像と合わせて見た際には主観鮮明度が保たれるような空間周波数の振幅・帯域幅の調整量を決定し、決定された調整量に基づき、利用状況に合った画像の空間周波数成分の調整を行うことで、映像としての品質を保ちながら、処理対象画像Ｆ１に対する情報量の削減の指標となる調整量を適切に決定することができる。
【００９７】
［画像調整量決定プログラムについて］
次に、コンピュータを本発明に係る画像調整量決定装置として動作させるための画像調整量決定プログラムについて説明する。図７は、画像調整量決定プログラムＰ７１０の構成を、記録媒体７１０と共に示す図である。記録媒体７１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
【００９８】
図７に示すように、画像処理プログラムＰ７１０は、処理画像決定モジュール７０１と、画像特徴抽出モジュール７０２と、フレーム間変化算出モジュール７０３と、画像調整量決定モジュール７０４と、パラメータ格納モジュール７０５とを含んで構成されている。処理画像決定モジュール７０１は図１の処理画像決定手段１０１の機能を、画像特徴抽出モジュール７０２は画像特徴抽出手段１０２の機能を、フレーム間変化算出モジュール７０３はフレーム画像間変化算出手段１０３の機能を、画像調整量決定モジュール７０４は画像調整量決定手段１０４の機能を、パラメータ格納モジュール７０５はパラメータ格納手段１０５の機能を、それぞれ実現するためのモジュールである。
【００９９】
また、図８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含む。
【０１００】
図８に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等により構成される読み取り装置１２と、作業用メモリ（ＲＡＭ）１４と、ＲＯＭ等により構成されるメモリ１６と、表示装置であるディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを含んで構成される。このような構成のコンピュータ３０は、記録媒体７１０が読取装置１２に挿入されると、記録媒体７１０に格納された画像調整量決定プログラムＰ７１０が読取装置１２により読み取られてコンピュータ３０に入力され、ＣＰＵ２６により画像調整量決定プログラムＰ７１０が実行されることによって、コンピュータ３０は本発明に係る画像調整量決定装置として動作することになる。
【０１０１】
なお、図９に示すように、画像調整量決定プログラムＰ７１０は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された画像処理プログラムＰ７１０をメモリ１６に格納し、ＣＰＵ２６により当該画像調整量決定プログラムＰ７１０を実行することができる。
【図面の簡単な説明】
【０１０２】
【図１】第１実施形態における画像処理装置の機能構成を例示すブロック構成図である。
【図２】読み込まれるフレーム画像を示す概念図である。
【図３】周波数領域における空間周波数成分の振幅とＤＣ成分を例示する図である。
【図４】第１実施形態における画像処理装置の流れを示すフローチャートである。
【図５】第２実施形態における画像処理装置の機能構成を例示すブロック構成図である。
【図６】第１実施形態における画像処理装置の流れを示すフローチャートである。
【図７】画像調整量決定プログラムを示す構成図。
【図８】記録媒体に記録された画像調整量決定プログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図９】記録媒体に記憶された画像調整量決定プログラムを実行するためのコンピュータの斜視図である。
【符号の説明】
【０１０３】
１０…画像調整量決定装置、５０…画像処理装置、１０１…処理画像決定手段、１０２…画像特徴抽出手段、１０３…フレーム間変化算出手段、１０４…画像調整量決定手段、１０５…パラメータ格納手段、５０２…画像調整手段、Ｐ７１０…画像調整量決定プログラム。
【技術分野】
【０００１】
本発明は、画像調整量を決定する画像調整量決定装置、画像調整量決定方法および画像調整量決定プログラム、並びに、上記画像調整量決定装置を含んで構成される画像処理装置に関する。
【背景技術】
【０００２】
「映像」は、単一の静止画像である「フレーム画像」を連続させることにより構成されている。映像の取得、蓄積、伝送、表示、符号化および復号化等を含む映像処理は、一般的に個々のフレーム画像の鮮明度（以降、単に「鮮明度」と呼ぶ）が一定または徐々に変化する映像を対象としている。一方、人間の眼は、画像の鮮明度の違いを明確に識別することができる。したがって、鮮明度の違いは画像の品質に対する評価に直接結びつくことが多く、一般には、高鮮明度の画像は高品質と評価される。
【０００３】
ここで、個々のフレーム画像が鮮明度の低い画像（ボケのある画像）であっても、各フレーム画像が連続した映像として表示された場合、この映像を見る人には、フレーム画像の鮮明度が上がり映像として鮮明に見えたり、また、より滑らかな動きであるように知覚したりといった、錯視現象が生ずることが非特許文献１に記載されている。このような錯視現象は、motion sharpening現象（動きに基づく鮮明化現象ともいう）と呼ばれる。
【０００４】
非特許文献１には、このmotion sharpening現象は、フレーム画像に含まれる被撮影物の動きの大きさ、および空間周波数の高周波成分に起因する可能性があると記載されている。また、非特許文献１には、motion sharpening現象の中で、鮮明度が所定の基準よりも低いフレーム画像（以下「低鮮明度画像」という）で構成された映像の中に、鮮明度が所定の基準よりも高いフレーム画像（以下「高鮮明度画像」という）が挿入されることで、映像として見たときに、低鮮明度画像の鮮明度が実際の鮮明度よりも高く知覚される場合があると記載されている。特に、映像を構成するフレーム画像のうちの５０％が高鮮明度画像で構成される場合、当該映像を見た人間の目に知覚される鮮明度が、全てのフレーム画像が高鮮明度画像で構成された映像を見たときの鮮明度と変わらないように見える（即ち、主観的には知覚される鮮明度が変わらないように錯覚される）場合がある。このようにmotion sharpening現象は、高鮮明度画像と低鮮明度画像がと混在することで主観的な品質が保たれる現象ともいえる。
【０００５】
そこで、出願人は、このようなmotion sharpening現象は、映像のシーンチェンジ等でも確認されている時間方向のマスキング現象の一種ではないかと考えた。つまり、高鮮明度画像が低鮮明度画像の見えにくさを低減している（つまりマスクしている）と考えた。
【０００６】
非特許文献２には、一般にマスキング現象は、マスク刺激（マスキング効果を与える刺激）とターゲット刺激（マスキング効果を受ける刺激）の間の空間周波数成分の大きさの関係や、マスク刺激とターゲット刺激の表示タイミング（Forward masking現象やBackward masking現象）によって、当該マスキング現象の効果は変化する、と記載されている。
【０００７】
また、非特許文献３には、motion sharpening現象は記憶や学習といった高次の視覚認知メカニズムではなく、人間の眼の初期視覚系に存在するメカニズムの非線形な働きがもたらす、との考え方が記載されている。このことから、出願人は、主観的な品質が保たれるmotion sharpening現象には、映像を構成するフレーム画像間の「動き」と、初期視覚系に非常に大きな影響を与える「平均輝度」の両方の影響が強いものと考えた。また、マスキング効果の影響を決定する「空間周波数成分の大きさ」と「刺激同士の時間間隔」も、この現象に関わっているものと考え、これらの映像の特徴に注目し、motion sharpening現象を一種のマスキング現象として捉えた。
【非特許文献１】Takeuchi,T. & De Valois, K.K. (2005), "Sharpening image motion based on spatio-temporal characteristics of human vision", Human Vision and Electronic Imaging X
【非特許文献２】大山正・今井省吾・和気典二、「新編 感覚・知覚心理ハンドブック」誠心書房、ISBN：4414305039、第６６４ページ
【非特許文献３】竹内龍人、「動きによる映像の鮮明化」、［平成１８年１０月２６日検索］、インターネット＜URL: http://www.ntt.co.jp/journal/0510/files/jn200510050.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の非特許文献１や非特許文献３では、motion sharpening現象に関係する映像の特徴量として「動きの大きさ」や「空間周波数成分の構成」が報告されているが、これら「動きの大きさ」、「空間周波数成分の構成」とmotion sharpening現象の効果との定量的な関係は明確ではない。また、各フレーム画像を連続した映像として見た場合に知覚される鮮明度に関して、各フレーム画像の空間周波数を低下させた場合に（即ち、鮮明度を低下させた場合に）、人間の眼には、どの程度の空間周波数が存在しているように見えるかといった実験結果の報告はなされているものの、人間の目で知覚される鮮明度（以下「主観鮮明度」と呼ぶ）を保持するための条件（即ち、映像としての主観的な品質を保持するための条件）は明確にされていない。
【０００９】
そこで、出願人は、上記のようなmotion sharpening現象の中で、対象の映像に含まれる特徴量と、主観鮮明度が保持される低鮮明度画像の最低限の空間周波数成分との関係を実験的に算出したところ、低鮮明度画像と、当該低鮮明度画像に対し表示順序において隣接する高鮮明度画像との間の特徴量の関係によって、主観鮮明度が保持される低鮮明度画像の最低限の空間周波数成分が異なることを明らかにしたので、本発明に至った。
【００１０】
本発明は、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量を適切に決定することを目的とする。
【課題を解決するための手段】
【００１１】
上述の課題を解決するために、本発明に係る画像調整量決定装置は、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段と、を備えることを特徴とする。
【００１２】
このような画像調整量決定装置によれば、処理画像決定手段が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定し、画像特徴抽出手段が、上記決定された近傍画像に関する所定の特徴量を抽出し、画像調整量決定手段が、上記抽出された前記近傍画像に関する所定の特徴量に基づいて、上記決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する。これにより、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量（空間周波数成分の振幅および帯域幅の少なくとも一方の調整量）を適切に決定することができる。
【００１３】
また、本発明に係る画像調整量決定装置では、画像特徴抽出手段が、さらに、前記処理対象画像に関する所定の特徴量を抽出し、画像調整量決定手段が、画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量および前記処理対象画像に関する所定の特徴量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。この場合、近傍画像に関する所定の特徴量に加え、処理対象画像に関する所定の特徴量をも基礎として、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定するため、例えば、近傍画像に関する所定の特徴量と処理対象画像に関する所定の特徴量の両者の関係に基づいて決定される視覚的なマスキング効果を考慮して上記調整量を決定することができる。
【００１４】
また、本発明に係る画像調整量決定装置は、前記処理対象画像と前記近傍画像の間の変化を表す所定の変化量を算出するフレーム間変化算出手段をさらに備え、前記画像調整量決定手段は、前記フレーム間変化算出手段により算出された変化量をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。この場合、処理対象画像と近傍画像の間の変化を表す所定の変化量をも基礎として、上記調整量を決定することができる。このため、例えば、処理対象画像と近傍画像の間の変化により引き起こされる輝度値の不連続性などによる人間の目の能力の低下が引き起こす時間的なマスキング効果を踏まえることができるため、より大きな視覚的なマスキング効果を考慮して上記調整量を決定することができる。
【００１５】
また、本発明に係る画像調整量決定装置では、画像特徴抽出手段が、所定の特徴量として、平均輝度および空間周波数成分の振幅の少なくとも一つを抽出する構成とすることが望ましい。この場合、画像の特徴量として、視覚特性およびマスキング現象に大きな影響を与える平均輝度および空間周波数成分の振幅の少なくとも一つを抽出することができるため、視覚的なマスキング効果を十分に考慮して上記調整量を決定することができる。
【００１６】
また、本発明に係る画像調整量決定装置では、フレーム間変化算出手段が、所定の変化量として、前記処理対象画像と前記近傍画像の間の動き量を算出する構成とすることが望ましい。motion sharpening現象では動きが大きいほどそのマスキング効果が大きいという相関関係が報告されている。そのため、処理対象画像と近傍画像の間の動き量を算出することで、上記の相関関係を踏まえ、視覚的なマスキング効果を十分に考慮して上記調整量を決定することができる。
【００１７】
また、本発明に係る画像調整量決定装置では、処理画像決定手段が、近傍画像として、表示順序において前記処理対象画像より前に位置する画像と、前記処理対象画像より後に位置する画像のうち、両方又は一方を決定する構成とすることが望ましい。ここでは、近傍画像として、表示順序において処理対象画像より前に位置する画像を決定することで、近傍画像から処理対象画像に対するForward masking現象としての視覚的なマスキング効果を考慮した上記調整量を決定することができる。同様に、近傍画像として、表示順序において処理対象画像より後に位置する画像を決定することで、近傍画像から処理対象画像に対するBackward masking現象としての視覚的なマスキング効果を考慮した上記調整量を決定することができる。さらに、近傍画像として、表示順序において処理対象画像より前に位置する画像と後に位置する画像の両方を決定することで、時間的に前後の近傍画像から受けるForward maskingおよびBackward maskingの両方のマスキング効果を考慮した上記調整量を決定することができる。
【００１８】
また、本発明に係る画像調整量決定装置では、画像調整量決定手段が、処理対象画像と近傍画像の間の時間間隔をも基礎として、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する構成とすることが望ましい。motion sharpening現象では、マスキング効果のマスク量は時間的に近いほど強く、時間の経過にともなってマスク量が減少する、といった特性がある。このようにマスキング効果と時間経過には相関関係があるため、処理対象画像と近傍画像の間の時間間隔の影響を考慮して上記調整量を適切に決定することができる。
【００１９】
また、本発明に係る画像調整量決定装置では、画像調整量決定手段が、調整前の映像信号について知覚される鮮明度に対し、調整後の処理対象画像を含む映像信号について知覚される鮮明度が、所定の同一範囲内に保持されるように予め設定された基準、を満たすように、調整量を決定する構成とすることが望ましい。この場合、motion sharpening現象によって、鮮明度が所定の同一範囲内に保持される基準（主観的な品質が保たれる基準）を考慮して上記調整量を決定することができる。上記の基準としては、例えば、主観評価試験等で利用されるＭＯＳ値が一定値を超える、といった基準を採用することができる。
【００２０】
また、本発明に係る画像調整量決定装置では、画像処理量決定手段が、調整量として、２種類以上の異なる特性の合成で表現される調整量を決定する構成とすることが望ましい。この場合、例えば、処理対象画像に対する調整量の空間周波数成分の形状について、視覚の時空間周波数特性が「過渡」と「持続」と呼ばれる２種類の異なる特性を持つ部分から構成される場合、motion sharpening現象に関しマスキング効果がこれら２種類の特性の存在によって表現可能であり、調整量としての空間周波数成分の形状を決定することで、主観的品質を保持する上でのmotion sharpening現象について視覚的見地からも説明可能な調整量を決定することができる。
【００２１】
本発明に係る画像処理装置は、前述したような画像調整量決定装置と、画像処理量決定装置により決定された調整量に基づいて、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方を調整する画像調整手段と、を備えることを特徴とする。このような画像処理装置によれば、前述したような画像調整量決定装置により決定された調整量に基づいて、処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方を調整することができる。
【００２２】
さて、画像調整量決定装置に係る発明は、画像調整量決定方法に係る発明、および画像調整量決定プログラムに係る発明として捉え、それぞれ以下のように記載することができる。これら画像調整量決定方法に係る発明、および画像調整量決定プログラムに係る発明は、画像調整量決定装置に係る発明と同様の効果を奏する。
【００２３】
本発明に係る画像調整量決定方法は、画像調整量決定装置が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定ステップと、前記画像調整量決定装置が、前記処理画像決定ステップにて決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出ステップと、前記画像調整量決定装置が、前記画像特徴抽出ステップにて抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定ステップにて決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定ステップと、を有することを特徴とする。
【００２４】
本発明に係る画像調整量決定プログラムは、コンピュータを、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段として、機能させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、映像の中に含まれる処理対象画像とは異なるフレーム画像の特徴量に基づいて、映像としての主観的な品質を保持するための処理対象画像に関する調整量を適切に決定することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明に係る各種の実施形態を図面に基づき説明する。なお、各図において、同一構成要素には同一符号を付して重複する説明を省略する。
【００２７】
［第１実施形態］
まず、本発明に係る第１実施形態について説明する。図１は、第１実施形態における画像調整量決定装置１０の機能構成を例示するブロック構成図である。この画像調整量決定装置１０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像調整量決定装置１０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
【００２８】
［画像調整量決定装置１０の機能ブロック構成］
次に、図１を参照して画像調整量決定装置１０の機能ブロック構成について説明する。図１に示すように、画像調整量決定装置１０は、処理画像決定手段１０１と、画像特徴抽出手段１０２と、フレーム画像間変化算出手段１０３と、画像調整量決定手段１０４と、パラメータ格納手段１０５とを含んで構成される。
【００２９】
（処理画像決定手段１０１について）
このうち処理画像決定手段１０１は、外部から動画像信号として入力された入力映像信号１０６を受け取り、該入力映像信号１０６に対しフレームレートｆの分析を行ってフレーム画像に分解し、所定の基準Ｋに基づいて、画像処理の対象となる処理対象画像Ｆ１を決定する。ここでは、基準Ｋとして、例えば、フレーム画像を表示順序に並べたときの当該表示順序を示すフレーム番号（以下「表示順序番号」という）が偶数であるとの基準を採用する。
【００３０】
なお、基準Ｋとしては、上記に限定されるものではなく、例えば、表示順序番号が予め定められた数値Ｍによって割り切れるとの基準や、表示順序番号が予め定められた数値Ｍによって割り切れないとの基準を採用してもよい。また、基準Ｋとしては、表示順序以外のもの、例えば、平均輝度、帯域幅、画像の空間周波数成分の大きさといった数値を用いても良く、平均輝度、帯域幅、および画像の空間周波数成分の大きさが、それぞれ所定の基準値よりも大きいとの基準を採用してもよい。なお、上記のような基準Ｋは、処理画像決定手段１０１が予め記憶していてもよいし、外部から処理画像決定手段１０１へ入力してもよい。
【００３１】
さらに、処理画像決定手段１０１は、処理対象フレーム画像Ｆ１を決定した後、表示順序において直前の画像であるフレーム画像Ｆ０と、直後の画像であるフレーム画像Ｆ２とを決定する。その後、上記分解されたフレーム画像は、Ｌ１０７経由で画像特徴抽出手段１０２およびフレーム画像間変化算出手段１０３に送られる。
【００３２】
なお、上記では、処理対象フレーム画像Ｆ１以外に、直前のフレーム画像Ｆ０と直後のフレーム画像Ｆ２とを決定する例を示したが、これに限定されるものではなく、表示順序において処理対象画像Ｆ１の前後であれば、どのフレーム画像を決定してもよい。また、表示順序において処理対象画像Ｆ１より前の画像のみを決定してもよいし、処理対象画像Ｆ１より後の画像のみを決定してもよい。
【００３３】
また、上記のようなフレーム画像Ｆ０、Ｆ２の決定は、表示順序のみを基準として決定したが、表示順序以外のものを基準として決定してもよい。例えば、後述する画像の特徴量を基準としてもよいし、表示時間を基準としてもよい。表示時間を基準とする例としては、処理対象フレーム画像Ｆ１の前後１００ミリ秒以内に存在するフレーム画像をフレーム画像Ｆ０、Ｆ２として決定してもよい。
【００３４】
また、本実施形態では、近傍画像として、処理対象画像Ｆ１の前後の画像（計２枚の画像）を決定したが、決定する枚数は１枚以上であれば何枚であってもよい。
【００３５】
（画像特徴抽出手段１０２について）
次に、画像特徴抽出手段１０２について説明する。まず、画像特徴抽出手段１０２は、処理対象画像Ｆ１およびフレーム画像Ｆ０、Ｆ２についての平均輝度および空間周波数成分の振幅の大きさを以下のようにして算出する。具体的には、画像特徴抽出手段１０２は、各フレーム画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像特徴抽出手段１０２は、各フーリエ係数の実数項の２乗と虚数項の２乗の和の平方根を、各空間周波数の空間周波数振幅の大きさとして算出する。また、平均輝度については、画像特徴抽出手段１０２は、空間周波数のＤＣ成分のみを抽出し輝度値に逆変換を行うことで平均輝度を算出する。図３のグラフには、周波数領域における空間周波数成分の振幅を例示しており、空間周波数＝０における振幅がＤＣ成分の大きさを示している。なお、空間周波数成分の振幅に関する表現法は、上記に限定されるものではなく、その他の表現法でもよい。また、平均輝度は、各フレーム画像の輝度値の平均値を算出することで求めても良い。また、平均輝度と、空間周波数成分の振幅の大きさのうち、何れか一方を算出してもよい。
【００３６】
なお、本実施形態では、フレーム画像単位で平均輝度と空間周波数成分の振幅を求める例を示すが、これに限るものではなく、例えばブロック単位で平均輝度と空間周波数成分の振幅を求めても良い。
【００３７】
また、本実施形態では、２次元の空間周波数成分の振幅を算出したが、１次元フーリエ変換を用いて空間周波数成分の振幅を算出しても良い。その場合、例えば、水平方向の各１列にフーリエ変換を行って算出してもよい。また、垂直方向、水平方向、水平垂直以外の所定方向、のうち何れか１つ以上に対する空間周波数成分の振幅を対象としてもよい。
【００３８】
また、本実施形態では、空間周波数成分の振幅をそのまま利用したが、ある基準値からの空間周波数成分の大きさの差分によって空間周波数成分の振幅を表現してもよい。例えば、空間周波数成分を電力の大きさとして表現し、所定の電力基準値Ｙ[dB]（Ｙ＝４０）からの空間周波数成分の大きさの差分によって空間周波数成分の振幅を表現してもよい。
【００３９】
また、本実施形態では、周波数変換にフーリエ変換を用いたが、フーリエ変換以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。
【００４０】
また、本実施形態では、画像の「特徴量」として平均輝度と空間周波数成分の振幅の大きさとを算出したが、その他の特徴量を算出しても良い。例えば、空間周波数成分の帯域幅の分散や振幅の分散を算出しても良いし、画像の輝度値を用いた特徴量（画素値の分散、画像のコントラストなど）を算出しても良い。
【００４１】
また、本実施形態では、処理対象画像Ｆ１と、表示順序においてその前後に存在するフレーム画像Ｆ０、Ｆ２の双方に関する特徴量を算出したが、処理対象画像Ｆ１に関する特徴量については算出せず、その前後に存在するフレーム画像Ｆ０、Ｆ２に関する特徴量のみを算出し、フレーム画像Ｆ０、Ｆ２に関する特徴量のみに基づいて、処理対象画像Ｆ１に関する調整量を決定してもよい。
【００４２】
その後、画像特徴抽出手段１０２は、上記のようにして算出された平均輝度および空間周波数成分の振幅の大きさを、画像調整量決定手段１０４に送信する。
【００４３】
（フレーム画像間変化算出手段１０３について）
次に、フレーム画像間変化算出手段１０３について説明する。図２は、複数のフレーム画像から成る映像の概念図である。なお、説明の便宜のため、図２に示す処理対象画像Ｆ１および画像Ｆ０、Ｆ２の連続する計３枚のフレーム画像を用いて説明する。フレーム画像間変化算出手段１０３は、以下のようにして画像Ｆ０〜Ｆ２の間の動き量を算出する。以下、動き量の算出処理について詳細に説明する。
【００４４】
まず、フレーム画像間変化算出手段１０３は、連続する２枚のフレーム画像を順次読み込む。そして、フレーム画像間変化算出手段１０３は、読み込んだ２枚のフレーム画像間で、一致度が所定値以上の画像信号パターン（いわゆる互いに類似する画像信号パターン）に基づいて、上記２枚のフレーム画像間における空間的な変位量としての動きベクトル（ＭＶｂｘ，ＭＶｂｙ）を算出する。
【００４５】
本実施形態では、フレーム画像間変化算出手段１０３は、フレーム画像を所定の大きさの複数のブロックに分割し、画像Ｆ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターン（例えば一致度が所定値以上の画像信号パターン）を、ブロックマッチング法などの探索処理を用いて画像Ｆ０から探索する。そして、フレーム画像間変化算出手段１０３は、画像Ｆ０とＦ１との間で画像信号パターンが共通するブロック同士で、フレーム画像内で位置がどの程度ずれているかを示すずれ量を判断することにより、動きベクトルを算出する。
【００４６】
その後、フレーム画像間変化算出手段１０３は、全ブロックについて算出された動きベクトル（ＭＶｂｘ，ＭＶｂｙ）に基づいて、各ブロックの動きベクトルの中央値を算出することによりフレーム画像全体における動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）を算出する。また、画像Ｆ２と画像Ｆ１の間の動きベクトルに関しても、同様の手順で、動き量Ｖ２（ＭＶｘ２，ＭＶｙ２）算出する。
【００４７】
なお、本実施形態では、全ブロックについて算出された動きベクトルの中央値を算出したが、全ブロックについての動きベクトルの中央値に代えて、例えばフレーム画像に含まれるブロックごとに算出された動きベクトルの大きさ（ＭＶｘ，ＭＶｙ）についての平均値、最大値、中間値、最小値、のうちの何れかを用いても良い。また、各ブロックの動きベクトルをそのまま利用してもよい。
【００４８】
また、本実施形態では、動き量の算出にブロックマッチング法を用いたが、これに限るものではない。他の算出法、例えばオプティカルフロー等を用いて動きベクトルを算出してもよい。
【００４９】
また、本実施形態では、動きベクトルを利用して動き量を算出したが、画像の動きに注目した他の特徴量、例えば、動きの方向、フレーム画像内のブロックの持つ動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合などに基づいて、フレーム画像間の変化量を算出してもよい。
【００５０】
また、本実施形態では、フレーム画像間の変化として、動き量を算出したが、それ以外にも、画素値の変化に注目をしたフレーム画像間の変化（例えば、輝度値の変化量、平均輝度の変化など）を算出してもよい。
【００５１】
また、動き量は、画像の周波数変換時の位相を用いて算出してもよい。この場合、２枚の画像の全画素それぞれに対し離散フーリエ変換などを行い、画素空間から周波数空間への変換を行って、各画像の同一周波数成分を除算することで、位相の大きさを用いた動き量を算出すればよい。各周波数成分の位相を算出した後、全位相の値を合計し、合計値を動き量とする。また、周波数変換後の位相の利用は、これに限るものではなく、２画像間の動き量を表すものであればどのように算出してもよい。
【００５２】
また、本実施形態では、処理対象画像Ｆ１に対し直前のフレーム画像と直後のフレーム画像を利用して動き量を算出しているが、これに限定されるものではない。例えば、処理対象画像Ｆ１と近傍のフレーム画像Ｆ０との間に別のフレーム画像が存在する場合には、当該別のフレーム画像も利用して動きベクトルを算出してもよい。
【００５３】
また、本実施形態では、処理対象画像Ｆ１および画像Ｆ０、Ｆ２をそのまま利用して動きベクトルを算出したが、これら処理対象画像Ｆ１および画像Ｆ０、Ｆ２に対しフィルタ処理などを行ってから動きベクトルを算出してもよい。例えば、エッジ強調フィルタ等を用いることで、ボケに対してもっとも変化のある、エッジに注目した動きベクトルを算出することができる。また、ローパスフィルタ等を用いることで、雑音の影響の少ない画像間で動きベクトルを算出することができる。
【００５４】
その後、フレーム画像間変化算出手段１０３は、算出した画像Ｆ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）と、Ｆ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２，ＭＶｙ２）を画像調整量決定手段１０４に送信する。
【００５５】
（パラメータ格納手段１０５について）
パラメータ格納手段１０５には、人間が各特徴を持つ映像（フレーム画像Ｆ０〜Ｆ２）を合わせて見た際に主観的な品質が保たれる基準Ｖ（例えばＭＯＳ評価が4.0以上となるなど）を満たすパラメータが予め格納されている。
【００５６】
ただし、パラメータ格納手段１０５には、上記基準Ｖ以外の基準、例えば、ＰＳＮＲなどの客観指標に基づく基準Ｖに基づくパラメータ群を格納しておいてもよい。
【００５７】
（画像調整量決定手段１０４について）
次に、画像調整量決定手段１０４について説明する。画像調整量決定手段１０４には、フレーム画像Ｆ０〜Ｆ２についての平均輝度および空間周波数成分の振幅の大きさがＬ１０８経由で入力され、フレーム画像Ｆ０〜Ｆ１間の動き量およびフレーム画像Ｆ１〜Ｆ２間の動き量がＬ１０９経由で入力される。画像調整量決定手段１０４は、送られてきた平均輝度、空間周波数成分の振幅の大きさ、および動きベクトルの大きさに基づいて、以下のようにして、処理対象画像Ｆ１についての空間周波数成分の振幅・帯域幅が制限される調整量を決定する。なお、本実施形態で説明する帯域幅は、周波数係数列にある係数の中でその大きさが直流成分のｙ％以下となる最大周波数成分をその画素列の帯域とする。例えば、本実施形態ではｙ＝0.5とするが、それ以外の数値を用いてもよい。また、本実施形態では、水平方向、垂直方向それぞれの空間周波数成分に対する調整量を以下のようにして決定する。
【００５８】
まず、画像調整量決定手段１０４は、水平方向について、画像Ｆ０の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ０）と、画像Ｆ１の対応する空間周波数ｓｆの成分の大きさＰ＿ｓｆ（Ｆ１）とをそれぞれ比較する。そして、全ての空間周波数成分について比較した後、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうちＸ％（ここではＸ＝５０％と設定する）を超える場合に、画像調整量決定手段１０４は、(1)画像Ｆ０の平均輝度Ｙave（Ｆ０）、(2)各空間周波数成分ｓｆ、(3)各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ０）、(4)Ｆ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）におけるＭＶｘ１の値、および(5)処理画像決定手段１０１にて算出したフレームレートｆと両フレーム画像の間のフレーム画像枚数Ｎとによって求められるフレーム画像同士の時間間隔ｔ（（フレーム画像枚数Ｎ／フレームレートｆ）に相当）に基づいて、以下の式１におけるパラメータＡ〜Ｇをパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量１ｘを決定する。
【数１】
一方、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ０）の数が、全ての空間周波数のうちＸ％を超えない場合には、上記Ａ〜Ｇとは異なるパラメータ群をパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量１ｘを決定する。
【００５９】
次に、画像調整量決定手段１０４は、垂直方向についての空間周波数成分の調整量１ｙも、上記と同様の手法を用いて算出する。その際、各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆとしては垂直方向のものを利用し、動き量としてはＦ０〜Ｆ１間の動き量Ｖ１（ＭＶｘ１、ＭＶｙ１）におけるＭＶｙ１の値を利用する。
【００６０】
なお、式１において調整量(Yave,sf,Psf,mv,t)は、一次元空間周波数成分の調整量の振幅特性を意味し、各係数n、α、β、γ１、γ２、γ３は定数である。
【００６１】
同様に、画像調整量決定手段１０４は、まず水平方向について、画像Ｆ２の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ２）と、画像Ｆ１の対応する空間周波数ｓｆの成分の大きさＰ＿ｓｆ（Ｆ１）とをそれぞれ比較する。そして、全ての空間周波数成分について比較した後、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ２）の数が、全ての空間周波数のうちＸ％（ここではＸ＝５０％と設定する）を超える場合に、画像調整量決定手段１０４は、(1)画像Ｆ２の平均輝度Ｙave（Ｆ２）、(2)各空間周波数成分ｓｆ、(3)各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ（Ｆ２）、(4)Ｆ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２、ＭＶｙ２）におけるＭＶｘ２の値、および(5)処理画像決定手段１０１にて算出したフレームレートｆと両フレーム画像の間のフレーム画像枚数Ｎとによって求められるフレーム画像同士の時間間隔ｔ（（フレーム画像枚数Ｎ／フレームレートｆ）に相当）に基づいて、上記の式１におけるパラメータＡ〜Ｇをパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量２ｘを決定する。
【００６２】
一方、Ｐ＿ｓｆ（Ｆ１）よりも大きいＰ＿ｓｆ（Ｆ２）の数が、全ての空間周波数のうちＸ％を超えない場合には、上記Ａ〜Ｇとは異なるパラメータ群をパラメータ格納手段１０５から呼び出し、呼び出したパラメータＡ〜Ｇおよび式（１）より調整量２ｘを決定する。
【００６３】
次に、画像調整量決定手段１０４は、垂直方向についての空間周波数成分の調整量２ｙも、上記と同様の手法を用いて算出する。その際、各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆとしては垂直方向のものを利用し、動き量としてはＦ１〜Ｆ２間の動き量Ｖ２（ＭＶｘ２、ＭＶｙ２）におけるＭＶｙ２の値を利用する。
【００６４】
以上のように求められた、画像Ｆ０と画像Ｆ１間の特徴量から決定されたパラメータに基づき計算された調整量１ｘおよび調整量１ｙ、並びに、画像Ｆ１と画像Ｆ２間の特徴量から決定されたパラメータに基づき計算された調整量２ｘおよび調整量２ｙより、同方向同士の調整量を合計することで調整量３ｘおよび調整量３ｙを算出する。即ち、３ｘ＝１ｘ＋２ｘ、３ｙ＝１ｙ＋２ｙである。
【００６５】
その後、画像調整量決定手段１０４は、算出された調整量３ｘおよび調整量３ｙをＬ１１１経由で出力する。
【００６６】
なお、本実施形態では、調整量１ｉと調整量２ｉ（ｉはｘもしくはｙを示す）を別々に算出し、それらを用いて調整量３ｉを算出したが、フレーム画像Ｆ０〜Ｆ２の特徴量から、調整量３ｉのパラメータを直接決定してもよい。
【００６７】
また、本実施形態では、調整量を水平方向・垂直方向について別々に算出したが、２次元の調整量の算出を行っても良い。
【００６８】
また、本実施形態では、フレーム画像間の全ての空間周波数成分について振幅の大きさの比較を行ってパラメータを選択したが、空間周波数成分のうち一部のみについて比較を行ってパラメータを選択してもよいし、上記のような比較を行わずにパラメータを選択してもよい。また、比較の際の割合Ｘを「５０」と設定したが、それに限るものではない。また、全ての空間周波数成分の振幅の大きさに基づいて空間周波数ごとにパラメータの選択を行っても良い。
【００６９】
なお、本実施形態では、(1)フレーム画像Ｆ０又はＦ２の平均輝度Ｙave、(2)各空間周波数成分ｓｆ、(3)フレーム画像Ｆ０又はＦ２の各空間周波数成分ｓｆの振幅の大きさＰ＿ｓｆ、(4)フレーム画像間の動きベクトルＶ（ＭＶｘ、ＭＶｙ）、および(5)フレーム画像同士の時間間隔ｔに基づいて、パラメータＡ〜Ｇを決定したが、(1)〜(5)のうち少なくとも１つの特徴量を用いてパラメータを決定すればよい。また、（１）および（３）についてはフレーム画像Ｆ０又はＦ２の相対的な関係を用いて、パラメータを決定してもよい。また、映像の特徴量以外にも、映像を見ている環境に関する情報も利用してパラメータを決定してもよい。例えば、ディスプレイの表示能力（解像度等）、観視距離、映像のサイズ等の情報を外部から入力してそれらの値も用いてパラメータを決定してもよい。
【００７０】
また、本実施形態では、比較としては、画像Ｆ０と処理対象画像Ｆ１の空間周波数成分の振幅の比較、および、画像Ｆ２と処理対象画像Ｆ１の空間周波数成分の振幅の比較を行ったが、これに限るものではなく、平均輝度の比較を行っても良い。
【００７１】
また、本実施形態では、動き量Ｖ（ＭＶｘ、ＭＶｙ）以外にフレーム画像間の変化に関する特徴量は用いていないが、例えば、平均輝度の変化量や空間周波数成分の変化量なども特徴量として利用してパラメータを決定してもよい。また、動きの方向、フレーム画像内の動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合、といった特徴量は用いて動き量を算出してもよい。
【００７２】
なお、本実施形態の空間周波数成分の振幅・帯域幅の制限量の振幅特性を示す上記の式１は、マスキング現象の定性的なモデルを見習い、右辺の第１項
【数２】
が人間の視覚における「過渡」チャネルを表現し、右辺の第２項〜第４項
【数３】
が「持続」チャネルを表現するように（即ち、２つの異なる特性を表現するように）、１つのローパスフィルタと３つのバンドパスフィルタとを合成した構成としている。これにより、視覚的見地からも説明しやすいものとしている。ただし、空間周波数成分の振幅・帯域幅の制限量を表現する方法はこれに限るものではなく、例えば３つ以上の異なる特性の合成で表現するものであってもよい。また、フィルタを用いて表現する場合でもフィルタの種類や数はこれに限定するものではない。また、より一般的なフィルタ、例えばローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、バンドリジェクトフィルタ、これらを組み合わせたフィルタなどを用いてよい。また、式１における各係数ｎ、α、β、γ１、γ２、γ３は定数としたが、これらの値も各フレーム画像の特徴量によって決定されるパラメータとして設定してもよい。
【００７３】
また、本実施形態では、調整量１ｉと調整量２ｉの合計値を算出して、調整量３ｉとしたが、調整量１ｉと調整量２ｉのうち、空間周波数成分の調整量の帯域幅制限が大きい方（又は小さい方）を調整量３ｉとしてもよい。また、調整量３ｉとしては、調整量１ｉと調整量２ｉの平均値、最大値、最小値、中央値等を用いてもよい。
【００７４】
また、上記以外の異なる基準、例えば、通過域の特性が所定基準よりも良いこと、減衰域の特性が所定基準よりも良いこと、といった振幅特性の性質の良さに関する基準を用いてもよい。また、２枚以上のフレーム画像が選択された場合にも、同様の基準を用いて判定すればよい。
【００７５】
また、本実施形態では、調整量１ｉと調整量２ｉは、同じ式１を用いて調整量を決定したが、互いに異なる式によって調整量を決定してもよい。例えば、表示順序の前後でマスキング効果の性質が異なることを表現するような異なる式を用いても良い。
【００７６】
また、本実施形態の調整量は、空間周波数成分の振幅と帯域幅の両方に関する調整量を示しているが、空間周波数成分の振幅と帯域幅のうち、どちらか一方に関する調整量を示しても良い。
【００７７】
また、本実施形態では、調整量として、空間周波数成分の振幅および帯域幅を制限するための量として説明したが、空間周波数成分の振幅および帯域幅を広げるための量であってもよい。
【００７８】
［画像調整量決定装置１０における画像処理］
次に、図４に基づいて、第１実施形態の画像調整量決定装置１０における画像処理について説明する。図４は、画像調整量決定装置１０の画像処理を示すフローチャートである。
【００７９】
まず、処理画像決定手段１０１は、Ｌ１０７経由で送られてきた入力映像信号１０６を受け取り（ステップＳ４００）、該入力映像信号１０６に対しフレームレートｆの分析を行ってフレーム画像に分解し（ステップＳ４０１）、分解で得られたフレーム画像の中から、処理対象画像Ｆ１および表示順序で処理対象画像の前後に隣接するフレーム画像Ｆ０、Ｆ２の計３枚を決定する（ステップＳ４０２）。決定されたフレーム画像Ｆ０〜Ｆ２は、順次画像特徴抽出手段１０２およびフレーム画像間変化算出手段１０３に送信される。
【００８０】
次に、画像特徴抽出手段１０２は、上記フレーム画像Ｆ０〜Ｆ２の平均輝度および各空間周波数成分の振幅の大きさを算出する（ステップＳ４０３）。その算出方法は、前述したとおりである。算出された平均輝度および空間周波数成分の振幅の大きさは画像調整量決定手段１０４に送られる。
【００８１】
ステップＳ４０３と並行して、フレーム画像間変化算出手段１０３は、画像Ｆ０〜画像F２に基づいて、動き量として、Ｆ０〜Ｆ１間およびＦ１〜Ｆ２間のフレーム画像間の動きベクトルを算出し、フレーム画像Ｆ０からフレーム画像Ｆ１の動き量およびフレーム画像Ｆ１からフレーム画像Ｆ２の動き量を算出する（ステップＳ４０４）。動き量の算出方法は、前述したとおりである。算出された動き量は画像調整量決定手段１０４に送られる。
【００８２】
次に、画像調整量決定手段１０４は、算出された平均輝度、空間周波数成分の振幅、空間周波数、動き量、フレーム画像間の時間間隔に基づき、パラメータ格納手段１０５に格納されるパラメータを選択する（ステップＳ４０５）。そして、画像調整量決定手段１０４は、選択したパラメータに基づき生成される、フレーム画像Ｆ０から処理対象画像Ｆ１に対する空間周波数成分の振幅・帯域幅の調整量１と、フレーム画像Ｆ２からフレーム画像Ｆ１に対する調整量２との合計値を算出し、算出した合計値を、処理対象画像に対する空間周波数成分の振幅・帯域幅の調整量３として決定する（ステップＳ４０６）。ここでの調整量の決定方法は、前述したとおりである。その後、決定された調整量３は出力され、図４の処理を終了する。
【００８３】
［第１実施形態の効果］
以上のように、第１実施形態における画像調整量決定装置１０によれば、映像の中の処理対象フレーム画像が決定され、表示順序が処理対象フレーム画像の前後のフレーム画像の平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量が算出される。そして、算出された上記の特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の空間周波数成分の振幅・帯域幅を示す調整量を構成するためのパラメータを決定して調整量が決定される。したがって、入力映像信号の処理対象画像Ｆ１に対して、処理対象画像Ｆ１とその前後のフレーム画像Ｆ０、Ｆ２の特徴量から、映像として前後のフレーム画像と合わせて見た際には主観鮮明度が保たれるような空間周波数の振幅・帯域幅の調整量を決定し、映像としての品質を保ちながら、処理対象画像Ｆ１に対する情報量の削減の指標となる調整量を適切に決定することができる。
【００８４】
［第２実施形態］
次に、本発明に係る第２実施形態について説明する。図５は、第２実施形態における画像処理装置５０の機能構成を例示するブロック構成図である。この画像処理装置５０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置５０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
【００８５】
［画像処理装置５０の機能ブロック構成］
以下、図５を参照して画像処理装置５０の機能ブロック構成について説明する。図５に示すように、画像処理装置５０は、上述した第１実施形態に記載された画像調整量決定装置１０と、画像調整手段５０２とを含んで構成される。
【００８６】
このうち画像調整量決定装置１０は、第１実施形態で述べたように、図１に示す機能構成を有し、処理画像決定手段１０１と、画像特徴抽出手段１０２と、フレーム画像間変化算出手段１０３と、画像調整量決定手段１０４と、パラメータ格納手段１０５とを含んで構成される。この画像調整量決定装置１０は、外部から動画像信号として入力された入力映像信号５０３のフレームレートの分析を行ってフレーム画像に分解し、分解で得られたフレーム画像の中から、処理対象画像Ｆ１および表示順序で処理対象画像の前後に隣接するフレーム画像Ｆ０、Ｆ２の計３枚を決定する。そして、画像調整量決定装置１０は、フレーム画像Ｆ０〜Ｆ２についての平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量を算出し、算出した上記の特徴量に基づいて処理対象画像Ｆ１の空間周波数成分の振幅・帯域幅の大きさの調整量を決定し、そして、該調整量をＬ５０４経由で画像調整手段５０２に出力する。
【００８７】
画像調整手段５０２は、上記の調整量に基づき画像の空間周波数成分の振幅・帯域幅の調整を行う。具体的には、画像調整手段５０２は、まず、処理対象画像Ｆ１の空間周波数成分（空間周波数振幅の大きさおよび平均輝度）を算出する。即ち、画像調整手段５０２は、各フレーム画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像調整手段５０２は、各フーリエ係数の実数項の２乗と虚数項の２乗との和の平方根を各空間周波数の振幅の大きさとして算出する。また、画像調整手段５０２は、空間周波数のＤＣ成分のみを抽出し該空間周波数のＤＣ成分を輝度値に逆変換することで、平均輝度を算出する。なお、空間周波数成分の振幅の表現法は、これに限るものではなく、その他の表現法でもよい。また、平均輝度は、各フレーム画像の輝度値の平均値を算出し、該平均値を平均輝度として求めても良い。
【００８８】
なお、第２実施形態では、空間周波数成分の振幅の算出に、第１実施形態の画像調整量決定装置１０と同じ手法を利用したが、異なる手法によって空間周波数成分の振幅を算出しても良い。
【００８９】
その後、画像調整手段５０２は、算出された処理対象画像Ｆ１の空間周波数成分に対して周波数領域で調整量を乗算することで、空間周波数成分の振幅・帯域幅の調整を行う。そして、画像調整手段５０２は、調整後の空間周波数成分に対して逆２次元フーリエ変換を施し、画素値に変換して出力する。
【００９０】
なお、本実施形態では、処理対象画像を周波数領域に変換し、周波数領域で空間周波数成分の振幅・帯域幅の調整を行ったが、画素空間で処理を行っても良い。例えば、画素値に対しフィルタ処理を行うなどの方法を採用しても良い。また、本実施形態では、フレーム画像単位での処理を示したが、処理単位には特に制限はなく、例えばブロック単位で処理を行っても良い。
【００９１】
また、本実施形態では、処理対象画像Ｆ１の空間周波数成分に対して調整量を乗算する調整方法を示したが、これに限るものではない。例えば、空間周波数成分の振幅は変化させずに、調整量が示す帯域幅に空間周波数成分を制限するなどの処理を行っても良い。
【００９２】
また、周波数成分に対してある量子化基準を定めた量子化および逆量子化の処理を行うことで、電力レベルの低い空間高周波数成分の値を削減することで空間周波数成分の振幅・帯域幅の調整を行っても良い。また、これら以外にも、空間周波数成分の振幅・帯域幅を調整する手段であれば、どのような手法を用いても良い。
【００９３】
［画像処理装置５０における画像処理］
次に、図６に基づいて、第２実施形態の画像処理装置５０における画像処理について説明する。図６は、画像処理装置５０の画像処理を示すフローチャートである。
【００９４】
まず、対象映像が入力され、入力された入力映像信号５０３は画像処理量決定装置１０に送られる。画像調整量決定装置１０は、入力映像信号５０３を用いて、処理対象画像Ｆ１に対する空間周波数成分の振幅・帯域幅の調整量の算出を行う。即ち、画像調整量決定装置１０は、入力映像信号５０３を用いて、第１実施形態にて説明した図４のステップＳ４０１〜Ｓ４０６の画像調整量算出処理を行うことによって、処理対象画像Ｆ１の空間周波数成分の調整量を決定する（ステップＳ６０１）。
【００９５】
次に、画像調整手段５０２は、画像調整量決定装置１０が決定した調整量に基づき画像の空間周波数成分の調整を行う（ステップＳ６０２）。具体的な調整方法は、前述したとおりである。調整後、画像調整手段５０２は、空間周波数成分に対して逆変換を行い画素値に変換することで、空間周波数成分の振幅・帯域幅が調整された画像を出力して、図６の処理を終了する。
【００９６】
［第２実施形態の効果］
以上のように、第２実施形態における画像処理装置５０によれば、映像の中の処理対象フレーム画像が決定され、表示順序が処理対象フレーム画像の前後の平均輝度、空間周波数成分の振幅およびフレーム画像間の動き量が算出される。そして算出された特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の空間周波数成分の振幅・帯域幅を示す調整量を構成するためのパラメータを決定して調整量が決定される。その後、決定された調整量に基づき、処理対象画像Ｆ１の空間周波数成分の振幅・帯域幅の調整が行われる。したがって、入力映像信号の処理対象画像Ｆ１に対して、処理対象画像Ｆ１とその前後のフレーム画像Ｆ０、Ｆ２の特徴量から、映像として前後のフレーム画像と合わせて見た際には主観鮮明度が保たれるような空間周波数の振幅・帯域幅の調整量を決定し、決定された調整量に基づき、利用状況に合った画像の空間周波数成分の調整を行うことで、映像としての品質を保ちながら、処理対象画像Ｆ１に対する情報量の削減の指標となる調整量を適切に決定することができる。
【００９７】
［画像調整量決定プログラムについて］
次に、コンピュータを本発明に係る画像調整量決定装置として動作させるための画像調整量決定プログラムについて説明する。図７は、画像調整量決定プログラムＰ７１０の構成を、記録媒体７１０と共に示す図である。記録媒体７１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
【００９８】
図７に示すように、画像処理プログラムＰ７１０は、処理画像決定モジュール７０１と、画像特徴抽出モジュール７０２と、フレーム間変化算出モジュール７０３と、画像調整量決定モジュール７０４と、パラメータ格納モジュール７０５とを含んで構成されている。処理画像決定モジュール７０１は図１の処理画像決定手段１０１の機能を、画像特徴抽出モジュール７０２は画像特徴抽出手段１０２の機能を、フレーム間変化算出モジュール７０３はフレーム画像間変化算出手段１０３の機能を、画像調整量決定モジュール７０４は画像調整量決定手段１０４の機能を、パラメータ格納モジュール７０５はパラメータ格納手段１０５の機能を、それぞれ実現するためのモジュールである。
【００９９】
また、図８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含む。
【０１００】
図８に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等により構成される読み取り装置１２と、作業用メモリ（ＲＡＭ）１４と、ＲＯＭ等により構成されるメモリ１６と、表示装置であるディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを含んで構成される。このような構成のコンピュータ３０は、記録媒体７１０が読取装置１２に挿入されると、記録媒体７１０に格納された画像調整量決定プログラムＰ７１０が読取装置１２により読み取られてコンピュータ３０に入力され、ＣＰＵ２６により画像調整量決定プログラムＰ７１０が実行されることによって、コンピュータ３０は本発明に係る画像調整量決定装置として動作することになる。
【０１０１】
なお、図９に示すように、画像調整量決定プログラムＰ７１０は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された画像処理プログラムＰ７１０をメモリ１６に格納し、ＣＰＵ２６により当該画像調整量決定プログラムＰ７１０を実行することができる。
【図面の簡単な説明】
【０１０２】
【図１】第１実施形態における画像処理装置の機能構成を例示すブロック構成図である。
【図２】読み込まれるフレーム画像を示す概念図である。
【図３】周波数領域における空間周波数成分の振幅とＤＣ成分を例示する図である。
【図４】第１実施形態における画像処理装置の流れを示すフローチャートである。
【図５】第２実施形態における画像処理装置の機能構成を例示すブロック構成図である。
【図６】第１実施形態における画像処理装置の流れを示すフローチャートである。
【図７】画像調整量決定プログラムを示す構成図。
【図８】記録媒体に記録された画像調整量決定プログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図９】記録媒体に記憶された画像調整量決定プログラムを実行するためのコンピュータの斜視図である。
【符号の説明】
【０１０３】
１０…画像調整量決定装置、５０…画像処理装置、１０１…処理画像決定手段、１０２…画像特徴抽出手段、１０３…フレーム間変化算出手段、１０４…画像調整量決定手段、１０５…パラメータ格納手段、５０２…画像調整手段、Ｐ７１０…画像調整量決定プログラム。
【特許請求の範囲】
【請求項１】
外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、
前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段と、
を備えることを特徴とする画像調整量決定装置。
【請求項２】
前記画像特徴抽出手段は、さらに、前記処理対象画像に関する所定の特徴量を抽出し、
前記画像調整量決定手段は、前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量および前記処理対象画像に関する所定の特徴量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する、
ことを特徴とする請求項１に記載の画像調整量決定装置。
【請求項３】
前記画像調整量決定装置は、前記処理対象画像と前記近傍画像の間の変化を表す所定の変化量を算出するフレーム間変化算出手段をさらに備え、
前記画像調整量決定手段は、前記フレーム間変化算出手段により算出された変化量をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する、
ことを特徴とする請求項１又は２に記載の画像調整量決定装置。
【請求項４】
前記画像特徴抽出手段は、前記所定の特徴量として、平均輝度および空間周波数成分の振幅の少なくとも一つを抽出することを特徴とする請求項１又は２に記載の画像調整量決定装置。
【請求項５】
前記フレーム間変化算出手段は、前記所定の変化量として、前記処理対象画像と前記近傍画像の間の動き量を算出することを特徴とする請求項３に記載の画像調整量決定装置。
【請求項６】
前記処理画像決定手段は、前記近傍画像として、
表示順序において前記処理対象画像より前に位置する画像と、前記処理対象画像より後に位置する画像のうち、両方又は一方を決定することを特徴とする請求項１〜５の何れか１項に記載の画像調整量決定装置。
【請求項７】
前記画像調整量決定手段は、前記処理対象画像と前記近傍画像の間の時間間隔をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定することを特徴とする請求項１〜６の何れか１項に記載の画像調整量決定装置。
【請求項８】
前記画像調整量決定手段は、調整前の映像信号について知覚される鮮明度に対し、調整後の処理対象画像を含む映像信号について知覚される鮮明度が、所定の同一範囲内に保持されるように予め設定された基準、を満たすように、前記調整量を決定することを特徴とする請求項１〜７の何れか１項に記載の画像調整量決定装置。
【請求項９】
前記画像処理量決定手段は、前記調整量として、２種類以上の異なる特性の合成で表現される調整量を決定することを特徴とする請求項７又は８に記載の画像調整量決定装置。
【請求項１０】
請求項１〜９の何れか１項に記載の画像調整量決定装置と、
前記画像処理量決定装置により決定された調整量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方を調整する画像調整手段と、
を備えることを特徴とする画像処理装置。
【請求項１１】
画像調整量決定装置が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定ステップと、
前記画像調整量決定装置が、前記処理画像決定ステップにて決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出ステップと、
前記画像調整量決定装置が、前記画像特徴抽出ステップにて抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定ステップにて決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定ステップと、
を有することを特徴とする画像調整量決定方法。
【請求項１２】
コンピュータを、
外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、
前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段として、
機能させるための画像調整量決定プログラム。
【請求項１】
外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、
前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段と、
を備えることを特徴とする画像調整量決定装置。
【請求項２】
前記画像特徴抽出手段は、さらに、前記処理対象画像に関する所定の特徴量を抽出し、
前記画像調整量決定手段は、前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量および前記処理対象画像に関する所定の特徴量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する、
ことを特徴とする請求項１に記載の画像調整量決定装置。
【請求項３】
前記画像調整量決定装置は、前記処理対象画像と前記近傍画像の間の変化を表す所定の変化量を算出するフレーム間変化算出手段をさらに備え、
前記画像調整量決定手段は、前記フレーム間変化算出手段により算出された変化量をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する、
ことを特徴とする請求項１又は２に記載の画像調整量決定装置。
【請求項４】
前記画像特徴抽出手段は、前記所定の特徴量として、平均輝度および空間周波数成分の振幅の少なくとも一つを抽出することを特徴とする請求項１又は２に記載の画像調整量決定装置。
【請求項５】
前記フレーム間変化算出手段は、前記所定の変化量として、前記処理対象画像と前記近傍画像の間の動き量を算出することを特徴とする請求項３に記載の画像調整量決定装置。
【請求項６】
前記処理画像決定手段は、前記近傍画像として、
表示順序において前記処理対象画像より前に位置する画像と、前記処理対象画像より後に位置する画像のうち、両方又は一方を決定することを特徴とする請求項１〜５の何れか１項に記載の画像調整量決定装置。
【請求項７】
前記画像調整量決定手段は、前記処理対象画像と前記近傍画像の間の時間間隔をも基礎として、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定することを特徴とする請求項１〜６の何れか１項に記載の画像調整量決定装置。
【請求項８】
前記画像調整量決定手段は、調整前の映像信号について知覚される鮮明度に対し、調整後の処理対象画像を含む映像信号について知覚される鮮明度が、所定の同一範囲内に保持されるように予め設定された基準、を満たすように、前記調整量を決定することを特徴とする請求項１〜７の何れか１項に記載の画像調整量決定装置。
【請求項９】
前記画像処理量決定手段は、前記調整量として、２種類以上の異なる特性の合成で表現される調整量を決定することを特徴とする請求項７又は８に記載の画像調整量決定装置。
【請求項１０】
請求項１〜９の何れか１項に記載の画像調整量決定装置と、
前記画像処理量決定装置により決定された調整量に基づいて、前記処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方を調整する画像調整手段と、
を備えることを特徴とする画像処理装置。
【請求項１１】
画像調整量決定装置が、外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定ステップと、
前記画像調整量決定装置が、前記処理画像決定ステップにて決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出ステップと、
前記画像調整量決定装置が、前記画像特徴抽出ステップにて抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定ステップにて決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定ステップと、
を有することを特徴とする画像調整量決定方法。
【請求項１２】
コンピュータを、
外部から入力された、複数のフレーム画像から成る入力映像信号を受け取り、該入力映像信号を複数のフレーム画像に分解し、該複数のフレーム画像から所定の基準に基づいて、画像処理の対象となる処理対象画像、および表示順序において前記処理対象画像の近傍に位置する１つ以上の近傍画像を決定する処理画像決定手段と、
前記処理画像決定手段により決定された近傍画像に関する所定の特徴量を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された前記近傍画像に関する所定の特徴量に基づいて、前記処理画像決定手段により決定された処理対象画像に関する空間周波数成分の振幅および帯域幅の少なくとも一方の調整量を決定する画像調整量決定手段として、
機能させるための画像調整量決定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１３５９７７（Ｐ２００８−１３５９７７Ａ）
【公開日】平成２０年６月１２日（２００８．６．１２）
【国際特許分類】
【出願番号】特願２００６−３２０５８４（Ｐ２００６−３２０５８４）
【出願日】平成１８年１１月２８日（２００６．１１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２０年６月１２日（２００８．６．１２）
【国際特許分類】
【出願日】平成１８年１１月２８日（２００６．１１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]