画像処理方法及び装置並びにプログラム
【課題】低画質画像から高画質画像を生成する際の補間処理における処理速度の高速化を図るとともに、必要なメモリ容量の削減を可能とし、さらに復元された高画質画像におけるパッチ単位で生じる不自然さが解消された好ましい画像処理技術を提供する。
【解決手段】復元対象の低解像画像ｚに対して高周波成分が抽出され、高周波画像ｚ’が生成される（＃２０）。補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定され（＃２２）、ｘ＝Σ｛（（Ａ’ｉ×ｚ’）＋Ｂ’ｉ）×ｗｉ（（ｚ’ｉ−ｚ’），πｉ）｝で表される混合ガウスモデルを仮定し、高周波画像ｚ’に対してフィルタリング処理が施される（＃２４）。一方、低画質画像ｚの低周波成分及び中周波成分は拡大処理が施され（＃２６）、フィルタリング処理の処理結果と拡大処理の処理結果が加算され（＃２８）、高解像画像が復元される。
【解決手段】復元対象の低解像画像ｚに対して高周波成分が抽出され、高周波画像ｚ’が生成される（＃２０）。補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定され（＃２２）、ｘ＝Σ｛（（Ａ’ｉ×ｚ’）＋Ｂ’ｉ）×ｗｉ（（ｚ’ｉ−ｚ’），πｉ）｝で表される混合ガウスモデルを仮定し、高周波画像ｚ’に対してフィルタリング処理が施される（＃２４）。一方、低画質画像ｚの低周波成分及び中周波成分は拡大処理が施され（＃２６）、フィルタリング処理の処理結果と拡大処理の処理結果が加算され（＃２８）、高解像画像が復元される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び装置並びにプログラムに係り、特に低画質情報から処理前に存在しない高画質情報を生成（復元）するための補間、拡大、符号化処理に関する。
【背景技術】
【０００２】
低解像（低画質）の入力画像から高解像（高画質）の出力画像を生成する方法として、予め多数の画像内容について低解像度の画像と高解像画像のペア（対）を学習し、低解像の情報から高解像の情報への変換関係を求めておき、この変換関係を用いて低解像の入力画像から高解像の情報を含んだ画像を生成（復元）する様々な技術が提案されている。例えば、３次補間法として知られているバイキュービック法は、ニアレストネイバー法やバイリニア法などと比較して情報の損失が少なく、自然な画像が得られる手法であるものの、画像がぼけてしまう。
【０００３】
一方、低解像画像と高解像画像との対応関係を予め学習するとともに、低解像画像と高解像画像とのパッチ（所定の画素数ごとに分割された領域）ごとのペアとしてデータベース化して記憶しておき、この低解像画像と高解像画像とのパッチペアのデータベースを参照しながら低解像画像を高解像画像へ変換する方法が知られている。かかる手法は、データベース数×フィルタサイズ×画素数に比例する処理時間を必要とし、６４０×４８０画素程度の高解像画像を得る場合にはデータベース数が１０万個程度となり、データベースの記憶に必要な記憶容量が増大するとともに、変換処理に多くの処理時間が必要となる。
【０００４】
上記課題を解決する手法として、次の手法が知られている。図２２（ａ），（ｂ）は、上記課題を解決するための画像処理方法の概略構成を示す図である。同図に示す画像処理方法は、図２２（ａ）に図示される学習ステップにおいて、高解像画像ｘに対して縮小（間引き）処理を施し、高解像画像ｘとのペアとなる低解像画像ｚが得られる。そして、低解像画像ｚにおける注目画素とベクトルフィルタとの差分として、クラスタベクトルＹが生成される。
【０００５】
図２３（ａ），（ｃ）に図示した３×３サイズの９画素のうち、中心に位置するデータ値「１４」の１画素が注目画素であり、その周囲の８画素がベクトルフィルタである。図２３（ａ）に図示した注目画素ベクトルフィルタとの差分を演算（微分処理及び正規化処理）することで、図２３（ｂ）に図示した８次元のクラスタベクトルＹが生成される。同様に図２３（ｃ）に図示した注目画素とベクトルフィルタと差分を演算することで図２３（ｄ）に図示したクラスタベクトルＹが生成される。このクラスタベクトルＹは、低解像画素（低解像画素と高解像画素のペア）における画素ごとに生成される。
【０００６】
低解像画像の画素数と同数のクラスタベクトルＹが生成されると、クラスタベクトルＹの代表として代表ベクトルμｉ（ｉはクラス番号）が生成される。すなわち、低解像画像の画素数と同数のクラスタベクトルＹから、低解像画像の画素数よりも少ない数の代表ベクトルμｉが生成される。例えば、１０万個のクラスタベクトルに対して１００個程度の代表ベクトルμｉが生成される。この代表ベクトルμｉによって低解像画像の各画素は、ｉ個のクラスのいずれかに分類（クラス化）される。
【０００７】
代表ベクトルμｉの生成手法として、例えば、ＧＭＭ（ガウシアンミクスチャモデル）に対してＥＭアルゴリズムが適用された手法が挙げられる。このようにして、クラスタベクトルＹが代表値化された代表ベクトルμｉを求めることで、データベース数の大幅な削減が実現されている。そして、高解像画像ｘ、低解像画像ｚ、クラスタベクトルＹ、代表ベクトルμｉから補間フィルタ係数Ａｉ、Ｂｉ、μｉ（ｉはクラス番号）が生成される。
【０００８】
学習ステップで生成された補間フィルタ係数Ａｉ、Ｂｉ、μｉは、図２２（ｂ）に図示した復元ステップにおいて使用される。ここで、補間フィルタ係数Ａｉは、低解像画像における低周波成分から中周波成分の周波数成分を復元するために、クラスタベクトルＹよりも大きなサイズが必要である。例えば、補間フィルタ係数Ａｉとして、注目画素を中心とした５×５程度のサイズ（２５次元程度のベクトル）が必要である。
【０００９】
一方、図２２（ｂ）に示す復元ステップでは、入力された低解像画像ｚの高周波成分から画素ごとにクラスタベクトルＹが生成されるとともに、入力された低解像画像ｚとクラスタベクトルＹに応じた補間フィルタ係数Ａｉ、Ｂｉ、πｉ及び代表ベクトルμｉが設定される。すなわち、補間フィルタ係数Ａｉ、Ｂｉを用いた補間演算（（Ａｉ×ｚ）＋Ｂｉ））に対して、クラスタベクトルＹ及び代表ベクトルμｉ、補間フィルタ係数πｉを用いて決められた重み（ｗｉ（（μｉ−Ｙ），πｉ））により重み付けがされ、クラスごとに求められた演算結果がすべて加算され、出力としての高周波画像が生成される。
【００１０】
すなわち、入力された低解像画像ｚに対して合成行列（フィルタ係数）Ａｉを乗じ、バイアスＢｉを付加するとともに、代表ベクトルμｉと入力画素ごとのクラスタベクトルｙとの差分（μｉ−Ｙ）に応じた重みが乗じられる。この演算をｉについて繰り返し、すべてのクラスの加重和が算出され、高周波画像として出力される。かかる補間フィルタリング処理は、Σ（（Ａｉ・ｚ）＋Ｂｉ）・ｗｉ（（μｉ−Ｙ），πｉ）と表すことができる。なお、πｉは正規化処理における寄与率（クラスごとの寄与率）を意味し、Σπｉ＝１（すべてのクラスのπの合計が１）となっている。
【００１１】
非特許文献１には、前記した手法と同様の画像処理方法が開示されている。ここで、非特許文献１に係る画像処理方法の概略を説明する。非特許文献１に係る画像処理方法は、高解像画像ｘ（High-resolution pixels x）と低解像画像ｚ(Low-resolution image)とのペア（パッチペア）の代表値の組み合わせにより補間演算を行い、低解像画像ｚに存在していない高解像画像ｘの情報を補間し、低解像画像ｚを高解像画像ｘへ変換している。
【００１２】
図２４に示す入力の低解像画像(input pixel)は、５×５サイズのウインドウの中心に置かれ、この入力画素の周辺画素である５×５サイズのウインドウはベクトル化され、１×２５列の観測ベクトル(observation vector)ｚが生成される。この観察ベクトルｚが低周波成分から高周波成分までの全周波数領域に対する演算に用いられる。
【００１３】
一方、観測ベクトルｚに対して射影演算子(projection operator f)が適用され、クラスタベクトルｙ(cluster vector y)が生成される。クラスタベクトルｙは入力画素ごとに生成され、入力画素を特徴化してコンテクストクラス(classify)へ関連付けするためのものであり、上述したように、入力された低解像画像の注目画素を中心とする３×３サイズのウインドウから８次元のベクトルとして生成される（図２３（ａ）〜（ｄ）参照）。さらに、トレーニングステップにおいて、予め求められている分布パラメータθに基づき、コンテクストクラスごとの重み付けｗｉが決められる。
【００１４】
一方、オフラインのトレーニング手法により、前記した分布パラメータθ及び補間フィルタ係数Ψが予め求められる。この補間フィルタ係数Ψが適用されるフィルタリング(linear filter)によって高解像画像が生成される。この補間フィルタ係数Ψによるフィルタリングは、ｘ＝Σ（ｗｉ×（Ａ×ｚ＋β））と表すことができる。なお、Ａは補間関数、βはバイアスベクトルであり、先に説明したＡｉ及びＢｉと等価である。非特許文献１に開示された手法においても、入力画素ごとに求められるクラスタベクトルｙを代表値化することでデータベース数の大幅な削減が実現されている。
【００１５】
特許文献１は、通常の解像度の画像情報を高解像度の画像情報に変換して出力する装置を開示している。特許文献１に係る装置は、ＮＴＳＣ方式の映像信号（ＳＤデータ）に対応するハイビジョン方式の映像信号（ＨＤ画像）を推定するための係数データをクラスごとに予め学習により求めた上で、この係数データに基づきＳＤ画像が補間されるので、実際のＨＤデータにより近いデータが得られるように構成されている。
【００１６】
また、特許文献２は補間フィルタを用いて低解像画像の入力ピクセルを分類及び補間し、所定の収束条件が満たされるまで、分類及び補間フィルタの更新が繰り返されるように構成されたデジタル画像の空間解像度向上のための装置及び方法が開示されている。特許文献２の段落〔００４４〕には、トレーニング画像を得るために高解像画像から対応する低解像画像が得られる旨が記載されている。
【００１７】
特許文献３は、入力画像の特徴領域をモデル化して、低画質画像から高画質画像を生成するのに要する演算時間を削減する画像処理システムが開示されている。特許文献３の段落〔０１２４〕には、サンプル画像から高周波成分を抽出し、オブジェクトの画像の高周波成分を格納する旨が記載されている。
【００１８】
特許文献４は、動画像から静止画像を抽出する際に、順方向解析又は逆方向解析のいずれの方向の画像間解析が有効であるかを判定し、判定結果に基づいて抽出された静止画像に対し所定の超解像拡大処理が施される画像処理装置が開示されている。特許文献４の段落〔０１３０〕には、供給された画像情報から高周波成分を抽出する旨が記載されている。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】“OPTIMAL IMAGE SCALING USING PIXEL CLASSIFICATION”(https://engineering.purdue.edu/~bouman/publications / pdf/icip01atkins.pdf,C. Brian Atkins, Charles A. Bouman,Jan P. Allebach)
【特許文献】
【００２０】
【特許文献１】特許第３７２４００８号公報
【特許文献２】特開２００９−５２４８６１号公報
【特許文献３】特開２００９−２５３７６５号公報
【特許文献４】特開２００９−１８８８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、上記に説明した従来技術に係る画像処理方法は、高解像画像と低解像画像とのペアの代表値が５０〜１００クラス程度とまだ多く、これらを格納するための大容量のメモリが必要であるとともに、処理速度も十分に速いとはいえない。さらに、復元対象が低周波成分から高周波成分までの全周波数成分であるために、低周波成分から中周波数成分を復元するためのフィルタサイズを小さくすることができないという課題を有している。
【００２２】
また、復元対象が低周波成分から高周波成分までの全周波数成分であるのに対して、代表数（クラス数）を減らすための代表ベクトルμｉが高周波成分から求められているので、この周波数成分の不整合によりパッチ周期のアーチファクトが生じてしまう。つまり、図２３（ａ）〜（ｄ）を用いて説明した例のように、中心の１次元が「１４」と「−４」のように大きく変動すると、クラスタベクトルｙが大きく変動してしまい、類似したクラスに分類されにくく、結果として、隣接する入力画素から復元された画素間の滑らかさが欠けてしまうので、復元画像に不自然さが発生してしまう。
【００２３】
本発明はこのような事情に鑑みてなされたもので、低画質画像から高画質画像を生成する際の補間処理における処理速度の高速化を図るとともに、必要なメモリ容量の削減を可能とし、さらに復元された高画質画像におけるパッチ単位で生じる不自然さが解消された好ましい画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００２４】
前記目的を達成するために以下の発明態様を提供する。
【００２５】
発明１に係る画像処理方法は、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類のいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定工程と、復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、を含むことを特徴とする。
【００２６】
発明１における高周波成分抽出工程は、低画質画像のサイズを拡大する拡大工程が含まれていてもよい。
【００２７】
発明１に係る画像処理方法において、補間フィルタ係数及び代表高周波画像を記憶する記憶工程を含む態様が好ましい。
【００２８】
また、補間フィルタ係数の一例として、補間行列、バイアスベクトル、分類ごとの寄与率やこれらの組み合わせが挙げられる。
【００２９】
「高画質画像」は、低画質画像に存在しない情報が含まれる画像を包括する概念であり、その一例として、低画質画像（低解像画像）よりも解像度が高い高解像画像や、低画質画像と同一の解像度を有し、例えば、低画質画像に存在しない超高周波成分が含まれる画像などが挙げられる。
【００３０】
代表高周波画像の一例として、処理対象画素の画素値と該処理対象画素を中心とするｍ×ｎ（但し、ｍ、ｎは任意の正の整数であり、ｍ＝ｎでもよい）サイズの範囲に含まれる周辺画素の画素値との平均値から、処理対象画素及び周辺画素の画素値が減算された多次元（ｍ×ｎ次元）ベクトルで表される態様が挙げられる。
【００３１】
発明２に係る画像処理方法は、発明１に記載の画像処理方法において、前記補間フィルタ係数及び代表高周波画像を取得する取得工程を含むことを特徴とする。
【００３２】
発明２に係る画像処理方法の具体例として、補間フィルタ係数及び代表高周波画像が記憶されている記憶手段から、補間フィルタ係数及び代表高周波画像を読み出す態様が挙げられる。
【００３３】
発明３に係る画像処理方法は、発明１又は２に記載の画像処理方法において、前記補間フィルタ係数及び前記代表高周波画像は、互いに画質が異なる高画質学習画像及び低画質学習画像を含む学習画像対を用いた学習工程において生成され、前記学習工程は、前記高画質学習画像から前記低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記高画質画像の高周波成分が抽出された高周波高画質画像が生成される高周波高画質画像生成工程と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数を生成する補間フィルタ係数生成工程と、を含むことを特徴とする。
【００３４】
発明３に係る画像処理方法において、発明１に係る復元工程の復元条件に応じて、発明３に係る学習工程における学習が実行されるとよい。
【００３５】
発明４に係る画像処理方法は、発明３に記載の画像処理方法において、前記学習代表数を取得する学習代表数取得工程を含むことを特徴とする。
【００３６】
発明４に係る画像処理方法において、復元対象の低画質画像に対応した代表学習数が取得される態様が好ましい。
【００３７】
発明５に係る画像処理方法は、発明１乃至４のいずれかに記載の画像処理方法において、前記高画質画像生成工程は、前記代表高周波画像、前記高周波低画質画像、前記補間フィルタ係数、及び分類ごとの復元対象の低画質画像に応じた重みを用いて、少なくとも前記高周波低画質画像がパラメータに含まれる補間係数演算と、少なくとも前記高周波低画質画像がパラメータに含まれる重み係数との積の形式で表される混合ガウス分布又は混合多項分布の少なくともいずれかの分類数についての多重和で表される補間処理を実行して、前記高周波低画質画像に存在しない超高周波成分を生成することを特徴とする。
【００３８】
発明５に係る画像処理方法によれば、高周波低画質画像が補間係数演算と重み係数のパラメータとのパラメータとして共通化されるので、従来技術に係る画像処理方法における重み係数に固有のパラメータであるクラスタベクトルｙを生成する必要がない。
【００３９】
発明６に係る画像処理方法は、発明１乃至５のいずれかに記載の画像処理方法において、復元対象の低画質画像の画素数を復元後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大工程と、前記拡大工程の処理結果と前記高画質画像生成工程の処理結果とを加算する加算工程と、を含むことを特徴とする。
【００４０】
発明６に係る画像処理方法において、復元対象の低画質画像における低周波成分から中周波成分までの周波数成分に対して、拡大工程における拡大処理が施される態様が好ましい。
【００４１】
発明７に係る画像処理方法は、発明１乃至６のいずれかに記載の画像処理方法において、前記生成された高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする。
【００４２】
発明７に係る画像処理方法によれば、特定の少数クラス（分類）に寄与率が偏り過ぎる場合に、複数のクラスに寄与率を分散させることができる。
【００４３】
発明８に係る画像処理方法は、発明１乃至７のいずれかに記載の画像処理方法において、前記高画質画像生成工程は、前記高周波低画質画像が有するデータ値の大きさ、所定の大きさを超えるデータ値の頻度、及び所定の大きさを超えるデータ値の累積値のいずれかに応じて補間演算処理を実行するか否かを判定する補間演算処理実行判定工程を含むことを特徴とする。
【００４４】
発明８に係る画像処理方法によれば、復元対象の低画質画像において、補間演算を実行する領域を制限することで、当該画像処理全体の高速化を図ることが可能である。
【００４５】
発明９に係る画像処理方法は、発明８に記載の画像処理方法において、補間演算処理を実行するか否かを判定するための閾値を取得する閾値取得工程を含むことを特徴とする。
【００４６】
復元条件に応じて決められた複数の閾値のいずれかを選択的に取得する態様も好ましい。
【００４７】
発明１０に係る画像処理方法は、発明８に記載の画像処理方法において、前記加算工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行する判断したときは、前記高画質画像生成工程の処理結果と前記拡大工程の処理結果とを加算する処理を実行することを特徴とする。
【００４８】
発明１０に係る画像処理方法において、補間演算実行判定工程において補間演算を実行しないと判断したときは、拡大工程の処理結果が出力されるように構成する態様が好ましい。
【００４９】
発明１１に係る画像処理方法は、発明８に記載の画像処理方法において、前記加算工程の処理結果を出力するか、前記拡大工程の処理結果を出力するかを選択的に切り換える切換工程を含み、前記切換工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行すると判定されたときに前記加算工程の処理結果を出力し、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行しないと判定されたときに前記拡大工程の処理結果を出力することを特徴とする。
【００５０】
発明１１に係る画像処理方法によれば、必要に応じて補間演算処理が実行されるので、当該画像処理全体を高速化することが可能となる。
【００５１】
発明１２に記載の画像処理方法は、発明１乃至１１のいずれかに記載の画像処理方法において、前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴部分以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、前記高画質画像生成工程は、前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理を少なくとも前記特徴領域に対して施すことを特徴とする。
【００５２】
発明１２において、特徴領域として特定されない領域について補間演算により求められた演算結果について、第２の特徴領域を特定する第２の特徴領域特定工程を具備し、特徴領域及び第２の特徴領域を第１の圧縮強度で圧縮し、他の領域を第２の圧縮強度で圧縮する圧縮工程を具備する態様も可能である。
【００５３】
発明１３に係る画像処理方法は、高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、を含むことを特徴とする。
【００５４】
発明１３に係る画像処理方法において、代表学習数を取得する取得工程を含む態様が好ましい。
【００５５】
発明１４に係る画像処理装置は、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、を備えたことを特徴とする。
【００５６】
発明１４に係る画像処理装置において、発明２乃至１２のいずれかに記載の各工程に対応する機能を有する手段（ハードウェア）を備える態様も可能である。
【００５７】
発明１５に係るプログラムは、コンピュータを、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、として機能させることを特徴とする。
【００５８】
発明１５に係るプログラムにおいて、コンピュータを、高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成手段と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成手段と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成手段と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成手段と、前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成手段と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成手段として機能させることを特徴とするプログラムが含まれていてもよい。
【００５９】
また、発明１５に係るプログラムにおいて、発明２乃至１２のいずれかに記載の各工程に対応する手段（ハードウェア）として機能させるプログラムを構成することも可能である。
【発明の効果】
【００６０】
本発明に係る画像処理方法によれば、復元対象を高周波成分に限定することで、高画質画像生成工程における補間処理の処理時間が大幅に削減される。また、復元対象を高周波成分に限定してクラスタリングのバリエーションを減らすことで、クラス数を削減する効果も期待でき、加えて、補間フィルタのサイズが小さくなることによって、補間フィルタ係数を生成する際の処理時間の削減や、補間フィルタ係数を格納するためのメモリ容量の削減を図ることが可能となる。
【００６１】
さらに、補間処理に用いられる補間フィルタのサイズが小さくなることによって、メモリ容量の削減を図ることが可能となる。また、低周波成分から中周波成分まで周波数成分の復元結果と高周波成分の復元結果とを合成する際の不整合が回避され、復元された画像において復元処理単位で発生するアーチファクトの発生が回避される。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係る画像処理方法の概略構成を示す全体構成図
【図２】画像ベクトルの説明図
【図３】本発明の実施形態に係る画像処理方法における高周波成分及び超高周波成分の説明図
【図４】図１に示す画像処理方法の他の態様の説明図
【図５】図４に示す補間実行判定工程の説明図
【図６】重み付け加重和処理工程の説明図
【図７】本発明の実施形態に係る画像処理システムの一例を示す構成図
【図８】図７中の画像処理装置２２０の構成例を示すブロック図
【図９】図８中の特徴領域特定部２２６の構成例を示すブロック図
【図１０】画像内から特徴領域を特定する処理の一例を示す説明図
【図１１】画像内から特徴領域を特定する処理の他の例を示す説明図
【図１２】図９中の第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す説明図
【図１３】図８中の圧縮部２３２の構成例を示すブロック図
【図１４】圧縮部２３２の他の構成例を示すブロック図
【図１５】図７中の画像処理装置２５０の構成例を示すブロック図
【図１６】図１５中の画像処理部３３０の構成例を示すブロック図
【図１７】図１６中のパラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す図
【図１８】特定パラメータの重み付けの一例を示す図
【図１９】図７中の表示装置２６０の構成例を示すブロック図
【図２０】画像の表示エリアの一例を示す図
【図２１】他の実施形態に係る画像処理システムの例を示す構成図
【図２２】従来技術に係る画像処理方法の概略構成を示す全体構成図
【図２３】従来技術に係る画像処理方法におけるクラスタベクトルの説明図
【図２４】非特許文献１に記載された画像処理方法の説明図
【発明を実施するための形態】
【００６３】
以下、添付図面に従って本発明の実施形態について詳細に説明する。
【００６４】
〔概要〕
以下に説明する画像処理方法は、低解像の入力画像から高解像の画像を復元するものであり、低解像画像と高解像画像との変換関係を規定するための補間フィルタ係数を用いた変換（補間）演算により低解像画像に存在していない情報が補間され、高解像の情報が補間された高解像画像が生成される。
【００６５】
なお、本発明に係る画像処理方法は、解像度の変更を伴う画像変換処理に限定されるものではなく、同一の解像度を有する高画質画像及び低画質画像において、低画質画像には存在しない情報が補間された高画質画像を復元する画像処理への適用も可能である。以下の説明では、３２０×２４０画素を有する低解像画像から、６４０×４８０画素を有する高解像画像を生成する（低解像画像の１画素から高解像画像の４画素を生成する）処理を前提として説明する。
【００６６】
〔学習ステップの説明〕
画像処理を行うための準備段階として、事前に高解像画像から低解像画像を作成してデータを学習し、変換関係を規定する補間フィルタ係数を求めておく。このような処理を学習ステップという。そして、この学習ステップで得られた補間フィルタ係数を用いて、任意の低解像の入力画像から高解像の出力画像を得る工程を復元ステップと呼ぶ。
【００６７】
図１(ａ)は、学習ステップの概略構成を示す全体構成図である。また、図１（ｂ）は復元ステップの概略構成を示す全体構成図である。
【００６８】
図１（ａ）に示す学習ステップは、高解像画像ｘfile（学習画像ｘ）に対して、縮小処理（例えば、１画素ごとに画素を間引く処理）又はローパスフィルタ(LPF)などを用いたフィルタリング処理が施され、高解像画像ｘfileよりも解像度が低い低解像画像ｚfileが生成される低解像画像生成工程（＃１０）と、学習画像ｘfile及び低解像画像ｚfileに対してハイパスフィルタ(HPF)を用いたフィルタリング処理（高周波成分の抽出処理）が施され、高周波高解像画像ｘ’fileと高周波低解像画像ｚ’fileのペア（パッチペア）が生成される高周波成分抽出工程（＃１２）と、高周波高解像画像ｚ’fileからクラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）が生成される代表高周波画像生成工程（＃１４）と、高周波高解像画像ｘ’file、高周波低解像画像ｚ’file及び代表高周波画像ｚ’ｉに基づいて補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが算出される補間フィルタ係数生成工程（＃１６）と、を含んで構成されている。
【００６９】
低解像画像生成工程（＃１０）は、入力された高解像の学習画像ｘを、例えば、（１／２）×（１／２）や（１／４）×（１／４）などのように指定されたサイズへ縮小する処理が施される。同工程に適用される縮小法には、バイキュービック法、Ｂスプライン法、バイリニア法、ニアレストネイバー法などの手法を適用することができる。
【００７０】
高周波成分抽出工程（＃１２）は、入力された学習画像ｘ及び低解像画像ｚfileから高周波成分が抽出される処理（入力された学習画像ｘ及び低解像画像ｚfileに対して低周波成分及び中周波成分が抑制される処理）が施される。高周波成分抽出工程に適用されるフィルタの例として、アンシャープマスクに用いられるフィルタ（入力‐平均フィルタ）、ラプラシアン（二次微分）、グラジエント（一次微分）等が挙げられる。
【００７１】
高周波成分抽出工程において抽出される高周波成分の一例として、サンプリング定理におけるナイキスト周波数が挙げられる。すなわち、入力画像について、出力画像におけるナイキスト周波数に対応する周波数をしきい値として、高周波成分抽出処理を行なうことで、入力画像の低周波成分に含まれる画質劣化要因を取り除くことができ、好ましい高画質画像が復元される。
【００７２】
なお、高周波成分抽出工程において抽出される高周波成分は、いわゆるカットオフ周波数（レスポンスが-3dBとなる周波数）としてもよく、入力画像（低解像画像）や出力画像（高周波画像）の解像度などの条件に応じて適宜設定される。
【００７３】
すなわち、高周波成分抽出工程では低解像画像ｚfileから高周波低解像画像ｚ’file（画像ベクトルｚ’）が生成される。図２（ａ）〜（ｄ）は、高周波成分抽出工程における入力と出力との関係が模式的に表された図である。図２（ａ）は、低解像画像ｚfileの注目画素（データ値「１４」の画素）と、該注目画素を中心とした周辺画素（３×３サイズのデータ値「５」の画素）が図示されている。各画素の値と注目画素及び注目画素の周辺画素の平均（（５×８）＋１４）／９＝６との差分を演算することで、図２（ｂ）に示すように、９次元の画像ベクトルｚ’が生成される。同様に、図２（ｃ）に示す３×３サイズの入力から図２（ｄ）に示す９次元の画像ベクトルｚ’が生成される。
【００７４】
代表高周波画像生成工程（＃１４）は、画像ベクトルｚ’を代表値化する工程であり、クラス数と同数の代表高周波画像ｚ’ｉが生成される。代表高周波画像ｚ’ｉは、従来技術におけるクラスタベクトルｙから代表ベクトルμｉを生成する手法と同様に、ＧＭＭ（混合正規分布モデル）にＥＭアルゴリズムが適用された手法が適用される。すなわち、ＥＭアルゴリズムのＥステップにおいて条件確率の推測が行なわれ、ＭステップにおいてＥステップの推測値を用いた尤度関数の最大化が行なわれ、現在の条件確率で尤度関数が最大化され、次の条件確率が求められ、尤度関数の出力が安定するまでＥステップとＭステップのループ演算が繰り返し実行される。
【００７５】
なお、ＧＭＭの他に混合ディリクレモデル等を用いてもよいし、ＥＭアルゴリズムに代わり、変分ベイズ法、ＭＣＭＣ（マルコフ連鎖モンテカルロ）、ギブスサンプラー等を用いてもよい。
【００７６】
かかる演算において、k-means法により画像ベクトルｚ’のクラスごとの重心を求めて分類し、初期状態の設定としてもよい。例えば、１００クラスで１０万画素を学習するには、１万回程度の学習が行なわれる。この場合の収束条件はｅ−１０である。代表高周波画像生成工程における処理は、次式（１）〜（４）で表される演算処理が繰り返し実行される。
【００７７】
【数１】
なお、式（１）における「Ｎ」は高解像画像ｘfile及び低解像画像ｚfileのペア（トレーニングセット）から生成されるトレーニングベクトル（ｚ，ｘ）の数、トレーニングセットのペアにおける低解像画像の画素のセットをＳとしたときのトレーニングセットから抽出されたトレーニングベクトルを｛（ｚｓ，ｘｓ）｝ｓ∈Ｓと表す。
【００７８】
式（２）における「πｉ」はｉ番目のクラスの存在確率であり、式（３）における「ｐｉ｜ｚ’（ｉ｜ｚ’，θ）」は高周波画像ｚ’がクラスｉに存在する確率、「ｐｉ｜ｚ’（ｉ｜ｚ’）」はｉ、ｚ’についての多変量ガウス型密度式や多変量ディリクレ型密度式である。（４）における「σ２」は画像ベクトルｚ’の要素の標本分散の平均、「ｄ」は画像ベクトルｚ’の要素数、Ｍはクラス数である。なお、式（２）における「θ」はＥＭアルゴリズムによって最尤推定され（θmaxが決定され）、これが代入されるため変数としては存在しなくなる。
【００７９】
補間フィルタ係数生成工程（＃１６）は、復元工程における補間演算に用いられる補間フィルタ係数が生成される工程である。補間フィルタ係数生成工程において、高周波高解像画像ｘ’file及び高周波低解像画像ｚ’fileのペアと代表高周波画像ｚ’ｉとを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが生成される。補間フィルタ係数Ａ’ｉは補間行列あり、次式（５）により表される。また、補間フィルタ係数Ｂ’ｉはバイアスベクトルであり、次式（６）により表される。πｉはｉ番目のクラスの存在確率（寄与率）であり、すべてのクラスの合計が１となるように正規化され、上記式（２）で表される。
【００８０】
【数２】
なお、上記した補間フィルタＡ’ｉ、Ｂ’ｉ、πｉ係数はあくまでも一例であり、復元工程における補間演算に応じて補間フィルタ係数は適宜決められている。
【００８１】
以上説明した学習ステップにおいて生成された代表高周波画像ｚ’ｉ及び補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉは、次に説明する復元ステップに提供される。なお、図示は省略するが、補間フィルタ係数生成工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが所定のメモリに記憶される記憶工程を含む態様が好ましい。また、学習ステップは後述する復元ステップにおける復元条件に合わせた学習が行なわれることが好ましい。
【００８２】
復元条件として、復元対象の低解像画像と復元後の高解像画像との解像度比、低解像画像と高解像画像とのサイズ比、復元対象の（復元後の高解像画像に付加される）周波数成分、復元後の高解像画像の記憶容量などが挙げられる。
【００８３】
以上説明した学習ステップでは、従来技術に係る学習ステップにおいて補間フィルタ係数を生成するためのクラスタベクトルｙを画像ベクトルｚ’に置き換えることができるので、クラスタベクトルｙが不要となり、該クラスタベクトルｙを生成する工程（図２２、２４（ａ）参照）を備える必要がない。
【００８４】
〔復元ステップの説明〕
次に、復元ステップについて説明する。復元ステップは、入力画像（低解像画像ｚ）から高解像画像が生成され、出力される。復元ステップは入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。本例では、入力画像を所定サイズの複数のパッチに分割し、該パッチごとに処理を行うことを前提とする。（FJ2009-379の修正に合わせて修正10.2.4）
図１（ｂ）に示す復元ステップは、復元対象の低解像画像ｚから高周波成分が抽出され、画像ベクトルｚ’が生成される高周波成分抽出工程（＃２０）と、入力された低解像画像ｚの画素ごとに、図１（ａ）に示す学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定される補間フィルタ係数設定工程（＃２２）と、低解像画像ｚから生成された画像ベクトルｚ’に対して、補間フィルタ係数設定工程において設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ’及び代表高周波画像ｚ’ｉを用いたフィルタリング処理が施される補間フィルタリング工程（＃２４）と、低解像画像ｚに対してバイキュービックなどの手法を用いた拡大処理が施される補間フィルタ係数設定工程（＃２６）と、補間フィルタリング工程により生成された高解像画像の超高周波成分に、拡大処理工程において拡大された高解像画像の低周波成分から高周波成分が加算され、低周波成分から超高周波成分にわたる全周波数成分を含む高解像画像が生成される加算工程（＃２８）と、を含んで構成されている。
【００８５】
図１（ｂ）に示す復元ステップにおける各工程を経て、入力された低解像画像ｚの１画素に対する出力として、低解像画像に存在していない情報が補間された高解像画像の４画素が得られる。
【００８６】
すなわち、補間フィルタ係数を用いた変換処理が施されて生成された高解像画像の超高周波成分に、低解像画像ｚに対して拡大処理が施されて生成された高解像画像の低中高周波成分が加算され、低解像画像ｚに存在していない超高周波成分の情報が含まれる高解像画像が生成される。
【００８７】
高周波成分抽出工程は、ハイパスフィルタを用いた低周波成分及び中周波成分の抑制処理（高周波成分抽出処理）に拡大処理を加えた構成としてもよい。高周波成分抽出工程における高周波成分抽出処理の内容は図１（ａ）に図示した処理と共通しているので、ここでは説明を省略する。
【００８８】
補間フィルタ係数設定工程は、学習ステップにおいて予め生成されている補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定されるとともに、入力された低解像画像ｚに応じた重み係数ｗｉが設定される。補間フィルタリング工程は、補間フィルタ係数設定工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像画像（低周波画像ｚに存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、次式（７）により表される混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代わり混合ディリクレモデル等の混合多孔分布を仮定してもよい。
【００８９】
【数３】
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じるとともに、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けがされ、すべてのクラスについて加重和が求められる。重みｗｉは代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）及び対象画素のクラスごとの寄与率πｉに応じて算出される。
【００９０】
このようにして、高周波低解像画像ｚ’（入力ｚ’）の高周波成分（図３（ａ）において斜線ハッチが付された周波周領域）が有する情報に基づいて、高解像画像ｘ’（出力ｘ’）における超高周波成分（図３（ｂ）において斜線ハッチが付され領域）の情報が補間される。かかる超高周波成分のデータに対して、拡大処理工程により処理が施された高周波画像における低周波成分から高周波成分までのデータが加算され、低周波成分から超高周波成分までのすべての周波数成分を有する出力画像（高解像画像）が生成される。
【００９１】
本例では、画素数を増やして出力用の超高周波成分から成る画像の画素数と、低周波成分画像から高周波成分の周波数成分から成る画像の画素数と、を一致させる機能としての高周波低解像画像ｚ’fileに対する拡大処理が、補間フィルタリング工程の中で超高周波成分に変換される機能と一括して行われる態様を例示したが、高周波低解像画像ｚ’fileに対する拡大処理は、高周波成分抽出工程の前段や高周波成分抽出工程の後段で実行されてもよい。
【００９２】
上記の如く構成された画像処理方法によれば、復元対象を高周波成分に限定することで、補間に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉのサイズが小型化され、高速処理が可能となるとともに補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが記憶される記憶容量の削減が可能となる。
【００９３】
また、クラスタリング対象のバリエーションを削減するためのクラスタベクトル生成をやめ、クラスタリング対象と復元対象とを共通に高周波化することで、両者が異なることによる復元画像における不整合解消され、パッチ周期で出現するアーチファクトが低減化される。さらに、図２（ａ）〜（ｄ）に示したように、パッチ（画像ベクトルを構成する３×３サイズの画素）中心の輝度を表現するためのベクトル要素についてクラスタリング対象と復元対象を一致させ、結果的に新たなベクトル要素を１次元設けることで（９次元の画像ベクトルを生成することで）、輝度正規化基準がパッチ中心の画素からパッチ全体となり、パッチ間のつながり度合いが向上される。
【００９４】
さらに、復元対象を低解像画像の高周波成分に限定するために設けられたハイパスフィルタによって、低解像画像の低周波成分から中周波成分までに重畳されたノイズ成分が除去されるという効果が得られる。
【００９５】
なお、上記実施形態では画像処理方法について説明したが、上記に説明した各工程と同一の機能が実現されるハードウェアに置き換えることも可能である。例えば、図１（ａ）の低解像画像生成工程（＃１０）、高周波成分抽出工程（＃１２）、代表高周波画像生成工程（＃１４）、補間フィルタ係数生成工程（＃１６）をそれぞれ、低解像画像生成部、高周波成分抽出部、代表画像生成部、補間フィルタ係数生成部に置き換えるとともに、高周波成分抽出工程（＃２０）、補間フィルタ係数設定工程（＃２２）、補間フィルタリング工程（＃２４）、拡大処理工程（＃２６）、加算工程（＃２８）をそれぞれ、高周波成分抽出部、補間フィルタ係数設定部、補間フィルタリング部，拡大処理部、加算部に置き換えて画像処理装置を構成することも可能である。また、上記した画像処理方法の各工程をコンピュータにより実現するプログラムとして構成することも可能である。
【００９６】
〔第２実施形態〕
次に、本発明の第２実施形態に係る画像処理方法について説明する。以下に説明する第２実施形態は、先に説明した第１実施形態に係る画像処理方法に対して新たな機能が追加されている。なお、以降の説明において、先の説明と同一又は類似する部分には同一の符号を付し、その説明は省略する。
【００９７】
図４（ａ）は、本発明の第２実施形態に係る学習ステップの概略構成を示す全体構成図であり、図４（ｂ）は復元ステップの概略構成を示す全体構成図である。図４（ａ）に示す学習ステップは、図１（ａ）に図示した学習ステップに、学習代表数（クラス数、代表高周波画像ｚ’ｉの数）を外部から取得する学習代表数取得工程（＃１９）が追加されている。
【００９８】
すなわち、学習対象の画像に応じて適宜学習代表数を決められるので、学習ステップにおいて効率よく各工程を実行することができ、学習ステップにおいて求められる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉの数が最適化される。
【００９９】
図４（ｂ）に示す復元ステップは、図１（ｂ）に図示した復元ステップに、外部から補間フィルタ係数Ａｉ、Ｂｉ、πｉ及び代表高周波画像ｚ’ｉを取得する補間フィルタ係数取得工程（＃３０）と、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いた補間処理を実行するか否かを判定する補間実行判定工程（＃３２）と、補間実行判定に用いられる判定閾値を外部から取得する閾値取得工程（＃３４）と、高周波低解像画像ｚ’fileに正規化処理を施す正規化処理工程（＃３６）と、補間実行判定工程の判定結果に従って、加算工程（＃２８）において加算された低周波成分から超高周波成分までの全周波数領域の情報を含む画像と拡大工程（＃２６）により拡大された画像とのいずれかを選択的に出力する選択出力（セレクタ）工程（＃３８）と、を含んで構成される。
【０１００】
また、加算工程（＃２８）は、補間実行判定工程における判定結果に応じて加算処理が実行されるように構成されている。
【０１０１】
補間実行判定工程（＃３２）は、高周波画像ｚ’Fileに応じた補間実行判定が行なわれる。すなわち、補間実行判定工程の判定結果に応じて、補間フィルタ係数設定工程、補間フィルタリング工程、加算工程及び選択出力工程の処理が決められる。
【０１０２】
補間実行判定には、高周波画像ｚ’Fileの持つデータの高周波成分の大きさ（振幅）、高周波成分の頻度（局所領域内の閾値を超えるデータを持つ画素数、局所領域内の累積振幅数）等を用いることが可能である。図５は、高周波成分の大きさ（データの絶対値）に対して所定の閾値ＴＨが設定された例を示す図である。かかる場合において、処理対象の高周波画像ｚ’のデータの絶対値が閾値ＴＨを超える場合（図５中、破線を超えるデータを有する位置）は、補間フィルタ係数設定工程において補間フィルタ係数が設定され、補間フィルタリング工程においてフィルタリング処理が実行され、加算工程において加算処理が実行され、選択出力工程において加算処理された高解像画像を出力するように指示される。
【０１０３】
一方、処理対象の高周波画像ｚ’のデータの絶対値が所定の閾値以下の場合（図５中、破線以下のデータを有する位置）は、補間フィルタ係数設定工程、補間フィルタリング工程、及び加算工程に処理停止が指示されるとともに、選択出力工程において拡大処理工程により拡大処理された画像を出力するように指示される。
【０１０４】
すなわち、処理速度を重視する場合において、閾値判定により処理対象画素（領域）について復元処理が必要であるか否かが判断され、復元処理が必要である画素のみに復元処理が実行される。このようにして、補間処理が施される復元処理の対象を制限することで処理速度を向上させることが可能となる。
【０１０５】
例えば、人物の顔がデータ値１又は０の二値で表現された二値画像に対する処理を考えたときに、データ値１で表される領域（黒領域）は補間フィルタ係数を用いたフィルタリング処理（高解像化処理）を施し、データ値０で表される領域（白領域）は拡大処理などの高解像化処理以外の処理を施すことで、処理時間がかかる高解像化処理を施す領域を限定して、全体として処理速度の高速化を図ることが考えられる。
【０１０６】
なお、選択出力工程に変わり、重み付け加重和処理工程を具備する態様も好ましい。重み付け加重和処理工程は、加算工程の処理結果（出力Ｉ１）及び拡大処理工程の処理結果（出力Ｉ２）に対して、処理対象の高周波画像ｚ’のデータの絶対値から求めた重みｗ１、ｗ２（＝１−ｗ１）を乗じ、重み付けされた処理結果（Ｉ１×ｗ１＋Ｉ２×ｗ２）が加算されるように構成される。処理対象の高周波画像ｚ’のデータの絶対値が大きいほど加算工程の処理結果が支配的になるように（ｗ１の値がｗ２の値に対して大きくなるように）重みが決められる。重み付け加重和処理工程は画質重視の処理を実行する場合に有効である。
【０１０７】
図６に示すように、重み付け加重和処理工程に用いられる重みｗ１（ｗ２）は線形でもよいし、非線形（閾値ＴＨまでの線形関数やシグモナイド関数等）でもよい。
【０１０８】
正規化処理工程（＃３６）は、入力された高周波低解像画像ｚ’fileのｎ乗ノルム｜ｚ’｜が算出され、ｚ’／｜ｚ’｜が出力される。ｎは１前後の値から任意に選択される。正規化処理工程を具備する構成によれば、特定の少数のクラスに寄与率が偏り過ぎる場合に複数のクラスに寄与率を分散させることができ、フィルタリングされた画像の頑健性向上が見込まれる。一方、正規化処理による均一化によりクラス数が増え、演算量が増える可能性がある。なお、正規化処理工程は、補間実行判定工程の結果に従って処理を実行するか否かが決められる。なお、本発明に係る画像処理方法は、正規化処理工程を備える態様が好ましいが必須の構成ではない。
【０１０９】
なお、第１実施形態と同様に、図４（ａ）及び図４（ｂ）に図示した各工程と同一の機能を有するハードウェアを用いて画像処理装置を構成することが可能である。また、図４（ａ）及び図４（ｂ）に図示した各工程の機能をコンピュータに実行させるプログラムを作成することも可能である。
【０１１０】
本例に示す画像処理方法において、学習ステップに用いられる学習画像セットの対象を限定することは必須ではないが、自然物、ＣＧ（コンピューターグラフィックス）といった復元対象に適合した対象とすることが好ましい。また、学習画像セットを以下のように限定することで、さらなる高画質化が期待される。
【０１１１】
例えば、学習画像セットの対象として人物の顔が挙げられる。また、顔の他に頭部または人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部を含む領域に対象を限定することが考えられる。なお、「生体」とは、生体内部の血管等のように生体内部に存在する特定の組織が含まれる。また、内視鏡システムや顕微鏡システムにおける、生体内部の腫瘍組織、細胞、タンパク質、ＤＮＡ、ＲＮＡ等の高分子、低分子の物質を対象とすることも可能である。
【０１１２】
さらに、生体の他にも、薬等の化合物や、認証システムにおける貨幣、キャッシュカード等のカード類、監視カメラシステムにおける車両や車両のナンバープレート、複写機等のスキャナ機器により読み取られたドキュメントの画像、文字、図形、表、写真などを対象とすることも可能である。
【０１１３】
また、本例では、超解像処理について説明したが、本発明を適用可能な画像処理は超解像処理に限定されず、折り返し成分を低減した縮小処理、多色数化処理、多階調化処理、ノイズ低減化処理、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減化させるアーチファクト低減化処理、ボケ低減化処理、シャープネス化処理、高フレームレート化処理、広ダイナミックレンジ化処理、色階調補正処理、歪み収差化処理、符号化などの射影処理にも適用可能である。
【０１１４】
例えば、ノイズ低減化処理の場合、ノイズが含まれる画像とノイズが含まれない画像とをペアとして射影関係が学習される。すなわち、処理前の画像と処理後の画像とのペアを準備し、それぞれの処理前画像と処理後画像との射影関係を学習しておき、かかる射影処理に適用される演算子や関数等が予め準備される。
【０１１５】
〔応用例〕
次に、本発明の実施形態に係る応用例として、監視システムへの適用例について説明する。監視システムにおいて、監視カメラにより取得された低画質画像を高画質画像へ変換し、該高画質画像をモニタに表示することや印刷装置により該高画質画像を印刷することが可能となる。
【０１１６】
図７は、本発明の実施形態に係る画像処理システム２００の一例を示す。以下に説明
する画像処理システム２００は、一例として監視システムとして機能することができる。
【０１１７】
画像処理システム２００は、監視対象空間２０２を撮像する複数の撮像装置２１０ａ−ｄと、これら撮像装置２１０ａ−ｄにより撮像された撮像画像を処理する画像処理装置２２０、通信ネットワーク２４０、画像処理装置２５０、画像データベース（ＤＢ）２５５、及び複数の表示装置２６０ａ−ｅを備える。画像処理装置２５０は、監視対象空間２０
２とは異なる空間２０５（例えば、監視対象空間２０２から遠く離れた場所）に設置することができ、表示装置２６０ａ−ｅについても監視対象空間２０２や画像処理装置２５０の設置空間２０５とは異なる空間２０６に設けることができる。
【０１１８】
撮像装置２１０ａは、撮像部２１２ａ及び撮像画像圧縮部２１４ａを有している。撮像部２１２ａは、監視対象空間２０２を連続して撮像することによって複数の撮像画像を撮像する。撮像部２１２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部２１４ａは、撮像部２１２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をＭＰＥＧ符号化その他の符号化方式により圧縮して動画データを生成する。撮像装置２１０ａは当該生成した動画データを画像処理装置２２０に出力する。
【０１１９】
他の撮像装置２１０ｂ、２１０ｃ、２１０ｄもそれぞれ撮像装置２１０ａと同様の構成を有し、各撮像装置２１０ａ−ｄにより生成された動画データは画像処理装置２２０に送られる。なお、以下の説明において、撮像装置２１０ａ−ｄを撮像装置２１０と総称する場合がある。同様に、表示装置２６０ａ−ｅを表示装置２６０と総称する場合があり、以後の説明においては、類似する構成要素に付した符号の末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
【０１２０】
画像処理装置２２０は、撮像装置２１０から取得した動画データを復号することにより、動画を取得する。画像処理装置２２０は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物２７０が撮像された領域、車輌等の移動体２８０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置２２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
【０１２１】
また、画像処理装置２２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、若しくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。
画像処理装置２２０は、当該生成した特徴領域情報を圧縮動画データに付帯して、通信ネットワーク２４０を通じて画像処理装置２５０に送信する。
【０１２２】
画像処理装置２５０は、特徴領域情報が対応付けられた圧縮動画データを画像処理装置２２０から受信する。画像処理装置２５０は、圧縮動画データに対応付けられている特徴領域情報に対応付けて、当該圧縮動画データを画像ＤＢ２５５に記憶させる。なお、画像ＤＢ２５５は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像ＤＢ２５５は、圧縮された撮像画像を記憶する。
【０１２３】
また、画像処理装置２５０は、表示装置２６０からの要求に応じて、画像ＤＢ２５５から圧縮動画データ及び特徴領域情報を読み出し、当該読み出した圧縮動画データをこれに付帯する特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク２４０を通じて表示装置２６０に送信する。表示装置２６０は、画像の検索条件などを入力し得るユーザーインターフェースを具備し、画像処理装置２５０に対して各種の要求を送信できるとともに、画像処理装置２５０から受信した表示用動画を表示する。
【０１２４】
また、上記の動画表示に代えて、又は、これと組み合わせて、画像処理装置２５０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像並びにその特徴領域を特定することも可能である。そして、画像処理装置２５０は、この特定した撮像画像を復号して、表示装置２６０に提供することにより、要求にかかる検索条件に合致した画像を表示装置２６０に表示させてもよい。
【０１２５】
なお、画像処理装置２５０は、画像処理装置２２０から取得した圧縮動画データを、これに対応する特徴領域情報を利用して伸張して表示用動画を生成してから画像ＤＢ２５５に記憶させてもよい。また、このとき画像処理装置２５０は、特徴領域情報を対応付けて表示用動画を画像ＤＢ２５５に記憶させてもよい。かかる態様によれば、画像処理装置２５０は、表示装置２６０からの要求に応じて画像ＤＢ２５５から表示用動画（伸張済み）を読み出して、特徴領域情報とともに表示装置２６０に送信し得る。
【０１２６】
また、画像処理装置２５０から伸張済みの表示用動画を表示装置２６０に提供する態様に代えて、表示装置２６０内で圧縮動画データを伸張処理して表示用画像を生成してもよい。すなわち、表示装置２６０は、画像処理装置２５０又は画像処理装置２２０から特徴領域情報及び圧縮動画データを受信してもよい。かかる態様において、表示装置２６０は、受信した圧縮動画データを復号して表示装置２６０に表示させる場合に、復号して得られた撮像画像における特徴領域を一旦単純拡大して表示装置２６０に表示させてよい。
【０１２７】
更に、表示装置２６０は、表示装置２６０における処理容量に応じて各特徴領域の画質を決定して、決定した画質で特徴領域の画像を高画質化してもよい。表示装置２６０は、表示装置２６０が表示している撮像画像における特徴領域の画像を、高画質化した特徴領域の画像で差し替えて表示装置２６０に表示させてもよい。この差し替え表示を行う際の高画質化の処理手段として本発明に係る画像処理方法を利用した超解像の手段を利用することができる。つまり、表示装置２６０内に本発明に係る画像処理方法が適用された画像処理装置を搭載することができる。
【０１２８】
本例の画像処理システム２００によると、特徴領域を示す情報を動画に対応付けて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、本例の画像処理システム２００によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【０１２９】
なお、図７に示した記録媒体２９０は、画像処理装置２２０、画像処理装置２５０、表示装置２６０用のプログラムを記憶している。記録媒体２９０が記憶しているプログラムは、本実施形態に係る画像処理装置２２０、画像処理装置２５０、表示装置２６０としてそれぞれ機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、図７及び以後の図面に関連して説明される画像処理装置２２０、画像処理装置２５０、表示装置２６０などとして当該コンピュータを機能させる。
【０１３０】
記録媒体２９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤ又はＰＤ等の光学記録媒体、ＭＯ又はＭＤなどの光磁気記録媒体、テープ媒体又はハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワーク或いはインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置が記録媒体２９０として機能することもできる。
【０１３１】
以下、本例の画像処理システム２００における画像処理装置２２０、２５０、表示装置２６０の構成例について更に詳細に説明する。
【０１３２】
（画像処理装置２２０の説明）
図８は、画像処理装置２２０のブロック構成の一例を示す。画像処理装置２２０は、画像取得部２２２、特徴領域特定部２２６、外部情報取得部２２８、圧縮制御部２３０、圧縮部２３２、対応付け処理部２３４、及び出力部２３６を備える。画像取得部２２２は、圧縮動画取得部２２３及び圧縮動画伸張部２２４を有する。
【０１３３】
圧縮動画取得部２２３は、撮像装置２１０（図７参照）が生成した、符号化された動画データを取得する。圧縮動画伸張部２２４は、圧縮動画取得部２２３が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２２４は、圧縮動画取得部２２３が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像であってよく、フィールド画像であってもよい。
【０１３４】
圧縮動画伸張部２２４によって得られた複数の撮像画像は、特徴領域特定部２２６及び圧縮部２３２に供給される。特徴領域特定部２２６は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域特定部２２６は、複数の撮像画像のそれぞれから特徴領域を検出する。
【０１３５】
例えば、特徴領域特定部２２６は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域特定部２２６は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。特徴領域特定部２２６は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出し得る。
【０１３６】
特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標として分類される種類であってよい。また、オブジェクトの種類は、オブジェクトの形状又はオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域特定部２２６は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
【０１３７】
（特徴領域検出方法の例１）
例えば、特徴領域特定部２２６は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域特定部２２６は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
【０１３８】
特徴領域特定部２２６は、上記の人物の顔の他にも、人物の頭部又は人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。
【０１３９】
画像処理システム２００と同様の構成を内視鏡システムに応用した場合など、生体内部の画像を処理する場合には、生体内部の血管等のように、生体の内部に存在する特定の組織や生体内部の腫瘍組織を対象とすることもできる。生体以外にも、特徴領域特定部２２６は、貨幣、キャッシュカード等のカード、車輌、或いは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
【０１４０】
（特徴領域検出方法の例２）
また、特徴領域特定部２２６は、テンプレートマッチング等によるパターンマッチングの他にも、例えば、特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域特定部２２６は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。
【０１４１】
上述の例１、２に限らず、様々な方法によって特徴領域を検出することが可能であり、特徴領域特定部２２６は、適宜の方法により、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域特定部２２６は、検出した特徴領域を示す情報を、圧縮制御部２３０に供給する。なお、特徴領域を示す情報には、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、及び特徴領域が検出された動画を識別する情報を含めることができる。
【０１４２】
圧縮制御部２３０は、特徴領域特定部２２６から取得した特徴領域を示す情報に基づいて、圧縮部２３２による動画の圧縮処理を制御する。圧縮部２３２は、圧縮制御部２３０による制御により、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部２３２は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部２３２は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。
【０１４３】
なお、特徴領域特定部２２６が複数の特徴領域を検出した場合、圧縮部２３２は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部２３２は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。
【０１４４】
対応付け処理部２３４は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応付ける。具体的には、対応付け処理部２３４は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応付ける。そして、出力部２３６は、対応付け処理部２３４によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置２５０に出力する。
【０１４５】
外部情報取得部２２８は、特徴領域特定部２２６が特徴領域を特定する処理に用いるデータを、画像処理装置２２０の外部から取得する。特徴領域特定部２２６は、外部情報取得部２２８が取得したデータを用いて特徴領域を特定する。外部情報取得部２２８が取得するデータについては、後述の図９に示したパラメータ格納部６５０との関連で説明する。
【０１４６】
（特徴領域特定部２２６の構成例）
図９は、特徴領域特定部２２６のブロック構成の一例を示す。特徴領域特定部２２６は、第１特徴領域特定部６１０、第２特徴領域特定部６２０、領域推定部６３０、高画質化領域決定部６４０、パラメータ格納部６５０、及び画像生成部６６０を有する。第２特徴領域特定部６２０は、部分領域判断部６２２及び特徴領域判断部６２４を含む。
【０１４７】
第１特徴領域特定部６１０は、画像取得部２２２から動画に含まれる動画構成画像である撮像画像を取得し、この取得した撮像画像から特徴領域を特定する。第１特徴領域特定部６１０は、既述の「特徴領域検出方法の例１，例２」で例示した検出方法を用いて特徴領域を検出することにより、撮像画像から特徴領域を特定してよい。
【０１４８】
画像生成部６６０は、第１特徴領域特定部６１０により特徴領域（「第１特徴領域」に相当）として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成する。この画像生成部６６０における高画質画像を生成する手段には、本発明に係る画像処理方法を利用することができる。
【０１４９】
第２特徴領域特定部６２０は、画像生成部６６０で生成された高画質画像から特徴領域（「第２特徴領域」に相当）を探索する。第１特徴領域特定部６１０及び第２特徴領域特定部６２０が特定した特徴領域は、いずれも特徴領域特定部２２６が特定した特徴領域として圧縮制御部２３０に供給される。
【０１５０】
なお、第２特徴領域特定部６２０は、画像生成部６６０から得た高画質画像を基に、第１特徴領域特定部６１０よりも一層詳細に特徴領域を探索してよい。例えば、第２特徴領域特定部６２０は、第１特徴領域特定部６１０で特徴領域を特定する検出精度よりも高精度に特徴領域を検出する検出器が実装されてよい。すなわち、第１特徴領域特定部６１０として実装する検出器の検出精度よりも高精度に検出することができる検出器を第２特徴領域特定部６２０として実装してよい。
【０１５１】
また、別の形態として、第２特徴領域特定部６２０は、第1特徴領域特定部６１０に入力されるものと同じ入力画像（高画質化処理をしない画像）から、第１特徴領域特定部６１０よりも一層詳細に特徴領域を探索してもよい。
【０１５２】
画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより優先的に高画質化した高画質画像を、撮像画像から生成してよい。また、画像生成部６６０は、撮像画像に対する画像処理により、高画質画像を生成してよい。
【０１５３】
画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定した後に、第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成してよい。このように、「第１特徴領域特定部６１０により特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定した段階においては、第１特徴領域特定部６１０により特徴領域として特定されなかった領域であってよい。この場合、第２特徴領域特定部６２０により、特徴領域が再度探索されることになる。
【０１５４】
他にも、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定していない段階においては、第１特徴領域特定部６１０により特定されないことが予測される領域であってよい。例えば、第１特徴領域特定部６１０が予め定められた条件に適合する領域を特徴領域として検出する場合において、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、当該条件に適合しない領域であってよい。画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定していない段階で、高画質画像を生成してよい。
【０１５５】
なお、本ブロック図（図９）では、第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、異なる機能ブロックで示されているが、単一の機能要素で実装され得ることは当然である。例えば、第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、特徴領域検出用の電気回路などのハードウェア要素、特徴領域検出用のソフトウェアなどのソフトウェア要素などを、少なくとも一部共有することができる。
【０１５６】
上記において、画像生成部６６０が入力画像を高画質化した画像を生成する場合を例に挙げて説明したが、画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定する特徴領域特定処理の対象とした画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。例えば、第１特徴領域特定部６１０が、入力画像に所定の画像処理を施して特徴領域を特定する場合に、画像生成部６６０は、当該画像処理より得られる画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。
【０１５７】
画像生成部６６０が生成する高画質画像は、第１特徴領域特定部６１０が特徴領域特定処理に用いる画像より高画質な画像であればよく、入力画像より高画質な画像と入力画像より低画質な画像のいずれをも含む。このように、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域を、特徴領域として特定される可能性に応じた画質に変更した高画質画像を、入力画像から生成する。また、画像生成部６６０は、特徴領域として特定される可能性に応じた精度の画質の高画質画像を生成してよい。
【０１５８】
領域推定部６３０は、撮像画像において特徴領域として特定されるべき領域を推定する。例えば、特徴領域特定部２２６が、動画において動くオブジェクトの領域を特徴領域として特定すべき場合に、領域推定部６３０は、動画において動くオブジェクトが存在する領域を推定する。例えば、領域推定部６３０は、同じ動画に含まれる動画構成画像としての他の１以上の撮像画像から抽出された動くオブジェクトの位置、他の撮像画像が撮像されたタイミングなどに基づき、動くオブジェクトが存在する位置を推定する。そして、領域推定部６３０は、推定した位置を含む所定の大きさの領域を、動画において動くオブジェクトが存在する領域として推定してよい。
【０１５９】
この場合、第１特徴領域特定部６１０は、撮像画像における領域推定部６３０が推定した領域から、動くオブジェクトの領域を特徴領域として特定する。そして、画像生成部６６０は、領域推定部６３０が推定した領域のうち、第１特徴領域特定部６１０により動くオブジェクトの領域が特定されなかった領域をより高画質にした高画質画像を生成してよい。
【０１６０】
これにより、動くオブジェクトが存在する可能性が高い領域から、動くオブジェクトが検出できなかった場合に、再探索により動くオブジェクトを抽出することができる可能性が高まる。このように、特徴領域特定部２２６において特徴領域の検出もれが生じる確率を低減することができる。
【０１６１】
部分領域判断部６２２は、特定の画像領域において予め定められた位置に存在する１以上の部分領域の画像が、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、部分領域判断部６２２による判断結果に基づき、特定の画像領域が特徴領域であるか否かを判断する。例えば、特定の画像領域が特徴領域であるか否かを判断する場合に、部分領域判断部６２２は、特定の画像領域上の異なる複数の部分領域のそれぞれに対して、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、否の判断結果が得られた部分領域の数が予め定められた値より小さい場合に、特定の画像領域が特徴領域であると判断する。
【０１６２】
特定の画像領域が特徴領域であるか否かを判断する場合に、第２特徴領域特定部６２０が、当該特定の画像領域において予め定められた位置に存在する１以上の部分領域に対して上述の処理により判断する場合に、画像生成部６６０は、当該特定の画像領域を高画質化した高画質画像を生成する場合において、当該１以上の部分領域を高画質化してよい。これにより、特徴領域検出処理に有効な領域だけ高画質化することができるので、特徴領域の再検出処理にかかる演算量を低減することができる。
【０１６３】
高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を決定する。具体的には、高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を、当該領域が特徴領域として特定される可能性がより低い場合に、より広く決定する。画像生成部６６０は、高画質化領域決定部６４０が決定した領域をより高画質にした高画質画像を生成する。これにより、再探索により動くオブジェクトを抽出することができる可能性を高めることができ、特徴領域特定部２２６において特徴領域の検出もれが生じる確率を低減することができる。
【０１６４】
パラメータ格納部６５０は、画像から抽出された特徴量に対応付けて、当該画像を高画質化すべく用いられる画像処理パラメータを格納する。そして、画像生成部６６０は、高画質化の対象領域から抽出された特徴量に適合する特徴量に対応付けてパラメータ格納部６５０が格納している画像処理パラメータを用いて、高画質化の対象領域を高画質化した高画質画像を生成する。パラメータ格納部６５０は、互いに類似する特徴量が抽出された複数の画像を教師画像として用いた学習により算出された画像処理パラメータを、当該類似する特徴量を代表する特徴量に対応付けて格納してよい。
【０１６５】
なお、画像処理パラメータとしては、高画質化対象の画像データに加算すべきより高い周波数領域の空間周波数成分を有する画像データであってよい。他にも、画像処理パラメータとしては、複数画素の画素値のデータ又は複数の特徴量成分のデータを入力データとした場合に、高画質画像を表すデータに入力データを変換するベクトル、行列、テンソル、ｎ次元混合正規分布、ｎ次元混合多項分布等を例示することができる。なお、ここでのｎは、１以上の整数であるとする。画像処理パラメータについては、画像処理装置２５０の動作に関連して後述する。
【０１６６】
図７に示した外部情報取得部２２８は、パラメータ格納部６５０（図９に記載）が格納する画像処理パラメータ及び特徴量の少なくとも一方を、外部から取得する。パラメータ格納部６５０は、外部情報取得部２２８が取得した画像処理パラメータ及び特徴量の少なくとも一方を格納する。
【０１６７】
図１０は、特徴領域特定部２２６における特徴領域の特定処理の一例を示す。ここでは、撮像画像７００における特徴領域を特定する処理を説明する。
【０１６８】
第１特徴領域特定部６１０（図９参照）は、図１０のように撮像画像７００の複数の画像領域に対して、予め定められた条件への適合度を算出する。そして、第１特徴領域特定部６１０は、撮像画像において予め定められた条件への適合度が第１閾値より大きい領域７１０−１及び領域７１０−２を、特徴領域として特定する。
【０１６９】
また、高画質化領域決定部６４０（図９参照）は、撮像画像において予め定められた条件への適合度が第１閾値以下である第２閾値より大きい、領域７１０−３及び領域７１０−４を選択する（図１０参照）。そして、高画質化領域決定部６４０は、領域７１０−３を含み、上記条件に対する領域７１０−３の画像の適合度に応じた大きさの領域７１０−５を、画像生成部６６０による高画質化の対象領域として決定する。また、高画質化領域決定部６４０は、領域７１０−４を含み、上記条件に対する領域７１０−４の画像の適合度に応じた大きさの領域７１０−６を、画像生成部６６０による高画質化の対象領域として決定する。
【０１７０】
図１０の例では、領域７１０−３よりも領域７１０−４に対して小さい適合度が算出されているとして、高画質化領域決定部６４０は、領域７１０−４をより大きい拡大率で拡大した領域７１０−６を、画像生成部６６０（図９参照）による高画質化の対象領域として決定する。このように、高画質化領域決定部６４０は、条件への適合度が予め定められた第２閾値より大きい領域を適合度に応じた拡大率で拡大して得られた領域を、画像生成部６６０による高画質化の対象領域として決定する。
【０１７１】
そして、第２特徴領域特定部６２０（図９参照）は、高画質化された領域７１０−５及び領域７１０−６の画像から、特徴領域を探索する（図１０参照）。第２特徴領域特定部６２０は、第１特徴領域特定部６１０と同様の処理により、高画質化された領域７１０−５及び領域７１０−６の画像から、上記条件に適合する領域を探索してよい。ここで、第２特徴領域特定部６２０が、高画質化された領域７１０−５の画像７２０において、領域７２２が上記条件に適合すると判断したとする。この場合、特徴領域特定部２２６は、第１特徴領域特定部６１０が特定した領域７１０−１及び領域７１０−２に加えて、画像７２０上の領域７２２に対応する領域７１０−７を、特徴領域として特定する。
【０１７２】
このように、画像生成部６６０（図９参照）は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、所定の条件への適合度がより大きい領域をより高画質にした高画質画像を、撮像画像から生成する。具体的には、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、上記条件への適合度が予め定められた第２閾値より大きい領域をより高画質にした高画質画像を生成する。これにより、特徴領域である可能性が高い領域から、特徴領域が抽出される可能性を高めることができ、特徴領域の検出もれが生じる確率を低減することができる。
【０１７３】
以上説明したように、第１特徴領域特定部６１０により特徴領域として特定された領域及び高画質化の対象領域を除く領域は、特徴領域ではない非特徴領域と決定される。なお、第１特徴領域特定部６１０及び第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域ではない領域が特徴領域として特定される確率が予め定められた値より大きくなるよう第１閾値の値を設定してよい。これにより、第１特徴領域特定部６１０が特徴領域として特定した領域に、非特徴領域が含まれる可能性を低減することができる。非特徴領域についても第１閾値に近い適合度が算出される場合があるが、上記のように第１閾値を設定することにより、このような領域が特徴領域として誤検出されてしまう可能性を低減することができる。
【０１７４】
また、第１特徴領域特定部６１０及び第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域から算出された適合度が第２閾値以上になるよう第２閾値の値を設定してよい。これにより、第２閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性を低減することができる。特徴領域についても第２閾値に近い適合度が算出される場合があるが、上記のように第２閾値を設定することにより、このような領域が非特徴領域とされてしまう可能性を低減することができる。
【０１７５】
一方、第１閾値及び第２閾値の設定により、第２閾値より大きく第１閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性がある。特徴領域特定部２２６によると、このような領域については、高画質化されてから第２特徴領域特定部６２０により特徴領域が探索されるので、特徴領域と非特徴領域とを適切に切り分けることができ、特徴領域を検出し損ねてしまう確率及び非特徴領域を特徴領域として検出してしまう確率のいずれをも低減することができる。このように、特徴領域特定部２２６によると、感度及び特異度がともに高い特徴領域検出器を提供することができる。
【０１７６】
なお、画像生成部６６０は、上記のように適合度と閾値との関係で高画質化処理の有無を決定することの他に、入力画像の少なくとも一部の画像領域を、上記条件への適合度に応じた高画質化精度で高画質化した高画質画像を生成してよい。この場合、高画質化精度は、適合度に応じた連続関数又は不連続関数で定められてよい。
【０１７７】
図１１は、特徴領域特定部２２６における特徴領域の特定処理の他の一例を示す。ここでは特に、動画から動くオブジェクトの領域を特徴領域として特定する場合の特徴領域特定部２２６の処理の一例を示す。
【０１７８】
第１特徴領域特定部６１０又は第２特徴領域特定部６２０（図９参照）により、図１１のように、撮像画像８００−１及び撮像画像８００−２において、それぞれ領域８１０−１及び領域８１０−２が特徴領域として特定されているものとする。ここで、領域８１０−１及び領域８１０−２には、同じ被写体が撮像されたオブジェクトが存在しているとする。
【０１７９】
この場合、領域推定部６３０（図９参照）は、領域８１０−１及び領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１及び撮像画像８００−２のそれぞれが撮像されたタイミング、並びに、撮像画像８００−３が撮像されたタイミングに基づき、撮像画像８００−３において、同じ被写体のオブジェクトが存在すべき領域として、領域８１０−３を決定する（図１１）。例えば、領域推定部６３０は、領域８１０−１及び領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１及び撮像画像８００−２のそれぞれが撮像されたタイミングから動くオブジェクトの画像領域上の速度を算出して、算出した速度、領域８１０−２の位置、及び撮像画像８００−２が撮像されたタイミングと撮像画像８００−３が撮像されたタイミングとの間の時間差に基づき、同じ被写体のオブジェクトが存在すべき領域として領域８１０−３を決定する。
【０１８０】
第１特徴領域特定部６１０（図９参照）は、領域８１０−３から、動くオブジェクトを探索する（図１１）。第１特徴領域特定部６１０により領域８１０−３から動くオブジェクトが検出されなかった場合に、画像生成部６６０は領域８１０−３を高画質化した高画質画像８２０−４を生成する（図１１）。そして、第２特徴領域特定部６２０は、高画質画像８２０−４から動くオブジェクトを探索する。これにより、動くオブジェクトが検出される可能性が高い領域から当該オブジェクトを抽出される可能性を高めることができ、動くオブジェクトの検出もれが生じる確率を低減することができる。
【０１８１】
なお、画像生成部６６０（図９参照）は、領域８１０−３内のより中央の領域をより高画質化した高画質画像８２０−４を生成してもよい。これにより、動くオブジェクトが存在する確率の低い領域については高画質化の強度を低くすることができる。このため、全体を高強度で一様に高画質化する場合に比べて、高画質化にかかる演算量を低減することができる場合がある。
【０１８２】
図１２は、図９に記載した第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す。第２特徴領域特定部６２０は、特定の画像領域９００が特徴領域であるか否かを判断するにあたり、画像領域９００内の所定の位置関係にある部分領域９１０−１〜４から、特徴量を抽出する。このとき、第２特徴領域特定部６２０は、部分領域９１０のそれぞれから、画像領域９００内における部分領域９１０のそれぞれの位置に応じて予め定められた種類の特徴量を抽出する。
【０１８３】
第２特徴領域特定部６２０は、予め定められた条件に対する部分領域９１０の画像から抽出された特徴量の適合度を、部分領域９１０毎に算出する。第２特徴領域特定部６２０は、部分領域９１０毎に算出した適合度に基づき、画像領域９００が特徴領域であるか否かを判断する。第２特徴領域特定部６２０は、適合度の重み付き合計値が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してよい。また、第２特徴領域特定部６２０は、予め定められた値より大きい適合度が算出された部分領域９１０の数が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してもよい。
【０１８４】
上述した特徴量の抽出から適合度算出までの処理は、画像フィルタにより実装され得る。また、当該処理は、弱識別器として実装され得る。また、部分領域９１０の位置は、特徴領域として抽出すべきオブジェクトの種類に応じて定められてよい。例えば、人物の顔のオブジェクトを含む領域を特徴領域として検出すべき場合には、部分領域９１０は、人物の顔のオブジェクトに対して判別力が予め定められた値より高くなる位置に定められてよい。判別力が高いとは、人物の顔のオブジェクトに対しては判別結果が真となる確率が高く、人物の顔以外のオブジェクトに対しては判別結果が偽となる確率が高いことを意味してよい。
【０１８５】
ここで、画像生成部６６０（図９参照）は、部分領域９１０以外の領域を高画質化せず、部分領域９１０だけを高画質化する。そして、上述したように、第２特徴領域特定部６２０は、高画質化された画像から特徴領域を抽出して、画像領域９００が特徴領域であるか否かを判断する。これにより、高画質化する画像領域を限定しつつ特徴領域の検出確率を高めることができ、ひいては高速かつ高確率で特徴領域を検出することができる。なお、上記の説明では、第２特徴領域特定部６２０おける特徴領域の判断処理について説明したが、第１特徴領域特定部６１０も同じ処理により特徴領域であるか否かを判断してよい。
【０１８６】
第１特徴領域特定部６１０及び第２特徴領域特定部６２０における処理は、複数の弱識別器により実装することができる。全Ｎ個の弱識別器を用いて実装する場合を例に挙げて以下に説明する。第１特徴領域特定部６１０においては、Ｎｆ個の弱識別器を用いて、特徴領域であるか否かが判別される。適合度は判別結果に基づき算出され、上述したように、適合度が第１閾値より大きい領域は特徴領域として決定され、適合度が第２閾値以下である領域は非特徴領域として決定される。
【０１８７】
適合度が第１閾値以下であり第２閾値より大きい領域は、画像生成部６６０により高画質化される。第２特徴領域特定部６２０においては、高画質化された画像は、第１特徴領域特定部６１０が用いたＮｆ個の弱識別器と、当該Ｎｆ個の弱識別器以外のＮｂ個の弱識別器とを用いて、特徴領域であるか否かが判別される。例えば、Ｎｆ＋Ｎｂ個の弱識別器の各判別結果から算出された適合度に基づき、特徴領域であるか否かが判別されてよい。
【０１８８】
第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、第１閾値より小さく第２閾値より大きい第３閾値と適合度との比較結果に応じて定まる複数の領域を、互い異なる処理で特徴領域が特定されてよい。例えば、第３閾値より大きい適合度が算出された領域については画像生成部６６０により高画質化せずに、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。一方、第３閾値以下の適合度が算出された領域については画像生成部６６０により高画質化され、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。
【０１８９】
第２特徴領域特定部６２０の処理において用いられる弱識別器の数Ｎｂは、適合度に応じて調整されてよい。例えば、適合度が小さいほど、第２特徴領域特定部６２０においてより多くの弱識別器を用いて特徴領域であるか否かが判別されてよい。
【０１９０】
以上説明したように、第２特徴領域特定部６２０は、適合度が低いほどより詳細に画質変更画像から特徴領域を探索してよい。上記第１特徴領域特定部６１０及び第２特徴領域特定部６２０の少なくとも一方における弱識別器構成としては、アダブーストによる弱識別器構成を例示することができる。
【０１９１】
第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、それぞれ多重解像度表現により構成された低解像度画像群から特徴領域を検出してもよい。この場合に、画像生成部６６０は、第１特徴領域特定部６１０における多重解像度化より高精度に多重解像度化することにより低解像度画像群を生成してよい。第１特徴領域特定部６１０における多重解像度化処理としては、バイキュービック法による縮小処理を例示することができる。
【０１９２】
また、第２特徴領域特定部６２０における多重解像度化処理としては、事前学習に基づく縮小処理を例示することができる。第２特徴領域特定部６２０は、原寸の画像と目標解像度の画像とを用いた学習により得られた画像処理パラメータを用いて、入力画像から低解像度画像群を生成してよい。なお、学習には、折り返し雑音がより小さい目標解像度の画像を用いることがより好ましい。例えば、異なる数の撮像素子を有する異なる撮像装置により得られた画像を学習に用いることができる。
【０１９３】
図９から図１２に関連して説明した高画質化処理として、本発明に係る画像処理方法を適用できる。すなわち、画像生成部６６０は、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を生成するにあたり、図１〜図６で例示した本発明による高画質化の画像処理技術を用いてよい。
【０１９４】
高画質化処理は、高解像度化の処理に限らず、階調数を増加する多階調数化処理、色数を増加する多色数化処理を例示することができ、これらの処理には本発明による画像処理方法を適用できる。
【０１９５】
なお、高画質化の対象となる撮像画像が動画の動画構成画像（フレーム画像やフィールド画像）である場合、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化などの高画質化処理においては、他の撮像画像の画素値を用いて高画質化してもよい。例えば、撮像タイミングの違いによる動体の撮像位置のずれを利用することにより高画質化してもよい。すなわち、画像生成部６６０は、動画に含まれる動画構成画像である撮像画像及び当該動画に含まれる他の動画構成画像を用いて、高画質画像を生成してよい。
【０１９６】
ノイズ低減化処理としては、複数の動画構成画像を用いた処理の他、特開２００８−１６７９４９号公報、特開２００８−１６７９５０号公報、特開２００８−１６７９４８号公報、及び特開２００８−２２９１６１号公報に記載された処理を例示することができる。例えば、画像生成部６６０は、ノイズ量がより多い画像とノイズ量のより少ない画像とを用いた事前学習の結果を用いて、ノイズを低減することができる。本実施形態のように可視光で撮像された画像のノイズ量を低減する場合には、特開２００８−１６７９４９号公報に記載されたように少線量で撮像した画像を事前学習に用いることに代えて、より少ない光量の環境光下で撮像した画像を事前学習に用いることができる。また、シャープネス化処理において、より高精度なシャープネス化処理としては、より大きいフィルタサイズのフィルタを用いた処理、より多くの方向にシャープネス化する処理を例示することができる。
【０１９７】
（圧縮部２３２の構成例）
図１３は、図８に記載した圧縮部２３２のブロック構成の一例を示す。圧縮部２３２は、画像分割部２４２、複数の固定値化部２４４ａ−ｃ（以下、固定値化部２４４と総称する場合がある。）、及び複数の圧縮処理部２４６ａ−ｄ（以下、圧縮処理部２４６と総称する場合がある。）を有する。
【０１９８】
画像分割部２４２は、画像取得部２２２から複数の撮像画像を取得する。そして、画像分割部２４２は、複数の撮像画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２４２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。そして、圧縮処理部２４６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２４６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【０１９９】
より具体的には、画像分割部２４２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２４４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。
【０２００】
具体的には、固定値化部２４４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２４６ａ−ｃは、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧその他の符号化形式により圧縮する。
【０２０１】
固定値化部２４４ａ−ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、及び第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２４６ａ−ｃは、それぞれ固定値化部２４４ａ−ｃにより固定値化した第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、及び第３の特徴の種類の特徴領域動画を圧縮する。
【０２０２】
なお、圧縮処理部２４６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２４６は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２４６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【０２０３】
また、圧縮処理部２４６ｄは、背景領域動画を圧縮する。この圧縮処理部２４６ｄは、圧縮処理部２４６ａ−ｃのいずれによる圧縮強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部２４６によって圧縮された特徴領域動画及び背景領域動画は、対応付け処理部２３４（図８参照）に供給される。
【０２０４】
図１３で説明したように、特徴領域以外の領域は固定値化部２４４によって固定値化さるので、圧縮処理部２４６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部２３２は、特徴領域動画をより高い圧縮率で圧縮することができる。
【０２０５】
なお、図１３の構成では、圧縮部２３２が有する複数の圧縮処理部２４６のそれぞれが複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３２は一の圧縮処理部２４６を有してよく、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像及び背景領域の画像が一の圧縮処理部２４６に時分割で順次供給され、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【０２０６】
他にも、一の圧縮処理部２４６は、複数の特徴領域の画像情報及び背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像及び背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２４６に供給され、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部２４６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２４６が圧縮する形態では、一の圧縮処理部２４６は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部２４２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２４６が一の画像の全体を圧縮する場合には、画像分割部２４２による分割処理及び固定値化部２４４による固定値化処理はなされなくてよいので、圧縮部２３２は、画像分割部２４２及び固定値化部２４４を有しなくてよい。
【０２０７】
（圧縮部２３２の構成例２）
図１４は、図８に記載した圧縮部２３２のブロック構成の他の一例を示す。本構成における圧縮部２３２は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【０２０８】
図１４に示す圧縮部２３２は、画質変換部５１０、差分処理部５２０、及び符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【０２０９】
画質変換部５１０は、画像取得部２２２から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域特定部２２６が検出した特徴領域を特定する情報及び特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【０２１０】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（以後、第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（以後、第２解像度画像と呼ぶ。）、及び第３の特徴の種類に応じた第３解像度に変換された撮像画像（以後、第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【０２１１】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、及び第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、及び階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【０２１２】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。
【０２１３】
階層間差分処理部５２２ｄ及び符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【０２１４】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂ及び階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画及び複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａ及び符号器５３２ａの具体的な動作について説明する。
【０２１５】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａ及び符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎に施されてよい。
【０２１６】
階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像又は予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像又は予測画像との間で差分をとらなくてもよい。
【０２１７】
また、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【０２１８】
階層間差分処理部５２２ｂ及び符号器５３２ｂの動作は、第２解像度画像を符号化するという点、及び第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂ及び符号器５３２ｂの動作は階層間差分処理部５２２ａ及び符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃ及び符号器５３２ｃの動作は、第３解像度画像を符号化するという点、及び第３解像度画像を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａ及び符号器５３２ａの動作と略同一であるので、説明を省略する。
【０２１９】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、及び少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像及び低画質画像をそれぞれ符号化する。
【０２２０】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領
域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０２２１】
以上説明したように、圧縮部２３２は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３２による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置２５０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【０２２２】
（画像処理装置２５０の説明）
図１５は、図７に示した画像処理装置２５０のブロック構成の一例を示す。図１５に示すように、画像処理装置２５０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、外部情報取得部３８０、及び画像処理部３３０を備える。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。
【０２２３】
圧縮画像取得部３０１は、画像処理装置２５０により圧縮された圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画及び背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。
【０２２４】
対応付け解析部３０２は、圧縮動画を、複数の特徴領域動画及び背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画及び背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置及び特徴の種類を伸張制御部３１０及び画像処理部３３０に供給する。
【０２２５】
伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置及び特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置及び特徴の種類に応じて圧縮部２３２が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【０２２６】
復号器３２２は、符号化された複数の特徴領域動画及び背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、及び復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動画、及び背景領域動画を復号する。
【０２２７】
画像処理部３３０は、伸張部３２０によって伸張された複数の特徴領域動画及び背景領域動画を合成して、一の動画を生成する。具体的には、画像処理部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。なお、画像処理部３３０は、特徴領域を背景領域より高画質化した表示動画を生成してもよい。この高画質化の変換処理について、本発明に係る画像処理方法を利用できる。
【０２２８】
そして、画像処理部３３０は、対応付け解析部３０２から取得した特徴領域情報及び表示動画を表示装置２６０又は画像ＤＢ２５５に出力する（図７参照）。画像ＤＢ２５５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応付けて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【０２２９】
外部情報取得部３８０は、画像処理部３３０における画像処理に用いるデータを、画像処理装置２５０の外部から取得する。画像処理部３３０は、外部情報取得部３８０が取得したデータを用いて画像処理する。外部情報取得部３８０が取得するデータについては、図１６に関連して説明する。
【０２３０】
（画像処理部３３０の構成例）
図１６は、図１５で説明した画像処理装置２５０が有する画像処理部３３０のブロック構成の一例を示す。図１６に示すように、画像処理部３３０は、パラメータ格納部１０１０、属性特定部１０２０、特定オブジェクト領域検出部１０３０、パラメータ選択部１０４０、重み決定部１０５０、パラメータ生成部１０６０、及び画像生成部１０７０を含む。
【０２３１】
パラメータ格納部１０１０は、被写体像についての複数の属性にそれぞれ対応付けて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像の属性を特定する。ここでいう入力画像とは、伸張部３２０により得られたフレーム画像であってよい。パラメータ選択部１０４０は、属性特定部１０２０により特定された属性により適合する属性に対応付けてパラメータ格納部１０１０が格納している複数の画像処理パラメータをより優先して選択する。画像生成部１０７０は、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する。この高画質化の変換処理について、本発明に係る画像処理方法が利用される。
【０２３２】
ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部１０１０は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する。
【０２３３】
被写体の状態としては、撮像されたときの被写体の向きを例示することができる。被写体の向きとは、例えば、被写体の一例としての人物の顔の向きであってよい。この場合、パラメータ格納部１０１０は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する。
【０２３４】
その他、属性とは、被写体の種別であってもよい。被写体の種別としては、例えば、被写体としての人物の性別、人物の年齢、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物の人種、撮像された人物が着用している着用物（メガネ、サングラス、マスク、帽子など）、照明状態などを例示することができる。パラメータ格納部１０１０は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納してよい。この場合、属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の対応する属性を、当該被写体像から特定する。
【０２３５】
重み決定部１０５０は、入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する。そして、画像生成部１０７０は、重み決定部１０５０が決定した重みに基づいて、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。なお、重み決定部１０５０は、特定された属性に対する適合度がより大きい属性に対応付けられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。
【０２３６】
パラメータ生成部１０６０は、パラメータ選択部１０４０が選択した複数の画像処理パラメータを合成した合成パラメータを生成する。そして、画像生成部１０７０は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成する。
【０２３７】
なお、上記においては、被写体の属性に応じて画像処理パラメータを生成することについて説明した。その他画像処理部３３０は、高画質化の強度を画像上で変化させてもよい。
【０２３８】
パラメータ格納部１０１０は、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、及び、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納する。非特定パラメータは、後に説明するように、オブジェクトによらず高画質化の効果をある程度有する汎用の画像処理パラメータであってよい。
【０２３９】
特定オブジェクト領域検出部１０３０は、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する。特定オブジェクトとは、特徴領域として検出されるべき被写体のオブジェクトであってよい。そして、重み決定部１０５０は、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータ及び非特定パラメータの重みを決定する。
【０２４０】
重み決定部１０５０は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定する。これにより、特徴領域として検出されるべき特定オブジェクトをきちんと高画質化することができる。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定する。これにより、特定のオブジェクト専用の画像処理パラメータで高画質化することを未然に防ぐことができる。
【０２４１】
画像生成部１０７０は、重み決定部１０５０が決定した重みに基づいて、特定パラメータ及び非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。
【０２４２】
パラメータ格納部１０１０は、特定のオブジェクトの複数の画像を学習画像（「訓練画像」ともいう。）として用いた学習により算出された特定パラメータ、及び、特定のオブジェクトの画像ではない複数の画像を学習画像として用いた学習により算出された非特定パラメータを格納する。これにより、特定オブジェクトに特化した特定パラメータを算出することができる。また、多様なオブジェクトに対する汎用の特定パラメータを算出することができる。
【０２４３】
なお、事前学習では、学習画像の輝度情報そのものではなく、学習画像のエッジ情報などの空間変化情報を利用した画像処理パラメータが学習されていることが望ましい。低空間周波数領域の情報を低減したエッジ情報を用いることにより、照明変動、特に、低周波の照明変化に対してロバストな高画質化処理を実現することができる。
【０２４４】
パラメータ生成部１０６０は、非特定パラメータと特定パラメータとを、重み決定部１０５０が決定した重みで合成することにより、合成パラメータを生成してよい。画像生成部１０７０は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。
【０２４５】
上記の例では、属性特定部１０２０が特定した被写体の属性に基づき選択された複数の画像処理パラメータを用いて、高画質画像を生成する場合の動作について説明した。その他にも、画像生成部１０７０は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化してよい。例えば、画像生成部１０７０は、予め定められた複数の画像処理パラメータの異なる組み合わせを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０７０は、高画質化して得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてよい。例えば、画像生成部１０７０は、高画質化して得られた複数の画像のうち、入力画像に画像内容がより類似する画像を、高画質画像としてより優先して選択してよい。
【０２４６】
パラメータ選択部１０４０は、入力画像から特定された被写体の属性に基づいて複数の画像処理パラメータの異なる組み合わせを選択してよい。画像生成部１０７０は、選択された複数の画像処理パラメータを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０７０は、高画質化により得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてもよい。
【０２４７】
以上説明したように、画像処理装置２５０は、パラメータ格納部１０１０が限られた数の画像処理パラメータを格納していても、多様な属性の被写体の画像に対処することができる画像処理パラメータを用いて高画質化することができる。なお、高画質化としては、高解像度化、多階調数化、多色数化の他、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化、高フレームレート化などを例示することができる。パラメータ格納部１０１０は、これらの各種高画質化処理用の画像処理パラメータを格納することができる。
【０２４８】
図１５に記載した外部情報取得部３８０は、パラメータ格納部１０１０（図１６参照）が格納する画像処理パラメータを、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した画像処理パラメータを格納する。具体的には、外部情報取得部３８０は、特定パラメータ及び非特定パラメータの少なくとも一方を、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した特定パラメータ及び非特定パラメータの少なくとも一方を格納する。
【０２４９】
図１７は、パラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す。パラメータ格納部１０１０は、人物の顔用の画像処理パラメータである特定パラメータＡ０、Ａ１・・・を、顔の向きに対応付けて格納している。特定パラメータＡ０、Ａ１は、対応する顔の向きの画像を学習画像とした事前学習により、予め算出されている。
【０２５０】
ここで、注目画素の周辺画素の画素値を加重加算することによる高解像度化処理を例に挙げて、事前学習による特定パラメータＡの算出処理を説明する。ここでは、注目画素の画素値ｙが、ｎ個の周辺画素の画素値ｘｉ（ただし、ｉ＝１〜ｎ）の加重加算により算出されると仮定する。すなわち、ｙ＝Σ（ｗｉ×ｉ）と仮定する。ここで、Σは、ｉにわたる加算を示している。ｗｉは、周辺画素の画素値ｘｉに対する加重係数であり、加重係数ｗｉが事前学習により算出されるべき特定パラメータＡとなる。
【０２５１】
特定の向きの顔が撮像されたｍ個の顔画像を学習画像として用いるとする。ｋ番目（但し、ｋ＝１〜ｍ）の学習画像の注目画素の画素値をｙｋとすると、ｙｋ＝Σｗｉ×ｋｉで表されることになる。この場合、加重係数ｗｉは、最小二乗法などの演算処理によって算出することができる。例えば、ｋ番目の成分ｅｋがｅｋ＝ｙｋ−Σ（ｗｉ×ｋｉ）で表されるベクトルの２乗を実質的に最小化するｗｉを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータＡを算出することができる。
【０２５２】
また、パラメータ格納部１０１０は、人物の顔でないオブジェクトに対して、非特定パラメータＢを格納している。非特定パラメータＢは、多種多様な被写体の画像を学習画像とした事前学習により、予め算出されている。なお、非特定パラメータＢは、特定パラメータＡと同様の事前学習処理により算出することができる。例えば、特定パラメータＡを算出する事前学習処理において、学習画像として顔画像ではなく人物以外の画像を用いることで、非特定パラメータＢを算出することができる。
【０２５３】
図１８は、特定パラメータの重みづけの一例を示す。特徴領域として、画像１２００内の太線の内部の領域１２１０及び領域１２２０が、特徴領域として検出されているとする。重み決定部１０５０（図１６参照）は、この特徴領域のより内部の領域１２１０には、特定パラメータの重み係数を１００％、非特定パラメータの重み係数を０％に決定する。また、特徴領域内（太線枠の内側）における領域１２１０の外側の非特徴領域寄りの領域１２２０には、特定パラメータの重み係数を８０％、非特定パラメータの重み係数を２０％に決定する。
【０２５４】
また、特徴領域の外側の領域に対しては、特徴領域の近傍の領域１２３０には、特定パラメータの重み係数を５０％、非特定パラメータの重み係数を５０％に決定する。そして、更に外側の領域１２５０には、特定パラメータの重み係数を０％、非特定パラメータの重み係数を１００％に決定する。
【０２５５】
このように、重み決定部１０５０（図１６参照）は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定する。このように、重み決定部１０５０は、特徴領域の中心から外側に向けて、特徴領域から非特徴領域に向けて特定パラメータの重み係数が段階的に減少させる。また、重み決定部１０５０は、重み係数を段階的に減少させることの他に、特徴領域の中心からの距離、又は、特徴領域の周囲領域等からの距離に比例して、重み係数を連続的に減少させてもよい。例えば、重み決定部１０５０は、距離ｘに対して重み係数の値を１／ｘ、１／ｘ２、ｅ−ｘなどの関数に従って減少させるなど、距離ｘに対して累乗的、又は指数関数的に減少する値の重み係数を決定してよい。
【０２５６】
なお、重み決定部１０５０は、特徴領域としての検出信頼度に応じて重み係数を制御してもよい。具体的には、重み決定部１０５０は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重み付けがより大きい重みを決定する。
【０２５７】
特徴領域として検出されなかった領域に特定オブジェクトが存在していたとすると、その領域を汎用の非特定パラメータで高画質化しても、特定オブジェクトが存在するかどうか判別できない場合がある。画像処理部３３０によると、特徴領域として検出されなかった領域でも、特定オブジェクト用の特定パラメータの効果を有する高画質化処理を行うので、高画質化した画像から特定オブジェクトが存在するか否かを容易に判別することができる場合がある。
【０２５８】
なお、特定パラメータは、図１７に関連して説明した複数の画像処理パラメータを合成した画像処理パラメータであってよい。例えば、検出された特徴領域内に、正面顔から１５°横を向いた人物の顔の画像が含まれているとする。この場合、重み決定部１０５０は、特定パラメータＡ０に対する重み係数を２５％に決定して、特定パラメータＡ１に対する重み係数を７５％に決定する。そして、パラメータ生成部１０６０は、特定パラメータＡ０と特定パラメータＡ１とを、それぞれ重み係数を２５％及び７５％で合成した合成パラメータを生成する。そして、画像生成部１０７０は、パラメータ合成部が生成した合成パラメータと、非特定パラメータとを、図１８に図示した割合の重みづけして得られた画像処理パラメータを用いて高画質化する。
【０２５９】
例えば、周辺画素の加重加算により高画質化する画像処理パラメータ（特定パラメータ又は非特定パラメータ）を用いる場合、パラメータ生成部１０６０は、画像処理パラメータの加重係数を、重み決定部１０５０が決定した重み係数で重み付け加算して、得られた加重係数により表される合成パラメータを算出してよい。可加算な画像処理パラメータとしては、加重係数の他に、空間周波数領域での空間周波数成分又は画素データそのもの（例えば、高周波数成分の画像データ）を例示することができる。
【０２６０】
他にも、高画質化処理が、特徴量ベクトルなどに対するベクトル演算、行列演算、又はテンソル演算で表される場合には、パラメータ生成部１０６０は、それら画像処理パラメータとしてのベクトル、行列、テンソル、ｎ次元混合正規分布、又はｎ次元混合多項分布の重み付け加算又は乗算により、合成パラメータを生成してよい。なお、ここでのｎは、１以上の整数であるとする。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減できる場合がある。例えば、０°の向きの特徴ベクトルに係数０．２５を乗じた特徴ベクトルと、２０°の向きの特徴ベクトルに係数０．７５を乗じた特徴ベクトルとの和を、１５°の向きの特徴ベクトルとする演算を、１例として示すことができる。また、既述した局所保存投影（ＬＰＰ）の空間上で補間することにより、更に合成ボケを軽減することができる場合がある。なお、パラメータ生成部１０６０は、特定パラメータと非特定パラメータとから合成パラメータを算出することができる。また、パラメータ生成部１０６０は、異なる複数の特定パラメータから合成パラメータを算出することもできる。
【０２６１】
画像生成部１０７０は、特定パラメータと非特定パラメータとを用いて高画質画像を生成する場合に、特定パラメータを用いて画像処理して得られた画像情報と、非特定パラメータを用いて画像処理して得られた画像情報とを、重み決定部１０５０が決定した重み係数で加算することにより、高画質画像を生成してよい。その他、画像生成部１０７０は、特定パラメータを用いて画像処理して得られた画像情報に対して、非特定パラメータを用いて画像処理することにより、高画質画像を生成してもよい。同様の処理は、複数の特定パラメータを用いた高画質化処理に適用することができる。ここでいう画像データとしては、画素値そのもの、特徴量空間における特徴量ベクトル、行列、ｎ次元混合正規分布、ｎ次元混合多項分布などを例示することができる。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減することができる場合がある。
【０２６２】
図１７及び図１８にかけて説明した高画質化処理では、特徴領域内の画像から特定された人物の顔の向きに基づき、特徴領域を高画質化する場合に用いる複数の画像処理パラメータがパラメータ選択部１０４０により選択された。そして、画像生成部１０７０は、パラメータ選択部１０４０により選択された複数の画像処理パラメータを用いて、１つの高画質化画像を生成した。
【０２６３】
その他にも、画像生成部１０７０は、画像生成部１０７０が格納している画像処理パラメータの複数の組み合わせのそれぞれから、特徴領域を高画質化した画像を複数生成してもよい。そして、画像生成部１０７０は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してよい。
【０２６４】
例えば、画像生成部１０７０は、０°の向きに対応する特定パラメータＡ０と２０°の向きに対応する特定パラメータＡ１との合成パラメータを用いて、特徴領域の画像を高画質化した画像を生成する。画像生成部１０７０は、更に、他の１以上の組み合わせの特定パラメータの合成パラメータを用いて、特徴領域の画像を高画質化した１以上の画像を生成する。
【０２６５】
そして、画像生成部１０７０は、生成した複数の画像のそれぞれを特徴領域内の画像と比較して、画像内容の一致度を算出する。画像生成部１０７０は、生成した複数の画像のうち、最も高い一致度が得られた画像を、高画質画像として決定する。
【０２６６】
なお、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０７０は、予め定められた特定パラメータの複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化してよい。この場合、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた特定パラメータの複数の組を選択してよい。
【０２６７】
その他にも、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータの組を複数選択してよい。例えば、パラメータ選択部１０４０は、特定パラメータの複数の組を特定する情報と人物の顔の向きを特定する情報とを対応付けて記憶しており、特徴領域内の画像から特定された人物の顔の向きに対応付けて記憶している特定パラメータの複数の組を選択してよい。そして、選択した複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化することで、特徴領域の画像を高画質化した画像を複数生成してもよい。
【０２６８】
また、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０７０は、複数の特定パラメータのそれぞれにより特徴領域内の画像を高画質化してもよい。そして、画像生成部１０７０は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してもよい。この場合においても、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた複数の特定パラメータを選択してよいし、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータを複数選択してもよい。
【０２６９】
図１７に関連して説明したように、特定の顔向きの学習画像から、特定の顔向きの顔画像を高画質化する画像処理パラメータ（特定パラメータ）を算出することができる。他の複数の顔向きについてもそれぞれ同様にして画像処理パラメータを算出することで、複数の顔向きのそれぞれに対応する画像処理パラメータを算出することができる。そして、パラメータ格納部１０１０は、算出されたそれぞれの画像処理パラメータを、対応する顔向きに対応付けて予め格納する。なお、顔画像を高画質化する画像処理パラメータとしては、顔全体を高画質化する画像処理パラメータであってよいが、目の画像、口の画像、鼻の画像、耳の画像など、顔画像に含まれる少なくとも一部のオブジェクトを高画質化する画像処理パラメータであってもよい。
【０２７０】
顔向きは、被写体の向きの一例であり、他の被写体物の向きについても、顔向きと同様にして、複数の被写体の向きにそれぞれ対応する複数の画像処理パラメータを算出することができる。被写体が人物である場合には、被写体の向きとして人体の向きを例示することができ、より具体的には体部の向き、手の向きなどを人体の向きとして例示することができる。また、被写体が人物以外である場合にも、顔画像と同様にして、複数の方向の被写体が撮像された被写体像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。
【０２７１】
被写体の向きは、被写体の状態の一例であり、被写体の状態は、更に、人物の表情により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の表情をしている顔の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、人物が喜怒哀楽のそれぞれの状態にあるときの顔、人物が緊張状態にあるときの顔などをそれぞれ高画質化する。
【０２７２】
また、被写体の状態は、人物のしぐさにより分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定のしぐさをしている状態の人物の画像を高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、走っている状態の人物像、足早に歩いている状態の人物像、走り出そうとしている状態の人物像、物を物色している状態の人物像などをそれぞれ高画質化する。
【０２７３】
また、被写体の状態は、人物の姿勢により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の姿勢をしている状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、背をかがめた状態の人物像、手をポケットに入れている状態の人物像、腕組みしている状態の人物像、顔と体の向きとが一致していない状態の人物像などをそれぞれ高画質化する。
【０２７４】
また、被写体の状態は、人物の着用物により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の着用物を着用している状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、メガネを着用している人物像、サングラスを着用している人物像、マスクをしている人物像、帽子を着用している人物像などをそれぞれ高画質化する。
【０２７５】
以上に説明したように、被写体の複数の状態に対応して被写体が複数の属性に分類される。他にも、被写体は、被写体の種別によって複数の属性に分類されることができる。被写体の種別としては、人物の人種を例示することができる。人物の人種としては、アジア系の人種、欧州系の人種など地域的に分類された人種、形質人類学的に分類された人種などを例示することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ対応する人種に分類された人物の画像をそれぞれ高画質化する。
【０２７６】
また、被写体の種別としては、男性・女性のように人物の性別で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、男性の画像又は女性など、対応する性別の人物の画像をそれぞれ高画質化する。また、被写体の種別としては、人物の年齢層で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、十代の人物の画像、二十代の人物の画像など、対応する年代の人物の画像をそれぞれ高画質化する。
【０２７７】
上記において例示された被写体の種別、被写体の複数の状態、又はそれらの組み合わせにより、被写体像の属性が規定される。そして、パラメータ格納部１０１０は、規定された属性のそれぞれに対応付けて、各属性に属する被写体像を高画質化する画像処理パラメータを予め格納する。パラメータ格納部１０１０により格納される画像処理パラメータは、各顔向き用の画像処理パラメータの算出方法と同様の方法により、算出することができる。例えば、表情で属性が規定されている場合には、笑っている顔が撮像された複数の画像を学習画像として事前学習することにより、笑い顔の画像を高画質化する画像処理パラメータを算出することができる。怒り顔の画像など、他の表情の画像についてもそれぞれ同様に事前学習することで、各表情の顔画像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。しぐさ、姿勢、着用物、人種、性別、年齢などにより規定される各属性についても、同様にして画像処理パラメータを算出することができる。
【０２７８】
属性特定部１０２０は、例えばアダブーストなどによりブースティングにより予め算出された識別器を被写体像に適用することにより、被写体像の属性を特定することができる。例えば、特定の向きの顔が撮像された複数の顔画像を教師画像として用いて、弱識別器をブースティング処理により統合して識別器を生成する。生成された識別器に被写体像を適用した場合に得られた正誤の識別結果に応じて、特定の顔向きの顔画像であるか否かを判定することができる。例えば、正の識別結果が得られた場合には、入力された被写体像は、特定の顔向きの顔画像であると判定することができる。
【０２７９】
他の複数の顔向きについても同様にブースティング処理により識別器を生成することにより、各顔向きにそれぞれ対応する複数の識別器を生成することができる。属性特定部１０２０は、これら複数の識別器を被写体像にそれぞれ適用して、各識別器から得られた正誤の識別結果に基づいて顔向きを特定することができる。顔向きの他、表情、性別などで規定される他の１以上の属性についても、それぞれブースティング処理により属性毎に生成された識別器を適用することにより特定することができる。属性特定部１０２０は、ブースティングによる学習の他、線形判別法、混合ガウシアンモデルなど種々の方法で属性毎に学習された識別器を被写体像に適用することで、属性を特定することができる。
【０２８０】
〔表示装置２６０の構成例〕
図１９は、図７中の表示装置２６０のブロック構成の一例を示す。図１９に示すように、表示装置２６０は、画像取得部１３００、第１画像処理部１３１０、特徴領域特定部
１３２０、パラメータ決定部１３３０、表示制御部１３４０、第２画像処理部１３５０、外部情報取得部１３８０、及び表示部１３９０を有する。
【０２８１】
画像取得部１３００は、入力画像を取得する。ここでいう入力画像は、画像処理装置２５０から受け取った動画に含まれるフレーム画像であってよい。第１画像処理部１３１０は、予め定められた画像処理パラメータを用いて入力画像を高画質化した所定画質画像を生成する。例えば第１画像処理部１３１０は、高解像度化する場合には、単純補間拡大処理など、所要演算量が予め定められた値より小さい方式の画像処理パラメータを用いて、所定画質画像を生成する。
【０２８２】
表示制御部１３４０は、第１画像処理部１３１０が生成した所定画質画像を、表示部１３９０に表示させる。このように、表示部１３９０は、所定画質画像を表示する。
【０２８３】
特徴領域特定部１３２０は、入力画像における複数の特徴領域を特定する。特徴領域特定部１３２０は、表示部１３９０が所定画質画像を表示している状態で、入力画像における複数の特徴領域を特定してよい。なお、画像処理装置２５０は、特徴領域を特定する情報を動画に付帯情報として付帯して表示装置２６０に送信してよい。特徴領域特定部１３２０は、画像取得部１３００が取得した動画の付帯情報から特徴領域を特定する情報を抽出することにより、複数の特徴領域を特定してよい。
【０２８４】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を更に高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。例えば、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を、異なる強度で高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。「異なる強度で高画質化する」とは、異なる演算量で高画質化すること、単位面積あたりに異なる演算量で高画質化すること、異なる所要演算量の高画質化方式で高画質化すること、などを意味してよい。
【０２８５】
第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高画質化した複数の高画質特徴領域画像を生成する。表示制御部１３４０は、表示部１３９０が表示している所定画質画像における複数の特徴領域に、複数の特徴領域画像を表示させる。このように、表示制御部１３４０は、高画質画像が生成された段階で、表示部１３９０が既に表示している所定画質画像に代えて、高画質画像を表示させる。表示部１３９０は、所定画質画像を速やかに生成して表示するので、ユーザーは実質的に遅滞なく、ある程度の画質の監視映像を観察することができる。
【０２８６】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の重要度に基づいて、複数の特徴領域毎に画像処理パラメータを決定してよい。重要度を示す情報は、上記付帯情報に付帯されてよい。また、重要度は、特徴領域の被写体の種別に応じて予め定められていてよい。被写体の種別毎の重要度は、表示部１３９０を観察するユーザーにより設定されてもよい。パラメータ決定部１３３０は、重要度がより大きい特徴領域をより大きい強度で高画質化する画像処理パラメータを決定する。このため、ユーザーは、重要な特徴領域がより高画質な画像を観察することができる。
【０２８７】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の特徴の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。また、パラメータ決定部１３３０は、複数の特徴領域内に撮像されている被写体の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定してもよい。このように、パラメータ決定部１３３０は、被写体の種類に応じて直接的に画像処理パラメータを決定してよい。
【０２８８】
なお、パラメータ決定部１３３０は、第２画像処理部１３５０において複数の特徴領域をそれぞれ高画質化するのに要する処理所要量に基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理所要量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定する。
【０２８９】
例えば、パラメータ決定部１３３０は、複数の特徴領域の面積がより小さい場合に、より大きい強度で高解像度化する画像処理パラメータを決定してよい。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。また、パラメータ決定部１３３０は、複数の特徴領域の画素数がより少ない場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
【０２９０】
また、パラメータ決定部１３３０は、第２画像処理部１３５０において許容された処理量である処理可能容量に基づき、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理可能容量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
【０２９１】
このため、第２画像処理部１３５０が処理可能な演算量に応じて、高画質化の程度を制御することができる。このため、表示部１３９０の負荷が高画質化処理により過負荷に陥って、画像の表示が遅延することを未然に防ぐことができる場合がある。表示部１３９０の演算量に余裕があれば、速やかに高画質画像が生成されるので、観察することができる。
【０２９２】
上述したように、高画質化としては、高解像度化を例示することができる。具体的には、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を高解像度化する画像処理パラメータを、複数の特徴領域毎に決定する。第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。ここで、大きい強度で高解像度化するとは、高精度に高解像度化すること、及び、より多い画素数の高画質画像を生成することを含む。
【０２９３】
高画質化処理としては、高解像度化の他、多階調数化、多色数化処理、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化を例示することができる。これらの各種の高画質化についても、高解像度化と同様、パラメータ決定部１３３０が各種の高画質化をする画像処理パラメータを複数の特徴領域毎に決定して、第２画像処理部１３５０が、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ各種の高画質化をした複数の高画質特徴領域画像を生成することができる。
【０２９４】
なお、上述したように、画像取得部１３００は、動画に含まれる複数の動画構成画像を入力画像として取得してよい。パラメータ決定部１３３０は、複数の特徴領域のそれぞれを高フレームレート化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、高フレームレート化した複数の高画質特徴領域画像を生成してよい。
【０２９５】
パラメータ決定部１３３０は、動画のフレームレートに基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、動画のフレームレートがより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。第２画像処理部１３５０は、決定した画像処理パラメータを用いて、入力画像をそれぞれ高画質化することにより、高画質化された動画を生成してよい。なお、第２画像処理部１３５０による高画質化についても、画像処理装置２５０による高画質化と同様、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化の概念を含んで良く、第２画像処理部１３５０はこれらの処理により高画質化画像を生成することができる。
【０２９６】
このように、表示装置２６０は、高画質化すべき画像のデータ量、高画質化処理に割り当てることができる演算量に応じて、高画質化の強度を決定することができる。表示装置２６０によると、ある程度の品質の画像を速やかにユーザーに提供することができるとともに、高画質化処理された画像の表示が極度に遅延してしまうことを未然に防ぐことができる。このため、表示装置２６０は、高画質化処理により過負荷になることを未然に防ぐことができ、画像処理装置２５０から提供された動画をスムーズに再生することができる。
【０２９７】
なお、外部情報取得部１３８０は、特徴領域毎に画像処理パラメータを決定する決定条件を、表示装置２６０の外部から取得する。パラメータ決定部１３３０は、外部情報取得部１３８０が取得した決定条件に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。決定条件としては、特徴領域の重要度、特徴領域の特徴の種類、処理所要量、特徴領域の面積、特徴領域の画素数、処理可能容量などをパラメータとした条件を例示することができる。
【０２９８】
図２０は、画像の表示エリア１４００の一例を示す。表示エリア１４００は、表示部１３９０により入力画像が表示される領域であるとする。ここでは、入力画像から３つの特徴領域が特定されているとする。これらの特徴領域の画像は、表示エリア１４００のうち、特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示されるとする。
【０２９９】
図１９で説明した画像取得部１３００が入力画像を取得した場合に、表示制御部１３４０は、取得した入力画像を、表示部１３９０の表示エリア１４００にそのまま表示させる。
【０３００】
入力画像が表示された状態で、第２画像処理部１３５０は、各特徴領域の画像に、単純補間などの、所要演算量が予め定められた値より小さい所定の高解像度化処理を施して、各特徴領域の画像の所定画質画像を生成する（第１高解像度化段階）。この第１高解像度化段階では、高解像度化の強度は特徴領域の画素数、フレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第２画像処理部１３５０における演算許容量になどによらず、第２画像処理部１３５０は所定強度の高解像度化処理を施す。なお、当該所定強度の高解像度化処理を入力画像の全域に施すのに要する演算量が、第２画像処理部１３５０に常時割り当てられてよい。
【０３０１】
第１高解像度化段階が完了して、所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２が生成されると、表示制御部１３４０は、所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２をそれぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示させる。
【０３０２】
所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２が表示された状態で、第２画像処理部１３５０は、パラメータ決定部１３３０が特徴領域毎に決定した強度で、高解像度化処理を行い、各特徴領域の画像の高画質画像を生成する（第２高解像度化段階）。この第２高解像度化段階では、高解像度化の強度は、パラメータ決定部１３３０により決定された強度であり、特徴領域の画素数及びフレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第２画像処理部１３５０における演算許容量に依存する。
【０３０３】
第２高解像度化段階が完了して、高画質画像１４１４、高画質画像１４２４、及び高画質画像１４３４が生成されると、表示制御部１３４０は、高画質画像１４１４、高画質画像１４２４、及び高画質画像１４３４を、それぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示させる。
【０３０４】
このように、第２画像処理部１３５０は、現在の負荷量、高画質化に要する演算量に応じた強度で高解像度化するので、提供可能な範囲内で高画質な画像を速やかにユーザーに提供することができる。
【０３０５】
（画像処理システムの他の形態例）
図２１は、他の実施形態に係る画像処理システム２０１の一例を示す。本実施形態における画像処理システム２０１の構成は、撮像装置２１０ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図７で説明した画像処理システム２００の構成と同じとなっている。
【０３０６】
画像処理部８０４は、図７で説明した画像処理装置２２０に含まれる構成要素のうち、画像取得部２２２を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能及び動作は、画像処理装置２２０に含まれる各構成要素が圧縮動画伸張部２２４による伸張処理によって得られた動画を処理することに替えて、撮像部２１２によって撮像された動画を処理するという点を除いて、画像処理装置２２０に含まれる各構成要素の機能及び動作と略同一であってよい。このような構成の画像処理システム２０１においても、図７から図２０にかけて画像処理システム２００に関連して説明した効果と同様の効果が得ることができる。
【０３０７】
画像処理部８０４は、撮像部２１２からＲＡＷ形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部８０４は、動画を、図７〜図１２に関連して画像処理装置２２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置２５０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置２５０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置２５０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【０３０８】
なお、画像処理装置２５０は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置２５０における超解像処理として、本発明に係る画像処理方法を適用することができる。
【０３０９】
また、画像処理装置２５０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置２５０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置２５０は、特開２００６−３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置２５０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【０３１０】
モデル等の学習データは、複数の表情、複数の顔方向、複数の照明条件のそれぞれの組み合わせ毎に記憶されてよい。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、及び真顔を含み、顔方向としては、正面、上方、下方、右方、左方、及び後方を含む。照明条件としては、照明強度及び照明の方向についての条件を含む。画像処理装置２５０は、顔の表情、顔方向、照明条件の組み合わせに対応する学習データを用いて、顔画像に超解像処理を施してよい。
【０３１１】
顔の表情及び顔の方向は、特徴領域に含まれる顔画像の画像内容に基づいて特定することができる。また、表情は、口及び／又は目の形状から特定することができ、顔の方向は、目、口、鼻、及び耳の位置関係等から特定することができる。顔への照明強度及び照明方向は、影の位置及び大きさなど、顔画像の画像内容に基づき特定することができる。顔の表情、顔方向、照明条件は画像処理部８０４において特定され、出力部２３６から画像に対応付けて、特定された顔の表情、顔方向、照明条件が送信されてよい。画像処理装置２５０は、出力部２３６から受信した顔の表情、顔方向、照明条件に対応する学習データを利用して、超解像処理を施してよい。
【０３１２】
また、モデル等の学習データとしては、顔全体を表現するモデルの他に、顔の部位毎のモデルを用いることができる。他にも、性別及び／又は人種毎の顔のモデルを用いることができる。モデルとしては人物に限らず、車両、船舶など、監視対象となる物体の種別毎にモデルを格納することができる。
【０３１３】
なお、図７〜２７に関連して説明した画像処理システム２００の構成においても、画像処理装置２５０又は表示装置２６０は、高画質化処理として、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム２００及び画像処理システム２０１において、圧縮部２３２は、上述した画像処理装置２２０と同様に、画像を主成分ベクトル及び重みづけ係数で表すことによって、撮像画像を更に圧縮することもできる。
【０３１４】
以上、画像処理システム２００、２０１としての動作を、監視システムを例に挙げて説明した。この発明の他の用途としては、複写機等のスキャナ機器によりスキャニングされたドキュメントに対する高画質化処理及び符号化に適用することができる。例えば、文字、図面、表、写真などの各領域を特徴領域とみなすと、それらの領域に対する高解像度化処理として、上記の超解像処理などの高画質化処理を適用することができる。また、それら特徴領域の検出、符号化に、上記の特徴領域検出処理、圧縮処理を適用することができる。同様に、内視鏡システムにおいても、体内部位の検出、高画質化、及び符号化に、上記の特徴領域検出処理、高画質化処理、圧縮処理を適用することができる。
【０３１５】
〔変形例１〕
上述の画像処理システム２００、２０１では、複数の撮像装置２１０ａ−ｄを備えた例
を述べたが、撮像装置２１０の台数は特に限定されず、１台であってもよい。また、表示
装置２６０の台数も特に限定されず、１台であってもよい。
【０３１６】
〔変形例２〕
上述の画像処理システム２００、２０１では、動画データの中の撮像画像（フレーム画像、或いはフィールド画像）から特徴領域を特定したが、動画データに限らず、静止画データについても適用可能である。もちろん、上述した第１実施形態についても、動画データ、静止画データのいずれにも適用可能である。
【０３１７】
〔変形例３〕
上述の画像処理システム２００、２０１では、１つの撮像画像から複数の特徴領域を検出し得る構成を説明したが、本発明に係る画像処理方法における特徴領域の数は特に限定されず、１つの撮像画像につき、特徴領域は１つであってもよい。
【０３１８】
〔変形例４〕
学習画像群を取得する手段について、予め高画質画像と低画質画像の対の画像群を用意しておく態様に限らず、高画質画像のみを与え、その高画質画像から低画質画像を生成することにより画像対を得てもよい。例えば、画像処理装置内に低画質化の処理を行うための処理手段（低画質化処理手段）を備え、高画質の学習画像を入力することにより、同装置内でこれを低画質化して学習画像対を取得する態様も可能である。
【０３１９】
また、図７、図２１で説明した画像処理システム２００、２０１のような場合、学習画像は予め用意されたデータベースなどから提供される態様に限らず、システムの稼働により、実際に撮像装置２１０によって取り込まれた画像やその画像内から切り出された画像（部分画像）を元に学習内容を更新することもできる。システムの用途や撮像装置の設置場所に応じて、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることができる。もちろん、上述した第１実施形態についても、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることが可能である。
【０３２０】
以上、説明した本発明に係る第１、第２実施形態、及び応用例、変形例は、本発明の趣旨を逸脱しない範囲で構成要件の変更、追加、削除が可能である。
【符号の説明】
【０３２１】
１０…低解像画像生成工程、１２…高周波成分抽出工程、１４…代表画像ベクトル生成工程、１６…補間フィルタ係数生成工程、２０…高周波成分抽出工程、２２…補間フィルタ係数設定工程、２４…補間フィルタリング工程、２６…拡大処理工程、２８…加算工程
【技術分野】
【０００１】
本発明は画像処理方法及び装置並びにプログラムに係り、特に低画質情報から処理前に存在しない高画質情報を生成（復元）するための補間、拡大、符号化処理に関する。
【背景技術】
【０００２】
低解像（低画質）の入力画像から高解像（高画質）の出力画像を生成する方法として、予め多数の画像内容について低解像度の画像と高解像画像のペア（対）を学習し、低解像の情報から高解像の情報への変換関係を求めておき、この変換関係を用いて低解像の入力画像から高解像の情報を含んだ画像を生成（復元）する様々な技術が提案されている。例えば、３次補間法として知られているバイキュービック法は、ニアレストネイバー法やバイリニア法などと比較して情報の損失が少なく、自然な画像が得られる手法であるものの、画像がぼけてしまう。
【０００３】
一方、低解像画像と高解像画像との対応関係を予め学習するとともに、低解像画像と高解像画像とのパッチ（所定の画素数ごとに分割された領域）ごとのペアとしてデータベース化して記憶しておき、この低解像画像と高解像画像とのパッチペアのデータベースを参照しながら低解像画像を高解像画像へ変換する方法が知られている。かかる手法は、データベース数×フィルタサイズ×画素数に比例する処理時間を必要とし、６４０×４８０画素程度の高解像画像を得る場合にはデータベース数が１０万個程度となり、データベースの記憶に必要な記憶容量が増大するとともに、変換処理に多くの処理時間が必要となる。
【０００４】
上記課題を解決する手法として、次の手法が知られている。図２２（ａ），（ｂ）は、上記課題を解決するための画像処理方法の概略構成を示す図である。同図に示す画像処理方法は、図２２（ａ）に図示される学習ステップにおいて、高解像画像ｘに対して縮小（間引き）処理を施し、高解像画像ｘとのペアとなる低解像画像ｚが得られる。そして、低解像画像ｚにおける注目画素とベクトルフィルタとの差分として、クラスタベクトルＹが生成される。
【０００５】
図２３（ａ），（ｃ）に図示した３×３サイズの９画素のうち、中心に位置するデータ値「１４」の１画素が注目画素であり、その周囲の８画素がベクトルフィルタである。図２３（ａ）に図示した注目画素ベクトルフィルタとの差分を演算（微分処理及び正規化処理）することで、図２３（ｂ）に図示した８次元のクラスタベクトルＹが生成される。同様に図２３（ｃ）に図示した注目画素とベクトルフィルタと差分を演算することで図２３（ｄ）に図示したクラスタベクトルＹが生成される。このクラスタベクトルＹは、低解像画素（低解像画素と高解像画素のペア）における画素ごとに生成される。
【０００６】
低解像画像の画素数と同数のクラスタベクトルＹが生成されると、クラスタベクトルＹの代表として代表ベクトルμｉ（ｉはクラス番号）が生成される。すなわち、低解像画像の画素数と同数のクラスタベクトルＹから、低解像画像の画素数よりも少ない数の代表ベクトルμｉが生成される。例えば、１０万個のクラスタベクトルに対して１００個程度の代表ベクトルμｉが生成される。この代表ベクトルμｉによって低解像画像の各画素は、ｉ個のクラスのいずれかに分類（クラス化）される。
【０００７】
代表ベクトルμｉの生成手法として、例えば、ＧＭＭ（ガウシアンミクスチャモデル）に対してＥＭアルゴリズムが適用された手法が挙げられる。このようにして、クラスタベクトルＹが代表値化された代表ベクトルμｉを求めることで、データベース数の大幅な削減が実現されている。そして、高解像画像ｘ、低解像画像ｚ、クラスタベクトルＹ、代表ベクトルμｉから補間フィルタ係数Ａｉ、Ｂｉ、μｉ（ｉはクラス番号）が生成される。
【０００８】
学習ステップで生成された補間フィルタ係数Ａｉ、Ｂｉ、μｉは、図２２（ｂ）に図示した復元ステップにおいて使用される。ここで、補間フィルタ係数Ａｉは、低解像画像における低周波成分から中周波成分の周波数成分を復元するために、クラスタベクトルＹよりも大きなサイズが必要である。例えば、補間フィルタ係数Ａｉとして、注目画素を中心とした５×５程度のサイズ（２５次元程度のベクトル）が必要である。
【０００９】
一方、図２２（ｂ）に示す復元ステップでは、入力された低解像画像ｚの高周波成分から画素ごとにクラスタベクトルＹが生成されるとともに、入力された低解像画像ｚとクラスタベクトルＹに応じた補間フィルタ係数Ａｉ、Ｂｉ、πｉ及び代表ベクトルμｉが設定される。すなわち、補間フィルタ係数Ａｉ、Ｂｉを用いた補間演算（（Ａｉ×ｚ）＋Ｂｉ））に対して、クラスタベクトルＹ及び代表ベクトルμｉ、補間フィルタ係数πｉを用いて決められた重み（ｗｉ（（μｉ−Ｙ），πｉ））により重み付けがされ、クラスごとに求められた演算結果がすべて加算され、出力としての高周波画像が生成される。
【００１０】
すなわち、入力された低解像画像ｚに対して合成行列（フィルタ係数）Ａｉを乗じ、バイアスＢｉを付加するとともに、代表ベクトルμｉと入力画素ごとのクラスタベクトルｙとの差分（μｉ−Ｙ）に応じた重みが乗じられる。この演算をｉについて繰り返し、すべてのクラスの加重和が算出され、高周波画像として出力される。かかる補間フィルタリング処理は、Σ（（Ａｉ・ｚ）＋Ｂｉ）・ｗｉ（（μｉ−Ｙ），πｉ）と表すことができる。なお、πｉは正規化処理における寄与率（クラスごとの寄与率）を意味し、Σπｉ＝１（すべてのクラスのπの合計が１）となっている。
【００１１】
非特許文献１には、前記した手法と同様の画像処理方法が開示されている。ここで、非特許文献１に係る画像処理方法の概略を説明する。非特許文献１に係る画像処理方法は、高解像画像ｘ（High-resolution pixels x）と低解像画像ｚ(Low-resolution image)とのペア（パッチペア）の代表値の組み合わせにより補間演算を行い、低解像画像ｚに存在していない高解像画像ｘの情報を補間し、低解像画像ｚを高解像画像ｘへ変換している。
【００１２】
図２４に示す入力の低解像画像(input pixel)は、５×５サイズのウインドウの中心に置かれ、この入力画素の周辺画素である５×５サイズのウインドウはベクトル化され、１×２５列の観測ベクトル(observation vector)ｚが生成される。この観察ベクトルｚが低周波成分から高周波成分までの全周波数領域に対する演算に用いられる。
【００１３】
一方、観測ベクトルｚに対して射影演算子(projection operator f)が適用され、クラスタベクトルｙ(cluster vector y)が生成される。クラスタベクトルｙは入力画素ごとに生成され、入力画素を特徴化してコンテクストクラス(classify)へ関連付けするためのものであり、上述したように、入力された低解像画像の注目画素を中心とする３×３サイズのウインドウから８次元のベクトルとして生成される（図２３（ａ）〜（ｄ）参照）。さらに、トレーニングステップにおいて、予め求められている分布パラメータθに基づき、コンテクストクラスごとの重み付けｗｉが決められる。
【００１４】
一方、オフラインのトレーニング手法により、前記した分布パラメータθ及び補間フィルタ係数Ψが予め求められる。この補間フィルタ係数Ψが適用されるフィルタリング(linear filter)によって高解像画像が生成される。この補間フィルタ係数Ψによるフィルタリングは、ｘ＝Σ（ｗｉ×（Ａ×ｚ＋β））と表すことができる。なお、Ａは補間関数、βはバイアスベクトルであり、先に説明したＡｉ及びＢｉと等価である。非特許文献１に開示された手法においても、入力画素ごとに求められるクラスタベクトルｙを代表値化することでデータベース数の大幅な削減が実現されている。
【００１５】
特許文献１は、通常の解像度の画像情報を高解像度の画像情報に変換して出力する装置を開示している。特許文献１に係る装置は、ＮＴＳＣ方式の映像信号（ＳＤデータ）に対応するハイビジョン方式の映像信号（ＨＤ画像）を推定するための係数データをクラスごとに予め学習により求めた上で、この係数データに基づきＳＤ画像が補間されるので、実際のＨＤデータにより近いデータが得られるように構成されている。
【００１６】
また、特許文献２は補間フィルタを用いて低解像画像の入力ピクセルを分類及び補間し、所定の収束条件が満たされるまで、分類及び補間フィルタの更新が繰り返されるように構成されたデジタル画像の空間解像度向上のための装置及び方法が開示されている。特許文献２の段落〔００４４〕には、トレーニング画像を得るために高解像画像から対応する低解像画像が得られる旨が記載されている。
【００１７】
特許文献３は、入力画像の特徴領域をモデル化して、低画質画像から高画質画像を生成するのに要する演算時間を削減する画像処理システムが開示されている。特許文献３の段落〔０１２４〕には、サンプル画像から高周波成分を抽出し、オブジェクトの画像の高周波成分を格納する旨が記載されている。
【００１８】
特許文献４は、動画像から静止画像を抽出する際に、順方向解析又は逆方向解析のいずれの方向の画像間解析が有効であるかを判定し、判定結果に基づいて抽出された静止画像に対し所定の超解像拡大処理が施される画像処理装置が開示されている。特許文献４の段落〔０１３０〕には、供給された画像情報から高周波成分を抽出する旨が記載されている。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】“OPTIMAL IMAGE SCALING USING PIXEL CLASSIFICATION”(https://engineering.purdue.edu/~bouman/publications / pdf/icip01atkins.pdf,C. Brian Atkins, Charles A. Bouman,Jan P. Allebach)
【特許文献】
【００２０】
【特許文献１】特許第３７２４００８号公報
【特許文献２】特開２００９−５２４８６１号公報
【特許文献３】特開２００９−２５３７６５号公報
【特許文献４】特開２００９−１８８８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、上記に説明した従来技術に係る画像処理方法は、高解像画像と低解像画像とのペアの代表値が５０〜１００クラス程度とまだ多く、これらを格納するための大容量のメモリが必要であるとともに、処理速度も十分に速いとはいえない。さらに、復元対象が低周波成分から高周波成分までの全周波数成分であるために、低周波成分から中周波数成分を復元するためのフィルタサイズを小さくすることができないという課題を有している。
【００２２】
また、復元対象が低周波成分から高周波成分までの全周波数成分であるのに対して、代表数（クラス数）を減らすための代表ベクトルμｉが高周波成分から求められているので、この周波数成分の不整合によりパッチ周期のアーチファクトが生じてしまう。つまり、図２３（ａ）〜（ｄ）を用いて説明した例のように、中心の１次元が「１４」と「−４」のように大きく変動すると、クラスタベクトルｙが大きく変動してしまい、類似したクラスに分類されにくく、結果として、隣接する入力画素から復元された画素間の滑らかさが欠けてしまうので、復元画像に不自然さが発生してしまう。
【００２３】
本発明はこのような事情に鑑みてなされたもので、低画質画像から高画質画像を生成する際の補間処理における処理速度の高速化を図るとともに、必要なメモリ容量の削減を可能とし、さらに復元された高画質画像におけるパッチ単位で生じる不自然さが解消された好ましい画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００２４】
前記目的を達成するために以下の発明態様を提供する。
【００２５】
発明１に係る画像処理方法は、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類のいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定工程と、復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、を含むことを特徴とする。
【００２６】
発明１における高周波成分抽出工程は、低画質画像のサイズを拡大する拡大工程が含まれていてもよい。
【００２７】
発明１に係る画像処理方法において、補間フィルタ係数及び代表高周波画像を記憶する記憶工程を含む態様が好ましい。
【００２８】
また、補間フィルタ係数の一例として、補間行列、バイアスベクトル、分類ごとの寄与率やこれらの組み合わせが挙げられる。
【００２９】
「高画質画像」は、低画質画像に存在しない情報が含まれる画像を包括する概念であり、その一例として、低画質画像（低解像画像）よりも解像度が高い高解像画像や、低画質画像と同一の解像度を有し、例えば、低画質画像に存在しない超高周波成分が含まれる画像などが挙げられる。
【００３０】
代表高周波画像の一例として、処理対象画素の画素値と該処理対象画素を中心とするｍ×ｎ（但し、ｍ、ｎは任意の正の整数であり、ｍ＝ｎでもよい）サイズの範囲に含まれる周辺画素の画素値との平均値から、処理対象画素及び周辺画素の画素値が減算された多次元（ｍ×ｎ次元）ベクトルで表される態様が挙げられる。
【００３１】
発明２に係る画像処理方法は、発明１に記載の画像処理方法において、前記補間フィルタ係数及び代表高周波画像を取得する取得工程を含むことを特徴とする。
【００３２】
発明２に係る画像処理方法の具体例として、補間フィルタ係数及び代表高周波画像が記憶されている記憶手段から、補間フィルタ係数及び代表高周波画像を読み出す態様が挙げられる。
【００３３】
発明３に係る画像処理方法は、発明１又は２に記載の画像処理方法において、前記補間フィルタ係数及び前記代表高周波画像は、互いに画質が異なる高画質学習画像及び低画質学習画像を含む学習画像対を用いた学習工程において生成され、前記学習工程は、前記高画質学習画像から前記低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記高画質画像の高周波成分が抽出された高周波高画質画像が生成される高周波高画質画像生成工程と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数を生成する補間フィルタ係数生成工程と、を含むことを特徴とする。
【００３４】
発明３に係る画像処理方法において、発明１に係る復元工程の復元条件に応じて、発明３に係る学習工程における学習が実行されるとよい。
【００３５】
発明４に係る画像処理方法は、発明３に記載の画像処理方法において、前記学習代表数を取得する学習代表数取得工程を含むことを特徴とする。
【００３６】
発明４に係る画像処理方法において、復元対象の低画質画像に対応した代表学習数が取得される態様が好ましい。
【００３７】
発明５に係る画像処理方法は、発明１乃至４のいずれかに記載の画像処理方法において、前記高画質画像生成工程は、前記代表高周波画像、前記高周波低画質画像、前記補間フィルタ係数、及び分類ごとの復元対象の低画質画像に応じた重みを用いて、少なくとも前記高周波低画質画像がパラメータに含まれる補間係数演算と、少なくとも前記高周波低画質画像がパラメータに含まれる重み係数との積の形式で表される混合ガウス分布又は混合多項分布の少なくともいずれかの分類数についての多重和で表される補間処理を実行して、前記高周波低画質画像に存在しない超高周波成分を生成することを特徴とする。
【００３８】
発明５に係る画像処理方法によれば、高周波低画質画像が補間係数演算と重み係数のパラメータとのパラメータとして共通化されるので、従来技術に係る画像処理方法における重み係数に固有のパラメータであるクラスタベクトルｙを生成する必要がない。
【００３９】
発明６に係る画像処理方法は、発明１乃至５のいずれかに記載の画像処理方法において、復元対象の低画質画像の画素数を復元後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大工程と、前記拡大工程の処理結果と前記高画質画像生成工程の処理結果とを加算する加算工程と、を含むことを特徴とする。
【００４０】
発明６に係る画像処理方法において、復元対象の低画質画像における低周波成分から中周波成分までの周波数成分に対して、拡大工程における拡大処理が施される態様が好ましい。
【００４１】
発明７に係る画像処理方法は、発明１乃至６のいずれかに記載の画像処理方法において、前記生成された高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする。
【００４２】
発明７に係る画像処理方法によれば、特定の少数クラス（分類）に寄与率が偏り過ぎる場合に、複数のクラスに寄与率を分散させることができる。
【００４３】
発明８に係る画像処理方法は、発明１乃至７のいずれかに記載の画像処理方法において、前記高画質画像生成工程は、前記高周波低画質画像が有するデータ値の大きさ、所定の大きさを超えるデータ値の頻度、及び所定の大きさを超えるデータ値の累積値のいずれかに応じて補間演算処理を実行するか否かを判定する補間演算処理実行判定工程を含むことを特徴とする。
【００４４】
発明８に係る画像処理方法によれば、復元対象の低画質画像において、補間演算を実行する領域を制限することで、当該画像処理全体の高速化を図ることが可能である。
【００４５】
発明９に係る画像処理方法は、発明８に記載の画像処理方法において、補間演算処理を実行するか否かを判定するための閾値を取得する閾値取得工程を含むことを特徴とする。
【００４６】
復元条件に応じて決められた複数の閾値のいずれかを選択的に取得する態様も好ましい。
【００４７】
発明１０に係る画像処理方法は、発明８に記載の画像処理方法において、前記加算工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行する判断したときは、前記高画質画像生成工程の処理結果と前記拡大工程の処理結果とを加算する処理を実行することを特徴とする。
【００４８】
発明１０に係る画像処理方法において、補間演算実行判定工程において補間演算を実行しないと判断したときは、拡大工程の処理結果が出力されるように構成する態様が好ましい。
【００４９】
発明１１に係る画像処理方法は、発明８に記載の画像処理方法において、前記加算工程の処理結果を出力するか、前記拡大工程の処理結果を出力するかを選択的に切り換える切換工程を含み、前記切換工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行すると判定されたときに前記加算工程の処理結果を出力し、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行しないと判定されたときに前記拡大工程の処理結果を出力することを特徴とする。
【００５０】
発明１１に係る画像処理方法によれば、必要に応じて補間演算処理が実行されるので、当該画像処理全体を高速化することが可能となる。
【００５１】
発明１２に記載の画像処理方法は、発明１乃至１１のいずれかに記載の画像処理方法において、前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴部分以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、前記高画質画像生成工程は、前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理を少なくとも前記特徴領域に対して施すことを特徴とする。
【００５２】
発明１２において、特徴領域として特定されない領域について補間演算により求められた演算結果について、第２の特徴領域を特定する第２の特徴領域特定工程を具備し、特徴領域及び第２の特徴領域を第１の圧縮強度で圧縮し、他の領域を第２の圧縮強度で圧縮する圧縮工程を具備する態様も可能である。
【００５３】
発明１３に係る画像処理方法は、高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、を含むことを特徴とする。
【００５４】
発明１３に係る画像処理方法において、代表学習数を取得する取得工程を含む態様が好ましい。
【００５５】
発明１４に係る画像処理装置は、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、を備えたことを特徴とする。
【００５６】
発明１４に係る画像処理装置において、発明２乃至１２のいずれかに記載の各工程に対応する機能を有する手段（ハードウェア）を備える態様も可能である。
【００５７】
発明１５に係るプログラムは、コンピュータを、互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、として機能させることを特徴とする。
【００５８】
発明１５に係るプログラムにおいて、コンピュータを、高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成手段と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成手段と、前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成手段と、前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成手段と、前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成手段と、前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成手段として機能させることを特徴とするプログラムが含まれていてもよい。
【００５９】
また、発明１５に係るプログラムにおいて、発明２乃至１２のいずれかに記載の各工程に対応する手段（ハードウェア）として機能させるプログラムを構成することも可能である。
【発明の効果】
【００６０】
本発明に係る画像処理方法によれば、復元対象を高周波成分に限定することで、高画質画像生成工程における補間処理の処理時間が大幅に削減される。また、復元対象を高周波成分に限定してクラスタリングのバリエーションを減らすことで、クラス数を削減する効果も期待でき、加えて、補間フィルタのサイズが小さくなることによって、補間フィルタ係数を生成する際の処理時間の削減や、補間フィルタ係数を格納するためのメモリ容量の削減を図ることが可能となる。
【００６１】
さらに、補間処理に用いられる補間フィルタのサイズが小さくなることによって、メモリ容量の削減を図ることが可能となる。また、低周波成分から中周波成分まで周波数成分の復元結果と高周波成分の復元結果とを合成する際の不整合が回避され、復元された画像において復元処理単位で発生するアーチファクトの発生が回避される。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係る画像処理方法の概略構成を示す全体構成図
【図２】画像ベクトルの説明図
【図３】本発明の実施形態に係る画像処理方法における高周波成分及び超高周波成分の説明図
【図４】図１に示す画像処理方法の他の態様の説明図
【図５】図４に示す補間実行判定工程の説明図
【図６】重み付け加重和処理工程の説明図
【図７】本発明の実施形態に係る画像処理システムの一例を示す構成図
【図８】図７中の画像処理装置２２０の構成例を示すブロック図
【図９】図８中の特徴領域特定部２２６の構成例を示すブロック図
【図１０】画像内から特徴領域を特定する処理の一例を示す説明図
【図１１】画像内から特徴領域を特定する処理の他の例を示す説明図
【図１２】図９中の第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す説明図
【図１３】図８中の圧縮部２３２の構成例を示すブロック図
【図１４】圧縮部２３２の他の構成例を示すブロック図
【図１５】図７中の画像処理装置２５０の構成例を示すブロック図
【図１６】図１５中の画像処理部３３０の構成例を示すブロック図
【図１７】図１６中のパラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す図
【図１８】特定パラメータの重み付けの一例を示す図
【図１９】図７中の表示装置２６０の構成例を示すブロック図
【図２０】画像の表示エリアの一例を示す図
【図２１】他の実施形態に係る画像処理システムの例を示す構成図
【図２２】従来技術に係る画像処理方法の概略構成を示す全体構成図
【図２３】従来技術に係る画像処理方法におけるクラスタベクトルの説明図
【図２４】非特許文献１に記載された画像処理方法の説明図
【発明を実施するための形態】
【００６３】
以下、添付図面に従って本発明の実施形態について詳細に説明する。
【００６４】
〔概要〕
以下に説明する画像処理方法は、低解像の入力画像から高解像の画像を復元するものであり、低解像画像と高解像画像との変換関係を規定するための補間フィルタ係数を用いた変換（補間）演算により低解像画像に存在していない情報が補間され、高解像の情報が補間された高解像画像が生成される。
【００６５】
なお、本発明に係る画像処理方法は、解像度の変更を伴う画像変換処理に限定されるものではなく、同一の解像度を有する高画質画像及び低画質画像において、低画質画像には存在しない情報が補間された高画質画像を復元する画像処理への適用も可能である。以下の説明では、３２０×２４０画素を有する低解像画像から、６４０×４８０画素を有する高解像画像を生成する（低解像画像の１画素から高解像画像の４画素を生成する）処理を前提として説明する。
【００６６】
〔学習ステップの説明〕
画像処理を行うための準備段階として、事前に高解像画像から低解像画像を作成してデータを学習し、変換関係を規定する補間フィルタ係数を求めておく。このような処理を学習ステップという。そして、この学習ステップで得られた補間フィルタ係数を用いて、任意の低解像の入力画像から高解像の出力画像を得る工程を復元ステップと呼ぶ。
【００６７】
図１(ａ)は、学習ステップの概略構成を示す全体構成図である。また、図１（ｂ）は復元ステップの概略構成を示す全体構成図である。
【００６８】
図１（ａ）に示す学習ステップは、高解像画像ｘfile（学習画像ｘ）に対して、縮小処理（例えば、１画素ごとに画素を間引く処理）又はローパスフィルタ(LPF)などを用いたフィルタリング処理が施され、高解像画像ｘfileよりも解像度が低い低解像画像ｚfileが生成される低解像画像生成工程（＃１０）と、学習画像ｘfile及び低解像画像ｚfileに対してハイパスフィルタ(HPF)を用いたフィルタリング処理（高周波成分の抽出処理）が施され、高周波高解像画像ｘ’fileと高周波低解像画像ｚ’fileのペア（パッチペア）が生成される高周波成分抽出工程（＃１２）と、高周波高解像画像ｚ’fileからクラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）が生成される代表高周波画像生成工程（＃１４）と、高周波高解像画像ｘ’file、高周波低解像画像ｚ’file及び代表高周波画像ｚ’ｉに基づいて補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが算出される補間フィルタ係数生成工程（＃１６）と、を含んで構成されている。
【００６９】
低解像画像生成工程（＃１０）は、入力された高解像の学習画像ｘを、例えば、（１／２）×（１／２）や（１／４）×（１／４）などのように指定されたサイズへ縮小する処理が施される。同工程に適用される縮小法には、バイキュービック法、Ｂスプライン法、バイリニア法、ニアレストネイバー法などの手法を適用することができる。
【００７０】
高周波成分抽出工程（＃１２）は、入力された学習画像ｘ及び低解像画像ｚfileから高周波成分が抽出される処理（入力された学習画像ｘ及び低解像画像ｚfileに対して低周波成分及び中周波成分が抑制される処理）が施される。高周波成分抽出工程に適用されるフィルタの例として、アンシャープマスクに用いられるフィルタ（入力‐平均フィルタ）、ラプラシアン（二次微分）、グラジエント（一次微分）等が挙げられる。
【００７１】
高周波成分抽出工程において抽出される高周波成分の一例として、サンプリング定理におけるナイキスト周波数が挙げられる。すなわち、入力画像について、出力画像におけるナイキスト周波数に対応する周波数をしきい値として、高周波成分抽出処理を行なうことで、入力画像の低周波成分に含まれる画質劣化要因を取り除くことができ、好ましい高画質画像が復元される。
【００７２】
なお、高周波成分抽出工程において抽出される高周波成分は、いわゆるカットオフ周波数（レスポンスが-3dBとなる周波数）としてもよく、入力画像（低解像画像）や出力画像（高周波画像）の解像度などの条件に応じて適宜設定される。
【００７３】
すなわち、高周波成分抽出工程では低解像画像ｚfileから高周波低解像画像ｚ’file（画像ベクトルｚ’）が生成される。図２（ａ）〜（ｄ）は、高周波成分抽出工程における入力と出力との関係が模式的に表された図である。図２（ａ）は、低解像画像ｚfileの注目画素（データ値「１４」の画素）と、該注目画素を中心とした周辺画素（３×３サイズのデータ値「５」の画素）が図示されている。各画素の値と注目画素及び注目画素の周辺画素の平均（（５×８）＋１４）／９＝６との差分を演算することで、図２（ｂ）に示すように、９次元の画像ベクトルｚ’が生成される。同様に、図２（ｃ）に示す３×３サイズの入力から図２（ｄ）に示す９次元の画像ベクトルｚ’が生成される。
【００７４】
代表高周波画像生成工程（＃１４）は、画像ベクトルｚ’を代表値化する工程であり、クラス数と同数の代表高周波画像ｚ’ｉが生成される。代表高周波画像ｚ’ｉは、従来技術におけるクラスタベクトルｙから代表ベクトルμｉを生成する手法と同様に、ＧＭＭ（混合正規分布モデル）にＥＭアルゴリズムが適用された手法が適用される。すなわち、ＥＭアルゴリズムのＥステップにおいて条件確率の推測が行なわれ、ＭステップにおいてＥステップの推測値を用いた尤度関数の最大化が行なわれ、現在の条件確率で尤度関数が最大化され、次の条件確率が求められ、尤度関数の出力が安定するまでＥステップとＭステップのループ演算が繰り返し実行される。
【００７５】
なお、ＧＭＭの他に混合ディリクレモデル等を用いてもよいし、ＥＭアルゴリズムに代わり、変分ベイズ法、ＭＣＭＣ（マルコフ連鎖モンテカルロ）、ギブスサンプラー等を用いてもよい。
【００７６】
かかる演算において、k-means法により画像ベクトルｚ’のクラスごとの重心を求めて分類し、初期状態の設定としてもよい。例えば、１００クラスで１０万画素を学習するには、１万回程度の学習が行なわれる。この場合の収束条件はｅ−１０である。代表高周波画像生成工程における処理は、次式（１）〜（４）で表される演算処理が繰り返し実行される。
【００７７】
【数１】
なお、式（１）における「Ｎ」は高解像画像ｘfile及び低解像画像ｚfileのペア（トレーニングセット）から生成されるトレーニングベクトル（ｚ，ｘ）の数、トレーニングセットのペアにおける低解像画像の画素のセットをＳとしたときのトレーニングセットから抽出されたトレーニングベクトルを｛（ｚｓ，ｘｓ）｝ｓ∈Ｓと表す。
【００７８】
式（２）における「πｉ」はｉ番目のクラスの存在確率であり、式（３）における「ｐｉ｜ｚ’（ｉ｜ｚ’，θ）」は高周波画像ｚ’がクラスｉに存在する確率、「ｐｉ｜ｚ’（ｉ｜ｚ’）」はｉ、ｚ’についての多変量ガウス型密度式や多変量ディリクレ型密度式である。（４）における「σ２」は画像ベクトルｚ’の要素の標本分散の平均、「ｄ」は画像ベクトルｚ’の要素数、Ｍはクラス数である。なお、式（２）における「θ」はＥＭアルゴリズムによって最尤推定され（θmaxが決定され）、これが代入されるため変数としては存在しなくなる。
【００７９】
補間フィルタ係数生成工程（＃１６）は、復元工程における補間演算に用いられる補間フィルタ係数が生成される工程である。補間フィルタ係数生成工程において、高周波高解像画像ｘ’file及び高周波低解像画像ｚ’fileのペアと代表高周波画像ｚ’ｉとを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが生成される。補間フィルタ係数Ａ’ｉは補間行列あり、次式（５）により表される。また、補間フィルタ係数Ｂ’ｉはバイアスベクトルであり、次式（６）により表される。πｉはｉ番目のクラスの存在確率（寄与率）であり、すべてのクラスの合計が１となるように正規化され、上記式（２）で表される。
【００８０】
【数２】
なお、上記した補間フィルタＡ’ｉ、Ｂ’ｉ、πｉ係数はあくまでも一例であり、復元工程における補間演算に応じて補間フィルタ係数は適宜決められている。
【００８１】
以上説明した学習ステップにおいて生成された代表高周波画像ｚ’ｉ及び補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉは、次に説明する復元ステップに提供される。なお、図示は省略するが、補間フィルタ係数生成工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉが所定のメモリに記憶される記憶工程を含む態様が好ましい。また、学習ステップは後述する復元ステップにおける復元条件に合わせた学習が行なわれることが好ましい。
【００８２】
復元条件として、復元対象の低解像画像と復元後の高解像画像との解像度比、低解像画像と高解像画像とのサイズ比、復元対象の（復元後の高解像画像に付加される）周波数成分、復元後の高解像画像の記憶容量などが挙げられる。
【００８３】
以上説明した学習ステップでは、従来技術に係る学習ステップにおいて補間フィルタ係数を生成するためのクラスタベクトルｙを画像ベクトルｚ’に置き換えることができるので、クラスタベクトルｙが不要となり、該クラスタベクトルｙを生成する工程（図２２、２４（ａ）参照）を備える必要がない。
【００８４】
〔復元ステップの説明〕
次に、復元ステップについて説明する。復元ステップは、入力画像（低解像画像ｚ）から高解像画像が生成され、出力される。復元ステップは入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。本例では、入力画像を所定サイズの複数のパッチに分割し、該パッチごとに処理を行うことを前提とする。（FJ2009-379の修正に合わせて修正10.2.4）
図１（ｂ）に示す復元ステップは、復元対象の低解像画像ｚから高周波成分が抽出され、画像ベクトルｚ’が生成される高周波成分抽出工程（＃２０）と、入力された低解像画像ｚの画素ごとに、図１（ａ）に示す学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定される補間フィルタ係数設定工程（＃２２）と、低解像画像ｚから生成された画像ベクトルｚ’に対して、補間フィルタ係数設定工程において設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ’及び代表高周波画像ｚ’ｉを用いたフィルタリング処理が施される補間フィルタリング工程（＃２４）と、低解像画像ｚに対してバイキュービックなどの手法を用いた拡大処理が施される補間フィルタ係数設定工程（＃２６）と、補間フィルタリング工程により生成された高解像画像の超高周波成分に、拡大処理工程において拡大された高解像画像の低周波成分から高周波成分が加算され、低周波成分から超高周波成分にわたる全周波数成分を含む高解像画像が生成される加算工程（＃２８）と、を含んで構成されている。
【００８５】
図１（ｂ）に示す復元ステップにおける各工程を経て、入力された低解像画像ｚの１画素に対する出力として、低解像画像に存在していない情報が補間された高解像画像の４画素が得られる。
【００８６】
すなわち、補間フィルタ係数を用いた変換処理が施されて生成された高解像画像の超高周波成分に、低解像画像ｚに対して拡大処理が施されて生成された高解像画像の低中高周波成分が加算され、低解像画像ｚに存在していない超高周波成分の情報が含まれる高解像画像が生成される。
【００８７】
高周波成分抽出工程は、ハイパスフィルタを用いた低周波成分及び中周波成分の抑制処理（高周波成分抽出処理）に拡大処理を加えた構成としてもよい。高周波成分抽出工程における高周波成分抽出処理の内容は図１（ａ）に図示した処理と共通しているので、ここでは説明を省略する。
【００８８】
補間フィルタ係数設定工程は、学習ステップにおいて予め生成されている補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定されるとともに、入力された低解像画像ｚに応じた重み係数ｗｉが設定される。補間フィルタリング工程は、補間フィルタ係数設定工程において生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像画像（低周波画像ｚに存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、次式（７）により表される混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代わり混合ディリクレモデル等の混合多孔分布を仮定してもよい。
【００８９】
【数３】
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じるとともに、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けがされ、すべてのクラスについて加重和が求められる。重みｗｉは代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）及び対象画素のクラスごとの寄与率πｉに応じて算出される。
【００９０】
このようにして、高周波低解像画像ｚ’（入力ｚ’）の高周波成分（図３（ａ）において斜線ハッチが付された周波周領域）が有する情報に基づいて、高解像画像ｘ’（出力ｘ’）における超高周波成分（図３（ｂ）において斜線ハッチが付され領域）の情報が補間される。かかる超高周波成分のデータに対して、拡大処理工程により処理が施された高周波画像における低周波成分から高周波成分までのデータが加算され、低周波成分から超高周波成分までのすべての周波数成分を有する出力画像（高解像画像）が生成される。
【００９１】
本例では、画素数を増やして出力用の超高周波成分から成る画像の画素数と、低周波成分画像から高周波成分の周波数成分から成る画像の画素数と、を一致させる機能としての高周波低解像画像ｚ’fileに対する拡大処理が、補間フィルタリング工程の中で超高周波成分に変換される機能と一括して行われる態様を例示したが、高周波低解像画像ｚ’fileに対する拡大処理は、高周波成分抽出工程の前段や高周波成分抽出工程の後段で実行されてもよい。
【００９２】
上記の如く構成された画像処理方法によれば、復元対象を高周波成分に限定することで、補間に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉのサイズが小型化され、高速処理が可能となるとともに補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが記憶される記憶容量の削減が可能となる。
【００９３】
また、クラスタリング対象のバリエーションを削減するためのクラスタベクトル生成をやめ、クラスタリング対象と復元対象とを共通に高周波化することで、両者が異なることによる復元画像における不整合解消され、パッチ周期で出現するアーチファクトが低減化される。さらに、図２（ａ）〜（ｄ）に示したように、パッチ（画像ベクトルを構成する３×３サイズの画素）中心の輝度を表現するためのベクトル要素についてクラスタリング対象と復元対象を一致させ、結果的に新たなベクトル要素を１次元設けることで（９次元の画像ベクトルを生成することで）、輝度正規化基準がパッチ中心の画素からパッチ全体となり、パッチ間のつながり度合いが向上される。
【００９４】
さらに、復元対象を低解像画像の高周波成分に限定するために設けられたハイパスフィルタによって、低解像画像の低周波成分から中周波成分までに重畳されたノイズ成分が除去されるという効果が得られる。
【００９５】
なお、上記実施形態では画像処理方法について説明したが、上記に説明した各工程と同一の機能が実現されるハードウェアに置き換えることも可能である。例えば、図１（ａ）の低解像画像生成工程（＃１０）、高周波成分抽出工程（＃１２）、代表高周波画像生成工程（＃１４）、補間フィルタ係数生成工程（＃１６）をそれぞれ、低解像画像生成部、高周波成分抽出部、代表画像生成部、補間フィルタ係数生成部に置き換えるとともに、高周波成分抽出工程（＃２０）、補間フィルタ係数設定工程（＃２２）、補間フィルタリング工程（＃２４）、拡大処理工程（＃２６）、加算工程（＃２８）をそれぞれ、高周波成分抽出部、補間フィルタ係数設定部、補間フィルタリング部，拡大処理部、加算部に置き換えて画像処理装置を構成することも可能である。また、上記した画像処理方法の各工程をコンピュータにより実現するプログラムとして構成することも可能である。
【００９６】
〔第２実施形態〕
次に、本発明の第２実施形態に係る画像処理方法について説明する。以下に説明する第２実施形態は、先に説明した第１実施形態に係る画像処理方法に対して新たな機能が追加されている。なお、以降の説明において、先の説明と同一又は類似する部分には同一の符号を付し、その説明は省略する。
【００９７】
図４（ａ）は、本発明の第２実施形態に係る学習ステップの概略構成を示す全体構成図であり、図４（ｂ）は復元ステップの概略構成を示す全体構成図である。図４（ａ）に示す学習ステップは、図１（ａ）に図示した学習ステップに、学習代表数（クラス数、代表高周波画像ｚ’ｉの数）を外部から取得する学習代表数取得工程（＃１９）が追加されている。
【００９８】
すなわち、学習対象の画像に応じて適宜学習代表数を決められるので、学習ステップにおいて効率よく各工程を実行することができ、学習ステップにおいて求められる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉの数が最適化される。
【００９９】
図４（ｂ）に示す復元ステップは、図１（ｂ）に図示した復元ステップに、外部から補間フィルタ係数Ａｉ、Ｂｉ、πｉ及び代表高周波画像ｚ’ｉを取得する補間フィルタ係数取得工程（＃３０）と、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いた補間処理を実行するか否かを判定する補間実行判定工程（＃３２）と、補間実行判定に用いられる判定閾値を外部から取得する閾値取得工程（＃３４）と、高周波低解像画像ｚ’fileに正規化処理を施す正規化処理工程（＃３６）と、補間実行判定工程の判定結果に従って、加算工程（＃２８）において加算された低周波成分から超高周波成分までの全周波数領域の情報を含む画像と拡大工程（＃２６）により拡大された画像とのいずれかを選択的に出力する選択出力（セレクタ）工程（＃３８）と、を含んで構成される。
【０１００】
また、加算工程（＃２８）は、補間実行判定工程における判定結果に応じて加算処理が実行されるように構成されている。
【０１０１】
補間実行判定工程（＃３２）は、高周波画像ｚ’Fileに応じた補間実行判定が行なわれる。すなわち、補間実行判定工程の判定結果に応じて、補間フィルタ係数設定工程、補間フィルタリング工程、加算工程及び選択出力工程の処理が決められる。
【０１０２】
補間実行判定には、高周波画像ｚ’Fileの持つデータの高周波成分の大きさ（振幅）、高周波成分の頻度（局所領域内の閾値を超えるデータを持つ画素数、局所領域内の累積振幅数）等を用いることが可能である。図５は、高周波成分の大きさ（データの絶対値）に対して所定の閾値ＴＨが設定された例を示す図である。かかる場合において、処理対象の高周波画像ｚ’のデータの絶対値が閾値ＴＨを超える場合（図５中、破線を超えるデータを有する位置）は、補間フィルタ係数設定工程において補間フィルタ係数が設定され、補間フィルタリング工程においてフィルタリング処理が実行され、加算工程において加算処理が実行され、選択出力工程において加算処理された高解像画像を出力するように指示される。
【０１０３】
一方、処理対象の高周波画像ｚ’のデータの絶対値が所定の閾値以下の場合（図５中、破線以下のデータを有する位置）は、補間フィルタ係数設定工程、補間フィルタリング工程、及び加算工程に処理停止が指示されるとともに、選択出力工程において拡大処理工程により拡大処理された画像を出力するように指示される。
【０１０４】
すなわち、処理速度を重視する場合において、閾値判定により処理対象画素（領域）について復元処理が必要であるか否かが判断され、復元処理が必要である画素のみに復元処理が実行される。このようにして、補間処理が施される復元処理の対象を制限することで処理速度を向上させることが可能となる。
【０１０５】
例えば、人物の顔がデータ値１又は０の二値で表現された二値画像に対する処理を考えたときに、データ値１で表される領域（黒領域）は補間フィルタ係数を用いたフィルタリング処理（高解像化処理）を施し、データ値０で表される領域（白領域）は拡大処理などの高解像化処理以外の処理を施すことで、処理時間がかかる高解像化処理を施す領域を限定して、全体として処理速度の高速化を図ることが考えられる。
【０１０６】
なお、選択出力工程に変わり、重み付け加重和処理工程を具備する態様も好ましい。重み付け加重和処理工程は、加算工程の処理結果（出力Ｉ１）及び拡大処理工程の処理結果（出力Ｉ２）に対して、処理対象の高周波画像ｚ’のデータの絶対値から求めた重みｗ１、ｗ２（＝１−ｗ１）を乗じ、重み付けされた処理結果（Ｉ１×ｗ１＋Ｉ２×ｗ２）が加算されるように構成される。処理対象の高周波画像ｚ’のデータの絶対値が大きいほど加算工程の処理結果が支配的になるように（ｗ１の値がｗ２の値に対して大きくなるように）重みが決められる。重み付け加重和処理工程は画質重視の処理を実行する場合に有効である。
【０１０７】
図６に示すように、重み付け加重和処理工程に用いられる重みｗ１（ｗ２）は線形でもよいし、非線形（閾値ＴＨまでの線形関数やシグモナイド関数等）でもよい。
【０１０８】
正規化処理工程（＃３６）は、入力された高周波低解像画像ｚ’fileのｎ乗ノルム｜ｚ’｜が算出され、ｚ’／｜ｚ’｜が出力される。ｎは１前後の値から任意に選択される。正規化処理工程を具備する構成によれば、特定の少数のクラスに寄与率が偏り過ぎる場合に複数のクラスに寄与率を分散させることができ、フィルタリングされた画像の頑健性向上が見込まれる。一方、正規化処理による均一化によりクラス数が増え、演算量が増える可能性がある。なお、正規化処理工程は、補間実行判定工程の結果に従って処理を実行するか否かが決められる。なお、本発明に係る画像処理方法は、正規化処理工程を備える態様が好ましいが必須の構成ではない。
【０１０９】
なお、第１実施形態と同様に、図４（ａ）及び図４（ｂ）に図示した各工程と同一の機能を有するハードウェアを用いて画像処理装置を構成することが可能である。また、図４（ａ）及び図４（ｂ）に図示した各工程の機能をコンピュータに実行させるプログラムを作成することも可能である。
【０１１０】
本例に示す画像処理方法において、学習ステップに用いられる学習画像セットの対象を限定することは必須ではないが、自然物、ＣＧ（コンピューターグラフィックス）といった復元対象に適合した対象とすることが好ましい。また、学習画像セットを以下のように限定することで、さらなる高画質化が期待される。
【０１１１】
例えば、学習画像セットの対象として人物の顔が挙げられる。また、顔の他に頭部または人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部を含む領域に対象を限定することが考えられる。なお、「生体」とは、生体内部の血管等のように生体内部に存在する特定の組織が含まれる。また、内視鏡システムや顕微鏡システムにおける、生体内部の腫瘍組織、細胞、タンパク質、ＤＮＡ、ＲＮＡ等の高分子、低分子の物質を対象とすることも可能である。
【０１１２】
さらに、生体の他にも、薬等の化合物や、認証システムにおける貨幣、キャッシュカード等のカード類、監視カメラシステムにおける車両や車両のナンバープレート、複写機等のスキャナ機器により読み取られたドキュメントの画像、文字、図形、表、写真などを対象とすることも可能である。
【０１１３】
また、本例では、超解像処理について説明したが、本発明を適用可能な画像処理は超解像処理に限定されず、折り返し成分を低減した縮小処理、多色数化処理、多階調化処理、ノイズ低減化処理、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減化させるアーチファクト低減化処理、ボケ低減化処理、シャープネス化処理、高フレームレート化処理、広ダイナミックレンジ化処理、色階調補正処理、歪み収差化処理、符号化などの射影処理にも適用可能である。
【０１１４】
例えば、ノイズ低減化処理の場合、ノイズが含まれる画像とノイズが含まれない画像とをペアとして射影関係が学習される。すなわち、処理前の画像と処理後の画像とのペアを準備し、それぞれの処理前画像と処理後画像との射影関係を学習しておき、かかる射影処理に適用される演算子や関数等が予め準備される。
【０１１５】
〔応用例〕
次に、本発明の実施形態に係る応用例として、監視システムへの適用例について説明する。監視システムにおいて、監視カメラにより取得された低画質画像を高画質画像へ変換し、該高画質画像をモニタに表示することや印刷装置により該高画質画像を印刷することが可能となる。
【０１１６】
図７は、本発明の実施形態に係る画像処理システム２００の一例を示す。以下に説明
する画像処理システム２００は、一例として監視システムとして機能することができる。
【０１１７】
画像処理システム２００は、監視対象空間２０２を撮像する複数の撮像装置２１０ａ−ｄと、これら撮像装置２１０ａ−ｄにより撮像された撮像画像を処理する画像処理装置２２０、通信ネットワーク２４０、画像処理装置２５０、画像データベース（ＤＢ）２５５、及び複数の表示装置２６０ａ−ｅを備える。画像処理装置２５０は、監視対象空間２０
２とは異なる空間２０５（例えば、監視対象空間２０２から遠く離れた場所）に設置することができ、表示装置２６０ａ−ｅについても監視対象空間２０２や画像処理装置２５０の設置空間２０５とは異なる空間２０６に設けることができる。
【０１１８】
撮像装置２１０ａは、撮像部２１２ａ及び撮像画像圧縮部２１４ａを有している。撮像部２１２ａは、監視対象空間２０２を連続して撮像することによって複数の撮像画像を撮像する。撮像部２１２ａにより得られる撮像画像は、ＲＡＷ形式の撮像画像であってよい。撮像画像圧縮部２１４ａは、撮像部２１２ａにより撮像されたＲＡＷ形式の撮像画像を同時化して、同時化して得られた複数の撮像画像を含む動画をＭＰＥＧ符号化その他の符号化方式により圧縮して動画データを生成する。撮像装置２１０ａは当該生成した動画データを画像処理装置２２０に出力する。
【０１１９】
他の撮像装置２１０ｂ、２１０ｃ、２１０ｄもそれぞれ撮像装置２１０ａと同様の構成を有し、各撮像装置２１０ａ−ｄにより生成された動画データは画像処理装置２２０に送られる。なお、以下の説明において、撮像装置２１０ａ−ｄを撮像装置２１０と総称する場合がある。同様に、表示装置２６０ａ−ｅを表示装置２６０と総称する場合があり、以後の説明においては、類似する構成要素に付した符号の末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
【０１２０】
画像処理装置２２０は、撮像装置２１０から取得した動画データを復号することにより、動画を取得する。画像処理装置２２０は、取得した動画に含まれる複数の撮像画像のそれぞれから、人物２７０が撮像された領域、車輌等の移動体２８０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置２２０は、特徴の種類に応じた強度で特徴領域の画像を圧縮するとともに、特徴領域以外の領域の画像を、それぞれの特徴領域の画像を圧縮する圧縮強度より強い強度で圧縮する。
【０１２１】
また、画像処理装置２２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。特徴領域情報は、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、若しくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。
画像処理装置２２０は、当該生成した特徴領域情報を圧縮動画データに付帯して、通信ネットワーク２４０を通じて画像処理装置２５０に送信する。
【０１２２】
画像処理装置２５０は、特徴領域情報が対応付けられた圧縮動画データを画像処理装置２２０から受信する。画像処理装置２５０は、圧縮動画データに対応付けられている特徴領域情報に対応付けて、当該圧縮動画データを画像ＤＢ２５５に記憶させる。なお、画像ＤＢ２５５は、ハードディスク等の不揮発性の記憶媒体に圧縮動画データを記憶してよい。このように、画像ＤＢ２５５は、圧縮された撮像画像を記憶する。
【０１２３】
また、画像処理装置２５０は、表示装置２６０からの要求に応じて、画像ＤＢ２５５から圧縮動画データ及び特徴領域情報を読み出し、当該読み出した圧縮動画データをこれに付帯する特徴領域情報を利用して伸張して表示用動画を生成して、通信ネットワーク２４０を通じて表示装置２６０に送信する。表示装置２６０は、画像の検索条件などを入力し得るユーザーインターフェースを具備し、画像処理装置２５０に対して各種の要求を送信できるとともに、画像処理装置２５０から受信した表示用動画を表示する。
【０１２４】
また、上記の動画表示に代えて、又は、これと組み合わせて、画像処理装置２５０は、特徴領域情報が含む特徴領域の位置、特徴領域の大きさ、特徴領域の数等に基づいて、種々の検索条件を満たす撮像画像並びにその特徴領域を特定することも可能である。そして、画像処理装置２５０は、この特定した撮像画像を復号して、表示装置２６０に提供することにより、要求にかかる検索条件に合致した画像を表示装置２６０に表示させてもよい。
【０１２５】
なお、画像処理装置２５０は、画像処理装置２２０から取得した圧縮動画データを、これに対応する特徴領域情報を利用して伸張して表示用動画を生成してから画像ＤＢ２５５に記憶させてもよい。また、このとき画像処理装置２５０は、特徴領域情報を対応付けて表示用動画を画像ＤＢ２５５に記憶させてもよい。かかる態様によれば、画像処理装置２５０は、表示装置２６０からの要求に応じて画像ＤＢ２５５から表示用動画（伸張済み）を読み出して、特徴領域情報とともに表示装置２６０に送信し得る。
【０１２６】
また、画像処理装置２５０から伸張済みの表示用動画を表示装置２６０に提供する態様に代えて、表示装置２６０内で圧縮動画データを伸張処理して表示用画像を生成してもよい。すなわち、表示装置２６０は、画像処理装置２５０又は画像処理装置２２０から特徴領域情報及び圧縮動画データを受信してもよい。かかる態様において、表示装置２６０は、受信した圧縮動画データを復号して表示装置２６０に表示させる場合に、復号して得られた撮像画像における特徴領域を一旦単純拡大して表示装置２６０に表示させてよい。
【０１２７】
更に、表示装置２６０は、表示装置２６０における処理容量に応じて各特徴領域の画質を決定して、決定した画質で特徴領域の画像を高画質化してもよい。表示装置２６０は、表示装置２６０が表示している撮像画像における特徴領域の画像を、高画質化した特徴領域の画像で差し替えて表示装置２６０に表示させてもよい。この差し替え表示を行う際の高画質化の処理手段として本発明に係る画像処理方法を利用した超解像の手段を利用することができる。つまり、表示装置２６０内に本発明に係る画像処理方法が適用された画像処理装置を搭載することができる。
【０１２８】
本例の画像処理システム２００によると、特徴領域を示す情報を動画に対応付けて記憶しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、本例の画像処理システム２００によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【０１２９】
なお、図７に示した記録媒体２９０は、画像処理装置２２０、画像処理装置２５０、表示装置２６０用のプログラムを記憶している。記録媒体２９０が記憶しているプログラムは、本実施形態に係る画像処理装置２２０、画像処理装置２５０、表示装置２６０としてそれぞれ機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、図７及び以後の図面に関連して説明される画像処理装置２２０、画像処理装置２５０、表示装置２６０などとして当該コンピュータを機能させる。
【０１３０】
記録媒体２９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤ又はＰＤ等の光学記録媒体、ＭＯ又はＭＤなどの光磁気記録媒体、テープ媒体又はハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワーク或いはインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置が記録媒体２９０として機能することもできる。
【０１３１】
以下、本例の画像処理システム２００における画像処理装置２２０、２５０、表示装置２６０の構成例について更に詳細に説明する。
【０１３２】
（画像処理装置２２０の説明）
図８は、画像処理装置２２０のブロック構成の一例を示す。画像処理装置２２０は、画像取得部２２２、特徴領域特定部２２６、外部情報取得部２２８、圧縮制御部２３０、圧縮部２３２、対応付け処理部２３４、及び出力部２３６を備える。画像取得部２２２は、圧縮動画取得部２２３及び圧縮動画伸張部２２４を有する。
【０１３３】
圧縮動画取得部２２３は、撮像装置２１０（図７参照）が生成した、符号化された動画データを取得する。圧縮動画伸張部２２４は、圧縮動画取得部２２３が取得した動画データを伸張することにより、動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２２４は、圧縮動画取得部２２３が取得した、符号化された動画データを復号して、動画に含まれる複数の撮像画像を抽出する。なお、動画に含まれる撮像画像は、フレーム画像であってよく、フィールド画像であってもよい。
【０１３４】
圧縮動画伸張部２２４によって得られた複数の撮像画像は、特徴領域特定部２２６及び圧縮部２３２に供給される。特徴領域特定部２２６は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域特定部２２６は、複数の撮像画像のそれぞれから特徴領域を検出する。
【０１３５】
例えば、特徴領域特定部２２６は、動画において画像内容が変化する画像領域を、特徴領域として検出する。具体的には、特徴領域特定部２２６は、動くオブジェクトを含む画像領域を、特徴領域として検出してよい。特徴領域特定部２２６は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出し得る。
【０１３６】
特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標として分類される種類であってよい。また、オブジェクトの種類は、オブジェクトの形状又はオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域特定部２２６は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
【０１３７】
（特徴領域検出方法の例１）
例えば、特徴領域特定部２２６は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域特定部２２６は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
【０１３８】
特徴領域特定部２２６は、上記の人物の顔の他にも、人物の頭部又は人物の手等の人体の一部の部位、或いは人体以外の生体の少なくとも一部の部位を含む領域を、特徴領域として検出することができる。
【０１３９】
画像処理システム２００と同様の構成を内視鏡システムに応用した場合など、生体内部の画像を処理する場合には、生体内部の血管等のように、生体の内部に存在する特定の組織や生体内部の腫瘍組織を対象とすることもできる。生体以外にも、特徴領域特定部２２６は、貨幣、キャッシュカード等のカード、車輌、或いは車両のナンバープレートが撮像された領域を特徴領域として検出してよい。
【０１４０】
（特徴領域検出方法の例２）
また、特徴領域特定部２２６は、テンプレートマッチング等によるパターンマッチングの他にも、例えば、特開２００７−１８８４１９号公報に記載された機械学習（例えば、アダブースト）等による学習結果に基づいて、特徴領域を検出することもできる。例えば、予め定められた被写体の画像から抽出された画像特徴量と、予め定められた被写体以外の被写体の画像から抽出された画像特徴量とを用いて、予め定められた被写体の画像から抽出された画像特徴量の特徴を学習する。そして、特徴領域特定部２２６は、当該学習された特徴に適合する特徴を有する画像特徴量が抽出された領域を、特徴領域として検出してよい。
【０１４１】
上述の例１、２に限らず、様々な方法によって特徴領域を検出することが可能であり、特徴領域特定部２２６は、適宜の方法により、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域特定部２２６は、検出した特徴領域を示す情報を、圧縮制御部２３０に供給する。なお、特徴領域を示す情報には、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、及び特徴領域が検出された動画を識別する情報を含めることができる。
【０１４２】
圧縮制御部２３０は、特徴領域特定部２２６から取得した特徴領域を示す情報に基づいて、圧縮部２３２による動画の圧縮処理を制御する。圧縮部２３２は、圧縮制御部２３０による制御により、撮像画像における特徴領域と撮像画像における特徴領域以外の領域とで異なる強度で撮像画像を圧縮する。例えば、圧縮部２３２は、動画に含まれる撮像画像における特徴領域以外の領域の解像度を、特徴領域より低減することにより、撮像画像を圧縮する。このように、圧縮部２３２は、撮像画像における各画像領域のそれぞれを、画像領域の重要度に応じた強度で圧縮する。
【０１４３】
なお、特徴領域特定部２２６が複数の特徴領域を検出した場合、圧縮部２３２は、撮像画像における複数の特徴領域の画像を、それぞれ特徴領域の特徴の種類に応じた強度で圧縮してよい。例えば、圧縮部２３２は、撮像画像における複数の特徴領域の画像の解像度を、特徴領域の特徴の種類に応じて定められた解像度に低減してよい。
【０１４４】
対応付け処理部２３４は、撮像画像から検出された特徴領域を特定する情報を、撮像画像に対応付ける。具体的には、対応付け処理部２３４は、撮像画像から検出された特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応付ける。そして、出力部２３６は、対応付け処理部２３４によって特徴領域を特定する情報が対応付けされた圧縮動画データを、画像処理装置２５０に出力する。
【０１４５】
外部情報取得部２２８は、特徴領域特定部２２６が特徴領域を特定する処理に用いるデータを、画像処理装置２２０の外部から取得する。特徴領域特定部２２６は、外部情報取得部２２８が取得したデータを用いて特徴領域を特定する。外部情報取得部２２８が取得するデータについては、後述の図９に示したパラメータ格納部６５０との関連で説明する。
【０１４６】
（特徴領域特定部２２６の構成例）
図９は、特徴領域特定部２２６のブロック構成の一例を示す。特徴領域特定部２２６は、第１特徴領域特定部６１０、第２特徴領域特定部６２０、領域推定部６３０、高画質化領域決定部６４０、パラメータ格納部６５０、及び画像生成部６６０を有する。第２特徴領域特定部６２０は、部分領域判断部６２２及び特徴領域判断部６２４を含む。
【０１４７】
第１特徴領域特定部６１０は、画像取得部２２２から動画に含まれる動画構成画像である撮像画像を取得し、この取得した撮像画像から特徴領域を特定する。第１特徴領域特定部６１０は、既述の「特徴領域検出方法の例１，例２」で例示した検出方法を用いて特徴領域を検出することにより、撮像画像から特徴領域を特定してよい。
【０１４８】
画像生成部６６０は、第１特徴領域特定部６１０により特徴領域（「第１特徴領域」に相当）として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成する。この画像生成部６６０における高画質画像を生成する手段には、本発明に係る画像処理方法を利用することができる。
【０１４９】
第２特徴領域特定部６２０は、画像生成部６６０で生成された高画質画像から特徴領域（「第２特徴領域」に相当）を探索する。第１特徴領域特定部６１０及び第２特徴領域特定部６２０が特定した特徴領域は、いずれも特徴領域特定部２２６が特定した特徴領域として圧縮制御部２３０に供給される。
【０１５０】
なお、第２特徴領域特定部６２０は、画像生成部６６０から得た高画質画像を基に、第１特徴領域特定部６１０よりも一層詳細に特徴領域を探索してよい。例えば、第２特徴領域特定部６２０は、第１特徴領域特定部６１０で特徴領域を特定する検出精度よりも高精度に特徴領域を検出する検出器が実装されてよい。すなわち、第１特徴領域特定部６１０として実装する検出器の検出精度よりも高精度に検出することができる検出器を第２特徴領域特定部６２０として実装してよい。
【０１５１】
また、別の形態として、第２特徴領域特定部６２０は、第1特徴領域特定部６１０に入力されるものと同じ入力画像（高画質化処理をしない画像）から、第１特徴領域特定部６１０よりも一層詳細に特徴領域を探索してもよい。
【０１５２】
画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、特徴領域として特定される可能性がより高い領域をより優先的に高画質化した高画質画像を、撮像画像から生成してよい。また、画像生成部６６０は、撮像画像に対する画像処理により、高画質画像を生成してよい。
【０１５３】
画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定した後に、第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を、撮像画像から生成してよい。このように、「第１特徴領域特定部６１０により特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定した段階においては、第１特徴領域特定部６１０により特徴領域として特定されなかった領域であってよい。この場合、第２特徴領域特定部６２０により、特徴領域が再度探索されることになる。
【０１５４】
他にも、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、第１特徴領域特定部６１０が特定していない段階においては、第１特徴領域特定部６１０により特定されないことが予測される領域であってよい。例えば、第１特徴領域特定部６１０が予め定められた条件に適合する領域を特徴領域として検出する場合において、「第１特徴領域特定部６１０による特徴領域として特定されない領域」とは、当該条件に適合しない領域であってよい。画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定していない段階で、高画質画像を生成してよい。
【０１５５】
なお、本ブロック図（図９）では、第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、異なる機能ブロックで示されているが、単一の機能要素で実装され得ることは当然である。例えば、第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、特徴領域検出用の電気回路などのハードウェア要素、特徴領域検出用のソフトウェアなどのソフトウェア要素などを、少なくとも一部共有することができる。
【０１５６】
上記において、画像生成部６６０が入力画像を高画質化した画像を生成する場合を例に挙げて説明したが、画像生成部６６０は、第１特徴領域特定部６１０が特徴領域を特定する特徴領域特定処理の対象とした画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。例えば、第１特徴領域特定部６１０が、入力画像に所定の画像処理を施して特徴領域を特定する場合に、画像生成部６６０は、当該画像処理より得られる画像より高画質な画像を生成して、第２特徴領域特定部６２０に提供してよい。
【０１５７】
画像生成部６６０が生成する高画質画像は、第１特徴領域特定部６１０が特徴領域特定処理に用いる画像より高画質な画像であればよく、入力画像より高画質な画像と入力画像より低画質な画像のいずれをも含む。このように、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域を、特徴領域として特定される可能性に応じた画質に変更した高画質画像を、入力画像から生成する。また、画像生成部６６０は、特徴領域として特定される可能性に応じた精度の画質の高画質画像を生成してよい。
【０１５８】
領域推定部６３０は、撮像画像において特徴領域として特定されるべき領域を推定する。例えば、特徴領域特定部２２６が、動画において動くオブジェクトの領域を特徴領域として特定すべき場合に、領域推定部６３０は、動画において動くオブジェクトが存在する領域を推定する。例えば、領域推定部６３０は、同じ動画に含まれる動画構成画像としての他の１以上の撮像画像から抽出された動くオブジェクトの位置、他の撮像画像が撮像されたタイミングなどに基づき、動くオブジェクトが存在する位置を推定する。そして、領域推定部６３０は、推定した位置を含む所定の大きさの領域を、動画において動くオブジェクトが存在する領域として推定してよい。
【０１５９】
この場合、第１特徴領域特定部６１０は、撮像画像における領域推定部６３０が推定した領域から、動くオブジェクトの領域を特徴領域として特定する。そして、画像生成部６６０は、領域推定部６３０が推定した領域のうち、第１特徴領域特定部６１０により動くオブジェクトの領域が特定されなかった領域をより高画質にした高画質画像を生成してよい。
【０１６０】
これにより、動くオブジェクトが存在する可能性が高い領域から、動くオブジェクトが検出できなかった場合に、再探索により動くオブジェクトを抽出することができる可能性が高まる。このように、特徴領域特定部２２６において特徴領域の検出もれが生じる確率を低減することができる。
【０１６１】
部分領域判断部６２２は、特定の画像領域において予め定められた位置に存在する１以上の部分領域の画像が、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、部分領域判断部６２２による判断結果に基づき、特定の画像領域が特徴領域であるか否かを判断する。例えば、特定の画像領域が特徴領域であるか否かを判断する場合に、部分領域判断部６２２は、特定の画像領域上の異なる複数の部分領域のそれぞれに対して、それぞれ予め定められた条件に適合するか否かを判断する。そして、特徴領域判断部６２４は、否の判断結果が得られた部分領域の数が予め定められた値より小さい場合に、特定の画像領域が特徴領域であると判断する。
【０１６２】
特定の画像領域が特徴領域であるか否かを判断する場合に、第２特徴領域特定部６２０が、当該特定の画像領域において予め定められた位置に存在する１以上の部分領域に対して上述の処理により判断する場合に、画像生成部６６０は、当該特定の画像領域を高画質化した高画質画像を生成する場合において、当該１以上の部分領域を高画質化してよい。これにより、特徴領域検出処理に有効な領域だけ高画質化することができるので、特徴領域の再検出処理にかかる演算量を低減することができる。
【０１６３】
高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を決定する。具体的には、高画質化領域決定部６４０は、画像生成部６６０が高画質化する領域を、当該領域が特徴領域として特定される可能性がより低い場合に、より広く決定する。画像生成部６６０は、高画質化領域決定部６４０が決定した領域をより高画質にした高画質画像を生成する。これにより、再探索により動くオブジェクトを抽出することができる可能性を高めることができ、特徴領域特定部２２６において特徴領域の検出もれが生じる確率を低減することができる。
【０１６４】
パラメータ格納部６５０は、画像から抽出された特徴量に対応付けて、当該画像を高画質化すべく用いられる画像処理パラメータを格納する。そして、画像生成部６６０は、高画質化の対象領域から抽出された特徴量に適合する特徴量に対応付けてパラメータ格納部６５０が格納している画像処理パラメータを用いて、高画質化の対象領域を高画質化した高画質画像を生成する。パラメータ格納部６５０は、互いに類似する特徴量が抽出された複数の画像を教師画像として用いた学習により算出された画像処理パラメータを、当該類似する特徴量を代表する特徴量に対応付けて格納してよい。
【０１６５】
なお、画像処理パラメータとしては、高画質化対象の画像データに加算すべきより高い周波数領域の空間周波数成分を有する画像データであってよい。他にも、画像処理パラメータとしては、複数画素の画素値のデータ又は複数の特徴量成分のデータを入力データとした場合に、高画質画像を表すデータに入力データを変換するベクトル、行列、テンソル、ｎ次元混合正規分布、ｎ次元混合多項分布等を例示することができる。なお、ここでのｎは、１以上の整数であるとする。画像処理パラメータについては、画像処理装置２５０の動作に関連して後述する。
【０１６６】
図７に示した外部情報取得部２２８は、パラメータ格納部６５０（図９に記載）が格納する画像処理パラメータ及び特徴量の少なくとも一方を、外部から取得する。パラメータ格納部６５０は、外部情報取得部２２８が取得した画像処理パラメータ及び特徴量の少なくとも一方を格納する。
【０１６７】
図１０は、特徴領域特定部２２６における特徴領域の特定処理の一例を示す。ここでは、撮像画像７００における特徴領域を特定する処理を説明する。
【０１６８】
第１特徴領域特定部６１０（図９参照）は、図１０のように撮像画像７００の複数の画像領域に対して、予め定められた条件への適合度を算出する。そして、第１特徴領域特定部６１０は、撮像画像において予め定められた条件への適合度が第１閾値より大きい領域７１０−１及び領域７１０−２を、特徴領域として特定する。
【０１６９】
また、高画質化領域決定部６４０（図９参照）は、撮像画像において予め定められた条件への適合度が第１閾値以下である第２閾値より大きい、領域７１０−３及び領域７１０−４を選択する（図１０参照）。そして、高画質化領域決定部６４０は、領域７１０−３を含み、上記条件に対する領域７１０−３の画像の適合度に応じた大きさの領域７１０−５を、画像生成部６６０による高画質化の対象領域として決定する。また、高画質化領域決定部６４０は、領域７１０−４を含み、上記条件に対する領域７１０−４の画像の適合度に応じた大きさの領域７１０−６を、画像生成部６６０による高画質化の対象領域として決定する。
【０１７０】
図１０の例では、領域７１０−３よりも領域７１０−４に対して小さい適合度が算出されているとして、高画質化領域決定部６４０は、領域７１０−４をより大きい拡大率で拡大した領域７１０−６を、画像生成部６６０（図９参照）による高画質化の対象領域として決定する。このように、高画質化領域決定部６４０は、条件への適合度が予め定められた第２閾値より大きい領域を適合度に応じた拡大率で拡大して得られた領域を、画像生成部６６０による高画質化の対象領域として決定する。
【０１７１】
そして、第２特徴領域特定部６２０（図９参照）は、高画質化された領域７１０−５及び領域７１０−６の画像から、特徴領域を探索する（図１０参照）。第２特徴領域特定部６２０は、第１特徴領域特定部６１０と同様の処理により、高画質化された領域７１０−５及び領域７１０−６の画像から、上記条件に適合する領域を探索してよい。ここで、第２特徴領域特定部６２０が、高画質化された領域７１０−５の画像７２０において、領域７２２が上記条件に適合すると判断したとする。この場合、特徴領域特定部２２６は、第１特徴領域特定部６１０が特定した領域７１０−１及び領域７１０−２に加えて、画像７２０上の領域７２２に対応する領域７１０−７を、特徴領域として特定する。
【０１７２】
このように、画像生成部６６０（図９参照）は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、所定の条件への適合度がより大きい領域をより高画質にした高画質画像を、撮像画像から生成する。具体的には、画像生成部６６０は、第１特徴領域特定部６１０により特徴領域として特定されない領域のうち、上記条件への適合度が予め定められた第２閾値より大きい領域をより高画質にした高画質画像を生成する。これにより、特徴領域である可能性が高い領域から、特徴領域が抽出される可能性を高めることができ、特徴領域の検出もれが生じる確率を低減することができる。
【０１７３】
以上説明したように、第１特徴領域特定部６１０により特徴領域として特定された領域及び高画質化の対象領域を除く領域は、特徴領域ではない非特徴領域と決定される。なお、第１特徴領域特定部６１０及び第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域ではない領域が特徴領域として特定される確率が予め定められた値より大きくなるよう第１閾値の値を設定してよい。これにより、第１特徴領域特定部６１０が特徴領域として特定した領域に、非特徴領域が含まれる可能性を低減することができる。非特徴領域についても第１閾値に近い適合度が算出される場合があるが、上記のように第１閾値を設定することにより、このような領域が特徴領域として誤検出されてしまう可能性を低減することができる。
【０１７４】
また、第１特徴領域特定部６１０及び第２特徴領域特定部６２０による特徴領域の特定結果、事前の試験結果、又は事後の試験結果などに基づき、特徴領域から算出された適合度が第２閾値以上になるよう第２閾値の値を設定してよい。これにより、第２閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性を低減することができる。特徴領域についても第２閾値に近い適合度が算出される場合があるが、上記のように第２閾値を設定することにより、このような領域が非特徴領域とされてしまう可能性を低減することができる。
【０１７５】
一方、第１閾値及び第２閾値の設定により、第２閾値より大きく第１閾値以下の適合度が算出された領域に、特徴領域が含まれる可能性がある。特徴領域特定部２２６によると、このような領域については、高画質化されてから第２特徴領域特定部６２０により特徴領域が探索されるので、特徴領域と非特徴領域とを適切に切り分けることができ、特徴領域を検出し損ねてしまう確率及び非特徴領域を特徴領域として検出してしまう確率のいずれをも低減することができる。このように、特徴領域特定部２２６によると、感度及び特異度がともに高い特徴領域検出器を提供することができる。
【０１７６】
なお、画像生成部６６０は、上記のように適合度と閾値との関係で高画質化処理の有無を決定することの他に、入力画像の少なくとも一部の画像領域を、上記条件への適合度に応じた高画質化精度で高画質化した高画質画像を生成してよい。この場合、高画質化精度は、適合度に応じた連続関数又は不連続関数で定められてよい。
【０１７７】
図１１は、特徴領域特定部２２６における特徴領域の特定処理の他の一例を示す。ここでは特に、動画から動くオブジェクトの領域を特徴領域として特定する場合の特徴領域特定部２２６の処理の一例を示す。
【０１７８】
第１特徴領域特定部６１０又は第２特徴領域特定部６２０（図９参照）により、図１１のように、撮像画像８００−１及び撮像画像８００−２において、それぞれ領域８１０−１及び領域８１０−２が特徴領域として特定されているものとする。ここで、領域８１０−１及び領域８１０−２には、同じ被写体が撮像されたオブジェクトが存在しているとする。
【０１７９】
この場合、領域推定部６３０（図９参照）は、領域８１０−１及び領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１及び撮像画像８００−２のそれぞれが撮像されたタイミング、並びに、撮像画像８００−３が撮像されたタイミングに基づき、撮像画像８００−３において、同じ被写体のオブジェクトが存在すべき領域として、領域８１０−３を決定する（図１１）。例えば、領域推定部６３０は、領域８１０−１及び領域８１０−２のそれぞれの画像上の位置、撮像画像８００−１及び撮像画像８００−２のそれぞれが撮像されたタイミングから動くオブジェクトの画像領域上の速度を算出して、算出した速度、領域８１０−２の位置、及び撮像画像８００−２が撮像されたタイミングと撮像画像８００−３が撮像されたタイミングとの間の時間差に基づき、同じ被写体のオブジェクトが存在すべき領域として領域８１０−３を決定する。
【０１８０】
第１特徴領域特定部６１０（図９参照）は、領域８１０−３から、動くオブジェクトを探索する（図１１）。第１特徴領域特定部６１０により領域８１０−３から動くオブジェクトが検出されなかった場合に、画像生成部６６０は領域８１０−３を高画質化した高画質画像８２０−４を生成する（図１１）。そして、第２特徴領域特定部６２０は、高画質画像８２０−４から動くオブジェクトを探索する。これにより、動くオブジェクトが検出される可能性が高い領域から当該オブジェクトを抽出される可能性を高めることができ、動くオブジェクトの検出もれが生じる確率を低減することができる。
【０１８１】
なお、画像生成部６６０（図９参照）は、領域８１０−３内のより中央の領域をより高画質化した高画質画像８２０−４を生成してもよい。これにより、動くオブジェクトが存在する確率の低い領域については高画質化の強度を低くすることができる。このため、全体を高強度で一様に高画質化する場合に比べて、高画質化にかかる演算量を低減することができる場合がある。
【０１８２】
図１２は、図９に記載した第２特徴領域特定部６２０による特徴領域の判断処理の一例を示す。第２特徴領域特定部６２０は、特定の画像領域９００が特徴領域であるか否かを判断するにあたり、画像領域９００内の所定の位置関係にある部分領域９１０−１〜４から、特徴量を抽出する。このとき、第２特徴領域特定部６２０は、部分領域９１０のそれぞれから、画像領域９００内における部分領域９１０のそれぞれの位置に応じて予め定められた種類の特徴量を抽出する。
【０１８３】
第２特徴領域特定部６２０は、予め定められた条件に対する部分領域９１０の画像から抽出された特徴量の適合度を、部分領域９１０毎に算出する。第２特徴領域特定部６２０は、部分領域９１０毎に算出した適合度に基づき、画像領域９００が特徴領域であるか否かを判断する。第２特徴領域特定部６２０は、適合度の重み付き合計値が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してよい。また、第２特徴領域特定部６２０は、予め定められた値より大きい適合度が算出された部分領域９１０の数が予め定められた値より大きい場合に、画像領域９００が特徴領域であると判断してもよい。
【０１８４】
上述した特徴量の抽出から適合度算出までの処理は、画像フィルタにより実装され得る。また、当該処理は、弱識別器として実装され得る。また、部分領域９１０の位置は、特徴領域として抽出すべきオブジェクトの種類に応じて定められてよい。例えば、人物の顔のオブジェクトを含む領域を特徴領域として検出すべき場合には、部分領域９１０は、人物の顔のオブジェクトに対して判別力が予め定められた値より高くなる位置に定められてよい。判別力が高いとは、人物の顔のオブジェクトに対しては判別結果が真となる確率が高く、人物の顔以外のオブジェクトに対しては判別結果が偽となる確率が高いことを意味してよい。
【０１８５】
ここで、画像生成部６６０（図９参照）は、部分領域９１０以外の領域を高画質化せず、部分領域９１０だけを高画質化する。そして、上述したように、第２特徴領域特定部６２０は、高画質化された画像から特徴領域を抽出して、画像領域９００が特徴領域であるか否かを判断する。これにより、高画質化する画像領域を限定しつつ特徴領域の検出確率を高めることができ、ひいては高速かつ高確率で特徴領域を検出することができる。なお、上記の説明では、第２特徴領域特定部６２０おける特徴領域の判断処理について説明したが、第１特徴領域特定部６１０も同じ処理により特徴領域であるか否かを判断してよい。
【０１８６】
第１特徴領域特定部６１０及び第２特徴領域特定部６２０における処理は、複数の弱識別器により実装することができる。全Ｎ個の弱識別器を用いて実装する場合を例に挙げて以下に説明する。第１特徴領域特定部６１０においては、Ｎｆ個の弱識別器を用いて、特徴領域であるか否かが判別される。適合度は判別結果に基づき算出され、上述したように、適合度が第１閾値より大きい領域は特徴領域として決定され、適合度が第２閾値以下である領域は非特徴領域として決定される。
【０１８７】
適合度が第１閾値以下であり第２閾値より大きい領域は、画像生成部６６０により高画質化される。第２特徴領域特定部６２０においては、高画質化された画像は、第１特徴領域特定部６１０が用いたＮｆ個の弱識別器と、当該Ｎｆ個の弱識別器以外のＮｂ個の弱識別器とを用いて、特徴領域であるか否かが判別される。例えば、Ｎｆ＋Ｎｂ個の弱識別器の各判別結果から算出された適合度に基づき、特徴領域であるか否かが判別されてよい。
【０１８８】
第１特徴領域特定部６１０により特徴領域として特定されなかった領域のうち、第１閾値より小さく第２閾値より大きい第３閾値と適合度との比較結果に応じて定まる複数の領域を、互い異なる処理で特徴領域が特定されてよい。例えば、第３閾値より大きい適合度が算出された領域については画像生成部６６０により高画質化せずに、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。一方、第３閾値以下の適合度が算出された領域については画像生成部６６０により高画質化され、第２特徴領域特定部６２０においてＮｆ＋Ｎｂ個の弱識別器により特徴領域であるか否かが判別されてよい。
【０１８９】
第２特徴領域特定部６２０の処理において用いられる弱識別器の数Ｎｂは、適合度に応じて調整されてよい。例えば、適合度が小さいほど、第２特徴領域特定部６２０においてより多くの弱識別器を用いて特徴領域であるか否かが判別されてよい。
【０１９０】
以上説明したように、第２特徴領域特定部６２０は、適合度が低いほどより詳細に画質変更画像から特徴領域を探索してよい。上記第１特徴領域特定部６１０及び第２特徴領域特定部６２０の少なくとも一方における弱識別器構成としては、アダブーストによる弱識別器構成を例示することができる。
【０１９１】
第１特徴領域特定部６１０及び第２特徴領域特定部６２０は、それぞれ多重解像度表現により構成された低解像度画像群から特徴領域を検出してもよい。この場合に、画像生成部６６０は、第１特徴領域特定部６１０における多重解像度化より高精度に多重解像度化することにより低解像度画像群を生成してよい。第１特徴領域特定部６１０における多重解像度化処理としては、バイキュービック法による縮小処理を例示することができる。
【０１９２】
また、第２特徴領域特定部６２０における多重解像度化処理としては、事前学習に基づく縮小処理を例示することができる。第２特徴領域特定部６２０は、原寸の画像と目標解像度の画像とを用いた学習により得られた画像処理パラメータを用いて、入力画像から低解像度画像群を生成してよい。なお、学習には、折り返し雑音がより小さい目標解像度の画像を用いることがより好ましい。例えば、異なる数の撮像素子を有する異なる撮像装置により得られた画像を学習に用いることができる。
【０１９３】
図９から図１２に関連して説明した高画質化処理として、本発明に係る画像処理方法を適用できる。すなわち、画像生成部６６０は、特徴領域として特定される可能性がより高い領域をより高画質化した高画質画像を生成するにあたり、図１〜図６で例示した本発明による高画質化の画像処理技術を用いてよい。
【０１９４】
高画質化処理は、高解像度化の処理に限らず、階調数を増加する多階調数化処理、色数を増加する多色数化処理を例示することができ、これらの処理には本発明による画像処理方法を適用できる。
【０１９５】
なお、高画質化の対象となる撮像画像が動画の動画構成画像（フレーム画像やフィールド画像）である場合、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化などの高画質化処理においては、他の撮像画像の画素値を用いて高画質化してもよい。例えば、撮像タイミングの違いによる動体の撮像位置のずれを利用することにより高画質化してもよい。すなわち、画像生成部６６０は、動画に含まれる動画構成画像である撮像画像及び当該動画に含まれる他の動画構成画像を用いて、高画質画像を生成してよい。
【０１９６】
ノイズ低減化処理としては、複数の動画構成画像を用いた処理の他、特開２００８−１６７９４９号公報、特開２００８−１６７９５０号公報、特開２００８−１６７９４８号公報、及び特開２００８−２２９１６１号公報に記載された処理を例示することができる。例えば、画像生成部６６０は、ノイズ量がより多い画像とノイズ量のより少ない画像とを用いた事前学習の結果を用いて、ノイズを低減することができる。本実施形態のように可視光で撮像された画像のノイズ量を低減する場合には、特開２００８−１６７９４９号公報に記載されたように少線量で撮像した画像を事前学習に用いることに代えて、より少ない光量の環境光下で撮像した画像を事前学習に用いることができる。また、シャープネス化処理において、より高精度なシャープネス化処理としては、より大きいフィルタサイズのフィルタを用いた処理、より多くの方向にシャープネス化する処理を例示することができる。
【０１９７】
（圧縮部２３２の構成例）
図１３は、図８に記載した圧縮部２３２のブロック構成の一例を示す。圧縮部２３２は、画像分割部２４２、複数の固定値化部２４４ａ−ｃ（以下、固定値化部２４４と総称する場合がある。）、及び複数の圧縮処理部２４６ａ−ｄ（以下、圧縮処理部２４６と総称する場合がある。）を有する。
【０１９８】
画像分割部２４２は、画像取得部２２２から複数の撮像画像を取得する。そして、画像分割部２４２は、複数の撮像画像のそれぞれを、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２４２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。そして、圧縮処理部２４６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２４６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【０１９９】
より具体的には、画像分割部２４２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２４４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。
【０２００】
具体的には、固定値化部２４４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２４６ａ−ｃは、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧその他の符号化形式により圧縮する。
【０２０１】
固定値化部２４４ａ−ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、及び第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２４６ａ−ｃは、それぞれ固定値化部２４４ａ−ｃにより固定値化した第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、及び第３の特徴の種類の特徴領域動画を圧縮する。
【０２０２】
なお、圧縮処理部２４６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２４６は、特徴領域の特徴の種類に応じて予め定められた異なる解像度の動画に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２４６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合に、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【０２０３】
また、圧縮処理部２４６ｄは、背景領域動画を圧縮する。この圧縮処理部２４６ｄは、圧縮処理部２４６ａ−ｃのいずれによる圧縮強度より高い強度で、背景領域動画を圧縮してよい。圧縮処理部２４６によって圧縮された特徴領域動画及び背景領域動画は、対応付け処理部２３４（図８参照）に供給される。
【０２０４】
図１３で説明したように、特徴領域以外の領域は固定値化部２４４によって固定値化さるので、圧縮処理部２４６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。このため、圧縮部２３２は、特徴領域動画をより高い圧縮率で圧縮することができる。
【０２０５】
なお、図１３の構成では、圧縮部２３２が有する複数の圧縮処理部２４６のそれぞれが複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮したが、他の形態では、圧縮部２３２は一の圧縮処理部２４６を有してよく、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。例えば、複数の特徴領域の画像及び背景領域の画像が一の圧縮処理部２４６に時分割で順次供給され、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で順次圧縮してよい。
【０２０６】
他にも、一の圧縮処理部２４６は、複数の特徴領域の画像情報及び背景領域の画像情報を異なる量子化係数でそれぞれ量子化することによって、複数の特徴領域の画像及び背景領域の画像をそれぞれ異なる強度で圧縮してよい。また、複数の特徴領域の画像及び背景領域の画像がそれぞれ異なる画質の画像に変換された画像が一の圧縮処理部２４６に供給され、一の圧縮処理部２４６が、複数の特徴領域の画像及び背景領域の画像をそれぞれ圧縮してよい。また、上記のように一の圧縮処理部２４６が領域毎に異なる量子化係数で量子化したり、領域毎に異なる画質に変換された画像を一の圧縮処理部２４６が圧縮する形態では、一の圧縮処理部２４６は、一の画像の全体を圧縮してもよく、本図で説明したように画像分割部２４２によって分割された画像をそれぞれ圧縮してもよい。なお、一の圧縮処理部２４６が一の画像の全体を圧縮する場合には、画像分割部２４２による分割処理及び固定値化部２４４による固定値化処理はなされなくてよいので、圧縮部２３２は、画像分割部２４２及び固定値化部２４４を有しなくてよい。
【０２０７】
（圧縮部２３２の構成例２）
図１４は、図８に記載した圧縮部２３２のブロック構成の他の一例を示す。本構成における圧縮部２３２は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【０２０８】
図１４に示す圧縮部２３２は、画質変換部５１０、差分処理部５２０、及び符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【０２０９】
画質変換部５１０は、画像取得部２２２から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域特定部２２６が検出した特徴領域を特定する情報及び特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【０２１０】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（以後、第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（以後、第２解像度画像と呼ぶ。）、及び第３の特徴の種類に応じた第３解像度に変換された撮像画像（以後、第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【０２１１】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、及び第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、及び階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【０２１２】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。
【０２１３】
階層間差分処理部５２２ｄ及び符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【０２１４】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂ及び階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画及び複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａ及び符号器５３２ａの具体的な動作について説明する。
【０２１５】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａ及び符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎に施されてよい。
【０２１６】
階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像又は予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像又は予測画像との間で差分をとらなくてもよい。
【０２１７】
また、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【０２１８】
階層間差分処理部５２２ｂ及び符号器５３２ｂの動作は、第２解像度画像を符号化するという点、及び第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂ及び符号器５３２ｂの動作は階層間差分処理部５２２ａ及び符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃ及び符号器５３２ｃの動作は、第３解像度画像を符号化するという点、及び第３解像度画像を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａ及び符号器５３２ａの動作と略同一であるので、説明を省略する。
【０２１９】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、及び少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像及び低画質画像をそれぞれ符号化する。
【０２２０】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領
域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【０２２１】
以上説明したように、圧縮部２３２は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３２による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置２５０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【０２２２】
（画像処理装置２５０の説明）
図１５は、図７に示した画像処理装置２５０のブロック構成の一例を示す。図１５に示すように、画像処理装置２５０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、外部情報取得部３８０、及び画像処理部３３０を備える。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。
【０２２３】
圧縮画像取得部３０１は、画像処理装置２５０により圧縮された圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画及び背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。
【０２２４】
対応付け解析部３０２は、圧縮動画を、複数の特徴領域動画及び背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画及び背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置及び特徴の種類を伸張制御部３１０及び画像処理部３３０に供給する。
【０２２５】
伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置及び特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置及び特徴の種類に応じて圧縮部２３２が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【０２２６】
復号器３２２は、符号化された複数の特徴領域動画及び背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、及び復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動画、及び背景領域動画を復号する。
【０２２７】
画像処理部３３０は、伸張部３２０によって伸張された複数の特徴領域動画及び背景領域動画を合成して、一の動画を生成する。具体的には、画像処理部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。なお、画像処理部３３０は、特徴領域を背景領域より高画質化した表示動画を生成してもよい。この高画質化の変換処理について、本発明に係る画像処理方法を利用できる。
【０２２８】
そして、画像処理部３３０は、対応付け解析部３０２から取得した特徴領域情報及び表示動画を表示装置２６０又は画像ＤＢ２５５に出力する（図７参照）。画像ＤＢ２５５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応付けて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【０２２９】
外部情報取得部３８０は、画像処理部３３０における画像処理に用いるデータを、画像処理装置２５０の外部から取得する。画像処理部３３０は、外部情報取得部３８０が取得したデータを用いて画像処理する。外部情報取得部３８０が取得するデータについては、図１６に関連して説明する。
【０２３０】
（画像処理部３３０の構成例）
図１６は、図１５で説明した画像処理装置２５０が有する画像処理部３３０のブロック構成の一例を示す。図１６に示すように、画像処理部３３０は、パラメータ格納部１０１０、属性特定部１０２０、特定オブジェクト領域検出部１０３０、パラメータ選択部１０４０、重み決定部１０５０、パラメータ生成部１０６０、及び画像生成部１０７０を含む。
【０２３１】
パラメータ格納部１０１０は、被写体像についての複数の属性にそれぞれ対応付けて、それぞれの属性の被写体像をそれぞれ高画質化する複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像の属性を特定する。ここでいう入力画像とは、伸張部３２０により得られたフレーム画像であってよい。パラメータ選択部１０４０は、属性特定部１０２０により特定された属性により適合する属性に対応付けてパラメータ格納部１０１０が格納している複数の画像処理パラメータをより優先して選択する。画像生成部１０７０は、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて、入力画像に含まれる被写体像を高画質化した高画質画像を生成する。この高画質化の変換処理について、本発明に係る画像処理方法が利用される。
【０２３２】
ここで、属性としては、被写体の向きなど、被写体の状態を例示することができる。すなわち、パラメータ格納部１０１０は、被写体像として撮像された被写体の状態を示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の状態を、当該被写体像から特定する。
【０２３３】
被写体の状態としては、撮像されたときの被写体の向きを例示することができる。被写体の向きとは、例えば、被写体の一例としての人物の顔の向きであってよい。この場合、パラメータ格納部１０１０は、被写体像として撮像された被写体の向きを示す複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納している。属性特定部１０２０は、入力画像に含まれる被写体像として撮像された被写体の向きを、当該被写体像から特定する。
【０２３４】
その他、属性とは、被写体の種別であってもよい。被写体の種別としては、例えば、被写体としての人物の性別、人物の年齢、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物の人種、撮像された人物が着用している着用物（メガネ、サングラス、マスク、帽子など）、照明状態などを例示することができる。パラメータ格納部１０１０は、これら各種の属性の少なくともいずれかを含む複数の属性にそれぞれ対応付けて、複数の画像処理パラメータを格納してよい。この場合、属性特定部１０２０は、入力画像に含まれる被写体像として撮像された人物の対応する属性を、当該被写体像から特定する。
【０２３５】
重み決定部１０５０は、入力画像に含まれる被写体像を高画質化する場合における、複数の画像処理パラメータに対する重みを決定する。そして、画像生成部１０７０は、重み決定部１０５０が決定した重みに基づいて、パラメータ選択部１０４０により選択された複数の画像処理パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。なお、重み決定部１０５０は、特定された属性に対する適合度がより大きい属性に対応付けられた画像処理パラメータに対する重みづけがより大きい重みを決定してよい。
【０２３６】
パラメータ生成部１０６０は、パラメータ選択部１０４０が選択した複数の画像処理パラメータを合成した合成パラメータを生成する。そして、画像生成部１０７０は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像に含まれる被写体像を高画質化することにより、高画質画像を生成する。
【０２３７】
なお、上記においては、被写体の属性に応じて画像処理パラメータを生成することについて説明した。その他画像処理部３３０は、高画質化の強度を画像上で変化させてもよい。
【０２３８】
パラメータ格納部１０１０は、特定のオブジェクトの画像を高画質化すべく用いられる画像処理パラメータである特定パラメータ、及び、オブジェクトが特定されない画像を高画質化すべく用いられる画像処理パラメータである非特定パラメータを格納する。非特定パラメータは、後に説明するように、オブジェクトによらず高画質化の効果をある程度有する汎用の画像処理パラメータであってよい。
【０２３９】
特定オブジェクト領域検出部１０３０は、入力画像から特定オブジェクトの領域である特定オブジェクト領域を検出する。特定オブジェクトとは、特徴領域として検出されるべき被写体のオブジェクトであってよい。そして、重み決定部１０５０は、特定オブジェクト領域が検出された入力画像を高画質化する場合における、特定パラメータ及び非特定パラメータの重みを決定する。
【０２４０】
重み決定部１０５０は、入力画像における特定オブジェクト領域の画像に対して、特定パラメータに対する重みづけが非特定パラメータより大きい重みを決定する。これにより、特徴領域として検出されるべき特定オブジェクトをきちんと高画質化することができる。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、非特定パラメータに対する重みづけが特定パラメータより大きい重みを決定する。これにより、特定のオブジェクト専用の画像処理パラメータで高画質化することを未然に防ぐことができる。
【０２４１】
画像生成部１０７０は、重み決定部１０５０が決定した重みに基づいて、特定パラメータ及び非特定パラメータをともに用いて入力画像を高画質化した高画質画像を生成する。
【０２４２】
パラメータ格納部１０１０は、特定のオブジェクトの複数の画像を学習画像（「訓練画像」ともいう。）として用いた学習により算出された特定パラメータ、及び、特定のオブジェクトの画像ではない複数の画像を学習画像として用いた学習により算出された非特定パラメータを格納する。これにより、特定オブジェクトに特化した特定パラメータを算出することができる。また、多様なオブジェクトに対する汎用の特定パラメータを算出することができる。
【０２４３】
なお、事前学習では、学習画像の輝度情報そのものではなく、学習画像のエッジ情報などの空間変化情報を利用した画像処理パラメータが学習されていることが望ましい。低空間周波数領域の情報を低減したエッジ情報を用いることにより、照明変動、特に、低周波の照明変化に対してロバストな高画質化処理を実現することができる。
【０２４４】
パラメータ生成部１０６０は、非特定パラメータと特定パラメータとを、重み決定部１０５０が決定した重みで合成することにより、合成パラメータを生成してよい。画像生成部１０７０は、パラメータ生成部１０６０が生成した合成パラメータを用いて入力画像を高画質化することにより、高画質画像を生成してよい。
【０２４５】
上記の例では、属性特定部１０２０が特定した被写体の属性に基づき選択された複数の画像処理パラメータを用いて、高画質画像を生成する場合の動作について説明した。その他にも、画像生成部１０７０は、複数の画像処理パラメータの異なる組み合わせを用いて入力画像に含まれる被写体像を高画質化してよい。例えば、画像生成部１０７０は、予め定められた複数の画像処理パラメータの異なる組み合わせを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０７０は、高画質化して得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてよい。例えば、画像生成部１０７０は、高画質化して得られた複数の画像のうち、入力画像に画像内容がより類似する画像を、高画質画像としてより優先して選択してよい。
【０２４６】
パラメータ選択部１０４０は、入力画像から特定された被写体の属性に基づいて複数の画像処理パラメータの異なる組み合わせを選択してよい。画像生成部１０７０は、選択された複数の画像処理パラメータを用いて、入力画像に含まれる被写体像を高画質化してよい。そして、画像生成部１０７０は、高画質化により得られた複数の画像の中から、入力画像との比較に基づいて少なくとも１つの画像を選択し、選択した画像を高画質画像としてもよい。
【０２４７】
以上説明したように、画像処理装置２５０は、パラメータ格納部１０１０が限られた数の画像処理パラメータを格納していても、多様な属性の被写体の画像に対処することができる画像処理パラメータを用いて高画質化することができる。なお、高画質化としては、高解像度化、多階調数化、多色数化の他、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化、高フレームレート化などを例示することができる。パラメータ格納部１０１０は、これらの各種高画質化処理用の画像処理パラメータを格納することができる。
【０２４８】
図１５に記載した外部情報取得部３８０は、パラメータ格納部１０１０（図１６参照）が格納する画像処理パラメータを、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した画像処理パラメータを格納する。具体的には、外部情報取得部３８０は、特定パラメータ及び非特定パラメータの少なくとも一方を、外部から取得する。パラメータ格納部１０１０は、外部情報取得部３８０が取得した特定パラメータ及び非特定パラメータの少なくとも一方を格納する。
【０２４９】
図１７は、パラメータ格納部１０１０が格納しているパラメータの一例をテーブル形式で示す。パラメータ格納部１０１０は、人物の顔用の画像処理パラメータである特定パラメータＡ０、Ａ１・・・を、顔の向きに対応付けて格納している。特定パラメータＡ０、Ａ１は、対応する顔の向きの画像を学習画像とした事前学習により、予め算出されている。
【０２５０】
ここで、注目画素の周辺画素の画素値を加重加算することによる高解像度化処理を例に挙げて、事前学習による特定パラメータＡの算出処理を説明する。ここでは、注目画素の画素値ｙが、ｎ個の周辺画素の画素値ｘｉ（ただし、ｉ＝１〜ｎ）の加重加算により算出されると仮定する。すなわち、ｙ＝Σ（ｗｉ×ｉ）と仮定する。ここで、Σは、ｉにわたる加算を示している。ｗｉは、周辺画素の画素値ｘｉに対する加重係数であり、加重係数ｗｉが事前学習により算出されるべき特定パラメータＡとなる。
【０２５１】
特定の向きの顔が撮像されたｍ個の顔画像を学習画像として用いるとする。ｋ番目（但し、ｋ＝１〜ｍ）の学習画像の注目画素の画素値をｙｋとすると、ｙｋ＝Σｗｉ×ｋｉで表されることになる。この場合、加重係数ｗｉは、最小二乗法などの演算処理によって算出することができる。例えば、ｋ番目の成分ｅｋがｅｋ＝ｙｋ−Σ（ｗｉ×ｋｉ）で表されるベクトルの２乗を実質的に最小化するｗｉを、最小二乗法などの演算処理より算出することができる。上記の特定パラメータの算出処理を、複数の顔向きの顔画像について行うことで、各顔向きに対応する特定パラメータＡを算出することができる。
【０２５２】
また、パラメータ格納部１０１０は、人物の顔でないオブジェクトに対して、非特定パラメータＢを格納している。非特定パラメータＢは、多種多様な被写体の画像を学習画像とした事前学習により、予め算出されている。なお、非特定パラメータＢは、特定パラメータＡと同様の事前学習処理により算出することができる。例えば、特定パラメータＡを算出する事前学習処理において、学習画像として顔画像ではなく人物以外の画像を用いることで、非特定パラメータＢを算出することができる。
【０２５３】
図１８は、特定パラメータの重みづけの一例を示す。特徴領域として、画像１２００内の太線の内部の領域１２１０及び領域１２２０が、特徴領域として検出されているとする。重み決定部１０５０（図１６参照）は、この特徴領域のより内部の領域１２１０には、特定パラメータの重み係数を１００％、非特定パラメータの重み係数を０％に決定する。また、特徴領域内（太線枠の内側）における領域１２１０の外側の非特徴領域寄りの領域１２２０には、特定パラメータの重み係数を８０％、非特定パラメータの重み係数を２０％に決定する。
【０２５４】
また、特徴領域の外側の領域に対しては、特徴領域の近傍の領域１２３０には、特定パラメータの重み係数を５０％、非特定パラメータの重み係数を５０％に決定する。そして、更に外側の領域１２５０には、特定パラメータの重み係数を０％、非特定パラメータの重み係数を１００％に決定する。
【０２５５】
このように、重み決定部１０５０（図１６参照）は、入力画像における特定オブジェクト領域のより内側の領域の画像に対して、特定パラメータに対する重みづけがより大きい重みを決定する。また、重み決定部１０５０は、特定オブジェクト領域以外の領域である非特定オブジェクト領域の画像に対して、特定オブジェクト領域に近いほど、特定パラメータに対する重みづけがより大きい重みを決定する。このように、重み決定部１０５０は、特徴領域の中心から外側に向けて、特徴領域から非特徴領域に向けて特定パラメータの重み係数が段階的に減少させる。また、重み決定部１０５０は、重み係数を段階的に減少させることの他に、特徴領域の中心からの距離、又は、特徴領域の周囲領域等からの距離に比例して、重み係数を連続的に減少させてもよい。例えば、重み決定部１０５０は、距離ｘに対して重み係数の値を１／ｘ、１／ｘ２、ｅ−ｘなどの関数に従って減少させるなど、距離ｘに対して累乗的、又は指数関数的に減少する値の重み係数を決定してよい。
【０２５６】
なお、重み決定部１０５０は、特徴領域としての検出信頼度に応じて重み係数を制御してもよい。具体的には、重み決定部１０５０は、特定オブジェクトの領域としての検出信頼度がより大きい特定オブジェクト領域の画像に対して、特定パラメータに対する重み付けがより大きい重みを決定する。
【０２５７】
特徴領域として検出されなかった領域に特定オブジェクトが存在していたとすると、その領域を汎用の非特定パラメータで高画質化しても、特定オブジェクトが存在するかどうか判別できない場合がある。画像処理部３３０によると、特徴領域として検出されなかった領域でも、特定オブジェクト用の特定パラメータの効果を有する高画質化処理を行うので、高画質化した画像から特定オブジェクトが存在するか否かを容易に判別することができる場合がある。
【０２５８】
なお、特定パラメータは、図１７に関連して説明した複数の画像処理パラメータを合成した画像処理パラメータであってよい。例えば、検出された特徴領域内に、正面顔から１５°横を向いた人物の顔の画像が含まれているとする。この場合、重み決定部１０５０は、特定パラメータＡ０に対する重み係数を２５％に決定して、特定パラメータＡ１に対する重み係数を７５％に決定する。そして、パラメータ生成部１０６０は、特定パラメータＡ０と特定パラメータＡ１とを、それぞれ重み係数を２５％及び７５％で合成した合成パラメータを生成する。そして、画像生成部１０７０は、パラメータ合成部が生成した合成パラメータと、非特定パラメータとを、図１８に図示した割合の重みづけして得られた画像処理パラメータを用いて高画質化する。
【０２５９】
例えば、周辺画素の加重加算により高画質化する画像処理パラメータ（特定パラメータ又は非特定パラメータ）を用いる場合、パラメータ生成部１０６０は、画像処理パラメータの加重係数を、重み決定部１０５０が決定した重み係数で重み付け加算して、得られた加重係数により表される合成パラメータを算出してよい。可加算な画像処理パラメータとしては、加重係数の他に、空間周波数領域での空間周波数成分又は画素データそのもの（例えば、高周波数成分の画像データ）を例示することができる。
【０２６０】
他にも、高画質化処理が、特徴量ベクトルなどに対するベクトル演算、行列演算、又はテンソル演算で表される場合には、パラメータ生成部１０６０は、それら画像処理パラメータとしてのベクトル、行列、テンソル、ｎ次元混合正規分布、又はｎ次元混合多項分布の重み付け加算又は乗算により、合成パラメータを生成してよい。なお、ここでのｎは、１以上の整数であるとする。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減できる場合がある。例えば、０°の向きの特徴ベクトルに係数０．２５を乗じた特徴ベクトルと、２０°の向きの特徴ベクトルに係数０．７５を乗じた特徴ベクトルとの和を、１５°の向きの特徴ベクトルとする演算を、１例として示すことができる。また、既述した局所保存投影（ＬＰＰ）の空間上で補間することにより、更に合成ボケを軽減することができる場合がある。なお、パラメータ生成部１０６０は、特定パラメータと非特定パラメータとから合成パラメータを算出することができる。また、パラメータ生成部１０６０は、異なる複数の特定パラメータから合成パラメータを算出することもできる。
【０２６１】
画像生成部１０７０は、特定パラメータと非特定パラメータとを用いて高画質画像を生成する場合に、特定パラメータを用いて画像処理して得られた画像情報と、非特定パラメータを用いて画像処理して得られた画像情報とを、重み決定部１０５０が決定した重み係数で加算することにより、高画質画像を生成してよい。その他、画像生成部１０７０は、特定パラメータを用いて画像処理して得られた画像情報に対して、非特定パラメータを用いて画像処理することにより、高画質画像を生成してもよい。同様の処理は、複数の特定パラメータを用いた高画質化処理に適用することができる。ここでいう画像データとしては、画素値そのもの、特徴量空間における特徴量ベクトル、行列、ｎ次元混合正規分布、ｎ次元混合多項分布などを例示することができる。例えば、特徴ベクトル空間においてベクトル補間することにより、スカラーでは表現できないベクトル上で合成によるボケを軽減することができる場合がある。
【０２６２】
図１７及び図１８にかけて説明した高画質化処理では、特徴領域内の画像から特定された人物の顔の向きに基づき、特徴領域を高画質化する場合に用いる複数の画像処理パラメータがパラメータ選択部１０４０により選択された。そして、画像生成部１０７０は、パラメータ選択部１０４０により選択された複数の画像処理パラメータを用いて、１つの高画質化画像を生成した。
【０２６３】
その他にも、画像生成部１０７０は、画像生成部１０７０が格納している画像処理パラメータの複数の組み合わせのそれぞれから、特徴領域を高画質化した画像を複数生成してもよい。そして、画像生成部１０７０は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してよい。
【０２６４】
例えば、画像生成部１０７０は、０°の向きに対応する特定パラメータＡ０と２０°の向きに対応する特定パラメータＡ１との合成パラメータを用いて、特徴領域の画像を高画質化した画像を生成する。画像生成部１０７０は、更に、他の１以上の組み合わせの特定パラメータの合成パラメータを用いて、特徴領域の画像を高画質化した１以上の画像を生成する。
【０２６５】
そして、画像生成部１０７０は、生成した複数の画像のそれぞれを特徴領域内の画像と比較して、画像内容の一致度を算出する。画像生成部１０７０は、生成した複数の画像のうち、最も高い一致度が得られた画像を、高画質画像として決定する。
【０２６６】
なお、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０７０は、予め定められた特定パラメータの複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化してよい。この場合、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた特定パラメータの複数の組を選択してよい。
【０２６７】
その他にも、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータの組を複数選択してよい。例えば、パラメータ選択部１０４０は、特定パラメータの複数の組を特定する情報と人物の顔の向きを特定する情報とを対応付けて記憶しており、特徴領域内の画像から特定された人物の顔の向きに対応付けて記憶している特定パラメータの複数の組を選択してよい。そして、選択した複数の組に基づく複数の合成パラメータのそれぞれにより特徴領域内の画像を高画質化することで、特徴領域の画像を高画質化した画像を複数生成してもよい。
【０２６８】
また、特徴領域の画像を高画質化した複数の画像を生成する場合に、画像生成部１０７０は、複数の特定パラメータのそれぞれにより特徴領域内の画像を高画質化してもよい。そして、画像生成部１０７０は、得られた複数の画像のうち、特徴領域内の画像に最も類似する画像を、特徴領域を高画質化した高画質画像として生成してもよい。この場合においても、属性特定部１０２０が顔の向きを特定する処理をすることなく、パラメータ選択部１０４０が予め定められた複数の特定パラメータを選択してよいし、特徴領域内の画像から特定された人物の顔の向きに基づきパラメータ選択部１０４０が特定パラメータを複数選択してもよい。
【０２６９】
図１７に関連して説明したように、特定の顔向きの学習画像から、特定の顔向きの顔画像を高画質化する画像処理パラメータ（特定パラメータ）を算出することができる。他の複数の顔向きについてもそれぞれ同様にして画像処理パラメータを算出することで、複数の顔向きのそれぞれに対応する画像処理パラメータを算出することができる。そして、パラメータ格納部１０１０は、算出されたそれぞれの画像処理パラメータを、対応する顔向きに対応付けて予め格納する。なお、顔画像を高画質化する画像処理パラメータとしては、顔全体を高画質化する画像処理パラメータであってよいが、目の画像、口の画像、鼻の画像、耳の画像など、顔画像に含まれる少なくとも一部のオブジェクトを高画質化する画像処理パラメータであってもよい。
【０２７０】
顔向きは、被写体の向きの一例であり、他の被写体物の向きについても、顔向きと同様にして、複数の被写体の向きにそれぞれ対応する複数の画像処理パラメータを算出することができる。被写体が人物である場合には、被写体の向きとして人体の向きを例示することができ、より具体的には体部の向き、手の向きなどを人体の向きとして例示することができる。また、被写体が人物以外である場合にも、顔画像と同様にして、複数の方向の被写体が撮像された被写体像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。
【０２７１】
被写体の向きは、被写体の状態の一例であり、被写体の状態は、更に、人物の表情により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の表情をしている顔の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、人物が喜怒哀楽のそれぞれの状態にあるときの顔、人物が緊張状態にあるときの顔などをそれぞれ高画質化する。
【０２７２】
また、被写体の状態は、人物のしぐさにより分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定のしぐさをしている状態の人物の画像を高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、走っている状態の人物像、足早に歩いている状態の人物像、走り出そうとしている状態の人物像、物を物色している状態の人物像などをそれぞれ高画質化する。
【０２７３】
また、被写体の状態は、人物の姿勢により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の姿勢をしている状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、背をかがめた状態の人物像、手をポケットに入れている状態の人物像、腕組みしている状態の人物像、顔と体の向きとが一致していない状態の人物像などをそれぞれ高画質化する。
【０２７４】
また、被写体の状態は、人物の着用物により分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ異なる特定の着用物を着用している状態の人物の画像をそれぞれ高画質化する。例えば、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、メガネを着用している人物像、サングラスを着用している人物像、マスクをしている人物像、帽子を着用している人物像などをそれぞれ高画質化する。
【０２７５】
以上に説明したように、被写体の複数の状態に対応して被写体が複数の属性に分類される。他にも、被写体は、被写体の種別によって複数の属性に分類されることができる。被写体の種別としては、人物の人種を例示することができる。人物の人種としては、アジア系の人種、欧州系の人種など地域的に分類された人種、形質人類学的に分類された人種などを例示することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、それぞれ対応する人種に分類された人物の画像をそれぞれ高画質化する。
【０２７６】
また、被写体の種別としては、男性・女性のように人物の性別で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、男性の画像又は女性など、対応する性別の人物の画像をそれぞれ高画質化する。また、被写体の種別としては、人物の年齢層で分類することができる。この場合に、パラメータ格納部１０１０が格納する複数の画像処理パラメータは、十代の人物の画像、二十代の人物の画像など、対応する年代の人物の画像をそれぞれ高画質化する。
【０２７７】
上記において例示された被写体の種別、被写体の複数の状態、又はそれらの組み合わせにより、被写体像の属性が規定される。そして、パラメータ格納部１０１０は、規定された属性のそれぞれに対応付けて、各属性に属する被写体像を高画質化する画像処理パラメータを予め格納する。パラメータ格納部１０１０により格納される画像処理パラメータは、各顔向き用の画像処理パラメータの算出方法と同様の方法により、算出することができる。例えば、表情で属性が規定されている場合には、笑っている顔が撮像された複数の画像を学習画像として事前学習することにより、笑い顔の画像を高画質化する画像処理パラメータを算出することができる。怒り顔の画像など、他の表情の画像についてもそれぞれ同様に事前学習することで、各表情の顔画像をそれぞれ高画質化する複数の画像処理パラメータを算出することができる。しぐさ、姿勢、着用物、人種、性別、年齢などにより規定される各属性についても、同様にして画像処理パラメータを算出することができる。
【０２７８】
属性特定部１０２０は、例えばアダブーストなどによりブースティングにより予め算出された識別器を被写体像に適用することにより、被写体像の属性を特定することができる。例えば、特定の向きの顔が撮像された複数の顔画像を教師画像として用いて、弱識別器をブースティング処理により統合して識別器を生成する。生成された識別器に被写体像を適用した場合に得られた正誤の識別結果に応じて、特定の顔向きの顔画像であるか否かを判定することができる。例えば、正の識別結果が得られた場合には、入力された被写体像は、特定の顔向きの顔画像であると判定することができる。
【０２７９】
他の複数の顔向きについても同様にブースティング処理により識別器を生成することにより、各顔向きにそれぞれ対応する複数の識別器を生成することができる。属性特定部１０２０は、これら複数の識別器を被写体像にそれぞれ適用して、各識別器から得られた正誤の識別結果に基づいて顔向きを特定することができる。顔向きの他、表情、性別などで規定される他の１以上の属性についても、それぞれブースティング処理により属性毎に生成された識別器を適用することにより特定することができる。属性特定部１０２０は、ブースティングによる学習の他、線形判別法、混合ガウシアンモデルなど種々の方法で属性毎に学習された識別器を被写体像に適用することで、属性を特定することができる。
【０２８０】
〔表示装置２６０の構成例〕
図１９は、図７中の表示装置２６０のブロック構成の一例を示す。図１９に示すように、表示装置２６０は、画像取得部１３００、第１画像処理部１３１０、特徴領域特定部
１３２０、パラメータ決定部１３３０、表示制御部１３４０、第２画像処理部１３５０、外部情報取得部１３８０、及び表示部１３９０を有する。
【０２８１】
画像取得部１３００は、入力画像を取得する。ここでいう入力画像は、画像処理装置２５０から受け取った動画に含まれるフレーム画像であってよい。第１画像処理部１３１０は、予め定められた画像処理パラメータを用いて入力画像を高画質化した所定画質画像を生成する。例えば第１画像処理部１３１０は、高解像度化する場合には、単純補間拡大処理など、所要演算量が予め定められた値より小さい方式の画像処理パラメータを用いて、所定画質画像を生成する。
【０２８２】
表示制御部１３４０は、第１画像処理部１３１０が生成した所定画質画像を、表示部１３９０に表示させる。このように、表示部１３９０は、所定画質画像を表示する。
【０２８３】
特徴領域特定部１３２０は、入力画像における複数の特徴領域を特定する。特徴領域特定部１３２０は、表示部１３９０が所定画質画像を表示している状態で、入力画像における複数の特徴領域を特定してよい。なお、画像処理装置２５０は、特徴領域を特定する情報を動画に付帯情報として付帯して表示装置２６０に送信してよい。特徴領域特定部１３２０は、画像取得部１３００が取得した動画の付帯情報から特徴領域を特定する情報を抽出することにより、複数の特徴領域を特定してよい。
【０２８４】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を更に高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。例えば、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を、異なる強度で高画質化する画像処理パラメータを、複数の特徴領域毎に決定する。「異なる強度で高画質化する」とは、異なる演算量で高画質化すること、単位面積あたりに異なる演算量で高画質化すること、異なる所要演算量の高画質化方式で高画質化すること、などを意味してよい。
【０２８５】
第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高画質化した複数の高画質特徴領域画像を生成する。表示制御部１３４０は、表示部１３９０が表示している所定画質画像における複数の特徴領域に、複数の特徴領域画像を表示させる。このように、表示制御部１３４０は、高画質画像が生成された段階で、表示部１３９０が既に表示している所定画質画像に代えて、高画質画像を表示させる。表示部１３９０は、所定画質画像を速やかに生成して表示するので、ユーザーは実質的に遅滞なく、ある程度の画質の監視映像を観察することができる。
【０２８６】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の重要度に基づいて、複数の特徴領域毎に画像処理パラメータを決定してよい。重要度を示す情報は、上記付帯情報に付帯されてよい。また、重要度は、特徴領域の被写体の種別に応じて予め定められていてよい。被写体の種別毎の重要度は、表示部１３９０を観察するユーザーにより設定されてもよい。パラメータ決定部１３３０は、重要度がより大きい特徴領域をより大きい強度で高画質化する画像処理パラメータを決定する。このため、ユーザーは、重要な特徴領域がより高画質な画像を観察することができる。
【０２８７】
パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像の特徴の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。また、パラメータ決定部１３３０は、複数の特徴領域内に撮像されている被写体の種類に基づいて、複数の特徴領域毎に画像処理パラメータを決定してもよい。このように、パラメータ決定部１３３０は、被写体の種類に応じて直接的に画像処理パラメータを決定してよい。
【０２８８】
なお、パラメータ決定部１３３０は、第２画像処理部１３５０において複数の特徴領域をそれぞれ高画質化するのに要する処理所要量に基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理所要量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定する。
【０２８９】
例えば、パラメータ決定部１３３０は、複数の特徴領域の面積がより小さい場合に、より大きい強度で高解像度化する画像処理パラメータを決定してよい。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。また、パラメータ決定部１３３０は、複数の特徴領域の画素数がより少ない場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
【０２９０】
また、パラメータ決定部１３３０は、第２画像処理部１３５０において許容された処理量である処理可能容量に基づき、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、処理可能容量がより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。
【０２９１】
このため、第２画像処理部１３５０が処理可能な演算量に応じて、高画質化の程度を制御することができる。このため、表示部１３９０の負荷が高画質化処理により過負荷に陥って、画像の表示が遅延することを未然に防ぐことができる場合がある。表示部１３９０の演算量に余裕があれば、速やかに高画質画像が生成されるので、観察することができる。
【０２９２】
上述したように、高画質化としては、高解像度化を例示することができる。具体的には、パラメータ決定部１３３０は、複数の特徴領域のそれぞれの画像を高解像度化する画像処理パラメータを、複数の特徴領域毎に決定する。第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ高解像度化した複数の高画質特徴領域画像を生成する。ここで、大きい強度で高解像度化するとは、高精度に高解像度化すること、及び、より多い画素数の高画質画像を生成することを含む。
【０２９３】
高画質化処理としては、高解像度化の他、多階調数化、多色数化処理、低ノイズ化、低アーチファクト化、ボケを低減化、シャープネス化を例示することができる。これらの各種の高画質化についても、高解像度化と同様、パラメータ決定部１３３０が各種の高画質化をする画像処理パラメータを複数の特徴領域毎に決定して、第２画像処理部１３５０が、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、複数の特徴領域の画像をそれぞれ各種の高画質化をした複数の高画質特徴領域画像を生成することができる。
【０２９４】
なお、上述したように、画像取得部１３００は、動画に含まれる複数の動画構成画像を入力画像として取得してよい。パラメータ決定部１３３０は、複数の特徴領域のそれぞれを高フレームレート化する画像処理パラメータを、複数の特徴領域毎に決定する。そして、第２画像処理部１３５０は、パラメータ決定部１３３０が決定した画像処理パラメータを用いて、高フレームレート化した複数の高画質特徴領域画像を生成してよい。
【０２９５】
パラメータ決定部１３３０は、動画のフレームレートに基づいて、画像処理パラメータを決定する。具体的には、パラメータ決定部１３３０は、動画のフレームレートがより小さい場合に、より大きい強度で高画質化する画像処理パラメータを決定してよい。第２画像処理部１３５０は、決定した画像処理パラメータを用いて、入力画像をそれぞれ高画質化することにより、高画質化された動画を生成してよい。なお、第２画像処理部１３５０による高画質化についても、画像処理装置２５０による高画質化と同様、高解像度化、多色数化、多階調数化、ノイズ低減化、ブロックノイズ及びモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化の概念を含んで良く、第２画像処理部１３５０はこれらの処理により高画質化画像を生成することができる。
【０２９６】
このように、表示装置２６０は、高画質化すべき画像のデータ量、高画質化処理に割り当てることができる演算量に応じて、高画質化の強度を決定することができる。表示装置２６０によると、ある程度の品質の画像を速やかにユーザーに提供することができるとともに、高画質化処理された画像の表示が極度に遅延してしまうことを未然に防ぐことができる。このため、表示装置２６０は、高画質化処理により過負荷になることを未然に防ぐことができ、画像処理装置２５０から提供された動画をスムーズに再生することができる。
【０２９７】
なお、外部情報取得部１３８０は、特徴領域毎に画像処理パラメータを決定する決定条件を、表示装置２６０の外部から取得する。パラメータ決定部１３３０は、外部情報取得部１３８０が取得した決定条件に基づいて、複数の特徴領域毎に画像処理パラメータを決定する。決定条件としては、特徴領域の重要度、特徴領域の特徴の種類、処理所要量、特徴領域の面積、特徴領域の画素数、処理可能容量などをパラメータとした条件を例示することができる。
【０２９８】
図２０は、画像の表示エリア１４００の一例を示す。表示エリア１４００は、表示部１３９０により入力画像が表示される領域であるとする。ここでは、入力画像から３つの特徴領域が特定されているとする。これらの特徴領域の画像は、表示エリア１４００のうち、特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示されるとする。
【０２９９】
図１９で説明した画像取得部１３００が入力画像を取得した場合に、表示制御部１３４０は、取得した入力画像を、表示部１３９０の表示エリア１４００にそのまま表示させる。
【０３００】
入力画像が表示された状態で、第２画像処理部１３５０は、各特徴領域の画像に、単純補間などの、所要演算量が予め定められた値より小さい所定の高解像度化処理を施して、各特徴領域の画像の所定画質画像を生成する（第１高解像度化段階）。この第１高解像度化段階では、高解像度化の強度は特徴領域の画素数、フレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第２画像処理部１３５０における演算許容量になどによらず、第２画像処理部１３５０は所定強度の高解像度化処理を施す。なお、当該所定強度の高解像度化処理を入力画像の全域に施すのに要する演算量が、第２画像処理部１３５０に常時割り当てられてよい。
【０３０１】
第１高解像度化段階が完了して、所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２が生成されると、表示制御部１３４０は、所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２をそれぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示させる。
【０３０２】
所定画質画像１４１２、所定画質画像１４２２、及び所定画質画像１４３２が表示された状態で、第２画像処理部１３５０は、パラメータ決定部１３３０が特徴領域毎に決定した強度で、高解像度化処理を行い、各特徴領域の画像の高画質画像を生成する（第２高解像度化段階）。この第２高解像度化段階では、高解像度化の強度は、パラメータ決定部１３３０により決定された強度であり、特徴領域の画素数及びフレームレートなどの画像のデータ量、特徴領域の重要度、被写体の種類、並びに第２画像処理部１３５０における演算許容量に依存する。
【０３０３】
第２高解像度化段階が完了して、高画質画像１４１４、高画質画像１４２４、及び高画質画像１４３４が生成されると、表示制御部１３４０は、高画質画像１４１４、高画質画像１４２４、及び高画質画像１４３４を、それぞれ対応する特徴領域エリア１４１０、特徴領域エリア１４２０、及び特徴領域エリア１４３０に表示させる。
【０３０４】
このように、第２画像処理部１３５０は、現在の負荷量、高画質化に要する演算量に応じた強度で高解像度化するので、提供可能な範囲内で高画質な画像を速やかにユーザーに提供することができる。
【０３０５】
（画像処理システムの他の形態例）
図２１は、他の実施形態に係る画像処理システム２０１の一例を示す。本実施形態における画像処理システム２０１の構成は、撮像装置２１０ａ−ｄがそれぞれ画像処理部８０４ａ−ｄ（以下、画像処理部８０４と総称する。）を有する点を除いて、図７で説明した画像処理システム２００の構成と同じとなっている。
【０３０６】
画像処理部８０４は、図７で説明した画像処理装置２２０に含まれる構成要素のうち、画像取得部２２２を除く構成要素を有している。そして、画像処理部８０４に含まれる各構成要素の機能及び動作は、画像処理装置２２０に含まれる各構成要素が圧縮動画伸張部２２４による伸張処理によって得られた動画を処理することに替えて、撮像部２１２によって撮像された動画を処理するという点を除いて、画像処理装置２２０に含まれる各構成要素の機能及び動作と略同一であってよい。このような構成の画像処理システム２０１においても、図７から図２０にかけて画像処理システム２００に関連して説明した効果と同様の効果が得ることができる。
【０３０７】
画像処理部８０４は、撮像部２１２からＲＡＷ形式で表された複数の撮像画像を含む動画を取得して、取得した動画に含まれるＲＡＷ形式で表された複数の撮像画像をＲＡＷ形式のまま圧縮してよい。なお、画像処理部８０４は、ＲＡＷ形式で表された複数の撮像画像から１以上の特徴領域を検出してよい。また、画像処理部８０４は、圧縮されたＲＡＷ形式の複数の撮像画像を含む動画を圧縮してよい。なお、画像処理部８０４は、動画を、図７〜図１２に関連して画像処理装置２２０の動作として説明した圧縮方法で圧縮することができる。また、画像処理装置２５０は、画像処理部８０４から取得した動画を伸張することにより、ＲＡＷ形式で表された複数の撮像画像を取得することができる。画像処理装置２５０は、伸張することにより取得されたＲＡＷ形式で表された複数の撮像画像をそれぞれ領域毎に拡大して、領域毎に同時化処理を施す。このとき、画像処理装置２５０は、特徴領域以外の領域より、特徴領域においてより高精度な同時化処理を施してよい。
【０３０８】
なお、画像処理装置２５０は、同時化処理によって得られた撮像画像における特徴領域の画像に、超解像処理を施してよい。画像処理装置２５０における超解像処理として、本発明に係る画像処理方法を適用することができる。
【０３０９】
また、画像処理装置２５０は、特徴領域に含まれるオブジェクト毎に、超解像処理を施してよい。例えば、特徴領域が人物の顔画像を含む場合に、画像処理装置２５０は、オブジェクトの一例としての顔部位（例えば、目、鼻、口など）毎に、超解像処理を施す。この場合、画像処理装置２５０は、特開２００６−３５０４９８号公報に記載されたようなモデル等の学習データを、顔部位（例えば、目、鼻、口など）毎に記憶しておく。そして、画像処理装置２５０は、特徴領域に含まれる顔部位毎に選択した学習データを使用して、各顔部位の画像に超解像処理を施してよい。
【０３１０】
モデル等の学習データは、複数の表情、複数の顔方向、複数の照明条件のそれぞれの組み合わせ毎に記憶されてよい。表情としては、喜怒哀楽のそれぞれの状態にあるときの顔、及び真顔を含み、顔方向としては、正面、上方、下方、右方、左方、及び後方を含む。照明条件としては、照明強度及び照明の方向についての条件を含む。画像処理装置２５０は、顔の表情、顔方向、照明条件の組み合わせに対応する学習データを用いて、顔画像に超解像処理を施してよい。
【０３１１】
顔の表情及び顔の方向は、特徴領域に含まれる顔画像の画像内容に基づいて特定することができる。また、表情は、口及び／又は目の形状から特定することができ、顔の方向は、目、口、鼻、及び耳の位置関係等から特定することができる。顔への照明強度及び照明方向は、影の位置及び大きさなど、顔画像の画像内容に基づき特定することができる。顔の表情、顔方向、照明条件は画像処理部８０４において特定され、出力部２３６から画像に対応付けて、特定された顔の表情、顔方向、照明条件が送信されてよい。画像処理装置２５０は、出力部２３６から受信した顔の表情、顔方向、照明条件に対応する学習データを利用して、超解像処理を施してよい。
【０３１２】
また、モデル等の学習データとしては、顔全体を表現するモデルの他に、顔の部位毎のモデルを用いることができる。他にも、性別及び／又は人種毎の顔のモデルを用いることができる。モデルとしては人物に限らず、車両、船舶など、監視対象となる物体の種別毎にモデルを格納することができる。
【０３１３】
なお、図７〜２７に関連して説明した画像処理システム２００の構成においても、画像処理装置２５０又は表示装置２６０は、高画質化処理として、特徴領域の画像に上述した超解像処理を施すことができる。また、画像処理システム２００及び画像処理システム２０１において、圧縮部２３２は、上述した画像処理装置２２０と同様に、画像を主成分ベクトル及び重みづけ係数で表すことによって、撮像画像を更に圧縮することもできる。
【０３１４】
以上、画像処理システム２００、２０１としての動作を、監視システムを例に挙げて説明した。この発明の他の用途としては、複写機等のスキャナ機器によりスキャニングされたドキュメントに対する高画質化処理及び符号化に適用することができる。例えば、文字、図面、表、写真などの各領域を特徴領域とみなすと、それらの領域に対する高解像度化処理として、上記の超解像処理などの高画質化処理を適用することができる。また、それら特徴領域の検出、符号化に、上記の特徴領域検出処理、圧縮処理を適用することができる。同様に、内視鏡システムにおいても、体内部位の検出、高画質化、及び符号化に、上記の特徴領域検出処理、高画質化処理、圧縮処理を適用することができる。
【０３１５】
〔変形例１〕
上述の画像処理システム２００、２０１では、複数の撮像装置２１０ａ−ｄを備えた例
を述べたが、撮像装置２１０の台数は特に限定されず、１台であってもよい。また、表示
装置２６０の台数も特に限定されず、１台であってもよい。
【０３１６】
〔変形例２〕
上述の画像処理システム２００、２０１では、動画データの中の撮像画像（フレーム画像、或いはフィールド画像）から特徴領域を特定したが、動画データに限らず、静止画データについても適用可能である。もちろん、上述した第１実施形態についても、動画データ、静止画データのいずれにも適用可能である。
【０３１７】
〔変形例３〕
上述の画像処理システム２００、２０１では、１つの撮像画像から複数の特徴領域を検出し得る構成を説明したが、本発明に係る画像処理方法における特徴領域の数は特に限定されず、１つの撮像画像につき、特徴領域は１つであってもよい。
【０３１８】
〔変形例４〕
学習画像群を取得する手段について、予め高画質画像と低画質画像の対の画像群を用意しておく態様に限らず、高画質画像のみを与え、その高画質画像から低画質画像を生成することにより画像対を得てもよい。例えば、画像処理装置内に低画質化の処理を行うための処理手段（低画質化処理手段）を備え、高画質の学習画像を入力することにより、同装置内でこれを低画質化して学習画像対を取得する態様も可能である。
【０３１９】
また、図７、図２１で説明した画像処理システム２００、２０１のような場合、学習画像は予め用意されたデータベースなどから提供される態様に限らず、システムの稼働により、実際に撮像装置２１０によって取り込まれた画像やその画像内から切り出された画像（部分画像）を元に学習内容を更新することもできる。システムの用途や撮像装置の設置場所に応じて、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることができる。もちろん、上述した第１実施形態についても、適切な学習画像を取り込み、学習ステップをやり直すことにより、変換精度の更なる向上を図ることが可能である。
【０３２０】
以上、説明した本発明に係る第１、第２実施形態、及び応用例、変形例は、本発明の趣旨を逸脱しない範囲で構成要件の変更、追加、削除が可能である。
【符号の説明】
【０３２１】
１０…低解像画像生成工程、１２…高周波成分抽出工程、１４…代表画像ベクトル生成工程、１６…補間フィルタ係数生成工程、２０…高周波成分抽出工程、２２…補間フィルタ係数設定工程、２４…補間フィルタリング工程、２６…拡大処理工程、２８…加算工程
【特許請求の範囲】
【請求項１】
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類のいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定工程と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記補間フィルタ係数及び前記代表高周波画像を取得する取得工程を含むことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載の画像処理方法において、
前記補間フィルタ係数及び前記代表高周波画像は、互いに画質が異なる高画質学習画像及び低画質学習画像を含む学習画像対を用いた学習工程において生成され、
前記学習工程は、前記高画質学習画像から前記低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記高画質画像の高周波成分が抽出された高周波高画質画像が生成される高周波高画質画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数を生成する補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記学習代表数を取得する学習代表数取得工程を含むことを特徴とする画像処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理方法において、
前記高画質画像生成工程は、前記代表高周波画像、前記高周波低画質画像、前記補間フィルタ係数、及び分類ごとの復元対象の低画質画像に応じた重みを用いて、少なくとも前記高周波低画質画像がパラメータに含まれる補間係数演算と、少なくとも前記高周波低画質画像がパラメータに含まれる重み係数との積の形式で表される混合ガウス分布又は混合多項分布の少なくともいずれかの分類数についての多重和で表される補間処理を実行して、前記高周波低画質画像に存在しない超高周波成分を生成することを特徴とする画像処理方法。
【請求項６】
請求項１乃至５のいずれかに記載の画像処理方法において、
復元対象の低画質画像の画素数を復元後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大工程と、
前記拡大工程の処理結果と前記高画質画像生成工程の処理結果とを加算する加算工程と、
を含むことを特徴とする画像処理方法。
【請求項７】
請求項１乃至６のいずれかに記載の画像処理方法において、
前記生成された高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする画像処理方法。
【請求項８】
請求項１乃至７のいずれかに記載の画像処理方法において、
前記高画質画像生成工程は、前記高周波低画質画像が有するデータ値の大きさ、所定の大きさを超えるデータ値の頻度、及び所定の大きさを超えるデータ値の累積値のいずれかに応じて補間演算処理を実行するか否かを判定する補間演算処理実行判定工程を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法において、補間演算処理を実行するか否かを判定するための閾値を取得する閾値取得工程を含むことを特徴とする画像処理方法。
【請求項１０】
請求項８に記載の画像処理方法において、
前記加算工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行する判断したときは、前記高画質画像生成工程の処理結果と前記拡大工程の処理結果とを加算する処理を実行することを特徴とする画像処理方法。
【請求項１１】
請求項８に記載の画像処理方法において、
前記加算工程の処理結果を出力するか、前記拡大工程の処理結果を出力するかを選択的に切り換える切換工程を含み、
前記切換工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行すると判定されたときに前記加算工程の処理結果を出力し、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行しないと判定されたときに前記拡大工程の処理結果を出力することを特徴とする画像処理方法。
【請求項１２】
請求項１乃至１１のいずれかに記載の画像処理方法において、
前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、
前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴部分以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、
前記高画質画像生成工程は、前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理を少なくとも前記特徴領域に対して施すことを特徴とする画像処理方法。
【請求項１３】
高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１４】
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
コンピュータを、
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、
として機能させることを特徴とするプログラム。
【請求項１】
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類のいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定工程と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成工程と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記補間フィルタ係数及び前記代表高周波画像を取得する取得工程を含むことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載の画像処理方法において、
前記補間フィルタ係数及び前記代表高周波画像は、互いに画質が異なる高画質学習画像及び低画質学習画像を含む学習画像対を用いた学習工程において生成され、
前記学習工程は、前記高画質学習画像から前記低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記高画質画像の高周波成分が抽出された高周波高画質画像が生成される高周波高画質画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数を生成する補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記学習代表数を取得する学習代表数取得工程を含むことを特徴とする画像処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理方法において、
前記高画質画像生成工程は、前記代表高周波画像、前記高周波低画質画像、前記補間フィルタ係数、及び分類ごとの復元対象の低画質画像に応じた重みを用いて、少なくとも前記高周波低画質画像がパラメータに含まれる補間係数演算と、少なくとも前記高周波低画質画像がパラメータに含まれる重み係数との積の形式で表される混合ガウス分布又は混合多項分布の少なくともいずれかの分類数についての多重和で表される補間処理を実行して、前記高周波低画質画像に存在しない超高周波成分を生成することを特徴とする画像処理方法。
【請求項６】
請求項１乃至５のいずれかに記載の画像処理方法において、
復元対象の低画質画像の画素数を復元後の高画質画像の画素数に対応させるように、前記低画質画像に拡大処理を施す拡大工程と、
前記拡大工程の処理結果と前記高画質画像生成工程の処理結果とを加算する加算工程と、
を含むことを特徴とする画像処理方法。
【請求項７】
請求項１乃至６のいずれかに記載の画像処理方法において、
前記生成された高周波低画質画像に正規化処理を施す正規化処理工程を含むことを特徴とする画像処理方法。
【請求項８】
請求項１乃至７のいずれかに記載の画像処理方法において、
前記高画質画像生成工程は、前記高周波低画質画像が有するデータ値の大きさ、所定の大きさを超えるデータ値の頻度、及び所定の大きさを超えるデータ値の累積値のいずれかに応じて補間演算処理を実行するか否かを判定する補間演算処理実行判定工程を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法において、補間演算処理を実行するか否かを判定するための閾値を取得する閾値取得工程を含むことを特徴とする画像処理方法。
【請求項１０】
請求項８に記載の画像処理方法において、
前記加算工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行する判断したときは、前記高画質画像生成工程の処理結果と前記拡大工程の処理結果とを加算する処理を実行することを特徴とする画像処理方法。
【請求項１１】
請求項８に記載の画像処理方法において、
前記加算工程の処理結果を出力するか、前記拡大工程の処理結果を出力するかを選択的に切り換える切換工程を含み、
前記切換工程は、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行すると判定されたときに前記加算工程の処理結果を出力し、前記補間演算実行判定工程において前記高画質画像生成工程における補間演算処理を実行しないと判定されたときに前記拡大工程の処理結果を出力することを特徴とする画像処理方法。
【請求項１２】
請求項１乃至１１のいずれかに記載の画像処理方法において、
前記高周波低画質画像の特徴領域を特定する特徴領域特定工程と、
前記高周波低画質画像について前記特徴領域の画像部分を第１の圧縮強度で圧縮する一方、前記特徴部分以外の領域を前記第１の圧縮強度よりも高い第２の圧縮強度で圧縮する圧縮工程と、
前記高画質画像生成工程は、前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理を少なくとも前記特徴領域に対して施すことを特徴とする画像処理方法。
【請求項１３】
高画質学習画像から前記高画質画像よりも画質が低い低画質学習画像を生成する低画質学習画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記生成された高周波低画質学習画像が予め設定された学習代表数の分類に代表値化された代表高周波画像を生成する代表高周波画像生成工程と、
前記低画質学習画像の高周波成分が抽出された高周波低画質学習画像を生成する高周波低画質学習画像生成工程と、
前記高画質画像の高周波成分が抽出された高周波高画質画像を生成する高周波高画質画像生成工程と、
前記高周波低画質画像、前記高周波高画質画像及び前記代表高周波画像から前記補間フィルタ係数が生成される補間フィルタ係数生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１４】
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
コンピュータを、
互いに画質が異なる高画質画像及び低画質画像の対における前記高画質画像の高周波成分が抽出された高周波高画質画像、前記低画質画像の高周波成分が抽出された高周波低画質画像、及び前記高周波低画質画像が予め設定された数の分類に代表値化され、該分類の少なくともいずれかに対応する代表高周波画像により生成された補間演算に用いられる補間フィルタ係数、及び前記代表高周波画像を設定する設定手段と、
復元対象の低画質画像の高周波成分が抽出された高周波低画質画像を生成する高周波低画質画像生成手段と、
前記生成された高周波低画質画像の画素ごとに前記設定された補間フィルタ係数及び代表高周波画像が用いられた補間演算処理が施され、前記高周波低画質画像に存在しない超高周波成分が補間された前記低画質画像よりも高い画質を有する高画質画像を生成する高画質画像生成手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−１７０４５６（Ｐ２０１１−１７０４５６Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３１６５７（Ｐ２０１０−３１６５７）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]