画像圧縮装置、画像伸長装置、方法、及びプログラム
【課題】画像圧縮装置において、高品質での画像の復元を可能にしつつ、所定の対象物を含む入力画像を高い圧縮率で圧縮する。
【解決手段】画像縮小手段１１は、入力画像を縮小する。縮小画像圧縮手段１２は、縮小画像を圧縮する。縮小画像伸長手段１３は、圧縮された縮小画像を伸長する。関心領域設定手段１４は、入力画像中に所定の対象物に対応する関心領域を設定する。高解像度変換手段１５は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、伸長された縮小画像における関心領域に対応する領域内の部分画像を高解像度の画像に変換する。差分画像生成手段１６は、関心領域部分について、高解像度変換された画像と入力画像との差分を生成し、差分画像符号化手段１７は、差分画像を符号化する。保存・伝送手段１８は、縮小画像の圧縮データと差分画像の符号化データを出力する。
【解決手段】画像縮小手段１１は、入力画像を縮小する。縮小画像圧縮手段１２は、縮小画像を圧縮する。縮小画像伸長手段１３は、圧縮された縮小画像を伸長する。関心領域設定手段１４は、入力画像中に所定の対象物に対応する関心領域を設定する。高解像度変換手段１５は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、伸長された縮小画像における関心領域に対応する領域内の部分画像を高解像度の画像に変換する。差分画像生成手段１６は、関心領域部分について、高解像度変換された画像と入力画像との差分を生成し、差分画像符号化手段１７は、差分画像を符号化する。保存・伝送手段１８は、縮小画像の圧縮データと差分画像の符号化データを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮装置、方法、及びプログラムに関し、更に詳しくは、動画や静止画などの画像データを、元のデータサイズよりも小さいサイズに圧縮する画像圧縮装置に関する。また、本発明は、画像圧縮装置で圧縮された画像データを復元する画像伸長装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
一般に、信号の圧縮又は符号化技術では、圧縮後又は符号化後のデータサイズと、圧縮又は符号化されたデータを復元した信号の信号品質とはトレードオフの関係にある。つまり、データサイズを小さくしようとすると信号品質の劣化が大きくなり、一方で、信号品質の劣化を抑えようとするとデータサイズが大きくなる。信号の圧縮又は符号化では、できるだけ元の信号の品質を保ったまま、圧縮後の信号のデータサイズが小さくなることが好ましい。
【０００３】
入力信号の符号化に関し、特許文献１には、差分信号を利用した符号化が記載されている。特許文献１では、符号化装置は、入力信号をダウンサンプリングしてデータサイズを縮小し、縮小した信号を符号化して第１符号化情報を生成する。その符号化された第１符号化情報を復号化し、更に復号化されたデータをアップサンプリングして、アップサンプリングされたデータと元の入力信号との差分を取る。符号化装置は、差分を取ることで生成された差分信号を符号化して第２符号化情報を生成し、第１符号化情報と第２符号化情報とを伝送路に送信する。
【０００４】
特許文献１における復号化装置は、第１符号化情報と第２符号化情報とを伝送路を介して受信する。復号化装置は、第１符号化情報を復号化して第１復号化情報を生成し、その第１復号化情報をアップサンプリングする。また、第２符号化情報を復号化して第２復号化情報（差分信号）を生成する。復号化装置は、アップサンプリングした第１復号化情報と第２復号化情報とを加算し、加算された信号を、入力信号に対応する再生信号として出力する。
【０００５】
ここで、一般的に、符号化装置は復号化信号の品質劣化の原因となる固有の特性を有している。この問題に対し、特許文献１では、学習用の入力信号を用いて調整用インパルス応答を学習し、アップサンプリングされた復号化信号に調整用インパルス応答を畳み込んでいる。より詳細には、符号化装置において、アップサンプリングされた第１符号化情報の復号化情報に調整用インパルス応答を畳み込む。その調整用インパルス応答を畳み込んだ信号と元の入力信号との差分を取り、差分信号を符号化して第２符号化情報を生成する。復号化装置では、アップサンプリングされた第１復号化情報に対して調整用インパルス応答を畳み込み、その信号に第２復号化情報を加算する。特許文献１では、このようにすることで、符号化装置に固有の特性を打ち消すことができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開２００６／１２０９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、学習により、特異的に現れる欠陥やノイズを学習している。アップサンプリングされた復号化信号に調整用インパルス応答を畳み込むことで、ある周波数特性として特異的に現れる欠陥やノイズを補正することができる。しかしながら、一般に、圧縮ノイズは画像との位相が一定ではなく、学習によって得られる調整用インパルス応答は粗く類型化されたものとなってしまう。このため、一般的な画像情報においては、調整用インパルス応答を畳み込んだ信号と元の入力信号との差分が十分に小さくならない。また、圧縮後のデータサイズを小さくした場合には、細かな画像情報を多く持っている、動きが速いなどの特徴を持つ一般的に重要な対象物、例えば文字や人物の顔にノイズが残り、利用に十分な情報が得られない。
【０００８】
本発明は、上記に鑑み、所定の対象物を含む入力画像に対して高品質を維持しつつ、所定の対象物を含む入力画像に対して高い圧縮率で画像を圧縮できる画像圧縮装置、方法、及びプログラムを提供することを目的とする。また、本発明は、本発明の画像圧縮装置で圧縮されたデータを伸長する画像伸長装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する画像縮小手段と、前記縮小画像を圧縮し縮小画像データを生成する縮小画像圧縮手段と、前記縮小画像データを伸長する縮小画像伸長手段と、前記入力画像中に所定の対象物に対応する関心領域を設定する関心領域設定手段と、事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する高解像度変換手段と、前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する差分画像生成手段と、前記差分画像を符号化し差分画像データを生成する差分画像符号化手段と、前記縮小画像データと前記差分画像データとを出力する出力手段とを備えたことを特徴とする画像圧縮装置を提供する。
【００１０】
本発明では、前記予測処理を、対象を細分化するための特徴量を用いた予測処理とすることができる。
【００１１】
前記関心領域設定手段を複数備えており、該複数の関心領域設定手段が、それぞれ種類が相互に異なる複数の対象物に対応する関心領域を設定することとしてもよい。
【００１２】
前記出力手段は、前記縮小画像データと前記差分画像データとに加えて、更に前記設定された関心領域の位置に関する情報を出力してもよい。
【００１３】
前記高解像度変換手段が、少なくとも前記伸長された縮小画像のうちの前記関心領域に対応する領域以外の部分を、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して前記入力画像のサイズに拡大し、該拡大した画像と前記第１の解像度に変換された部分画像とを合成した合成画像を生成するものであり、前記差分画像生成手段が、前記入力画像と前記合成画像との差分を差分画像として生成するものとしてもよい。
【００１４】
上記の場合、前記高解像度変換手段が、前記伸長された縮小画像を拡大する際に、画像信号の一般的特徴に注目した予測処理を利用して、前記伸長された縮小画像には含まれていない情報を予測し補間することとしてもよい。
【００１５】
本発明は、また、本発明の画像圧縮装置を用いて圧縮された画像を伸長する画像伸長装置であって、前記画像圧縮装置から出力された前記縮小画像データと前記差分画像データとを入力する入力手段と、前記縮小画像データを伸長し、縮小画像を復元する縮小画像復元手段と、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換すると共に、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大し、該拡大した画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する高解像度画像生成手段と、前記差分画像データを復号化し、差分画像を復元する差分画像復元手段と、前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する画像合成手段とを備えたことを特徴とする画像伸長装置を提供する。
【００１６】
本発明は、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成するステップと、前記縮小画像を圧縮し縮小画像データを生成するステップと、前記縮小画像データを伸長するステップと、前記入力画像中に所定の対象物に対応する関心領域を設定するステップと、事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成するステップと、前記差分画像を符号化し差分画像データを生成するステップと、前記縮小画像データと前記差分画像データとを出力するステップとを有することを特徴とする画像圧縮方法を提供する。
【００１７】
本発明は、本発明の画像圧縮方法を用いて圧縮された画像を伸長する画像伸長方法であって、前記出力された前記縮小画像データと前記差分画像データとを入力するステップと、前記縮小画像データを伸長し、縮小画像を復元するステップと、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大するステップと、前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成するステップと、前記差分画像データを復号化し、差分画像を復元するステップと、前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元するステップとを有することを特徴とする画像伸長方法を提供する。
【００１８】
本発明は、コンピュータに、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する手順と、前記縮小画像を圧縮し縮小画像データを生成する手順と、前記縮小画像データを伸長する手順と、前記入力画像中に所定の対象物に対応する関心領域を設定する手順と、事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する手順と、前記差分画像を符号化し差分画像データを生成する手順と、前記縮小画像データと前記差分画像データとを出力する手順とを実行させるためのプログラムを提供する。
【００１９】
本発明は、上記本発明のプログラムをコンピュータに実行させることで圧縮された画像を伸長するためのプログラムであって、コンピュータに、前記出力された前記縮小画像データと前記差分画像データとを入力する手順と、前記縮小画像データを伸長し、縮小画像を復元する手順と、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大する手順と、前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する手順と、前記差分画像データを復号化し、差分画像を復元する手順と、前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する手順とを実行させるためのプログラムを提供する。
【発明の効果】
【００２０】
本発明では、画像圧縮側において、入力画像を縮小した縮小画像を圧縮して伸長し、伸長した縮小画像を高解像度変換した画像と元の入力画像との差分画像を符号化し、縮小画像の圧縮データと差分画像の符号化データとを出力する。画像伸長側において、縮小画像の圧縮データを伸長した画像を高解像度変換した画像と、差分画像の符号化データを復号化した画像とを合成する。上記の差分画像を用いることで、画像圧縮装置への入力画像を高品質で復元することができる。また、本発明では、入力画像に対して所定の対象物に対応する関心領域を設定する。縮小画像を高解像度の画像に変換する際に、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、縮小画像中の関心領域に対応する領域の部分画像を高解像度変換する。本発明では、事前に所定の対象物を学習した結果を用いて低解像度画像から高解像度画像への変換を行っており、高い予測精度で、低解像度の所定対象物の画像から、高解像度の所定対象物の画像を予測することができる。このため、所定の対象物部分（関心領域部分）について、高解像度変換された画像と、元の入力画像との差分を小さくすることができ、差分を小さくできる分だけ、所定の対象物を含む入力画像に対して高い圧縮率で画像を圧縮できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態の画像圧縮装置を示すブロック図。
【図２】入力画像における関心領域の設定を示すブロック図。
【図３】テンソル射影を示す概念図。
【図４】（ａ）〜（ｄ）は、テンソル射影を超解像の画像変換に応用する原理を示す図。
【図５】超解像処理の概要を示す図。
【図６Ａ】学習ステップの概略構成を示す図。
【図６Ｂ】復元ステップの概略構成を示す図。
【図７】画像圧縮の動作手順を示すフローチャート。
【図８】画像伸長装置を示すブロック図。
【図９】画像伸長の動作手順を示すフローチャート。
【図１０】本発明の第２実施形態の画像圧縮装置を示すブロック図。
【図１１】第２実施形態における関心領域の設定を示すブロック。
【図１２】画像圧縮装置及び画像伸長装置が実現可能であるハードウェアの構成例を示すブロック図。
【発明を実施するための形態】
【００２２】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の画像圧縮装置を示す。画像圧縮装置１０は、画像縮小手段１１、縮小画像圧縮手段（符号化手段）１２、縮小画像伸長手段１３、関心領域（ＲＯＩ：Region of Interest）設定手段１４、高解像度変換手段１５、差分画像生成手段１６、差分画像符号化手段１７、及び保存・伝送手段１８を備える。画像圧縮装置１０内の各部の動作は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。
【００２３】
画像圧縮装置１０には、第１の解像度の画像が入力される。入力画像は静止画でもよいし、動画でもよい。画像縮小手段１１は、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する。画像縮小手段１１は、例えば入力画像を、元の入力画像の１／４や１／８のサイズの画像に縮小する。縮小画像圧縮手段１２は、縮小画像を所定のアルゴリズムで圧縮（符号化）し、縮小画像圧縮データを生成する。縮小画像の圧縮には、既知の画像圧縮（画像符号化）手法を用いることができる。
【００２４】
縮小画像伸長手段１３は、縮小画像圧縮手段１２で生成された縮小画像圧縮データを伸長し、縮小画像を復元する。縮小画像伸長手段１３は、縮小画像圧縮手段１２における画像圧縮のアルゴリズムに対応したアルゴリズムで画像の伸長を行う。縮小画像圧縮手段１２における圧縮が非可逆圧縮であるとき、復元された縮小画像（以下、復元縮小画像とも呼ぶ）は、縮小画像圧縮手段１２で圧縮される前の縮小画像と同一とはならない。しかしながら、復元縮小画像は、いくらかの情報は欠落しているものの、縮小画像圧縮手段１２で圧縮される前の縮小画像と同じ内容を表している。縮小画像圧縮手段１２における圧縮が可逆圧縮であるとき、復元縮小画像は、縮小画像圧縮手段１２で圧縮される前の縮小画像と同一になる。
【００２５】
関心領域設定手段１４は、入力画像中に所定の対象物に対応する関心領域を設定する。所定の対象物は例えば人物の顔であり、関心領域設定手段１４は、入力画像中の人物の顔が現れる領域を関心領域として設定する。関心領域設定手段１４は、例えば入力画像から人物の顔を検出し、入力画像中の検出した人物の顔が存在する領域を関心領域として設定する。あるいは外部から人物の顔の検出結果を入力し、それに基づいて関心領域を設定してもよいし、ユーザが手動で設定してもよい。関心領域設定手段１４は、入力画像中に複数の顔が存在する場合は、１つの入力画像中に複数の関心領域を設定してもよい。
【００２６】
高解像度変換手段１５は、縮小画像伸長手段１３で伸長された復元縮小画像における、関心領域設定手段１４で設定された関心領域に対応する領域内の部分画像を、高解像度（第１の解像度）の部分画像に変換する。この変換には、学習型超解像の技術を用いることができる。高解像度変換手段１５は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像中の関心領域に対応する部分の画像を、第１の解像度の画像に変換する。
【００２７】
また、高解像度変換手段１５は、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像を入力画像のサイズに拡大する。高解像度変換手段１５は、例えば画像縮小手段１１で入力画像が１／４のサイズに縮小されていたときは、復元縮小画像を４倍のサイズに拡大する。画像の拡大は、復元縮小画像の全面（全領域）に対して行う必要はなく、復元縮小画像のうち、少なくとも関心領域設定手段１４が設定した関心領域に対応する領域を除く領域に対して行えばよい。高解像度変換手段１５は、復元縮小画像を拡大した画像と、第１の解像度に変換された部分画像とを合成し、合成画像を生成する。
【００２８】
差分画像生成手段１６は、入力画像と、高解像度変換手段１５で生成された合成画像との差分画像を生成する。関心領域に対応する領域では、入力画像の関心領域部分の部分画像と第１の解像度に変換された関心領域に対応する領域の部分画像との差分が、差分画像の画素値となる。一方、関心領域以外の領域に対応する領域では、入力画像の関心領域を除く画像部分と、拡大された復元縮小画像の関心領域に対応する領域を除く画像部分との差分が、差分画像の画素値となる。
【００２９】
差分画像符号化手段１７は、差分画像生成手段１６が生成した差分画像を符号化し差分画像符号化データを出力する。差分画像符号化手段１７における符号化アルゴリズムには、可逆圧縮のアルゴリズムを用いることができる。差分画像符号化手段１７は、差分画像（差分信号）のうち、画質に大きな寄与がある信号を選択的に（リミット、量子化、ＤＣＴ（離散コサイン変換）後で低周波のみを用いる、或いはそれらの組み合わせなど）符号化してもよい。
【００３０】
保存・伝送手段１８は、出力手段に相当し、縮小画像圧縮手段１２で生成された縮小画像圧縮データと、差分画像符号化手段１７で生成された差分画像符号化データとを出力する。保存・伝送手段１８は、例えば所定の記録媒体に、縮小画像圧縮データと差分画像符号化データとを保存する。あるいは保存・伝送手段１８は、縮小画像圧縮データと差分画像符号化データとを、ネットワークを介してデータ伸長側の装置に送信する。保存・伝送手段１８は、縮小画像圧縮データと差分画像符号化データとに加えて、関心領域設定手段１４で設定された関心領域の位置に関する情報も出力してもよい。
【００３１】
図２は、入力画像における関心領域の設定を示す。入力画像２０のサイズは、ｘ＿ｓｉｚｅ×ｙ＿ｓｉｚｅとする。関心領域設定手段１４は、例えば入力画像２０の所定の対象物が現れている領域に、関心領域２１を設定する。関心領域は、例えば矩形で表わされる。その場合、関心領域の位置は、右上の座標（ｘ１，ｙ１）と左下の座標（ｘ２，ｙ２）との組で指定することができる。縮小画像（復元縮小画像）における関心領域に対応する領域は、例えば関心領域の座標を所定の縮小率で縮小した座標で表すことができる。関心領域は矩形で表わされる必要はなく、任意の形状でよい。
【００３２】
高解像度変換手段１５は、関心領域２１については、関心領域中に現れている所定の対象物を学習することで得られた学習結果を用いた予測処理を行い、低解像度（第２の解像度）の復元縮小画像における対象物部分の画像から、高解像度（第１の解像度）の対象物部分の画像を生成する。この予測処理には、以下で説明する、対象を細分化するための特徴量を用いた予測処理を用いることができる。
【００３３】
対象を細分化するための特徴量を用いた予測処理を説明する。この予測処理では、射影変換を利用する。まず、低解像度の画像を高解像度の画像に復元する射影変換の原理について説明する。ここでは、特に低解像度の顔画像を高解像度の顔画像に復元する射影変換について説明する。準備段階として、学習ステップにおいて、事前に複数人分の顔画像のデータを学習し、変換関係を規定する関数を求めておく。復元ステップでは、学習ステップで得られた変換関数を用いて、任意の入力画像（低画質）から高画質の出力画像を復元する。
【００３４】
学習ステップで用いる学習画像セットとして、例えば６０人分の顔の低解像画像と高解像画像とを対（ペア）とした学習画像群を用意する。低解像度画像は、例えば高解像の学習画像から一定割合で画素を間引くことで生成される。高解像度画像は例えば６４×４８画素のサイズであり、低解像度画像は３２×２４画素のサイズである。双方の画像における各画素は、例えば０〜２５５階調の濃度値（画素値）をとる。学習ステップでは、低解像の学習画像と、それに対応する元の高解像の学習画像（同一人物の同内容の画像）とのペアの対応関係を学習することで、変換関数（射影を規定するテンソル）を生成する。
【００３５】
なお、入力の次元と出力の次元とを合わせておくことで、入力空間と出力空間について同じ空間内（座標軸）で取り扱うことができ、演算上便利である。学習ステップでは、低解像度画像の学習データを高解像度画像の画素数と一致させるために、適宜の方法で低解像度画像を拡大して用いることとする。こうして画素数を揃えた低解像度画像と高解像度画像との間で画素の対応関係（位置関係）は一対一に定まり、両者は同じ次元数となって同じ座標空間内の点（係数ベクトル）として取り扱うことができる。
【００３６】
学習ステップでは、１つの画像を所定の画素数の領域単位でマス目状に分割し、これら分割した複数のブロック（以下、「パッチ」とも呼ぶ）について、パッチごとに演算処理を行う。例えば６４×４８画素の画像を、８×８画素の単位（パッチ）に分割して８×６の４８パッチに分け、各パッチに対して演算処理を行う。１パッチあたりの画素数×パッチ数（分割数）が１枚の画像の全処理対象数となる。
【００３７】
下記表１に、モダリティのバリエーションと各モダリティの次元数とを示す。
【表１】
上記に加えて、顔の向きや表情といったモダリティを追加することもできる。具体的には、顔の向きとして「右向き〜正面〜左向き」の範囲で１０段階に方向を変えた１０パターン（次元数１０）、顔の表情としてノーマル、笑顔、怒り、叫び表情の４パターン（次元数４）を加えてもよい。
【００３８】
モダリティの種類数は、射影関係を規定する核テンソルＧの階数に相当する。各モダリティの次元数の積は、核テンソルＧの成分数となる。上記表１の場合は階層数４の核テンソルＧとなり、その成分数（サイズ）は（８×８）×２×４８×６０となる。モダリティに顔の向き（次元数１０）と表情（次元数４）とを加えた場合は、階数７の核テンソルとなり、その成分数は（８×８）×２×４８×６０×１０×４×５となる。このように、モダリティが追加されると、テンソルの階数が増加し、テンソルの成分数はその次元数の積によって急激に増大する。
【００３９】
図３は、テンソル射影の概念図である。ここでは図示の便宜上、３次元の空間で説明する。テンソル射影は、ある実空間Ｒから固有空間Ａ（「特徴空間」ともいう）への移動を可能とするとともに、複数の固有空間Ａ、Ｂ、Ｃの間での移動（射影）を可能とする。
【００４０】
図３では、実空間Ｒから固有空間Ａへの射影関係をテンソルＵで表し、固有空間ＡとＢの間の射影関係をテンソルＧ１又はＧ１−１により表している。同様に、固有空間ＢとＣの間の射影関係をテンソルＧ２又はＧ２−１により表し、固有空間ＣとＡの間の射影関係をテンソルＧ３又はＧ３−１により表している。このように、複数の固有空間を巡る変換経路（射影ルート）を設計することができ、様々な空間でデータのハンドリングが可能である。
【００４１】
図４（ａ）〜（ｄ）に、テンソル射影を超解像の画像変換に応用する原理を示す。図４の例は、画素実空間、画素固有空間、個人差固有（人物特徴）空間の間の射影を利用して、低解像の画像を高解像の画像に変換（復元）するプロセスを図式化したものである。
【００４２】
画像データは、各画素についてそれぞれ濃度を表す数値（画素値）が与えられたものであり、画素位置ごとに濃度値（画素値）を表す軸を基底とする多次元の空間における係数ベクトルとして把握することができる。説明の便宜上、図４のように３次元のモデルで考えると、例えば、ある人物Ａの低解像の顔画像データは、画素実空間上のある点ＰＬＡとしてプロットされる。すなわち、人物Ａの低解像の顔画像データの係数ベクトル（ｘ１，ｘ２，ｘ３）は、第１基底成分ｅ１の軸上で０〜２５５のある値（ｘ１）をとり、同様に、第２基底成分ｅ２の軸上、第３基底成分ｅ３の軸上でそれぞれ０〜２５５のある値（ｘ２）、（ｘ３）をとる。同じ人物Ａの高解像の顔画像データは、例えば画素実空間上のある点ＰＨＡとしてプロットされる。
【００４３】
変換目的は、画素実空間上のある低解像画像の点を変換して、それに対応する高解像の点に移すことである。変換プロセスでは、まず、図４（ａ）の画素実空間Ｒ上の点を、局所保存射影（ＬＰＰ：Locality Preserving Projection）の固有射影行列Ｕｐｉｘｅｌｓを利用した射影関数Ｕｐｉｘｅｌｓ−１を用いて画素固有空間Ａに射影する（図４（ｂ））。画素固有空間Ａの軸（基底）はＬＰＰの特徴軸（固有ベクトル）に対応しており、このＬＰＰ射影は、画素軸空間Ｒの軸を画素固有空間Ａの軸に変換する座標系の回転として把握することができる。
【００４４】
次いで、低解像画像と個人差固有空間との対応関係を規定する射影関数ＧＬ−１を用いて、画素固有空間Ａ上に射影された点を、個人差固有（人物特徴）空間Ｂに移す（図４（ｃ））。図４（ｃ）には、画素実空間Ｒ上の高解像度画像の点を画素固有空間Ａに射影し、更に高解像画像と個人差固有空間の対応関係を規定した射影関数ＧＨ＾１を用いて個人差固有空間Ｂに移して点も示している。図４（ｃ）に示すように、個人差固有空間Ｂでは、同一人物に係る低解像画像の点と高解像画像の点とをほぼ同じ位置にプロットできる。この性質を利用し、画素実空間上の低解像度の点を射影して得られた個人差固有空間Ｂ上の点を、射影関数ＧＨを用いて画素固有空間Ａに変換することで、高解像度画像に対応した画素固有空間Ａ上の点を得ることができる（図４（ｄ））。
【００４５】
個人差固有空間Ｂ上の点を画素固有空間Ａに移した後、これを更にＬＰＰ固有射影行列を利用した射影関数Ｕｐｉｘｅｌｓを用いて画素実空間Ａに戻す（図４（ｅ）。このように、個人差空間における低解像度画像の点と高解像度画像の点との一致性を利用して、図４（ｃ）→（ｄ）→（ｅ）のルートを巡って、低解像度画像を高解像度画像に変換することができる。
【００４６】
図４（ｃ）の個人差固有空間において、Ｖを個人差固有空間係数ベクトルとすると、画素実空間における高解像度画素ベクトルＨは次式により求められる。
Ｈ＝ＵｐｉｘｅｌｓＧＨＶ
一方、画素実空間における低解像度画素ベクトルＬは同様に、次式となる。
Ｌ＝ＵｐｉｘｅｌｓＧＬＶ
上記の２式から、画素実空間の低解像度画像（低解像度画素ベクトルＬ）から画素固有空間→個人差固有空間を経由して画素固有空間→画素実空間に戻し、画素実空間における高解像度画像を得る場合、次式の射影によって変換可能である。
Ｈ＝ＵｐｉｘｅｌｓＧＨＶ＝ＵｐｉｘｅｌｓＧＨ（ＵｐｉｘｅｌｓＧＬ）−１Ｌ
【００４７】
上記の例では、低解像画像と高解像画像のペア群からなる学習画像セットから局所性保存射影（ＬＰＰ）を利用して射影関数（Ｕｐｉｘｅｌｓ）を求め、これを基に個人差空間上で同一人物の低解像度画像の点と高解像度画像の点とがほぼ一致するように射影関数ＧＬ、ＧＨを求めている。こうして求めた射影関数（Ｕｐｉｘｅｌｓ、ＧＬ、ＧＨ）と図４に示す射影ルートの枠組みにより、低解像の画像を精度良く高解像の画像に変換することができる。
【００４８】
ＬＰＰ射影の演算手順を概説すると、次のとおりである。
（手順１）：各学習サンプル間（総当り）で、類似しているか否かを表す類似度行列：Ｓを求める。
（手順２）：類似行列Ｓの各行のΣを求め対角行列：Ｄを求める。
（手順３）：ラプラシアン行列：Ｌ＝Ｄ−Ｓを求める。
（手順４）：以下の一般固有値問題を解く。
Ｘ・Ｌ・ＸＴ・ｕ＝λ・Ｘ・Ｄ・ＸＴ・ｕ
例えば、［１］Ｃｈｏｌｅｓｋｙ分解や［２］一般固有値問題を逆行列算出により、固有値問題に変形して解く。
（手順５）：固有値λの小さい方から固有値に対応する固有ベクトルｕをソートしてＬＰＰ射影行列：Ｕが得られる。
【００４９】
図５は、処理の概要を示す。処理は、学習ステップと復元ステップとに大別することができる。学習ステップでは、低画質画像と高画質画像を対（ペア）とした学習画像群（入力学習画像セット）１０１を入力する。入力された学習画像群１０１について、局所保存射影（ＬＰＰ）を適用してＬＰＰ射影テンソルを生成する処理を実施する（ステップＡ１）。このＬＰＰ射影テンソル生成ステップでは、ＬＰＰ固有射影行列１０２を生成すると共に、低画質画像と中間固有空間（ここでは、「個人差固有空間」とする）との対応関係、及び高画質画像と中間固有空間の対応関係を規定したＬＰＰ射影核テンソル１０３を生成する。
【００５０】
ＬＰＰは、元の空間（ここでは画素の実空間）における標本の局所的な値の近さ（近傍値の幾何学的距離の情報）を保存するように座標変換を行うものであり、元の空間で近傍にある標本を射影先の空間（固有空間）でも近くに埋め込むよう座標軸が決定される。例えば、表１の学習画像セットにおいて、パッチ位置ごとに、画素の実空間で６０人分の高解像度画像及び低解像度画像をプロットし、その１２０点の分布についてＬＰＰを適用することにより、その分布における近い値のもの（変化の近いもの）に注目した特徴軸が求められる。こうして、パッチ位置の次元（表１の場合、４８次元）に対応したＬＰＰ固有射影行列Ｕｊ＝｛Ｕ１、Ｕ２、Ｕ３、…Ｕ４８｝が得られる。
【００５１】
また、上記のＬＰＰ固有射影行列１０２を用い、低解像度画像と個人差固有空間との対応関係（テンソルＧＬｊ＝｛ＧＬ１、ＧＬ２、ＧＬ３、…ＧＬ４８｝）、及び、高解像度画像と個人差固有空間との対応関係（テンソルＧＨｊ＝｛ＧＨ１、ＧＨ２、ＧＨ３、…ＧＨ４８｝）を包含したＬＰＰ射影核テンソルＧ１０３を生成する。すなわち、画素、解像度、パッチ位置など、各モダリティの観点でそれぞれ固有射影行列Ｕを求め、そのＵを使ってそれぞれの射影核テンソルＧ成分を求め、これらの集合が射影核テンソルＧ１０３として求まる。
【００５２】
なお、ＬＰＰでは、固有値の小さい順に特徴軸の並び（配列）が決定されている。影響度の高い上位の特徴軸のみを使うことで次元削減を行い、核テンソルのサイズは大幅に削減できる。例えば計算の過程では、影響度の低いものも含め全ての固有射影行列Ｕを計算し、実際に復元処理で使う場合には、そのうち影響度の低いものは使わず、影響度の高いものから幾つかを使用して復元することができる。こうして、各特徴軸について適度な次元圧縮を行うことで、射影核テンソルのサイズを妥当なサイズにできる。
【００５３】
一方、復元ステップでは、変換元となる低画質画像１０４を入力する。また、処理対象とするパッチ位置を特定する情報、及び低解像度画像と高解像度画像との区別を設定する情報１０５を与える。
【００５４】
学習ステップで生成されたＬＰＰ射影核テンソルＧ１０３から、第１の設定としての低解像度の設定に対応した第１のサブ核テンソル（表１の上記例においてＧＬｊ＝｛ＧＬ１、ＧＬ２、ＧＬ３、…ＧＬ４８｝）を生成する（ステップＡ２）。また、第２の設定としての高解像度の設定に対応した第２のサブ核テンソル（表１の上記例においてＧＨｊ＝｛ＧＨ１、ＧＨ２、ＧＨ３、…ＧＨ４８｝）を生成する（ステップＡ３）。
【００５５】
ＬＰＰ射影核テンソル１０３は、各モダリティに対応する全ての固有ベクトルを基に作られており、全モダリティに関する射影成分を含んだ集合体であるため、このテンソル成分の中から復元処理に利用する成分を取り出すことが必要である。例えば、図４で説明した射影ルートで経由する中間固有空間（射影ルートの折り返し点の空間）として、「個人差」の固有空間を用いるという条件を決めることにより、それに対応するサブ核テンソルＧＬ、ＧＨを取り出すことができる。なお、このように、実際に用いるサブ核テンソルを生成するまでの工程を学習ステップに含めてもよい。
【００５６】
そして、復元ステップで入力された低画質画像のデータに対して、ＬＰＰ固有射影行列１０２と第１のサブ核テンソルとを用いて射影を行い（ステップＡ４）、中間固有空間係数ベクトルを算出する。この第１のＬＰＰサブテンソル射影ステップは、図４の（ａ）→（ｂ）→（ｃ）で説明した経路の射影に相当している。次に、得られた中間固有空間係数ベクトルを、第２のサブ核テンソルとＬＰＰ固有射影行列１０２とを用いて射影し（ステップＡ５）、高画質画像１０６を得る。この第２のＬＰＰサブテンソル射影ステップは、図４の（ｃ）→（ｄ）→（ｅ）で説明した経路の射影に相当している。
【００５７】
上述した復元ステップにおける第１のＬＰＰサブテンソル射影ステップ、及び第２のＬＰＰサブテンソル射影ステップの処理は、パッチ位置の情報に基づいてパッチごとに行われる。なお、これら射影ステップの演算の際には、図５に示したように、射影関数が行列であるかテンソルであるかの区別を指定する情報１０７が与えられ、当該情報に従ってＬＰＰ固有射影行列を用いた射影処理とサブ核テンソルを用いた射影処理とに切り替えられる。
【００５８】
図１に戻り、高解像度変換手段１５は、復元縮小画像のうちの関心領域に対応する領域以外の部分を、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して拡大する。この拡大処理では、復元縮小画像を拡大する際に、例えば、以下に説明する画像信号の一般的特徴に注目した予測処理を行い、低解像度の復元縮小画像には含まれていない情報を予測し補間する。
【００５９】
画像信号の一般的特徴に注目した予測処理について説明する。画像信号の一般的特徴に注目した予測処理では、低解像度画像と高解像度画像との変換関係を規定するための補間フィルタ係数を用いた変換（補間）演算により、低解像度画像に存在していない情報を補間し、高解像度画像を生成する。低解像度画像は例えば３２０×２４０画素のサイズであり、その低解像度画像から、例えば６４０×４８０画素の高解像度画像を生成する。
【００６０】
画像処理を行うための準備段階として、学習ステップにおいて、事前に高解像度画像と低解像度画像とのペアを用いて学習を行い、変換関係を規定する補間フィルタ係数を求める。低解像度画像は、例えば高解像度画像から所定の割合で画素を間引くことで生成する。復元ステップでは、学習ステップで求めた補間フィルタ係数を用い、任意の低解像度画像から高解像度の出力画像を得る。
【００６１】
まず、学習ステップについて説明する。図６Ａは、学習ステップの概略構成を示す。入力画像を、高解像度画像ｘｆｉｌｅ（学習画像ｘ）とする。この高解像度画像ｘｆｉｌｅに対して縮小処理やローパスフィルタ処理などを施し、低解像度画像ｚｆｉｌｅを生成する（ステップＢ１）。高解像度画像ｘｆｉｌｅと低解像度画像ｚｆｉｌｅとに対し、ハイパスフィルタを用いたフィルタリング処理を行い、双方の画像から高周波成分を抽出した高周波高解像度画像ｘ’ｆｉｌｅと高周波低解像度画像ｚ’ｆｉｌｅとを生成する（ステップＢ２）。高周波高解像度画像ｘ’ｆｉｌｅと高周波低解像度画像ｚ’ｆｉｌｅとのペアは、パッチペアを構成する。
【００６２】
高周波成分抽出処理において抽出される高周波成分の一例として、サンプリング定理におけるナイキスト周波数が挙げられる。すなわち、入力画像について、出力画像におけるナイキスト周波数に対応する周波数をしきい値として高周波成分抽出処理を行うことで、入力画像の低周波成分に含まれる画質劣化要因を取り除くことができ、好ましい高画質画像が復元される。高周波成分抽出において抽出される高周波成分は、いわゆるカットオフ周波数（レスポンスが−３ｄｂとなる周波数）としてもよく、入力画像（低解像度画像）や出力画像（高周波画像）などの条件に応じて適宜設定される。
【００６３】
高周波成分抽出の後、高周波低解像度画像ｚ’ｆｉｌｅ（画像ベクトルｚ’）から、クラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）を生成する（ステップＢ３）。この代表高周波画像生成処理では、画像ベクトルｚ’の代表値化を行い、クラス数と同数の代表高周波ｚ’ｉを生成する。代表高周波画像ｚ’ｉは、例えばＧＭＭ（混合正規分布モデル）にＥＭ（Expectation-Maximization）アルゴリズムが適用された手法が適用される。すなわち、ＥＭアルゴリズムのＥステップにおいて条件確率の推測が行われ、ＭステップにおいてＥステップ推定値を用いた尤度関数の最大化が行われ、現在の条件確率で尤度関数が最大化され、次の確率条件が求められ、尤度関数の出力が安定するまでＥステップとＭステップとのループ演算が繰り返し実行される。
【００６４】
なお、ＧＭＭの他に混合ディリクレモデル等を用いてもよいし、ＥＭアルゴリズムに代えて変分ベイズ法、ＭＣＭＣ（マルコフ連鎖モンテカルロ）、ギブスサンプラー等を用いてもよい。
【００６５】
かかる演算において、k-means法により画像ベクトルｚ’のクラスごとの重心を求めて分類し、初期状態の設定としてもよい。例えば１００クラスで１０万画素を学習するには、１万回程度の学習が行われる。この場合の収束条件はｅ−１０である。代表高周波画像生成処理における処理では、下記式１〜４で表わされる演算処理が繰り返し実行される。
【数１】
なお、式１における「Ｎ」は高解像度画像ｘｆｉｌｅ及び低解像度画像ｚｆｉｌｅのペア（トレーニングセット）から生成されるトレーニングベクトル（ｚ，ｘ）の数である。また、トレーニングセットのペアにおける低解像度画像の画素のセットをＳとしたときのトレーニングセットから抽出されたトレーニングベクトルを｛（ｚｓ，ｘｓ）｝ｓ∈Ｓと表す。
【００６６】
式２における「πｉ」はｉ番目のクラスの存在確率であり、式３における「ｐｉ｜ｚ’（ｉ｜ｚ’，θ）」は高周波画像ｚ’がクラスｉに存在する確率、「ｐｉ｜ｚ’（ｉ｜ｚ’）」は、ｉ、ｚ’についての多変量ガウス型密度式や多変量ディリクレ型密度式である。式４における「σ２」は、画像ベクトルｚ’の要素の標本分散の平均、「ｄ」は画像ベクトルｚ’の要素数、Ｍはクラス数である。なお、式２における「θ」は、ＥＭアルゴリズムによって最尤推定され（θｍａｘが決定され）、これが代入されるため変数としては存在しなくなる。
【００６７】
最後に、高周波高解像度画像ｘ’ｆｉｌｅ、高周波低解像度画像ｚ’ｆｉｌｅ、及び代表高周波画像ｚ’ｉに基づいて、復元ステップにおける補間演算に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉを生成する（ステップＢ４）。補間フィルタ係数生成処理では、高周波高解像度画像ｘ’ｆｉｌｅと高周波低解像度画像ｚ’ｆｉｌｅとのペア、及び代表高周波画像ｚ’ｉを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉを生成する。補間フィルタ係数Ａ’ｉは補間行列であり、下記式５により表わされる。また補間フィルタ係数Ｂ’ｉは、バイアスベクトルであり、下記式６により表わされる。上記式２で表わされるπｉは、ｉ番目のクラスの存在確率（寄与率）であり、全てのクラスの合計が１になるように正規化されている。
【数２】
なお、上記した補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉは一例であり、補間フィルタ係数は、復元ステップにおける補間計算に応じて適宜決定できる。
【００６８】
次いで、復元ステップを説明する。図６Ｂは、復元ステップの概略構成を示す。復元ステップは、入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。以下では、入力画像を所定サイズの複数のパッチに分割し、パッチごとに処理を行うものとして説明する。
【００６９】
復元対象の画像として、低解像度画像ｚを入力する。この低解像度画像ｚから高周波成分を抽出し、高周波低解像度画像ｚ’ｆｉｌｅ（画像ベクトルｚ’）を生成する（ステップＢ５）。このステップは、ハイパスフィルタを用いた低周波成分及び中周波成分の抑制処理（高周波成分抽出処理）に、拡大処理を加えた構成としてもよい。ステップＢ５における高周波成分抽出処理は、図６ＡのステップＢ２における高周波低解像度画像ｚ’ｆｉｌｅの生成と同様でよい。
【００７０】
続いて、入力された低解像度画像ｚの画素ごとに、学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを設定する（ステップＢ６）。このステップでは、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定されると共に、入力された低解像度画像ｚに応じた重みが設定される。
【００７１】
引き続き、低解像度画像ｚから生成された画像ベクトルｚ’に対して、ステップＢ６で設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いたフィルタリング処理を施す（ステップＢ７）。このステップでは、設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像度画像（低解像度画像ｚには存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、下記式７により表わされる混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代えて、混合ディリクレモデル等の混合多項分布を改定してもよい。
【数３】
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じると共に、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けされ、全てのクラスについて加重和が求められる。重みｗｉは、代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）、及び、対象画素のクラスごとの寄与率πｉに応じて算出される。
【００７２】
また、入力された低解像度画像ｚに対して、バイキュービック法などの手法を用いた拡大処理を施す（ステップＢ８）。その後、ステップＢ７で生成された高解像度画像の超高周波成分に、ステップＢ８で拡大された高解像度画像の低周波成分から高周波成分を加算する（ステップＢ９）。このステップにより、低周波成分から超高周波成分にわたる全周波数成分を含む高解像度画像が生成される。
【００７３】
以下、画像圧縮装置１０の動作手順を説明する。図７は、画像圧縮の動作手順を示す。画像圧縮装置１０に、圧縮対象の画像を入力する（ステップＣ１）。画像縮小手段１１は、入力された第１の解像度の画像を、第２の解像度の画像に縮小する（ステップＣ２）。縮小画像圧縮手段１２は、縮小された画像を圧縮し、縮小画像圧縮データを生成する（ステップＣ３）。縮小画像圧縮手段１２は、入力画像が動画である場合は、前後フレームの画像を用いて縮小画像を圧縮してもよい。縮小画像圧縮データは、保存・伝送手段１８と縮小画像伸長手段１３とに与えられる。縮小画像伸長手段１３は、縮小画像圧縮データを伸長し、縮小画像を復元する（ステップＣ４）。
【００７４】
関心領域設定手段１４は、ステップＣ１で入力された入力画像中に所定の対象物に対応する関心領域を設定する（ステップＣ５）。関心領域設定手段１４は、例えば入力画像中の顔の部分を関心領域として設定する。高解像度変換手段１５は、例えば事前に人物の顔を学習することで得られた学習結果を用いた予測処理により、ステップＣ４で復元された縮小画像のうち、関心領域設定手段１４が設定した関心領域に対応する領域の部分画像を、高解像度（第１の解像度）の部分画像に変換する（ステップＣ６）。高解像度変換手段１５は、例えば人物の顔に対して設定された関心領域について、事前に顔画像を学習することで生成された変換関数（射影を規定するテンソル）を用いて、低解像度の縮小画像の顔部分の画像を、高解像度の顔部分の画像へ変換する。
【００７５】
高解像度変換手段１５は、復元縮小画像における関心領域に対応する領域以外の部分については、復元縮小画像を入力画像のサイズまで拡大する（ステップＣ７）。高解像度変換手段１５は、例えばステップＣ２で１／４のサイズに画像が縮小されていたときは、復元縮小画像を４倍のサイズに拡大する。このとき高解像度変換手段１５は、例えば画像信号の一般的特徴に注目した予測処理を行い、低解像度の復元縮小画像には含まれていない情報を予測し補間する。高解像度変換手段１５は、例えば事前に入力画像と同種の画像を学習することで生成された補間フィルタ係数を用いた変換演算により、低解像度の縮小画像に存在していない情報を補間する。
【００７６】
高解像度変換手段１５は、ステップＣ６で変換された関心領域部分の第１の解像度の部分画像と、ステップＣ７で補間・拡大された復元縮小画像とを合成し、合成画像を生成する（ステップＣ８）。差分画像生成手段１６は、ステップＣ１で入力された入力画像と、ステップＣ８で生成された合成画像との差分画像を生成する（ステップＣ９）。差分画像生成手段１６は、関心領域部分については、入力画像と、ステップＣ６で変換された関心領域部分の第１の解像度の部分画像との差分を取る。また、関心領域以外の領域については、入力画像と、ステップＣ７で補間・拡大された復元縮小画像との差分を取る。差分画像符号化手段１７は、ステップＣ９で生成された差分画像を符号化し、差分画像符号化データを生成する（ステップＣ１０）。
【００７７】
保存・伝送手段１８は、ステップＣ３で生成された縮小画像圧縮データと、ステップＣ１０で生成された差分画像符号化データと、ステップＣ５で設定された関心領域の位置に関する情報とを、入力画像に対する圧縮画像データとして出力する（ステップＣ１１）。出力された圧縮画像データは、例えば図示しない記憶装置に記憶される。あるいは、ネットワークを介して、図示しない受信側の装置に送信される。
【００７８】
次に、画像圧縮装置で圧縮されたデータを伸長する画像伸長装置について説明する。図８は、画像伸長装置を示す。画像伸長装置３０は、入力手段３１、縮小画像復元手段３２、高解像度画像生成手段３３、差分画像復元手段３４、及び画像合成手段３５を備える。画像伸長装置３０内の各部の動作は、コンピュータが所定のプログラムに従って動作することで実現可能である。
【００７９】
入力手段３１は、図１に示す画像圧縮装置１０から出力された圧縮画像データ、すなわち縮小画像圧縮データと差分画像符号化データと関心領域の位置に関する情報とを入力する。入力手段３１は、例えば記憶装置から圧縮画像データを読み出す。あるいは入力手段３１は、ネットワークを介して、画像圧縮装置１０から送信された圧縮画像データを受信する。入力手段３１は、入力された縮小画像圧縮データを縮小画像復元手段３２に渡す。また、入力された差分画像符号化データを差分画像復元手段３４に渡す。
【００８０】
縮小画像復元手段３２は、縮小画像符号化データを伸長し、縮小画像を復元する。縮小画像復元手段３２は、図１の画像圧縮装置１０における縮小画像伸長手段１３と同様なアルゴリズムで、縮小画像符号化データを伸長する。縮小画像伸長手段１３で伸長された縮小画像と、縮小画像復元手段３２で復元された縮小画像とは同じ画像となる。縮小画像復元手段３２は、復元した縮小画像を高解像度画像生成手段３３に渡す。
【００８１】
高解像度画像生成手段３３は、入力手段３１から、関心領域の位置に関する情報を受け取っている。高解像度画像生成手段３３は、縮小画像復元手段３２で復元された縮小画像における、関心領域に対応する領域内の部分画像を、高解像度（第１の解像度）の部分画像に変換する。この変換は、画像圧縮装置１０の高解像度変換手段１５における関心領域部分の画像の変換と同様である。つまり、高解像度画像生成手段３３は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像中の関心領域に対応する部分の画像を、第１の解像度の画像に変換する。
【００８２】
また、高解像度画像生成手段３３は、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像を入力画像のサイズに拡大する。この拡大処理は、画像圧縮装置１０の高解像度変換手段１５における関心領域以外の領域部分の拡大処理と同様である。高解像度画像生成手段３３は、復元された縮小画像を拡大した画像に、第１の解像度に変換された関心領域部分の画像を重ね、両者を合成した高解像度画像を生成する。高解像度画像生成手段３３が生成する高解像度画像と、画像圧縮装置の高解像度変換手段１５が生成する合成画像とは、同じ画像である。
【００８３】
差分画像復元手段３４は、差分画像符号化データを復号化し、差分画像を復元する。差分画像復元手段３４は、画像圧縮装置１０の差分画像符号化手段１７における符号化アルゴリズムに対応したアルゴリズムで差分画像を復号化する。画像合成手段３５は、高解像度画像生成手段３３で生成された高解像度画像と、差分画像復元手段３４で復元された差分画像とを合成する。画像合成手段３５で高解像度画像と差分画像とを合成することで、画像圧縮装置１０の入力画像に対応する画像が復元される。
【００８４】
図９は、画像伸長の動作手順を示す。入力手段３１は、例えば図示しない記憶装置から縮小画像圧縮データと差分画像符号化データと関心領域の位置に関する情報とを読み出す（ステップＤ１）。縮小画像復元手段３２は、入力された縮小画像圧縮データを伸長する（ステップＤ２）。縮小画像圧縮データを伸長することで、画像圧縮装置１０の画像縮小手段１１が入力画像を縮小することで生成した縮小画像と同じ内容の縮小画像が復元される。なお、復元された縮小画像は、必ずしも画像縮小手段１１で生成された縮小画像と完全に同一である必要はない。
【００８５】
高解像度画像生成手段３３は、入力手段３１から関心領域の位置に関する情報を受け取り、復元された縮小画像における関心領域に対応する領域を特定する。高解像度画像生成手段３３は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、ステップＤ２で復元された縮小画像における関心領域に対応する領域内の部分画像を、高解像度（第１の解像度）の部分画像に変換する（ステップＤ３）。このステップにおける第１の解像度の部分画像への変換は、図７のステップＣ６における第１の解像度の部分画像への変換と同じでよい。
【００８６】
高解像度画像生成手段３３は、復元された縮小画像における関心領域に対応する領域以外の部分については、復元された縮小画像を所定の倍率で拡大する（ステップＤ４）。高解像度画像生成手段３３は、例えば画像圧縮装置１０の画像縮小手段１１で入力画像が１／４のサイズに縮小されていたときは、復元された縮小画像を４倍のサイズに拡大する。このとき高解像度画像生成手段３３は、例えば画像信号の一般的特徴に注目した予測処理を行い、低解像度の縮小画像には含まれていない情報を予測し補間する。ステップＤ４における縮小画像の拡大は、図７のステップＣ７における縮小画像の拡大と同じでよい。
【００８７】
高解像度画像生成手段３３は、ステップＤ３で第１の解像度に変換された関心領域部分の画像と、ステップＤ４で補間・拡大された縮小画像とを重ねて、高解像度画像を生成する（ステップＤ５）。ステップＤ５で生成される高解像度画像は、図７のステップＣ８で生成される合成画像と同じ内容となる。
【００８８】
差分画像復元手段３４は、差分画像符号化データを伸長し、差分画像を復元する（ステップＤ６）。差分画像符号化データを伸長することで、画像圧縮装置１０の差分画像生成手段１６で生成された差分画像と同じ内容の差分画像が復元される。なお、復元された差分画像は、必ずしも差分画像生成手段１６で生成された差分画像と完全に同一である必要はない。画像合成手段３５は、ステップＤ５で生成された高解像度画像と、ステップＤ６で復元された差分画像とを合成し、画像圧縮装置１０の入力画像に対応する画像を復元する（ステップＤ７）。
【００８９】
本実施形態では、関心領域設定手段１４により、入力画像に対して所定の対象物に対応する関心領域を設定する。高解像度変換手段１５は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、入力画像を縮小した縮小画像中の関心領域に対応する領域の部分画像を第１の解像度に変換する。本実施形態では、事前に所定の対象物を学習した結果を用いて低解像度画像から高解像度画像への変換を行っており、高い予測精度で、低解像度の所定対象物の画像から、第１の解像度の所定対象物の画像を予測することができる。このため、所定の対象物部分（関心領域部分）について、高解像度変換手段１５で復元縮小画像から第１の解像度に変換された画像と、元の入力画像との差分を小さくすることができる。本実施形態では、差分画像を用いて高品質での画像の復元を可能にしつつ、差分を小さくできる分だけ特許文献１に比して高い圧縮率を実現することができる。
【００９０】
ここで、高解像度変換手段１５において、対象を細分化するための特徴量を用いた予測処理を利用して縮小画像の関心領域部分を第１の解像度に変換した場合、ある人物の顔について、個人差固有空間（図４（ｃ））における位置が所期の位置にある場合には、低解像度の画像から高解像度の画像へ人物の顔へ精度よく変換できる。しかし、個人差固有空間における位置が所期の位置がずれると、低解像度画像から変換した人物の顔が別人の顔のようになることがある。本実施形態では、差分画像を用いているため、仮に低解像度画像から変換した顔の画像が入力画像における顔の画像とは大きく異なる場合でも、差分は大きくなるものの、画像伸長装置３０において、入力画像における顔を復元することができる効果がある。
【００９１】
なお、上記実施形態の説明では、差分画像生成手段１６が、関心領域部分とそれ以外の部分との双方について差分画像を生成することとしたが、差分を取るのは関心領域部分のみでもよい。この場合、高解像度変換手段１５は、復元縮小画像における関心領域に対応する領域の部分画像を第１の解像度に変換するだけでよい。差分画像生成手段１６は、第１の解像度に変換された関心領域部分の画像と、入力画像における関心領域の部分画像との差分を差分画像として生成すればよい。例えば監視カメラ画像では、人物の顔など所定の対象物は高い品質で復元したい一方で、それ以外の背景部分については高い品質で復元することを要しない場合がある。そのような場合、関心領域部分のみの差分画像を伝送するようにすることで、更なる高圧縮を実現できる。
【００９２】
次いで、本発明の第２実施形態を説明する。図１０は、本発明の第２実施形態の画像圧縮装置を示す。本実施形態の画像圧縮装置１０ａは、複数の関心領域設定手段１４を備える点で、図１に示す第１実施形態の画像圧縮装置１０と相違する。複数の関心領域設定手段１４は、それぞれ種類が相互に異なる複数の対象物に対応する関心領域を設定する。所定の対象物としては、例えば人物の顔や、名札部分、人物の手（その周辺部分）などが考えられる。例えば、画像圧縮装置１０ａは、物の顔部分に関心領域を設定する関心領域設定手段１４と、名札部分に関心領域を設定する関心領域設定手段１４と、人物の手の周辺に関心領域を設定する関心領域設定手段１４とを備える。
【００９３】
図１１に、第２実施形態における関心領域の設定を示す。ここでは、３つの関心領域設定手段Ａ〜Ｃにより、入力画像に３種類の対象（物）に対する関心領域を設定する例を説明する。関心領域設定手段Ａは、入力画像２０中に、例えば人物の顔部分に対応する関心領域２１を設定する。関心領域設定手段Ｂは、入力画像２０中に、例えば名札部分に対応する関心領域２２を設定する。関心領域設定手段Ｃは、入力画像２０中に、例えば人物の手の周辺に対応する関心領域２３を設定する。各関心領域設定手段は、各対象物について、複数の関心領域を設定してもよい。
【００９４】
高解像度変換手段１５は、関心領域の種類ごとに、各対象物を学習した学習結果を用いた予測処理により、縮小画像中の関心領域部分の部分画像を、高解像度（第１の解像度）の部分画像に変換する。高解像度変換手段１５は、例えば人物の顔に対して設定された関心領域２１について、事前に顔画像を学習することで生成された変換関数（射影を規定するテンソル）を用いて、低解像度の縮小画像における関心領域２１に対応する部分の画像を、高解像度の画像に変換する。また、高解像度変換手段１５は、例えば名札部分に対して設定された関心領域２２について、事前に名札画像を学習することで生成された変換関数を用いて、低解像度の縮小画像における関心領域２２に対応する部分の画像を、高解像度の画像に変換する。高解像度変換手段１５は、例えば人物の手の周辺に対して設定された関心領域２２について、事前に手の周辺の画像を学習することで生成された変換関数を用いて、低解像度の縮小画像における関心領域２３に対応する部分の画像を、高解像度の画像に変換する。
【００９５】
本実施形態における画像圧縮装置１０ａの動作手順は、基本的には図７に示す第１実施形態における画像圧縮装置１０の動作手順と同様である。各関心領域設定手段１４は、ステップＣ５において、各対象物に対応する関心領域を設定する。高解像度変換手段１５は、ステップＣ６において、各関心領域の種類に応じた予測処理により、縮小画像における各関心領域に対応する領域部分の画像を、第１の解像度の画像に変換する。保存・伝送手段１８は、ステップＣ１１において、縮小画像圧縮データ及び差分画像符号化データに加えて、各関心領域の位置に関する情報を、各関心領域の種類を示す情報と共に出力する。
【００９６】
本実施形態における画像伸長装置の構成は、図８に示す第１実施形態における画像伸長装置の構成と同様である。本実施形態における画像伸長装置では、高解像度画像生成手段３３は、画像圧縮装置１０ａにおける高解像度変換手段１５と同様に、関心領域の種類ごとに、各対象物を学習した学習結果を用いた予測処理により、縮小画像中の関心領域部分の部分画像を、高解像度（第１の解像度）の部分画像に変換する。本実施形態における画像伸長装置の動作手順は、基本的には図９に示す第１実施形態における画像伸長装置３０の動作手順と同様である。
【００９７】
本実施形態では、複数の関心領域設定手段１４を用いて、入力画像中に複数種類の関心領域を設定する。高解像度変換手段１５にて、関心領域の種類ごとに、各対象物の学習結果を利用した予測処理により縮小画像の関心領域に対応する領域の部分を第１の解像度に変換することで、低解像度の縮小画像から、各対象物を高精度に高解像度画像へ変換できる。このようにすることで、各関心領域部分の差分を小さくすることができ、より効率的な圧縮が可能である。その他の効果は第１実施形態と同様である。
【００９８】
図１２に、本発明の画像圧縮装置及び画像伸長装置が実現可能であるハードウェアの構成例を示す。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１、ＲＡＭ（Radom Access Memory）４２、ＲＯＭ（Read Only Memory）４３、ハードディスク装置４４、キーボード４５、マウス４６、ディスプレイ４７、及び外部インタフェース４８を有する。コンピュータ４０において、各要素は、バス４９を介して相互に接続される。
【００９９】
ＣＰＵ４１は、コンピュータ全体の動作を司る。ＲＡＭ４２は、ＣＰＵによる各種プログラムの実行時にワークエリアなどとして用いられる。ＲＯＭ４３は、各種制御プログラムなどを格納している。ハードディスク装置４４は、補助記憶装置であり、例えばコンピュータ４０を画像圧縮装置１０（図１）又は画像伸長装置３０（図８）として機能させるために必要なプログラムなどを格納する。また、ハードディスク装置４４は、処理対象の入力画像データや圧縮画像データを格納していてもよい。
【０１００】
キーボード４５及びマウス４６は、入力装置であり、ユーザが各種情報やコンピュータに対する指示などを入力するために用いられる。ディスプレイ４７は、各種画像や情報を表示する。外部インタフェース４８は、外部に接続された装置との間で情報のやり取りを行う。外部インタフェース４８には、例えばカメラを接続することができる。画像圧縮装置１０して機能するコンピュータは、例えば外部インタフェース４８を介して処理対象の入力画像データを受け取ってもよい。
【０１０１】
ハードディスク装置４４が格納するプログラムは、ＣＰＵ４１によって読み出され、ＲＡＭ４２上に展開される。ＣＰＵ４１が、読み出したプログラムに従って動作することで、コンピュータ４０内に、図１又は図８に示す各手段が論理的に構成される。また、ＣＰＵ４１によって、図７又は図９に示す一連の処理が実行される。ディスプレイ４７には、例えば図９のステップＤ７で復元された画像を表示することができる。
【０１０２】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像圧縮装置、画像伸長装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０３】
１０：画像圧縮装置
１１：画像縮小手段
１２：縮小画像圧縮手段
１３：縮小画像伸長手段
１４：関心領域設定手段
１５：高解像度変換手段
１６：差分画像生成手段
１７：差分画像符号化手段
１８：保存・伝送手段
２０：入力画像
２１〜２３：関心領域
３０：画像伸長装置
３１：入力手段
３２：縮小画像復元手段
３３：高解像度画像生成手段
３４：差分画像復元手段
３５：画像合成手段
４０：コンピュータ
４１：ＣＰＵ
４２：ＲＡＭ
４３：ＲＯＭ
４４：ハードディスク装置
４５：キーボード
４６：マウス
４７：ディスプレイ
４８：外部インタフェース
４９：バス
１０１：入力学習画像セット
１０２：ＬＰＰ固有射影行列
１０３：ＬＰＰ射影核テンソル
１０４：低画質画像
１０５、１０７：情報
１０６：高画質画像
【技術分野】
【０００１】
本発明は、画像圧縮装置、方法、及びプログラムに関し、更に詳しくは、動画や静止画などの画像データを、元のデータサイズよりも小さいサイズに圧縮する画像圧縮装置に関する。また、本発明は、画像圧縮装置で圧縮された画像データを復元する画像伸長装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
一般に、信号の圧縮又は符号化技術では、圧縮後又は符号化後のデータサイズと、圧縮又は符号化されたデータを復元した信号の信号品質とはトレードオフの関係にある。つまり、データサイズを小さくしようとすると信号品質の劣化が大きくなり、一方で、信号品質の劣化を抑えようとするとデータサイズが大きくなる。信号の圧縮又は符号化では、できるだけ元の信号の品質を保ったまま、圧縮後の信号のデータサイズが小さくなることが好ましい。
【０００３】
入力信号の符号化に関し、特許文献１には、差分信号を利用した符号化が記載されている。特許文献１では、符号化装置は、入力信号をダウンサンプリングしてデータサイズを縮小し、縮小した信号を符号化して第１符号化情報を生成する。その符号化された第１符号化情報を復号化し、更に復号化されたデータをアップサンプリングして、アップサンプリングされたデータと元の入力信号との差分を取る。符号化装置は、差分を取ることで生成された差分信号を符号化して第２符号化情報を生成し、第１符号化情報と第２符号化情報とを伝送路に送信する。
【０００４】
特許文献１における復号化装置は、第１符号化情報と第２符号化情報とを伝送路を介して受信する。復号化装置は、第１符号化情報を復号化して第１復号化情報を生成し、その第１復号化情報をアップサンプリングする。また、第２符号化情報を復号化して第２復号化情報（差分信号）を生成する。復号化装置は、アップサンプリングした第１復号化情報と第２復号化情報とを加算し、加算された信号を、入力信号に対応する再生信号として出力する。
【０００５】
ここで、一般的に、符号化装置は復号化信号の品質劣化の原因となる固有の特性を有している。この問題に対し、特許文献１では、学習用の入力信号を用いて調整用インパルス応答を学習し、アップサンプリングされた復号化信号に調整用インパルス応答を畳み込んでいる。より詳細には、符号化装置において、アップサンプリングされた第１符号化情報の復号化情報に調整用インパルス応答を畳み込む。その調整用インパルス応答を畳み込んだ信号と元の入力信号との差分を取り、差分信号を符号化して第２符号化情報を生成する。復号化装置では、アップサンプリングされた第１復号化情報に対して調整用インパルス応答を畳み込み、その信号に第２復号化情報を加算する。特許文献１では、このようにすることで、符号化装置に固有の特性を打ち消すことができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開２００６／１２０９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、学習により、特異的に現れる欠陥やノイズを学習している。アップサンプリングされた復号化信号に調整用インパルス応答を畳み込むことで、ある周波数特性として特異的に現れる欠陥やノイズを補正することができる。しかしながら、一般に、圧縮ノイズは画像との位相が一定ではなく、学習によって得られる調整用インパルス応答は粗く類型化されたものとなってしまう。このため、一般的な画像情報においては、調整用インパルス応答を畳み込んだ信号と元の入力信号との差分が十分に小さくならない。また、圧縮後のデータサイズを小さくした場合には、細かな画像情報を多く持っている、動きが速いなどの特徴を持つ一般的に重要な対象物、例えば文字や人物の顔にノイズが残り、利用に十分な情報が得られない。
【０００８】
本発明は、上記に鑑み、所定の対象物を含む入力画像に対して高品質を維持しつつ、所定の対象物を含む入力画像に対して高い圧縮率で画像を圧縮できる画像圧縮装置、方法、及びプログラムを提供することを目的とする。また、本発明は、本発明の画像圧縮装置で圧縮されたデータを伸長する画像伸長装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する画像縮小手段と、前記縮小画像を圧縮し縮小画像データを生成する縮小画像圧縮手段と、前記縮小画像データを伸長する縮小画像伸長手段と、前記入力画像中に所定の対象物に対応する関心領域を設定する関心領域設定手段と、事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する高解像度変換手段と、前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する差分画像生成手段と、前記差分画像を符号化し差分画像データを生成する差分画像符号化手段と、前記縮小画像データと前記差分画像データとを出力する出力手段とを備えたことを特徴とする画像圧縮装置を提供する。
【００１０】
本発明では、前記予測処理を、対象を細分化するための特徴量を用いた予測処理とすることができる。
【００１１】
前記関心領域設定手段を複数備えており、該複数の関心領域設定手段が、それぞれ種類が相互に異なる複数の対象物に対応する関心領域を設定することとしてもよい。
【００１２】
前記出力手段は、前記縮小画像データと前記差分画像データとに加えて、更に前記設定された関心領域の位置に関する情報を出力してもよい。
【００１３】
前記高解像度変換手段が、少なくとも前記伸長された縮小画像のうちの前記関心領域に対応する領域以外の部分を、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して前記入力画像のサイズに拡大し、該拡大した画像と前記第１の解像度に変換された部分画像とを合成した合成画像を生成するものであり、前記差分画像生成手段が、前記入力画像と前記合成画像との差分を差分画像として生成するものとしてもよい。
【００１４】
上記の場合、前記高解像度変換手段が、前記伸長された縮小画像を拡大する際に、画像信号の一般的特徴に注目した予測処理を利用して、前記伸長された縮小画像には含まれていない情報を予測し補間することとしてもよい。
【００１５】
本発明は、また、本発明の画像圧縮装置を用いて圧縮された画像を伸長する画像伸長装置であって、前記画像圧縮装置から出力された前記縮小画像データと前記差分画像データとを入力する入力手段と、前記縮小画像データを伸長し、縮小画像を復元する縮小画像復元手段と、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換すると共に、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大し、該拡大した画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する高解像度画像生成手段と、前記差分画像データを復号化し、差分画像を復元する差分画像復元手段と、前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する画像合成手段とを備えたことを特徴とする画像伸長装置を提供する。
【００１６】
本発明は、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成するステップと、前記縮小画像を圧縮し縮小画像データを生成するステップと、前記縮小画像データを伸長するステップと、前記入力画像中に所定の対象物に対応する関心領域を設定するステップと、事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成するステップと、前記差分画像を符号化し差分画像データを生成するステップと、前記縮小画像データと前記差分画像データとを出力するステップとを有することを特徴とする画像圧縮方法を提供する。
【００１７】
本発明は、本発明の画像圧縮方法を用いて圧縮された画像を伸長する画像伸長方法であって、前記出力された前記縮小画像データと前記差分画像データとを入力するステップと、前記縮小画像データを伸長し、縮小画像を復元するステップと、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大するステップと、前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成するステップと、前記差分画像データを復号化し、差分画像を復元するステップと、前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元するステップとを有することを特徴とする画像伸長方法を提供する。
【００１８】
本発明は、コンピュータに、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する手順と、前記縮小画像を圧縮し縮小画像データを生成する手順と、前記縮小画像データを伸長する手順と、前記入力画像中に所定の対象物に対応する関心領域を設定する手順と、事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する手順と、前記差分画像を符号化し差分画像データを生成する手順と、前記縮小画像データと前記差分画像データとを出力する手順とを実行させるためのプログラムを提供する。
【００１９】
本発明は、上記本発明のプログラムをコンピュータに実行させることで圧縮された画像を伸長するためのプログラムであって、コンピュータに、前記出力された前記縮小画像データと前記差分画像データとを入力する手順と、前記縮小画像データを伸長し、縮小画像を復元する手順と、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大する手順と、前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する手順と、前記差分画像データを復号化し、差分画像を復元する手順と、前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する手順とを実行させるためのプログラムを提供する。
【発明の効果】
【００２０】
本発明では、画像圧縮側において、入力画像を縮小した縮小画像を圧縮して伸長し、伸長した縮小画像を高解像度変換した画像と元の入力画像との差分画像を符号化し、縮小画像の圧縮データと差分画像の符号化データとを出力する。画像伸長側において、縮小画像の圧縮データを伸長した画像を高解像度変換した画像と、差分画像の符号化データを復号化した画像とを合成する。上記の差分画像を用いることで、画像圧縮装置への入力画像を高品質で復元することができる。また、本発明では、入力画像に対して所定の対象物に対応する関心領域を設定する。縮小画像を高解像度の画像に変換する際に、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、縮小画像中の関心領域に対応する領域の部分画像を高解像度変換する。本発明では、事前に所定の対象物を学習した結果を用いて低解像度画像から高解像度画像への変換を行っており、高い予測精度で、低解像度の所定対象物の画像から、高解像度の所定対象物の画像を予測することができる。このため、所定の対象物部分（関心領域部分）について、高解像度変換された画像と、元の入力画像との差分を小さくすることができ、差分を小さくできる分だけ、所定の対象物を含む入力画像に対して高い圧縮率で画像を圧縮できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態の画像圧縮装置を示すブロック図。
【図２】入力画像における関心領域の設定を示すブロック図。
【図３】テンソル射影を示す概念図。
【図４】（ａ）〜（ｄ）は、テンソル射影を超解像の画像変換に応用する原理を示す図。
【図５】超解像処理の概要を示す図。
【図６Ａ】学習ステップの概略構成を示す図。
【図６Ｂ】復元ステップの概略構成を示す図。
【図７】画像圧縮の動作手順を示すフローチャート。
【図８】画像伸長装置を示すブロック図。
【図９】画像伸長の動作手順を示すフローチャート。
【図１０】本発明の第２実施形態の画像圧縮装置を示すブロック図。
【図１１】第２実施形態における関心領域の設定を示すブロック。
【図１２】画像圧縮装置及び画像伸長装置が実現可能であるハードウェアの構成例を示すブロック図。
【発明を実施するための形態】
【００２２】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の画像圧縮装置を示す。画像圧縮装置１０は、画像縮小手段１１、縮小画像圧縮手段（符号化手段）１２、縮小画像伸長手段１３、関心領域（ＲＯＩ：Region of Interest）設定手段１４、高解像度変換手段１５、差分画像生成手段１６、差分画像符号化手段１７、及び保存・伝送手段１８を備える。画像圧縮装置１０内の各部の動作は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。
【００２３】
画像圧縮装置１０には、第１の解像度の画像が入力される。入力画像は静止画でもよいし、動画でもよい。画像縮小手段１１は、第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する。画像縮小手段１１は、例えば入力画像を、元の入力画像の１／４や１／８のサイズの画像に縮小する。縮小画像圧縮手段１２は、縮小画像を所定のアルゴリズムで圧縮（符号化）し、縮小画像圧縮データを生成する。縮小画像の圧縮には、既知の画像圧縮（画像符号化）手法を用いることができる。
【００２４】
縮小画像伸長手段１３は、縮小画像圧縮手段１２で生成された縮小画像圧縮データを伸長し、縮小画像を復元する。縮小画像伸長手段１３は、縮小画像圧縮手段１２における画像圧縮のアルゴリズムに対応したアルゴリズムで画像の伸長を行う。縮小画像圧縮手段１２における圧縮が非可逆圧縮であるとき、復元された縮小画像（以下、復元縮小画像とも呼ぶ）は、縮小画像圧縮手段１２で圧縮される前の縮小画像と同一とはならない。しかしながら、復元縮小画像は、いくらかの情報は欠落しているものの、縮小画像圧縮手段１２で圧縮される前の縮小画像と同じ内容を表している。縮小画像圧縮手段１２における圧縮が可逆圧縮であるとき、復元縮小画像は、縮小画像圧縮手段１２で圧縮される前の縮小画像と同一になる。
【００２５】
関心領域設定手段１４は、入力画像中に所定の対象物に対応する関心領域を設定する。所定の対象物は例えば人物の顔であり、関心領域設定手段１４は、入力画像中の人物の顔が現れる領域を関心領域として設定する。関心領域設定手段１４は、例えば入力画像から人物の顔を検出し、入力画像中の検出した人物の顔が存在する領域を関心領域として設定する。あるいは外部から人物の顔の検出結果を入力し、それに基づいて関心領域を設定してもよいし、ユーザが手動で設定してもよい。関心領域設定手段１４は、入力画像中に複数の顔が存在する場合は、１つの入力画像中に複数の関心領域を設定してもよい。
【００２６】
高解像度変換手段１５は、縮小画像伸長手段１３で伸長された復元縮小画像における、関心領域設定手段１４で設定された関心領域に対応する領域内の部分画像を、高解像度（第１の解像度）の部分画像に変換する。この変換には、学習型超解像の技術を用いることができる。高解像度変換手段１５は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像中の関心領域に対応する部分の画像を、第１の解像度の画像に変換する。
【００２７】
また、高解像度変換手段１５は、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像を入力画像のサイズに拡大する。高解像度変換手段１５は、例えば画像縮小手段１１で入力画像が１／４のサイズに縮小されていたときは、復元縮小画像を４倍のサイズに拡大する。画像の拡大は、復元縮小画像の全面（全領域）に対して行う必要はなく、復元縮小画像のうち、少なくとも関心領域設定手段１４が設定した関心領域に対応する領域を除く領域に対して行えばよい。高解像度変換手段１５は、復元縮小画像を拡大した画像と、第１の解像度に変換された部分画像とを合成し、合成画像を生成する。
【００２８】
差分画像生成手段１６は、入力画像と、高解像度変換手段１５で生成された合成画像との差分画像を生成する。関心領域に対応する領域では、入力画像の関心領域部分の部分画像と第１の解像度に変換された関心領域に対応する領域の部分画像との差分が、差分画像の画素値となる。一方、関心領域以外の領域に対応する領域では、入力画像の関心領域を除く画像部分と、拡大された復元縮小画像の関心領域に対応する領域を除く画像部分との差分が、差分画像の画素値となる。
【００２９】
差分画像符号化手段１７は、差分画像生成手段１６が生成した差分画像を符号化し差分画像符号化データを出力する。差分画像符号化手段１７における符号化アルゴリズムには、可逆圧縮のアルゴリズムを用いることができる。差分画像符号化手段１７は、差分画像（差分信号）のうち、画質に大きな寄与がある信号を選択的に（リミット、量子化、ＤＣＴ（離散コサイン変換）後で低周波のみを用いる、或いはそれらの組み合わせなど）符号化してもよい。
【００３０】
保存・伝送手段１８は、出力手段に相当し、縮小画像圧縮手段１２で生成された縮小画像圧縮データと、差分画像符号化手段１７で生成された差分画像符号化データとを出力する。保存・伝送手段１８は、例えば所定の記録媒体に、縮小画像圧縮データと差分画像符号化データとを保存する。あるいは保存・伝送手段１８は、縮小画像圧縮データと差分画像符号化データとを、ネットワークを介してデータ伸長側の装置に送信する。保存・伝送手段１８は、縮小画像圧縮データと差分画像符号化データとに加えて、関心領域設定手段１４で設定された関心領域の位置に関する情報も出力してもよい。
【００３１】
図２は、入力画像における関心領域の設定を示す。入力画像２０のサイズは、ｘ＿ｓｉｚｅ×ｙ＿ｓｉｚｅとする。関心領域設定手段１４は、例えば入力画像２０の所定の対象物が現れている領域に、関心領域２１を設定する。関心領域は、例えば矩形で表わされる。その場合、関心領域の位置は、右上の座標（ｘ１，ｙ１）と左下の座標（ｘ２，ｙ２）との組で指定することができる。縮小画像（復元縮小画像）における関心領域に対応する領域は、例えば関心領域の座標を所定の縮小率で縮小した座標で表すことができる。関心領域は矩形で表わされる必要はなく、任意の形状でよい。
【００３２】
高解像度変換手段１５は、関心領域２１については、関心領域中に現れている所定の対象物を学習することで得られた学習結果を用いた予測処理を行い、低解像度（第２の解像度）の復元縮小画像における対象物部分の画像から、高解像度（第１の解像度）の対象物部分の画像を生成する。この予測処理には、以下で説明する、対象を細分化するための特徴量を用いた予測処理を用いることができる。
【００３３】
対象を細分化するための特徴量を用いた予測処理を説明する。この予測処理では、射影変換を利用する。まず、低解像度の画像を高解像度の画像に復元する射影変換の原理について説明する。ここでは、特に低解像度の顔画像を高解像度の顔画像に復元する射影変換について説明する。準備段階として、学習ステップにおいて、事前に複数人分の顔画像のデータを学習し、変換関係を規定する関数を求めておく。復元ステップでは、学習ステップで得られた変換関数を用いて、任意の入力画像（低画質）から高画質の出力画像を復元する。
【００３４】
学習ステップで用いる学習画像セットとして、例えば６０人分の顔の低解像画像と高解像画像とを対（ペア）とした学習画像群を用意する。低解像度画像は、例えば高解像の学習画像から一定割合で画素を間引くことで生成される。高解像度画像は例えば６４×４８画素のサイズであり、低解像度画像は３２×２４画素のサイズである。双方の画像における各画素は、例えば０〜２５５階調の濃度値（画素値）をとる。学習ステップでは、低解像の学習画像と、それに対応する元の高解像の学習画像（同一人物の同内容の画像）とのペアの対応関係を学習することで、変換関数（射影を規定するテンソル）を生成する。
【００３５】
なお、入力の次元と出力の次元とを合わせておくことで、入力空間と出力空間について同じ空間内（座標軸）で取り扱うことができ、演算上便利である。学習ステップでは、低解像度画像の学習データを高解像度画像の画素数と一致させるために、適宜の方法で低解像度画像を拡大して用いることとする。こうして画素数を揃えた低解像度画像と高解像度画像との間で画素の対応関係（位置関係）は一対一に定まり、両者は同じ次元数となって同じ座標空間内の点（係数ベクトル）として取り扱うことができる。
【００３６】
学習ステップでは、１つの画像を所定の画素数の領域単位でマス目状に分割し、これら分割した複数のブロック（以下、「パッチ」とも呼ぶ）について、パッチごとに演算処理を行う。例えば６４×４８画素の画像を、８×８画素の単位（パッチ）に分割して８×６の４８パッチに分け、各パッチに対して演算処理を行う。１パッチあたりの画素数×パッチ数（分割数）が１枚の画像の全処理対象数となる。
【００３７】
下記表１に、モダリティのバリエーションと各モダリティの次元数とを示す。
【表１】
上記に加えて、顔の向きや表情といったモダリティを追加することもできる。具体的には、顔の向きとして「右向き〜正面〜左向き」の範囲で１０段階に方向を変えた１０パターン（次元数１０）、顔の表情としてノーマル、笑顔、怒り、叫び表情の４パターン（次元数４）を加えてもよい。
【００３８】
モダリティの種類数は、射影関係を規定する核テンソルＧの階数に相当する。各モダリティの次元数の積は、核テンソルＧの成分数となる。上記表１の場合は階層数４の核テンソルＧとなり、その成分数（サイズ）は（８×８）×２×４８×６０となる。モダリティに顔の向き（次元数１０）と表情（次元数４）とを加えた場合は、階数７の核テンソルとなり、その成分数は（８×８）×２×４８×６０×１０×４×５となる。このように、モダリティが追加されると、テンソルの階数が増加し、テンソルの成分数はその次元数の積によって急激に増大する。
【００３９】
図３は、テンソル射影の概念図である。ここでは図示の便宜上、３次元の空間で説明する。テンソル射影は、ある実空間Ｒから固有空間Ａ（「特徴空間」ともいう）への移動を可能とするとともに、複数の固有空間Ａ、Ｂ、Ｃの間での移動（射影）を可能とする。
【００４０】
図３では、実空間Ｒから固有空間Ａへの射影関係をテンソルＵで表し、固有空間ＡとＢの間の射影関係をテンソルＧ１又はＧ１−１により表している。同様に、固有空間ＢとＣの間の射影関係をテンソルＧ２又はＧ２−１により表し、固有空間ＣとＡの間の射影関係をテンソルＧ３又はＧ３−１により表している。このように、複数の固有空間を巡る変換経路（射影ルート）を設計することができ、様々な空間でデータのハンドリングが可能である。
【００４１】
図４（ａ）〜（ｄ）に、テンソル射影を超解像の画像変換に応用する原理を示す。図４の例は、画素実空間、画素固有空間、個人差固有（人物特徴）空間の間の射影を利用して、低解像の画像を高解像の画像に変換（復元）するプロセスを図式化したものである。
【００４２】
画像データは、各画素についてそれぞれ濃度を表す数値（画素値）が与えられたものであり、画素位置ごとに濃度値（画素値）を表す軸を基底とする多次元の空間における係数ベクトルとして把握することができる。説明の便宜上、図４のように３次元のモデルで考えると、例えば、ある人物Ａの低解像の顔画像データは、画素実空間上のある点ＰＬＡとしてプロットされる。すなわち、人物Ａの低解像の顔画像データの係数ベクトル（ｘ１，ｘ２，ｘ３）は、第１基底成分ｅ１の軸上で０〜２５５のある値（ｘ１）をとり、同様に、第２基底成分ｅ２の軸上、第３基底成分ｅ３の軸上でそれぞれ０〜２５５のある値（ｘ２）、（ｘ３）をとる。同じ人物Ａの高解像の顔画像データは、例えば画素実空間上のある点ＰＨＡとしてプロットされる。
【００４３】
変換目的は、画素実空間上のある低解像画像の点を変換して、それに対応する高解像の点に移すことである。変換プロセスでは、まず、図４（ａ）の画素実空間Ｒ上の点を、局所保存射影（ＬＰＰ：Locality Preserving Projection）の固有射影行列Ｕｐｉｘｅｌｓを利用した射影関数Ｕｐｉｘｅｌｓ−１を用いて画素固有空間Ａに射影する（図４（ｂ））。画素固有空間Ａの軸（基底）はＬＰＰの特徴軸（固有ベクトル）に対応しており、このＬＰＰ射影は、画素軸空間Ｒの軸を画素固有空間Ａの軸に変換する座標系の回転として把握することができる。
【００４４】
次いで、低解像画像と個人差固有空間との対応関係を規定する射影関数ＧＬ−１を用いて、画素固有空間Ａ上に射影された点を、個人差固有（人物特徴）空間Ｂに移す（図４（ｃ））。図４（ｃ）には、画素実空間Ｒ上の高解像度画像の点を画素固有空間Ａに射影し、更に高解像画像と個人差固有空間の対応関係を規定した射影関数ＧＨ＾１を用いて個人差固有空間Ｂに移して点も示している。図４（ｃ）に示すように、個人差固有空間Ｂでは、同一人物に係る低解像画像の点と高解像画像の点とをほぼ同じ位置にプロットできる。この性質を利用し、画素実空間上の低解像度の点を射影して得られた個人差固有空間Ｂ上の点を、射影関数ＧＨを用いて画素固有空間Ａに変換することで、高解像度画像に対応した画素固有空間Ａ上の点を得ることができる（図４（ｄ））。
【００４５】
個人差固有空間Ｂ上の点を画素固有空間Ａに移した後、これを更にＬＰＰ固有射影行列を利用した射影関数Ｕｐｉｘｅｌｓを用いて画素実空間Ａに戻す（図４（ｅ）。このように、個人差空間における低解像度画像の点と高解像度画像の点との一致性を利用して、図４（ｃ）→（ｄ）→（ｅ）のルートを巡って、低解像度画像を高解像度画像に変換することができる。
【００４６】
図４（ｃ）の個人差固有空間において、Ｖを個人差固有空間係数ベクトルとすると、画素実空間における高解像度画素ベクトルＨは次式により求められる。
Ｈ＝ＵｐｉｘｅｌｓＧＨＶ
一方、画素実空間における低解像度画素ベクトルＬは同様に、次式となる。
Ｌ＝ＵｐｉｘｅｌｓＧＬＶ
上記の２式から、画素実空間の低解像度画像（低解像度画素ベクトルＬ）から画素固有空間→個人差固有空間を経由して画素固有空間→画素実空間に戻し、画素実空間における高解像度画像を得る場合、次式の射影によって変換可能である。
Ｈ＝ＵｐｉｘｅｌｓＧＨＶ＝ＵｐｉｘｅｌｓＧＨ（ＵｐｉｘｅｌｓＧＬ）−１Ｌ
【００４７】
上記の例では、低解像画像と高解像画像のペア群からなる学習画像セットから局所性保存射影（ＬＰＰ）を利用して射影関数（Ｕｐｉｘｅｌｓ）を求め、これを基に個人差空間上で同一人物の低解像度画像の点と高解像度画像の点とがほぼ一致するように射影関数ＧＬ、ＧＨを求めている。こうして求めた射影関数（Ｕｐｉｘｅｌｓ、ＧＬ、ＧＨ）と図４に示す射影ルートの枠組みにより、低解像の画像を精度良く高解像の画像に変換することができる。
【００４８】
ＬＰＰ射影の演算手順を概説すると、次のとおりである。
（手順１）：各学習サンプル間（総当り）で、類似しているか否かを表す類似度行列：Ｓを求める。
（手順２）：類似行列Ｓの各行のΣを求め対角行列：Ｄを求める。
（手順３）：ラプラシアン行列：Ｌ＝Ｄ−Ｓを求める。
（手順４）：以下の一般固有値問題を解く。
Ｘ・Ｌ・ＸＴ・ｕ＝λ・Ｘ・Ｄ・ＸＴ・ｕ
例えば、［１］Ｃｈｏｌｅｓｋｙ分解や［２］一般固有値問題を逆行列算出により、固有値問題に変形して解く。
（手順５）：固有値λの小さい方から固有値に対応する固有ベクトルｕをソートしてＬＰＰ射影行列：Ｕが得られる。
【００４９】
図５は、処理の概要を示す。処理は、学習ステップと復元ステップとに大別することができる。学習ステップでは、低画質画像と高画質画像を対（ペア）とした学習画像群（入力学習画像セット）１０１を入力する。入力された学習画像群１０１について、局所保存射影（ＬＰＰ）を適用してＬＰＰ射影テンソルを生成する処理を実施する（ステップＡ１）。このＬＰＰ射影テンソル生成ステップでは、ＬＰＰ固有射影行列１０２を生成すると共に、低画質画像と中間固有空間（ここでは、「個人差固有空間」とする）との対応関係、及び高画質画像と中間固有空間の対応関係を規定したＬＰＰ射影核テンソル１０３を生成する。
【００５０】
ＬＰＰは、元の空間（ここでは画素の実空間）における標本の局所的な値の近さ（近傍値の幾何学的距離の情報）を保存するように座標変換を行うものであり、元の空間で近傍にある標本を射影先の空間（固有空間）でも近くに埋め込むよう座標軸が決定される。例えば、表１の学習画像セットにおいて、パッチ位置ごとに、画素の実空間で６０人分の高解像度画像及び低解像度画像をプロットし、その１２０点の分布についてＬＰＰを適用することにより、その分布における近い値のもの（変化の近いもの）に注目した特徴軸が求められる。こうして、パッチ位置の次元（表１の場合、４８次元）に対応したＬＰＰ固有射影行列Ｕｊ＝｛Ｕ１、Ｕ２、Ｕ３、…Ｕ４８｝が得られる。
【００５１】
また、上記のＬＰＰ固有射影行列１０２を用い、低解像度画像と個人差固有空間との対応関係（テンソルＧＬｊ＝｛ＧＬ１、ＧＬ２、ＧＬ３、…ＧＬ４８｝）、及び、高解像度画像と個人差固有空間との対応関係（テンソルＧＨｊ＝｛ＧＨ１、ＧＨ２、ＧＨ３、…ＧＨ４８｝）を包含したＬＰＰ射影核テンソルＧ１０３を生成する。すなわち、画素、解像度、パッチ位置など、各モダリティの観点でそれぞれ固有射影行列Ｕを求め、そのＵを使ってそれぞれの射影核テンソルＧ成分を求め、これらの集合が射影核テンソルＧ１０３として求まる。
【００５２】
なお、ＬＰＰでは、固有値の小さい順に特徴軸の並び（配列）が決定されている。影響度の高い上位の特徴軸のみを使うことで次元削減を行い、核テンソルのサイズは大幅に削減できる。例えば計算の過程では、影響度の低いものも含め全ての固有射影行列Ｕを計算し、実際に復元処理で使う場合には、そのうち影響度の低いものは使わず、影響度の高いものから幾つかを使用して復元することができる。こうして、各特徴軸について適度な次元圧縮を行うことで、射影核テンソルのサイズを妥当なサイズにできる。
【００５３】
一方、復元ステップでは、変換元となる低画質画像１０４を入力する。また、処理対象とするパッチ位置を特定する情報、及び低解像度画像と高解像度画像との区別を設定する情報１０５を与える。
【００５４】
学習ステップで生成されたＬＰＰ射影核テンソルＧ１０３から、第１の設定としての低解像度の設定に対応した第１のサブ核テンソル（表１の上記例においてＧＬｊ＝｛ＧＬ１、ＧＬ２、ＧＬ３、…ＧＬ４８｝）を生成する（ステップＡ２）。また、第２の設定としての高解像度の設定に対応した第２のサブ核テンソル（表１の上記例においてＧＨｊ＝｛ＧＨ１、ＧＨ２、ＧＨ３、…ＧＨ４８｝）を生成する（ステップＡ３）。
【００５５】
ＬＰＰ射影核テンソル１０３は、各モダリティに対応する全ての固有ベクトルを基に作られており、全モダリティに関する射影成分を含んだ集合体であるため、このテンソル成分の中から復元処理に利用する成分を取り出すことが必要である。例えば、図４で説明した射影ルートで経由する中間固有空間（射影ルートの折り返し点の空間）として、「個人差」の固有空間を用いるという条件を決めることにより、それに対応するサブ核テンソルＧＬ、ＧＨを取り出すことができる。なお、このように、実際に用いるサブ核テンソルを生成するまでの工程を学習ステップに含めてもよい。
【００５６】
そして、復元ステップで入力された低画質画像のデータに対して、ＬＰＰ固有射影行列１０２と第１のサブ核テンソルとを用いて射影を行い（ステップＡ４）、中間固有空間係数ベクトルを算出する。この第１のＬＰＰサブテンソル射影ステップは、図４の（ａ）→（ｂ）→（ｃ）で説明した経路の射影に相当している。次に、得られた中間固有空間係数ベクトルを、第２のサブ核テンソルとＬＰＰ固有射影行列１０２とを用いて射影し（ステップＡ５）、高画質画像１０６を得る。この第２のＬＰＰサブテンソル射影ステップは、図４の（ｃ）→（ｄ）→（ｅ）で説明した経路の射影に相当している。
【００５７】
上述した復元ステップにおける第１のＬＰＰサブテンソル射影ステップ、及び第２のＬＰＰサブテンソル射影ステップの処理は、パッチ位置の情報に基づいてパッチごとに行われる。なお、これら射影ステップの演算の際には、図５に示したように、射影関数が行列であるかテンソルであるかの区別を指定する情報１０７が与えられ、当該情報に従ってＬＰＰ固有射影行列を用いた射影処理とサブ核テンソルを用いた射影処理とに切り替えられる。
【００５８】
図１に戻り、高解像度変換手段１５は、復元縮小画像のうちの関心領域に対応する領域以外の部分を、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して拡大する。この拡大処理では、復元縮小画像を拡大する際に、例えば、以下に説明する画像信号の一般的特徴に注目した予測処理を行い、低解像度の復元縮小画像には含まれていない情報を予測し補間する。
【００５９】
画像信号の一般的特徴に注目した予測処理について説明する。画像信号の一般的特徴に注目した予測処理では、低解像度画像と高解像度画像との変換関係を規定するための補間フィルタ係数を用いた変換（補間）演算により、低解像度画像に存在していない情報を補間し、高解像度画像を生成する。低解像度画像は例えば３２０×２４０画素のサイズであり、その低解像度画像から、例えば６４０×４８０画素の高解像度画像を生成する。
【００６０】
画像処理を行うための準備段階として、学習ステップにおいて、事前に高解像度画像と低解像度画像とのペアを用いて学習を行い、変換関係を規定する補間フィルタ係数を求める。低解像度画像は、例えば高解像度画像から所定の割合で画素を間引くことで生成する。復元ステップでは、学習ステップで求めた補間フィルタ係数を用い、任意の低解像度画像から高解像度の出力画像を得る。
【００６１】
まず、学習ステップについて説明する。図６Ａは、学習ステップの概略構成を示す。入力画像を、高解像度画像ｘｆｉｌｅ（学習画像ｘ）とする。この高解像度画像ｘｆｉｌｅに対して縮小処理やローパスフィルタ処理などを施し、低解像度画像ｚｆｉｌｅを生成する（ステップＢ１）。高解像度画像ｘｆｉｌｅと低解像度画像ｚｆｉｌｅとに対し、ハイパスフィルタを用いたフィルタリング処理を行い、双方の画像から高周波成分を抽出した高周波高解像度画像ｘ’ｆｉｌｅと高周波低解像度画像ｚ’ｆｉｌｅとを生成する（ステップＢ２）。高周波高解像度画像ｘ’ｆｉｌｅと高周波低解像度画像ｚ’ｆｉｌｅとのペアは、パッチペアを構成する。
【００６２】
高周波成分抽出処理において抽出される高周波成分の一例として、サンプリング定理におけるナイキスト周波数が挙げられる。すなわち、入力画像について、出力画像におけるナイキスト周波数に対応する周波数をしきい値として高周波成分抽出処理を行うことで、入力画像の低周波成分に含まれる画質劣化要因を取り除くことができ、好ましい高画質画像が復元される。高周波成分抽出において抽出される高周波成分は、いわゆるカットオフ周波数（レスポンスが−３ｄｂとなる周波数）としてもよく、入力画像（低解像度画像）や出力画像（高周波画像）などの条件に応じて適宜設定される。
【００６３】
高周波成分抽出の後、高周波低解像度画像ｚ’ｆｉｌｅ（画像ベクトルｚ’）から、クラスごとの代表高周波画像ｚ’ｉ（ｉはクラス番号）を生成する（ステップＢ３）。この代表高周波画像生成処理では、画像ベクトルｚ’の代表値化を行い、クラス数と同数の代表高周波ｚ’ｉを生成する。代表高周波画像ｚ’ｉは、例えばＧＭＭ（混合正規分布モデル）にＥＭ（Expectation-Maximization）アルゴリズムが適用された手法が適用される。すなわち、ＥＭアルゴリズムのＥステップにおいて条件確率の推測が行われ、ＭステップにおいてＥステップ推定値を用いた尤度関数の最大化が行われ、現在の条件確率で尤度関数が最大化され、次の確率条件が求められ、尤度関数の出力が安定するまでＥステップとＭステップとのループ演算が繰り返し実行される。
【００６４】
なお、ＧＭＭの他に混合ディリクレモデル等を用いてもよいし、ＥＭアルゴリズムに代えて変分ベイズ法、ＭＣＭＣ（マルコフ連鎖モンテカルロ）、ギブスサンプラー等を用いてもよい。
【００６５】
かかる演算において、k-means法により画像ベクトルｚ’のクラスごとの重心を求めて分類し、初期状態の設定としてもよい。例えば１００クラスで１０万画素を学習するには、１万回程度の学習が行われる。この場合の収束条件はｅ−１０である。代表高周波画像生成処理における処理では、下記式１〜４で表わされる演算処理が繰り返し実行される。
【数１】
なお、式１における「Ｎ」は高解像度画像ｘｆｉｌｅ及び低解像度画像ｚｆｉｌｅのペア（トレーニングセット）から生成されるトレーニングベクトル（ｚ，ｘ）の数である。また、トレーニングセットのペアにおける低解像度画像の画素のセットをＳとしたときのトレーニングセットから抽出されたトレーニングベクトルを｛（ｚｓ，ｘｓ）｝ｓ∈Ｓと表す。
【００６６】
式２における「πｉ」はｉ番目のクラスの存在確率であり、式３における「ｐｉ｜ｚ’（ｉ｜ｚ’，θ）」は高周波画像ｚ’がクラスｉに存在する確率、「ｐｉ｜ｚ’（ｉ｜ｚ’）」は、ｉ、ｚ’についての多変量ガウス型密度式や多変量ディリクレ型密度式である。式４における「σ２」は、画像ベクトルｚ’の要素の標本分散の平均、「ｄ」は画像ベクトルｚ’の要素数、Ｍはクラス数である。なお、式２における「θ」は、ＥＭアルゴリズムによって最尤推定され（θｍａｘが決定され）、これが代入されるため変数としては存在しなくなる。
【００６７】
最後に、高周波高解像度画像ｘ’ｆｉｌｅ、高周波低解像度画像ｚ’ｆｉｌｅ、及び代表高周波画像ｚ’ｉに基づいて、復元ステップにおける補間演算に用いられる補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉを生成する（ステップＢ４）。補間フィルタ係数生成処理では、高周波高解像度画像ｘ’ｆｉｌｅと高周波低解像度画像ｚ’ｆｉｌｅとのペア、及び代表高周波画像ｚ’ｉを入力として、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉを生成する。補間フィルタ係数Ａ’ｉは補間行列であり、下記式５により表わされる。また補間フィルタ係数Ｂ’ｉは、バイアスベクトルであり、下記式６により表わされる。上記式２で表わされるπｉは、ｉ番目のクラスの存在確率（寄与率）であり、全てのクラスの合計が１になるように正規化されている。
【数２】
なお、上記した補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉは一例であり、補間フィルタ係数は、復元ステップにおける補間計算に応じて適宜決定できる。
【００６８】
次いで、復元ステップを説明する。図６Ｂは、復元ステップの概略構成を示す。復元ステップは、入力画像を所定のサイズに分割したパッチごとに処理を行ってもよいし、画素ごとに処理を行ってもよい。以下では、入力画像を所定サイズの複数のパッチに分割し、パッチごとに処理を行うものとして説明する。
【００６９】
復元対象の画像として、低解像度画像ｚを入力する。この低解像度画像ｚから高周波成分を抽出し、高周波低解像度画像ｚ’ｆｉｌｅ（画像ベクトルｚ’）を生成する（ステップＢ５）。このステップは、ハイパスフィルタを用いた低周波成分及び中周波成分の抑制処理（高周波成分抽出処理）に、拡大処理を加えた構成としてもよい。ステップＢ５における高周波成分抽出処理は、図６ＡのステップＢ２における高周波低解像度画像ｚ’ｆｉｌｅの生成と同様でよい。
【００７０】
続いて、入力された低解像度画像ｚの画素ごとに、学習ステップにおいて生成された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを設定する（ステップＢ６）。このステップでは、補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉが設定されると共に、入力された低解像度画像ｚに応じた重みが設定される。
【００７１】
引き続き、低解像度画像ｚから生成された画像ベクトルｚ’に対して、ステップＢ６で設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いたフィルタリング処理を施す（ステップＢ７）。このステップでは、設定された補間フィルタ係数Ａ’ｉ、Ｂ’ｉ、πｉ及び代表高周波画像ｚ’ｉを用いて、画像ベクトルｚ’を超高周波の高解像度画像（低解像度画像ｚには存在していない情報が補間された画像）に変換する処理が実行される。かかる変換処理は、下記式７により表わされる混合ガウスモデル（混合ガウス分布）が仮定される。なお、混合ガウスモデルに代えて、混合ディリクレモデル等の混合多項分布を改定してもよい。
【数３】
すなわち、画像ベクトルｚ’に対して各処理対象画素に対応するクラスｉの補間行列Ａ’ｉを乗じると共に、この乗算結果にバイアスベクトルＢ’ｉが加算される。また、各処理対象画素に対応して算出された重みｗｉにより重み付けされ、全てのクラスについて加重和が求められる。重みｗｉは、代表高周波画像ｚ’ｉと画像ベクトルｚ’との差分（ベクトル空間におけるユークリッド距離）、及び、対象画素のクラスごとの寄与率πｉに応じて算出される。
【００７２】
また、入力された低解像度画像ｚに対して、バイキュービック法などの手法を用いた拡大処理を施す（ステップＢ８）。その後、ステップＢ７で生成された高解像度画像の超高周波成分に、ステップＢ８で拡大された高解像度画像の低周波成分から高周波成分を加算する（ステップＢ９）。このステップにより、低周波成分から超高周波成分にわたる全周波数成分を含む高解像度画像が生成される。
【００７３】
以下、画像圧縮装置１０の動作手順を説明する。図７は、画像圧縮の動作手順を示す。画像圧縮装置１０に、圧縮対象の画像を入力する（ステップＣ１）。画像縮小手段１１は、入力された第１の解像度の画像を、第２の解像度の画像に縮小する（ステップＣ２）。縮小画像圧縮手段１２は、縮小された画像を圧縮し、縮小画像圧縮データを生成する（ステップＣ３）。縮小画像圧縮手段１２は、入力画像が動画である場合は、前後フレームの画像を用いて縮小画像を圧縮してもよい。縮小画像圧縮データは、保存・伝送手段１８と縮小画像伸長手段１３とに与えられる。縮小画像伸長手段１３は、縮小画像圧縮データを伸長し、縮小画像を復元する（ステップＣ４）。
【００７４】
関心領域設定手段１４は、ステップＣ１で入力された入力画像中に所定の対象物に対応する関心領域を設定する（ステップＣ５）。関心領域設定手段１４は、例えば入力画像中の顔の部分を関心領域として設定する。高解像度変換手段１５は、例えば事前に人物の顔を学習することで得られた学習結果を用いた予測処理により、ステップＣ４で復元された縮小画像のうち、関心領域設定手段１４が設定した関心領域に対応する領域の部分画像を、高解像度（第１の解像度）の部分画像に変換する（ステップＣ６）。高解像度変換手段１５は、例えば人物の顔に対して設定された関心領域について、事前に顔画像を学習することで生成された変換関数（射影を規定するテンソル）を用いて、低解像度の縮小画像の顔部分の画像を、高解像度の顔部分の画像へ変換する。
【００７５】
高解像度変換手段１５は、復元縮小画像における関心領域に対応する領域以外の部分については、復元縮小画像を入力画像のサイズまで拡大する（ステップＣ７）。高解像度変換手段１５は、例えばステップＣ２で１／４のサイズに画像が縮小されていたときは、復元縮小画像を４倍のサイズに拡大する。このとき高解像度変換手段１５は、例えば画像信号の一般的特徴に注目した予測処理を行い、低解像度の復元縮小画像には含まれていない情報を予測し補間する。高解像度変換手段１５は、例えば事前に入力画像と同種の画像を学習することで生成された補間フィルタ係数を用いた変換演算により、低解像度の縮小画像に存在していない情報を補間する。
【００７６】
高解像度変換手段１５は、ステップＣ６で変換された関心領域部分の第１の解像度の部分画像と、ステップＣ７で補間・拡大された復元縮小画像とを合成し、合成画像を生成する（ステップＣ８）。差分画像生成手段１６は、ステップＣ１で入力された入力画像と、ステップＣ８で生成された合成画像との差分画像を生成する（ステップＣ９）。差分画像生成手段１６は、関心領域部分については、入力画像と、ステップＣ６で変換された関心領域部分の第１の解像度の部分画像との差分を取る。また、関心領域以外の領域については、入力画像と、ステップＣ７で補間・拡大された復元縮小画像との差分を取る。差分画像符号化手段１７は、ステップＣ９で生成された差分画像を符号化し、差分画像符号化データを生成する（ステップＣ１０）。
【００７７】
保存・伝送手段１８は、ステップＣ３で生成された縮小画像圧縮データと、ステップＣ１０で生成された差分画像符号化データと、ステップＣ５で設定された関心領域の位置に関する情報とを、入力画像に対する圧縮画像データとして出力する（ステップＣ１１）。出力された圧縮画像データは、例えば図示しない記憶装置に記憶される。あるいは、ネットワークを介して、図示しない受信側の装置に送信される。
【００７８】
次に、画像圧縮装置で圧縮されたデータを伸長する画像伸長装置について説明する。図８は、画像伸長装置を示す。画像伸長装置３０は、入力手段３１、縮小画像復元手段３２、高解像度画像生成手段３３、差分画像復元手段３４、及び画像合成手段３５を備える。画像伸長装置３０内の各部の動作は、コンピュータが所定のプログラムに従って動作することで実現可能である。
【００７９】
入力手段３１は、図１に示す画像圧縮装置１０から出力された圧縮画像データ、すなわち縮小画像圧縮データと差分画像符号化データと関心領域の位置に関する情報とを入力する。入力手段３１は、例えば記憶装置から圧縮画像データを読み出す。あるいは入力手段３１は、ネットワークを介して、画像圧縮装置１０から送信された圧縮画像データを受信する。入力手段３１は、入力された縮小画像圧縮データを縮小画像復元手段３２に渡す。また、入力された差分画像符号化データを差分画像復元手段３４に渡す。
【００８０】
縮小画像復元手段３２は、縮小画像符号化データを伸長し、縮小画像を復元する。縮小画像復元手段３２は、図１の画像圧縮装置１０における縮小画像伸長手段１３と同様なアルゴリズムで、縮小画像符号化データを伸長する。縮小画像伸長手段１３で伸長された縮小画像と、縮小画像復元手段３２で復元された縮小画像とは同じ画像となる。縮小画像復元手段３２は、復元した縮小画像を高解像度画像生成手段３３に渡す。
【００８１】
高解像度画像生成手段３３は、入力手段３１から、関心領域の位置に関する情報を受け取っている。高解像度画像生成手段３３は、縮小画像復元手段３２で復元された縮小画像における、関心領域に対応する領域内の部分画像を、高解像度（第１の解像度）の部分画像に変換する。この変換は、画像圧縮装置１０の高解像度変換手段１５における関心領域部分の画像の変換と同様である。つまり、高解像度画像生成手段３３は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像中の関心領域に対応する部分の画像を、第１の解像度の画像に変換する。
【００８２】
また、高解像度画像生成手段３３は、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して、復元縮小画像を入力画像のサイズに拡大する。この拡大処理は、画像圧縮装置１０の高解像度変換手段１５における関心領域以外の領域部分の拡大処理と同様である。高解像度画像生成手段３３は、復元された縮小画像を拡大した画像に、第１の解像度に変換された関心領域部分の画像を重ね、両者を合成した高解像度画像を生成する。高解像度画像生成手段３３が生成する高解像度画像と、画像圧縮装置の高解像度変換手段１５が生成する合成画像とは、同じ画像である。
【００８３】
差分画像復元手段３４は、差分画像符号化データを復号化し、差分画像を復元する。差分画像復元手段３４は、画像圧縮装置１０の差分画像符号化手段１７における符号化アルゴリズムに対応したアルゴリズムで差分画像を復号化する。画像合成手段３５は、高解像度画像生成手段３３で生成された高解像度画像と、差分画像復元手段３４で復元された差分画像とを合成する。画像合成手段３５で高解像度画像と差分画像とを合成することで、画像圧縮装置１０の入力画像に対応する画像が復元される。
【００８４】
図９は、画像伸長の動作手順を示す。入力手段３１は、例えば図示しない記憶装置から縮小画像圧縮データと差分画像符号化データと関心領域の位置に関する情報とを読み出す（ステップＤ１）。縮小画像復元手段３２は、入力された縮小画像圧縮データを伸長する（ステップＤ２）。縮小画像圧縮データを伸長することで、画像圧縮装置１０の画像縮小手段１１が入力画像を縮小することで生成した縮小画像と同じ内容の縮小画像が復元される。なお、復元された縮小画像は、必ずしも画像縮小手段１１で生成された縮小画像と完全に同一である必要はない。
【００８５】
高解像度画像生成手段３３は、入力手段３１から関心領域の位置に関する情報を受け取り、復元された縮小画像における関心領域に対応する領域を特定する。高解像度画像生成手段３３は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、ステップＤ２で復元された縮小画像における関心領域に対応する領域内の部分画像を、高解像度（第１の解像度）の部分画像に変換する（ステップＤ３）。このステップにおける第１の解像度の部分画像への変換は、図７のステップＣ６における第１の解像度の部分画像への変換と同じでよい。
【００８６】
高解像度画像生成手段３３は、復元された縮小画像における関心領域に対応する領域以外の部分については、復元された縮小画像を所定の倍率で拡大する（ステップＤ４）。高解像度画像生成手段３３は、例えば画像圧縮装置１０の画像縮小手段１１で入力画像が１／４のサイズに縮小されていたときは、復元された縮小画像を４倍のサイズに拡大する。このとき高解像度画像生成手段３３は、例えば画像信号の一般的特徴に注目した予測処理を行い、低解像度の縮小画像には含まれていない情報を予測し補間する。ステップＤ４における縮小画像の拡大は、図７のステップＣ７における縮小画像の拡大と同じでよい。
【００８７】
高解像度画像生成手段３３は、ステップＤ３で第１の解像度に変換された関心領域部分の画像と、ステップＤ４で補間・拡大された縮小画像とを重ねて、高解像度画像を生成する（ステップＤ５）。ステップＤ５で生成される高解像度画像は、図７のステップＣ８で生成される合成画像と同じ内容となる。
【００８８】
差分画像復元手段３４は、差分画像符号化データを伸長し、差分画像を復元する（ステップＤ６）。差分画像符号化データを伸長することで、画像圧縮装置１０の差分画像生成手段１６で生成された差分画像と同じ内容の差分画像が復元される。なお、復元された差分画像は、必ずしも差分画像生成手段１６で生成された差分画像と完全に同一である必要はない。画像合成手段３５は、ステップＤ５で生成された高解像度画像と、ステップＤ６で復元された差分画像とを合成し、画像圧縮装置１０の入力画像に対応する画像を復元する（ステップＤ７）。
【００８９】
本実施形態では、関心領域設定手段１４により、入力画像に対して所定の対象物に対応する関心領域を設定する。高解像度変換手段１５は、事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、入力画像を縮小した縮小画像中の関心領域に対応する領域の部分画像を第１の解像度に変換する。本実施形態では、事前に所定の対象物を学習した結果を用いて低解像度画像から高解像度画像への変換を行っており、高い予測精度で、低解像度の所定対象物の画像から、第１の解像度の所定対象物の画像を予測することができる。このため、所定の対象物部分（関心領域部分）について、高解像度変換手段１５で復元縮小画像から第１の解像度に変換された画像と、元の入力画像との差分を小さくすることができる。本実施形態では、差分画像を用いて高品質での画像の復元を可能にしつつ、差分を小さくできる分だけ特許文献１に比して高い圧縮率を実現することができる。
【００９０】
ここで、高解像度変換手段１５において、対象を細分化するための特徴量を用いた予測処理を利用して縮小画像の関心領域部分を第１の解像度に変換した場合、ある人物の顔について、個人差固有空間（図４（ｃ））における位置が所期の位置にある場合には、低解像度の画像から高解像度の画像へ人物の顔へ精度よく変換できる。しかし、個人差固有空間における位置が所期の位置がずれると、低解像度画像から変換した人物の顔が別人の顔のようになることがある。本実施形態では、差分画像を用いているため、仮に低解像度画像から変換した顔の画像が入力画像における顔の画像とは大きく異なる場合でも、差分は大きくなるものの、画像伸長装置３０において、入力画像における顔を復元することができる効果がある。
【００９１】
なお、上記実施形態の説明では、差分画像生成手段１６が、関心領域部分とそれ以外の部分との双方について差分画像を生成することとしたが、差分を取るのは関心領域部分のみでもよい。この場合、高解像度変換手段１５は、復元縮小画像における関心領域に対応する領域の部分画像を第１の解像度に変換するだけでよい。差分画像生成手段１６は、第１の解像度に変換された関心領域部分の画像と、入力画像における関心領域の部分画像との差分を差分画像として生成すればよい。例えば監視カメラ画像では、人物の顔など所定の対象物は高い品質で復元したい一方で、それ以外の背景部分については高い品質で復元することを要しない場合がある。そのような場合、関心領域部分のみの差分画像を伝送するようにすることで、更なる高圧縮を実現できる。
【００９２】
次いで、本発明の第２実施形態を説明する。図１０は、本発明の第２実施形態の画像圧縮装置を示す。本実施形態の画像圧縮装置１０ａは、複数の関心領域設定手段１４を備える点で、図１に示す第１実施形態の画像圧縮装置１０と相違する。複数の関心領域設定手段１４は、それぞれ種類が相互に異なる複数の対象物に対応する関心領域を設定する。所定の対象物としては、例えば人物の顔や、名札部分、人物の手（その周辺部分）などが考えられる。例えば、画像圧縮装置１０ａは、物の顔部分に関心領域を設定する関心領域設定手段１４と、名札部分に関心領域を設定する関心領域設定手段１４と、人物の手の周辺に関心領域を設定する関心領域設定手段１４とを備える。
【００９３】
図１１に、第２実施形態における関心領域の設定を示す。ここでは、３つの関心領域設定手段Ａ〜Ｃにより、入力画像に３種類の対象（物）に対する関心領域を設定する例を説明する。関心領域設定手段Ａは、入力画像２０中に、例えば人物の顔部分に対応する関心領域２１を設定する。関心領域設定手段Ｂは、入力画像２０中に、例えば名札部分に対応する関心領域２２を設定する。関心領域設定手段Ｃは、入力画像２０中に、例えば人物の手の周辺に対応する関心領域２３を設定する。各関心領域設定手段は、各対象物について、複数の関心領域を設定してもよい。
【００９４】
高解像度変換手段１５は、関心領域の種類ごとに、各対象物を学習した学習結果を用いた予測処理により、縮小画像中の関心領域部分の部分画像を、高解像度（第１の解像度）の部分画像に変換する。高解像度変換手段１５は、例えば人物の顔に対して設定された関心領域２１について、事前に顔画像を学習することで生成された変換関数（射影を規定するテンソル）を用いて、低解像度の縮小画像における関心領域２１に対応する部分の画像を、高解像度の画像に変換する。また、高解像度変換手段１５は、例えば名札部分に対して設定された関心領域２２について、事前に名札画像を学習することで生成された変換関数を用いて、低解像度の縮小画像における関心領域２２に対応する部分の画像を、高解像度の画像に変換する。高解像度変換手段１５は、例えば人物の手の周辺に対して設定された関心領域２２について、事前に手の周辺の画像を学習することで生成された変換関数を用いて、低解像度の縮小画像における関心領域２３に対応する部分の画像を、高解像度の画像に変換する。
【００９５】
本実施形態における画像圧縮装置１０ａの動作手順は、基本的には図７に示す第１実施形態における画像圧縮装置１０の動作手順と同様である。各関心領域設定手段１４は、ステップＣ５において、各対象物に対応する関心領域を設定する。高解像度変換手段１５は、ステップＣ６において、各関心領域の種類に応じた予測処理により、縮小画像における各関心領域に対応する領域部分の画像を、第１の解像度の画像に変換する。保存・伝送手段１８は、ステップＣ１１において、縮小画像圧縮データ及び差分画像符号化データに加えて、各関心領域の位置に関する情報を、各関心領域の種類を示す情報と共に出力する。
【００９６】
本実施形態における画像伸長装置の構成は、図８に示す第１実施形態における画像伸長装置の構成と同様である。本実施形態における画像伸長装置では、高解像度画像生成手段３３は、画像圧縮装置１０ａにおける高解像度変換手段１５と同様に、関心領域の種類ごとに、各対象物を学習した学習結果を用いた予測処理により、縮小画像中の関心領域部分の部分画像を、高解像度（第１の解像度）の部分画像に変換する。本実施形態における画像伸長装置の動作手順は、基本的には図９に示す第１実施形態における画像伸長装置３０の動作手順と同様である。
【００９７】
本実施形態では、複数の関心領域設定手段１４を用いて、入力画像中に複数種類の関心領域を設定する。高解像度変換手段１５にて、関心領域の種類ごとに、各対象物の学習結果を利用した予測処理により縮小画像の関心領域に対応する領域の部分を第１の解像度に変換することで、低解像度の縮小画像から、各対象物を高精度に高解像度画像へ変換できる。このようにすることで、各関心領域部分の差分を小さくすることができ、より効率的な圧縮が可能である。その他の効果は第１実施形態と同様である。
【００９８】
図１２に、本発明の画像圧縮装置及び画像伸長装置が実現可能であるハードウェアの構成例を示す。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１、ＲＡＭ（Radom Access Memory）４２、ＲＯＭ（Read Only Memory）４３、ハードディスク装置４４、キーボード４５、マウス４６、ディスプレイ４７、及び外部インタフェース４８を有する。コンピュータ４０において、各要素は、バス４９を介して相互に接続される。
【００９９】
ＣＰＵ４１は、コンピュータ全体の動作を司る。ＲＡＭ４２は、ＣＰＵによる各種プログラムの実行時にワークエリアなどとして用いられる。ＲＯＭ４３は、各種制御プログラムなどを格納している。ハードディスク装置４４は、補助記憶装置であり、例えばコンピュータ４０を画像圧縮装置１０（図１）又は画像伸長装置３０（図８）として機能させるために必要なプログラムなどを格納する。また、ハードディスク装置４４は、処理対象の入力画像データや圧縮画像データを格納していてもよい。
【０１００】
キーボード４５及びマウス４６は、入力装置であり、ユーザが各種情報やコンピュータに対する指示などを入力するために用いられる。ディスプレイ４７は、各種画像や情報を表示する。外部インタフェース４８は、外部に接続された装置との間で情報のやり取りを行う。外部インタフェース４８には、例えばカメラを接続することができる。画像圧縮装置１０して機能するコンピュータは、例えば外部インタフェース４８を介して処理対象の入力画像データを受け取ってもよい。
【０１０１】
ハードディスク装置４４が格納するプログラムは、ＣＰＵ４１によって読み出され、ＲＡＭ４２上に展開される。ＣＰＵ４１が、読み出したプログラムに従って動作することで、コンピュータ４０内に、図１又は図８に示す各手段が論理的に構成される。また、ＣＰＵ４１によって、図７又は図９に示す一連の処理が実行される。ディスプレイ４７には、例えば図９のステップＤ７で復元された画像を表示することができる。
【０１０２】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像圧縮装置、画像伸長装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０３】
１０：画像圧縮装置
１１：画像縮小手段
１２：縮小画像圧縮手段
１３：縮小画像伸長手段
１４：関心領域設定手段
１５：高解像度変換手段
１６：差分画像生成手段
１７：差分画像符号化手段
１８：保存・伝送手段
２０：入力画像
２１〜２３：関心領域
３０：画像伸長装置
３１：入力手段
３２：縮小画像復元手段
３３：高解像度画像生成手段
３４：差分画像復元手段
３５：画像合成手段
４０：コンピュータ
４１：ＣＰＵ
４２：ＲＡＭ
４３：ＲＯＭ
４４：ハードディスク装置
４５：キーボード
４６：マウス
４７：ディスプレイ
４８：外部インタフェース
４９：バス
１０１：入力学習画像セット
１０２：ＬＰＰ固有射影行列
１０３：ＬＰＰ射影核テンソル
１０４：低画質画像
１０５、１０７：情報
１０６：高画質画像
【特許請求の範囲】
【請求項１】
第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する画像縮小手段と、
前記縮小画像を圧縮し縮小画像データを生成する縮小画像圧縮手段と、
前記縮小画像データを伸長する縮小画像伸長手段と、
前記入力画像中に所定の対象物に対応する関心領域を設定する関心領域設定手段と、
事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する高解像度変換手段と、
前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する差分画像生成手段と、
前記差分画像を符号化し差分画像データを生成する差分画像符号化手段と、
前記縮小画像データと前記差分画像データとを出力する出力手段とを備えたことを特徴とする画像圧縮装置。
【請求項２】
前記予測処理が、対象を細分化するための特徴量を用いた予測処理であることを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
前記関心領域設定手段を複数備えており、該複数の関心領域設定手段が、それぞれ種類が相互に異なる複数の対象物に対応する関心領域を設定するものであることを特徴とする請求項１又は２に記載の画像圧縮装置。
【請求項４】
前記出力手段が、更に前記設定された関心領域の位置に関する情報を出力するものであることを特徴とする請求項１から３何れかに記載の画像圧縮装置。
【請求項５】
前記高解像度変換手段が、少なくとも前記伸長された縮小画像のうちの前記関心領域に対応する領域以外の部分を、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して前記入力画像のサイズに拡大し、該拡大した画像と前記第１の解像度に変換された部分画像とを合成した合成画像を生成するものであり、
前記差分画像生成手段が、前記入力画像と前記合成画像との差分を差分画像として生成するものであることを特徴とする請求項１から４何れかに記載の画像圧縮装置。
【請求項６】
前記高解像度変換手段が、前記伸長された縮小画像を拡大する際に、画像信号の一般的特徴に注目した予測処理を利用して、前記伸長された縮小画像には含まれていない情報を予測し補間するものであることを特徴とする請求項５に記載の画像圧縮装置。
【請求項７】
請求項１から６何れかに記載の画像圧縮装置を用いて圧縮された画像を伸長する画像伸長装置であって、
前記画像圧縮装置から出力された前記縮小画像データと前記差分画像データとを入力する入力手段と、
前記縮小画像データを伸長し、縮小画像を復元する縮小画像復元手段と、
事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換すると共に、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大し、該拡大した画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する高解像度画像生成手段と、
前記差分画像データを復号化し、差分画像を復元する差分画像復元手段と、
前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する画像合成手段とを備えたことを特徴とする画像伸長装置。
【請求項８】
第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成するステップと、
前記縮小画像を圧縮し縮小画像データを生成するステップと、
前記縮小画像データを伸長するステップと、
前記入力画像中に所定の対象物に対応する関心領域を設定するステップと、
事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、
前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成するステップと、
前記差分画像を符号化し差分画像データを生成するステップと、
前記縮小画像データと前記差分画像データとを出力するステップとを有することを特徴とする画像圧縮方法。
【請求項９】
請求項８に記載の画像圧縮方法を用いて圧縮された画像を伸長する画像伸長方法であって、
前記出力された前記縮小画像データと前記差分画像データとを入力するステップと、
前記縮小画像データを伸長し、縮小画像を復元するステップと、
事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、
少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大するステップと、
前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成するステップと、
前記差分画像データを復号化し、差分画像を復元するステップと、
前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元するステップとを有することを特徴とする画像伸長方法。
【請求項１０】
コンピュータに、
第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する手順と、
前記縮小画像を圧縮し縮小画像データを生成する手順と、
前記縮小画像データを伸長する手順と、
前記入力画像中に所定の対象物に対応する関心領域を設定する手順と、
事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、
前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する手順と、
前記差分画像を符号化し差分画像データを生成する手順と、
前記縮小画像データと前記差分画像データとを出力する手順とを実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムをコンピュータに実行させることで圧縮された画像を伸長するためのプログラムであって、
コンピュータに、
前記出力された前記縮小画像データと前記差分画像データとを入力する手順と、
前記縮小画像データを伸長し、縮小画像を復元する手順と、
事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、
少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大する手順と、
前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する手順と、
前記差分画像データを復号化し、差分画像を復元する手順と、
前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する手順とを実行させるためのプログラム。
【請求項１】
第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する画像縮小手段と、
前記縮小画像を圧縮し縮小画像データを生成する縮小画像圧縮手段と、
前記縮小画像データを伸長する縮小画像伸長手段と、
前記入力画像中に所定の対象物に対応する関心領域を設定する関心領域設定手段と、
事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する高解像度変換手段と、
前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する差分画像生成手段と、
前記差分画像を符号化し差分画像データを生成する差分画像符号化手段と、
前記縮小画像データと前記差分画像データとを出力する出力手段とを備えたことを特徴とする画像圧縮装置。
【請求項２】
前記予測処理が、対象を細分化するための特徴量を用いた予測処理であることを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
前記関心領域設定手段を複数備えており、該複数の関心領域設定手段が、それぞれ種類が相互に異なる複数の対象物に対応する関心領域を設定するものであることを特徴とする請求項１又は２に記載の画像圧縮装置。
【請求項４】
前記出力手段が、更に前記設定された関心領域の位置に関する情報を出力するものであることを特徴とする請求項１から３何れかに記載の画像圧縮装置。
【請求項５】
前記高解像度変換手段が、少なくとも前記伸長された縮小画像のうちの前記関心領域に対応する領域以外の部分を、事前に画像を学習することで得られた学習結果を用いた予測処理を利用して前記入力画像のサイズに拡大し、該拡大した画像と前記第１の解像度に変換された部分画像とを合成した合成画像を生成するものであり、
前記差分画像生成手段が、前記入力画像と前記合成画像との差分を差分画像として生成するものであることを特徴とする請求項１から４何れかに記載の画像圧縮装置。
【請求項６】
前記高解像度変換手段が、前記伸長された縮小画像を拡大する際に、画像信号の一般的特徴に注目した予測処理を利用して、前記伸長された縮小画像には含まれていない情報を予測し補間するものであることを特徴とする請求項５に記載の画像圧縮装置。
【請求項７】
請求項１から６何れかに記載の画像圧縮装置を用いて圧縮された画像を伸長する画像伸長装置であって、
前記画像圧縮装置から出力された前記縮小画像データと前記差分画像データとを入力する入力手段と、
前記縮小画像データを伸長し、縮小画像を復元する縮小画像復元手段と、
事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換すると共に、少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大し、該拡大した画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する高解像度画像生成手段と、
前記差分画像データを復号化し、差分画像を復元する差分画像復元手段と、
前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する画像合成手段とを備えたことを特徴とする画像伸長装置。
【請求項８】
第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成するステップと、
前記縮小画像を圧縮し縮小画像データを生成するステップと、
前記縮小画像データを伸長するステップと、
前記入力画像中に所定の対象物に対応する関心領域を設定するステップと、
事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、
前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成するステップと、
前記差分画像を符号化し差分画像データを生成するステップと、
前記縮小画像データと前記差分画像データとを出力するステップとを有することを特徴とする画像圧縮方法。
【請求項９】
請求項８に記載の画像圧縮方法を用いて圧縮された画像を伸長する画像伸長方法であって、
前記出力された前記縮小画像データと前記差分画像データとを入力するステップと、
前記縮小画像データを伸長し、縮小画像を復元するステップと、
事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換するステップと、
少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大するステップと、
前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成するステップと、
前記差分画像データを復号化し、差分画像を復元するステップと、
前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元するステップとを有することを特徴とする画像伸長方法。
【請求項１０】
コンピュータに、
第１の解像度の入力画像を所定の縮小率で縮小し、第１の解像度よりも低い第２の解像度の縮小画像を生成する手順と、
前記縮小画像を圧縮し縮小画像データを生成する手順と、
前記縮小画像データを伸長する手順と、
前記入力画像中に所定の対象物に対応する関心領域を設定する手順と、
事前に前記所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記伸長された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、
前記第１の解像度に変換された部分画像と前記入力画像中の関心領域部分の部分画像との差分を取り、差分画像を生成する手順と、
前記差分画像を符号化し差分画像データを生成する手順と、
前記縮小画像データと前記差分画像データとを出力する手順とを実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムをコンピュータに実行させることで圧縮された画像を伸長するためのプログラムであって、
コンピュータに、
前記出力された前記縮小画像データと前記差分画像データとを入力する手順と、
前記縮小画像データを伸長し、縮小画像を復元する手順と、
事前に所定の対象物を学習することで得られた学習結果を用いた予測処理を利用して、前記復元された縮小画像における前記関心領域に対応する領域内の部分画像を前記第１の解像度の部分画像に変換する手順と、
少なくとも前記復元された縮小画像のうちの前記関心領域に対応する領域以外の部分を前記画像圧縮装置の入力画像のサイズに拡大する手順と、
前記拡大された画像に前記第１の解像度に変換された部分画像を重ねて高解像度画像を生成する手順と、
前記差分画像データを復号化し、差分画像を復元する手順と、
前記高解像度画像と前記復元された差分画像とを合成し、前記画像圧縮装置の入力画像に対応する画像を復元する手順とを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２３１３６７（Ｐ２０１２−２３１３６７Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９９１９５（Ｐ２０１１−９９１９５）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]