画像処理方法、画像処理装置、サーバクライアントシステム、サーバ装置、クライアント装置および画像処理システム
画像特徴解析部（１０）は入力画像（ＩＩＮ）の画像特徴解析を行い、画像座標と独立した画像特徴量（ＦＩ）を生成する。情報量高密化部（２０）は画像特徴量（ＦＩ）を情報量高密化して、高密化画像特徴量（ＳＦＩ）を生成する。画像生成部（３０）は高密化画像特徴量（ＳＦＩ）を基にして、入力画像（ＩＩＮ）を情報量高密化した画像（ＩＯＵＴ）を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像計測・認識、画像生成などの画像処理に関し、特に、原画像から、情報量が原画像を超える情報量高密化画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年、様々な画像機器、映像機器のデジタル化とインターネットの普及によって、コンピュータや家電機器が相互に接続され、遠隔操作やメディア融合など、いわゆるユビキタスネットワーク社会が形成されつつある。画像機器のスペックは、その機構、携帯性、機能等の違いから多岐に渡り、このため、様々なフォーマットを有する画像情報が流通している。例えば、携帯電話向けの１セグメント地上デジタル放送では、１９２０画素×１０８０ラインのＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）画像を、例えば３２０画素×２４０ラインの画像にダウンコンバートして、携帯電話のディスプレイに表示しなければならない。すなわち、画像機器のスペックに応じて、空間解像度を変換する必要がある。また、空間解像度の他に、リフレッシュレートの違いに起因する時間解像度を変換する場合もある。例えば、秒２４コマの映画フィルムフォーマットを秒３０コマのビデオフォーマットに変換するテレシネ工程が一例である。
【０００３】
解像度変換において、サンプリング時の解像度を超えたデータを作り出すことを「超解像」と呼ぶ。例えば、ＤＶフォーマット（５７６画素×４８０ライン）で記録された映像をＨＤＴＶに表示したい場合、画素数約２倍、ライン数約２．５倍の超解像処理が必要になる。また、印刷用原稿には高解像度のものが必要であり、たとえば６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿を準備する必要がある。多くのカメラの解像度はこれを下回るため、例えば、デジタルスチルカメラからプリンタへのダイレクトプリントなどにおいては、超解像処理が必須といえる。これら２つの例は、解像度を画素数やライン数にとっているため、「空間ドメイン超解像」と定義される。一方、時間解像度をサンプリング時よりも高くする「時間ドメイン超解像」が必要となる場合もある。例えば、飛び越し走査（インターレース）方式で記録された映像を順次走査（プログレッシブ）方式のディスプレイに表示する場合には、倍率２倍の時間ドメイン超解像処理が必要になる。このような処理は、例えばアナログ放送素材をデジタル放送に転用する場合などで多用されている。
【０００４】
このような超解像処理は、既存データから新しいデータを作り出す補間問題と捉えられる。補間方法の基本的な考え方は、新しいデータの近傍に存在する既存データから自身を推測することである。空間ドメイン超解像であれば、水平、垂直、斜め方向の隣接画素が持つ信号値から自身の信号値を推測する。時間ドメイン超解像であれば、直前のデータと次に来るデータから自身のデータを推測する。空間ドメイン超解像の具体的な方法として、ニアレストネイバー法、バイリニア法、バイキュービック法などが一般的である（非特許文献１）。また、これら補間法のぼけによる品質劣化を高周波数成分の補充で補償する提案もなされている（特許文献１）。
【０００５】
一方、低解像度のデータを重複領域を含むように多数収集し、対応点をもってつなぎ合わせ、超解像処理を実現する手法も提案されている（特許文献２）。
【非特許文献１】荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐ．１４４−１４５
【特許文献１】特開２００２−１１６２７１号公報（図２）
【特許文献２】特開平８−２２６８７９号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の非特許文献１や特許文献１に記載の超解像処理技術では、物体表面の模様や光沢などについて、何ら考慮されておらず、超解像後の画像において原画像の模様や光沢などを保存する仕組みが含まれていない。すなわち、超解像処理によって原画像のテクスチャの印象が変質してしまい、画像に撮された物体の質感が異なってしまう可能性がある。
【０００７】
また、特許文献２記載の技術では、撮影を複数回実施する必要があり、作業工数が増えてしまうという問題がある。
【０００８】
前記の問題に鑑み、本発明は、原画像の画像特徴を変質させることなく、原画像の情報量を超える画像を生成する画像処理技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記の課題を解決するために、本発明は、原画像の画像特徴（例えば濃度分布、周波数分布、コントラストなど）を解析し、解析した画像特徴と、画像情報量（例えば画素数、階調数、色チャネル数など）が原画像を上回る情報量高密化画像から得られた画像特徴とを用いて、画像情報量を増やす情報量高密化処理を行う。特に、画像情報量を解像度とした場合は、入力画像のテクスチャ（模様や光沢などの属性の総称）を解析し、解析したテクスチャ特徴量と、空間解像度または時間解像度がより高い超解像画像から得られた超解像テクスチャ特徴量とを用いて、空間ドメイン超解像画像または時間ドメイン超解像画像を生成する。
【発明の効果】
【００１０】
本発明によると、原画像の画像特徴が変質することなく保存された、原画像の画像情報量を超える情報量高密化画像を生成できる。特に、画像情報量を解像度とした場合は、原画像が持つテクスチャの印象を保存したまま、空間ドメイン超解像画像または時間ドメイン超解像画像を生成できる。
【図面の簡単な説明】
【００１１】
［図１］図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
［図２］図２は、図１の情報量高密化部の構成の一例である。
［図３］図３は、本発明の第１の実施形態に係る空間ドメイン超解像処理の概念図である。
［図４］図４は、本発明の第１の実施形態に係る空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。
［図５］図５は、図４のテクスチャ解析部の構成と処理の一例を示す図である。
［図６］図６は、図４の超解像処理部の構成と処理の一例を示す図である。
［図７］図７は、図４の画像生成部の構成と処理の一例を示す図である。
［図８］図８は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
［図９］図９は、本発明の第２の実施形態に係る空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。
［図１０］図１０は、図９の構成において、基本テクスチャ特徴量重み係数を算出する方法の一例を示す図である。
［図１１］図１１は、本発明の第３の実施形態に係る画像処理装置の構成を示す図である。
［図１２］図１２は、図１１のテクスチャ特徴量ベクトル変換テーブルの作成方法の一例を示す図である。
［図１３］図１３は、本発明の第１の構成例を示す図である。
［図１４］図１４は、本発明の第２の構成例を示す図である。
［図１５］図１５は、本発明の第３の構成例を示す図である。
【符号の説明】
【００１２】
１０ 画像特徴解析部
２０，２０Ａ 情報量高密化部
３０ 画像生成部
４０ テクスチャ解析部（画像特徴解析部）
５０，５０Ａ 超解像処理部（情報量高密化部）
６０ 画像生成部
７１ テクスチャ特徴量データベース
７２ テクスチャ特徴量ベクトル変換テーブル
ＩＩＮ 入力画像（原画像）
ＦＩ 画像特徴量
ＳＦＩ 高密化画像特徴量
ＩＯＵＴ 出力画像（高密化画像）
ＦＶＴ テクスチャ特徴量ベクトル（画像特徴量）
ＳＦＶＴ 超解像化テクスチャ特徴量ベクトル（高密化画像特徴量）
【発明を実施するための最良の形態】
【００１３】
本発明の第１態様では、画像処理方法として、原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、前記第１のステップにおいて得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る第２のステップと、前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとを備えたものを提供する。
【００１４】
本発明の第２態様では、前記第２のステップは、予め準備した複数の画像特徴カテゴリの中から前記画像特徴量が属する画像特徴カテゴリを選定し、選定した画像特徴カテゴリにおける情報量高密化された基本画像特徴量を、高密化画像特徴量データベースから、前記高密化画像特徴量として読み出す前記第１態様の画像処理方法を提供する。
【００１５】
本発明の第３態様では、前記第２のステップは、前記画像特徴量について、予め準備した複数の画像特徴カテゴリとの類似度をそれぞれ算出し、前記各画像特徴カテゴリにおける基本画像特徴量を、算出した類似度に応じて重み付け加算することによって、前記高密化画像特徴量を生成する前記第１態様の画像処理方法を提供する。
【００１６】
本発明の第４態様では、前記第２のステップは、予め準備した複数の画像特徴カテゴリの中から前記画像特徴量が属する画像特徴カテゴリを選定し、変換テーブルデータベースを参照し、選定した画像特徴カテゴリにおける特徴量変換のための変換テーブルを用いて、前記画像特徴量を前記高密化画像特徴量に変換する前記第１態様の画像処理方法を提供する。
【００１７】
本発明の第５態様では、前記複数の画像特徴カテゴリは、画像に撮像された物体の材質毎に設けられている前記第４態様の画像処理方法を提供する。
【００１８】
本発明の第６態様では、前記画像特徴量として、空間解像度または時間解像度を用いる前記第１態様の画像処理方法を提供する。
【００１９】
本発明の第７態様では、フーリエ変換を用いて、空間周波数応答または時間周波数応答を求める前記第６態様の画像処理方法を提供する。
【００２０】
本発明の第８態様では、ウェーブレット変換を用いて、空間周波数応答または時間周波数応答を求める前記第６態様の画像処理方法を提供する。
【００２１】
本発明の第９態様では、スケール、位相および空間的方向性のうち少なくとも１つが異なる複数の空間フィルタを用いて、空間周波数応答または時間周波数応答を求める前記第６態様の画像処理方法を提供する。
【００２２】
本発明の第１０態様では、画像処理装置として、原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る画像特徴解析部と、前記画像特徴解析部によって得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る情報量高密化部と、前記情報量高密化部によって得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する画像生成部とを備えたものを提供する。
【００２３】
本発明の第１１態様では、画像処理プログラムとして、原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、前記第１のステップにおいて得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る第２のステップと、前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとをコンピュータに実行させるものを提供する。
【００２４】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２５】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、原画像の情報量を超える情報量高密化画像を生成するものである。
【００２６】
ここで、本願明細書において、「情報量高密化」とは、与えられた画像の画像情報量を増やす処理を意味し、場合によっては「超情報処理」または「超情報化」と記す。画像情報量とは例えば、画素数、階調数、色チャネル数などである。画素数を例にとると、３２０画素×２４０ラインの画像に対し、水平方向・垂直方向ともに４倍に拡大する情報量高密化処理を行うと、総画素数が１６倍になる１２８０画素×９６０ラインの画像が生成される。階調数の場合は、例えば各画素が１２８階調の入力画像を２５６階調に拡大する処理が、２倍の情報量高密化処理に相当する。色チャネル数の場合は、モノクロ画像（色チャネル数は１本）をＲＧＢ画像に変換する処理は、３倍の情報量高密化処理に相当する。
【００２７】
上述の３つの例を組み合わせた、「１２８階調の色チャネル１本からなる３２０画素×２４０ラインのモノクロ画像」を「２５６階調の色チャネル３本からなる１２８０画素×９６０ラインのＲＧＢ画像」に変換する処理は、画像情報量を９６倍（＝１６×２×３）に増加させる情報量高密化処理となる。
【００２８】
図１の構成において、画像特徴解析部１０は原画像としての入力画像ＩＩＮの画像特徴を解析し、画像特徴量ＦＩを出力する（第１のステップ）。ここで、画像特徴とは例えば、濃度分布、周波数応答、コントラストなどであり、その特徴量はそれぞれ、濃度ヒストグラム、周波数スペクトラム、ハイライトと暗部との比によって表される。情報量高密化部２０は画像特徴量ＦＩに応じた情報量高密化処理を行い、高密化画像特徴量ＳＦＩを出力する（第２のステップ）。画像特徴量ＦＩを直接、情報量高密化するため、画像特徴そのものを変質させないで、画像の情報量高密化を実現できる。画像生成部３０は高密化画像特徴量ＳＦＩを可視化し、高密化画像としての出力画像ＩＯＵＴを生成する（第３のステップ）。
【００２９】
図２は図１の情報量高密化部２０の構成の一例である。図２において、画像特徴カテゴリ選定部２１は、予め分類しておいた画像特徴カテゴリの中から画像特徴量ＦＩが属するものを選定し、選定した画像特徴カテゴリの種類を示す画像特徴インデックスＩＤを出力する。画像特徴インデックスＩＤは高密化画像特徴量データベース２２に与えられ、画像特徴インデックスＩＤに対応する情報量高密化された画像特徴量が、高密化画像特徴量データベース２２から高密化画像特徴量ＳＦＩとして出力される。
【００３０】
具体的には例えば、画像特徴量をベクトル表記（例えば濃度ヒストグラムの頻度をベクトル要素とする）し、任意のクラスタリング手法（例えばＫ−ｍｅａｎ法）を用いて類似のベクトルをまとめてカテゴリ形成を行う。そして、ベクトル量子化によってカテゴリを選定する、といった手法が有効である。高密化画像特徴量データベース２２は、情報量高密化処理の実行前に作成する。画像情報量が入力画像を超える高密サンプル画像を予め準備して、例えば濃度ヒストグラム等の画像特徴量を求める。例えば３２０画素×２４０ラインの入力画像を１２８０画素×９６０ラインの高密化画像に変換する場合は、１２８０画素×９６０ラインの画像を高密サンプル画像として準備すればよい。画像特徴カテゴリ選定部２１と高密化画像特徴量データベース２２に適用されるベクトル表記方法、クラスタリング手法、画像特徴インデックスの付与方法は、共通とする。
【００３１】
図３は画像情報量として空間解像度を用いた、空間ドメイン超解像処理を概念的に示す図である。低解像度画像Ｘの濃度分布をラインＬで観察した結果、濃度分布Ｘを得たとする。ここでは説明の便宜上、ラインＬにおける画素数は８画素とする。またここでの濃度分布は、図示した画像データを正確に反映したものではなく、概念を説明するために模式的に示したものであり、以降の説明でも同様である。
【００３２】
画素数を４倍にする超解像処理の場合、１ラインの画素数が３２画素になるため、３２個の濃度レベルが必要になり、したがって、２４画素分の濃度データを何らかの形で補う必要がある。この場合、例えば濃度分布Ａに示すように、低解像度画像Ｘの濃度を４画素ごとに等間隔に配置し、その間の画素は線形補間によって補う方法が考えられる。この場合、ラインＬに沿う濃度変化の増減パターンは保存されるが、勾配が滑らかになるため、画像Ａのようにぼけた画像となる。画像情報量は４倍になったが、画像特徴であるテクスチャの印象が変質したケースである。
【００３３】
一方、濃度分布Ｂは、低周波成分となる濃度分布Ｘの波形形状とは無関係に高周波成分を作成したものである。濃度レベルの変化が大きくなり、濃度分布Ａよりも急激に変化しているため、画像Ｂのような細かなテクスチャが生成される。ところが、波形は濃度分布Ａと大きくかけ離れているため、テクスチャ印象が変質している。
【００３４】
濃度分布Ｃは濃度分布Ａを低周波成分として保存し、さらに濃度分布Ａよりも空間周波数が高い高周波成分を重畳したケースである。この場合は、低周波成分がテクスチャの基本的なパターンをトレースし、かつ高周波成分が細かなテクスチャパターンを加えていくため、テクスチャの印象が保存されたまま、不足する２４画素の濃度レベルを補うことができる。
【００３５】
なお、上述の説明は、画像の水平方向に関しても同様に当てはまるため、ここでは説明を割愛する。
【００３６】
次に、図３で説明した「低周波成分に高周波成分を重畳する技術思想（濃度分布Ｃ）」を具体的に実現する方法を、図４、図５、図６および図７を用いて説明する。
【００３７】
図４は空間解像度を画像情報量として用いる空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。入力画像ＩＩＮの画像特徴であるテクスチャは、画素単位で画像特徴解析部としてのテクスチャ解析部４０によって解析され、テクスチャ特徴量ベクトルＦＶＴとして記述される。情報量高密化部としての超解像処理部５０はテクスチャ特徴量空間において超解像処理を実行し、画像特徴量としてのテクスチャ特徴量ベクトルＦＶＴを高密化画像特徴量としての超解像化テクスチャ特徴量ベクトルＳＦＶＴに変換する。画像生成部６０は超解像化テクスチャ特徴量ベクトルＳＦＶＴを可視化し、出力画像ＩＯＵＴを出力する。
【００３８】
図５は図４のテクスチャ解析部４０の構成と処理の一例を示す図である。図５に示すように、テクスチャ解析部４０は空間周波数応答を用いてテクスチャ解析を行う。入力画像ＩＩＮは空間周波数成分分解部４１において複数チャネルに分配され、各空間周波数帯域に与えられ、空間周波数応答量ＦＲＳが得られる。テクスチャ特徴量ベクトル生成部４２は、空間周波数応答量ＦＲＳを要素としてテクスチャ特徴量ベクトルＦＶＴを生成する。テクスチャ特徴量ベクトルＦＶＴは、各空間周波数帯域の応答チャネルを軸とするテクスチャ特徴量空間内で方向と大きさを持ち、この属性によってテクスチャを記述する。なお、特徴量の各要素がお互いに独立である場合、重複がなく効率の高い特徴量表現となるため、空間周波数成分の分解には、フーリエ変換やウェーブレット変換などが有効である。また、スケール、位相および空間的方向性のうち少なくとも１つが異なる複数の空間フィルタを用いて、空間周波数応答を求めてもよい。
【００３９】
図６は図４の超解像処理部５０の構成と処理の一例を示す図である。図６において、超解像化テクスチャ特徴量データベース５１は、複数の画像特徴カテゴリ毎に、入力画像ＩＩＮの解像度を超えるサンプル画像から生成されたテクスチャ特徴量ベクトルをそれぞれ格納している。各テクスチャ特徴量ベクトルには、画像特徴カテゴリを特定するためのインデックス１〜Ｍがそれぞれ付されている。テクスチャカテゴリ選定部５２は、入力画像ＩＩＮのテクスチャを記述したテクスチャ特徴量ベクトルＦＶＴを、超解像化テクスチャ特徴量データベース５１に格納された各テクスチャ特徴量ベクトルと比較する。
【００４０】
ここで、入力画像ＩＩＮはサンプル画像よりも解像度が低いため、テクスチャ特徴量ベクトルＦＶＴは高周波成分に有意な応答（任意に与えられる閾値以上の応答）を持たず、直流成分から中間的な周波数（この例では周波数ｗ）成分までに応答が表れる。そこでテクスチャカテゴリ選定部５２は、具体的にはテクスチャ特徴量ベクトルＦＶＴが応答を持つ低解像度成分同士でベクトルの内積を取り、これを類似度とする。内積が最も大きい（類似度が最も高い）インデックス（この例ではインデックスＳ）がテクスチャ特徴量インデックスＩＤＴとして選定され、このテクスチャ特徴量インデックスＩＤＴが付されたテクスチャ特徴量ベクトルが超解像化テクスチャ特徴量ベクトルＳＦＶＴとして出力される。超解像化テクスチャ特徴量ベクトルＳＦＶＴは周波数ｗを超える周波数帯域にも応答を持つため、テクスチャ特徴量空間で超解像処理が成されたことになる。なお、図６では応答量を０〜１００のダイナミックレンジで図示している。
【００４１】
図７は図４の画像生成部６０の構成と処理の一例を示す図である。図７に示すように、ここでの処理は図５に示した空間周波数分解と逆の処理となる。すなわち、超解像化テクスチャ特徴量ベクトルＳＦＶＴの各要素について、空間周波数の各帯域において基本関数と積を取り、全チャネルの和を出力画像ＩＯＵＴとする。なお、テクスチャ解析部４０においてフーリエ変換やウェーブレット変換などを用いた場合は、画像生成部６０ではこれらの逆変換を実行する。
【００４２】
以上のように本実施形態によると、入力画像のテクスチャを空間周波数スペクトルとして記述し、入力画像の解像度を超える超解像サンプル画像から生成された空間周波数スペクトルと比較して、テクスチャ選定を行う。このため、超解像処理後の画像のテクスチャは、その印象が入力画像に一致する、という効果が確実に得られる。
【００４３】
なお、ここでは、画像特徴量として空間解像度を用いる空間ドメイン超解像処理について説明したが、画像特徴量として時間解像度を用いる時間ドメイン超解像処理も、ここで説明した空間ドメイン超解像処理と同様に実施できる。この場合、テクスチャは時間変化に伴う映像信号レベルの違いから発生する。したがって、図４のテクスチャ解析部４０は時間ドメインで構成され、時間周波数分解を行う。時間ドメインに展開された以降の処理は図４〜図７で説明したものと同様であり、ここでは説明を割愛する。
【００４４】
（第２の実施形態）
図８は本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。図８に示す画像処理装置も、図１の画像処理装置と同様に、入力画像の情報量を超える情報量高密化画像を生成する。図８では、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。いる。
【００４５】
情報量高密化部２０Ａは、高密化画像特徴量データベース２５、基本画像特徴量重み係数算出部２６、および画像特徴量補間部２７を備えている。高密化画像特徴量データベース２５は、情報量が入力画像ＩＩＮを超える高密サンプル画像から生成された，情報量高密化された基本画像特徴量を、複数の画像特徴カテゴリ毎に、格納している。基本画像特徴量重み係数算出部２６は、入力画像ＩＩＮから得られた画像特徴量ＦＩと、高密化画像特徴量データベース２５に格納されている各基本画像特徴量との類似度をそれぞれ算出し、この類似度を基にして基本画像特徴量重み係数群ＧＷＣを求める。基本画像特徴量重み係数群ＧＷＣは画像特徴量補間部２７に与えられる。これとともに、高密化画像特徴量データベース２５は格納している基本画像特徴量群ＧＳＦＩを画像特徴量補間部２７に供給する。画像特徴量補間部２７は、基本画像特徴量群ＧＳＦＩを基本画像特徴量重み係数群ＧＷＣを用いて線形重み付け加算し、高密化画像特徴量ＳＦＩとして出力する。
【００４６】
すなわち、本実施形態では、情報量高密化は、画像特徴量空間における線形補間によって実行される。このため、入力画像ＩＩＮの画像特徴が、情報量高密化された画像ＩＯＵＴにおいても保存される。また、複数の基本画像特徴量を基本画像特徴量重み係数を用いて補間するため、情報量高密化された画像特徴量をより精密に生成することが可能になる。
【００４７】
図９は空間解像度を画像情報量として用いる空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。図９では、図４と共通の構成要素には図４と同一の符号を付しており、ここではその詳細な説明を省略する。
【００４８】
情報量高密化部としての超解像処理部５０Ａは、超解像化テクスチャ特徴量データベース５５、基本テクスチャ特徴量重み係数算出部５６、およびテクスチャ特徴量補間部５７を備えている。超解像化テクスチャ特徴量データベース５５は、解像度が入力画像ＩＩＮを超える超解像サンプル画像から生成された，超解像化された基本テクスチャ特徴量ベクトルを、基本画像特徴量として、複数の画像特徴カテゴリ毎に、格納している。基本テクスチャ特徴量重み係数算出部５６は、入力画像ＩＩＮから得られたテクスチャ特徴量ベクトルＦＶＴと、超解像化テクスチャ特徴量データベース５５に格納されている基本テクスチャ特徴量ベクトルとの類似度をそれぞれ算出し、この類似度を基にして基本テクスチャ特徴量重み係数群ＧＷＣＴを求める。基本テクスチャ特徴量重み係数群ＧＷＣＴはテクスチャ特徴量補間部５７に与えられる。これとともに、超解像化テクスチャ特徴量データベース５５は格納している基本テクスチャ特徴量ベクトル群ＧＳＦＶＴをテクスチャ特徴量補間部５７に供給する。テクスチャ特徴量補間部５７は、基本テクスチャ特徴量ベクトル群ＧＳＦＶＴを基本テクスチャ特徴量重み係数群ＧＷＣＴを用いて線形重み付け加算し、超解像化テクスチャ特徴量ベクトルＳＦＶＴとして出力する。
【００４９】
すなわち、超解像処理は、テクスチャ特徴量空間における線形補間によって実行される。このため、入力画像ＩＩＮのテクスチャが、超解像化された画像ＩＯＵＴにおいても保存される。また、複数の基本テクスチャ特徴量を基本テクスチャ特徴量重み係数を用いて補間するため、情報量高密化された画像特徴量をより精密に生成することが可能になる。
【００５０】
図１０は基本テクスチャ特徴量重み係数を算出する方法の一例を示す図である。基本テクスチャ特徴量重み係数算出部５６は、入力画像ＩＩＮのテクスチャを記述したテクスチャ特徴量ベクトルＦＶＴについて、超解像化テクスチャ特徴量データベース５５が持つ基本テクスチャ特徴量ベクトル群ＧＳＦＶＴとの類似度を算出する。テクスチャ特徴量ベクトルＦＶＴは高周波成分に有意な応答（任意に与えられる閾値以上の応答）を持たず、直流成分から中間的な周波数（この例では周波数ｗ）成分までに応答が表れる。そこで基本テクスチャ特徴量重み係数算出部５６は、具体的には、テクスチャ特徴量ベクトルＦＶＴが応答を持つ低解像度成分同士でベクトルの内積を取り、これを類似度とする。そして内積の和が１になるように正規化し、基本テクスチャ特徴量ベクトル重み係数群ＧＷＣＴとして出力する。基本テクスチャ特徴量ベクトル群ＧＳＦＶＴは周波数ｗを超える周波数帯域にも応答を持つため、テクスチャ特徴量空間において超解像処理がなされたことになる。なお、図１０では応答量を０〜１００のダイナミックレンジで図示している。
【００５１】
以上のように本実施形態によると、入力画像のテクスチャを空間周波数スペクトルとして記述し、入力画像の解像度を超える超解像サンプル画像から生成された基本テクスチャ特徴量ベクトルを、類似度から求めた重み係数を用いて線形補間することによって、超解像化テクスチャ特徴量ベクトルを算出する。このため、超解像処理後の画像のテクスチャは、その印象が入力画像に一致する、という効果が確実に得られる。
【００５２】
なお、ここでは、画像特徴量として空間解像度を用いる空間ドメイン超解像処理について説明したが、画像特徴量として時間解像度を用いる時間ドメイン超解像処理も、ここで説明した空間ドメイン超解像処理と同様に実施できる。この場合、テクスチャは時間変化に伴う映像信号レベルの違いから発生する。したがって、図９のテクスチャ解析部４０は時間ドメインで構成され、時間周波数分解を行う。時間ドメインに展開された以降の処理は図９で説明したものと同様であり、ここでは説明を割愛する。
【００５３】
（第３の実施形態）
図１１は本発明の第３の実施形態に係る画像処理装置の構成を示す図である。図１１に示す画像処理装置は、入力画像ＩＩＮの解像度を超える超解像画像ＩＯＵＴを生成するものであり、図４と共通の構成要素には図４と同一の符号を付している。テクスチャ特徴量データベース７１およびテクスチャ特徴量ベクトル変換テーブル７２によって、情報量高密化部が構成されている。入力画像ＩＩＮの画像特徴であるテクスチャは、画素単位でテクスチャ解析部４０によって解析され、テクスチャ特徴量ベクトルＦＶＴとして記述される。テクスチャ解析部４０の内部動作は、図５と同様であり、空間周波数応答量ＦＲＳからテクスチャ特徴量ベクトルＦＶＴを生成する。
【００５４】
テクスチャ特徴量データベース７１は、ｉ種類の解像度とｊ種類の材質、合計（ｉ×ｊ）個のサンプル画像から予め作成されている。（ｉ×ｊ）個のサンプル画像をテクスチャ解析部４０によって、テクスチャ特徴量ベクトルに変換し、そのヒストグラムをテクスチャ特徴量データベース７１にサンプル画像ごとに登録する。すなわち、サンプル画像の画素ごとにテクスチャ解析部４０によってテクスチャ特徴量ベクトルを求め、全画素を対象にテクスチャ特徴量ベクトルの頻度を求める。これにより、画像に撮された材質の種類毎に、複数の画像特徴カテゴリＭ＿１〜Ｍ＿ｊが規定される。
【００５５】
ここで、解像度が異なるｉ種類のサンプル画像のうち、少なくとも１つは入力画像ＩＩＮの解像度を上回っていることが、超解像化の条件となる。また材質とは、たとえば木目、紙、石、砂などであり、これらが物理的な特性から定義されても、人間の目で見た感覚から定義されても構わない。また同じ木目でも、目の粗い木目や表面の滑らかな木目、明るい木目などの表現が考えられ、材料の種類に関する表現は多岐に渡る。本発明はこの表現に制限を設けるものではなく、任意の定義を受け入れる。
【００５６】
なお、同じテクスチャ特徴量ベクトルを持つ画素が少なく、特徴量ヒストグラムの各要素の頻度が低い場合は、クラスタリング手法（たとえばＫ−ｍｅａｎ法）を用いて類似のベクトルをまとめてヒストグラムを構成すると、テクスチャ特徴を変質させることなく、データ量が削減できる。
【００５７】
このようにして予め準備したテクスチャ特徴量データベース７１に対して、入力画像ＩＩＮの全画素のテクスチャ特徴量ベクトルＦＶＴから求めた特徴量ヒストグラムとの比較を行う（ヒストグラムの類似度の比較方法は任意）。図１１では、材質Ｍ＿２、解像度Ｒ＿２の特徴量ヒストグラムＨ１が、入力画像ＩＩＮの特徴量ヒストグラムと類似度が最も高いものとして選択されている。画像特徴であるテクスチャの印象を変質させないで超解像を行うには、同一材質（この場合は材質Ｍ＿２）の画像特徴カテゴリにおいて、入力画像ＩＩＮの解像度を超える特徴量ヒストグラムを選択すればいい。この例では、解像度Ｒ＿ｉの特徴量ヒストグラムＨ２を選択している。
【００５８】
なお、ここでは、ヒストグラムを用いて処理を行っているので、実行時と、学習時すなわちテクスチャ特徴量データベース７１の作成時とにおいて、空間的情報（空間座標）が一致していなくても、適用可能である。
【００５９】
次に、入力画像ＩＩＮのテクスチャ特徴量を超解像化するために、テクスチャ特徴量ベクトル変換テーブル７２を利用する。テクスチャ特徴量ベクトル変換テーブル７２はテクスチャ特徴量データベース７１と対に設けられており、ｉ種類の解像度とｊ種類の材質からなる（ｉ×ｊ）個の変換テーブルが格納されている。いま、入力画像ＩＩＮのテクスチャ特徴量ベクトルＦＶＴと類似度が最も高いものとして、「材質Ｍ＿２、解像度Ｒ＿２」の特徴量ヒストグラムＨ１が選定されているので、これを「材質Ｍ＿２、解像度Ｒ＿ｉ」の特徴量ヒストグラムＨ２に変換するため、「（Ｍ＿２−Ｒ＿２）→（Ｍ＿２−Ｒ＿ｉ）」変換テーブルＴＢを参照する。テクスチャ特徴量ベクトル変換テーブル７２の出力が超解像化テクスチャ特徴量ベクトルＳＦＶＴであり、画像生成部６０によって可視化され、これにより出力画像ＩＯＵＴが得られる。
【００６０】
図１２はテクスチャ特徴量ベクトル変換テーブル７２の作成方法の一例を示す図である。まず、解像度が最も高い画像から、「ローパスフィルタ＋サブサンプリング」によって段階的に低解像度画像を作成する。ここでは、解像度が最も高い画像である解像度Ｒ＿ｉ画像をローパスフィルタ８１に通し、サブサンプリング８２によって解像度を落として、解像度Ｒ＿ｉ−１画像を得る。同様に、解像度Ｒ＿ｉ−１画像をローパスフィルタ８３に通し、サブサンプリング８４によって解像度を落として、解像度Ｒ＿ｉ−２画像を得る。
【００６１】
そして、各画像についてテクスチャ解析を行い、テクスチャ特徴量ベクトルを求める。図１２では、テクスチャ特徴量ベクトルの種類をラベル番号によって表わしている。解像度Ｒ＿ｉ画像から、ラベル番号を画素ごとに持つラベル画像Ａが得られる。同様に、解像度Ｒ＿ｉ−１画像からラベル画像Ｂが得られ、解像度Ｒ＿ｉ−２画像からラベル画像Ｃが得られる。なお、ラベル画像Ａ，Ｂ，Ｃについては、ここでの説明では全画素を図示する必要がないため、その一部を模式的に示している。
【００６２】
解像度Ｒ＿ｉ−１画像を解像度Ｒ＿ｉ画像に変換するテクスチャ特徴量ベクトル変換テーブルは、例えば次のように、ラベル画像Ｂとラベル画像Ａとのラベル番号の対応関係から構築する。いま、＜ラベル対応例１＞に示すように、ラベル画像Ｂのラベル番号「５」は、２画素に存在し、かつ、ラベル画像Ａのラベル番号「３」「５」「７」「８」の４種類のテクスチャ特徴量ベクトルに対応している。それぞれの頻度は、１、２、４、１である。そこで、最大頻度をとるラベル番号「７」のテクスチャ特徴量ベクトルを超解像化テクスチャ特徴量ベクトルとする。例えばこのような単純な選択処理によって、テクスチャ特徴量ベクトル変換テーブルを作成できる。
【００６３】
また、頻度に応じて各テクスチャ特徴量ベクトルの重み付け線形和をとると、発生頻度に準じた超解像が実現でき、計算量が別途発生するものの、テクスチャ保存の効果は高くなる。
【００６４】
これら２つの方法では、ラベル同士が一対一に対応することになり、１個のテクスチャ特徴量ベクトルが１個の超解像化テクスチャ特徴量ベクトルに変換される。このため、図１２の例では、ラベル画像Ｂの１画素がラベル画像Ａの４画素に対応しているため、ラベル画像Ａの４画素に同じテクスチャ特徴量ベクトルが割り当てられる。ところが、超解像の効果をより引き出すためには、４画素それぞれに対して、超解像化テクスチャ特徴量ベクトルを割り当てることが望ましい。
【００６５】
その具体的方法としては例えば、超解像化テクスチャ特徴量ベクトルを、ラベル頻度に応じて、各画素に当てはめていく方法が考えられる。すなわち、ラベル画像Ｂのラベル「５」に対応するラベル画像Ａの８画素のうち、１画素にラベル「３」を割り当て、２画素にラベル「５」を割り当て、４画素にラベル「７」を割り当て、１画素にラベル「８」を割り当てる。
【００６６】
ただし、テクスチャ特徴量データベース７１作成時と入力画像ＩＩＮの超解像実行時とにおいて、テクスチャパターンが空間的に同じ位置にあることは極めて稀であるため、ラベル画像Ａの空間位置情報を利用することは必ずしも適切ではない。そこで、超解像化テクスチャ特徴量ベクトルをラベル頻度に応じて画素毎に割り当てる場合は、乱数発生等の手段によってランダムに行うのが好ましい。なお、画素の選択はランダムに決定されるが、選ばれる超解像化テクスチャ特徴量ベクトルとその頻度は、ラベルの対応関係に応じて定められる。
【００６７】
一方、解像度Ｒ＿ｉ−２画像を解像度Ｒ＿ｉ画像に変換するテクスチャ特徴量ベクトル変換テーブルは、ラベル画像Ｃとラベル画像Ａとのラベル番号の組み合わせから構築される。例えば、ラベル画像Ｃのラベル番号「１１」とラベル画像Ａのラベルとの組み合わせと頻度は、＜ラベル対応例２＞のようになる。頻度が最大になるのはラベル番号「７」「９」の２つであるため、例えばラベル「７」「９」の２個のテクスチャ特徴量ベクトルの平均を超解像化テクスチャ特徴量ベクトルとすればよい。また、他の方法としては、解像度Ｒ＿ｉ−１画像を解像度Ｒ＿ｉ画像に変換する変換テーブルの作成においてすでに説明した方法を用いてもよい。
【００６８】
以上のように本実施形態によると、テクスチャ特徴量を材質ごとに超解像化するため、テクスチャの材質感を変質せずに超解像処理が実現できる。また複数の解像度に対してそれぞれテクスチャ特徴量が準備されているため、低解像度側（すなわち入力画像）のテクスチャ選定と高解像度側（すなわち出力画像）の画像生成の両面から、テクスチャ変質のない超解像処理を実現できる。
【００６９】
なお、本発明に係る画像処理装置の各手段、または本発明に係る画像処理方法の各ステップの全部または一部を、専用のハードウェアを用いて実現してもかまわないし、コンピュータのプログラムによってソフトウェア的に実現してもかまわない。
【００７０】
以下、本発明を実現する構成例を例示する。
【００７１】
（第１の構成例）
図１３は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像処理を行う構成の一例である。カメラ１０１の解像度はディスプレイ１０２の解像度よりも低く、ディスプレイ１０２の表示能力を最大限に生かすために、メインメモリ１０３にロードされた本発明に係る画像処理プログラムによって超解像画像を作成する。カメラ１０１によって取り込まれた低解像度画像は画像メモリ１０４に記録される。外部記憶装置１０５には予め、メインメモリ１０３の画像処理プログラムから参照できるように、超解像化テクスチャ特徴量データベース１０５ａを準備しておく。メインメモリ１０３の画像処理プログラムは、メモリバス１０６を介して画像メモリ１０４の低解像度画像を読み込み、ディスプレイ１０２の解像度に合わせて高解像度画像に変換して、再びメモリバス１０６経由でビデオメモリ１０７に転送する。ビデオメモリ１０７に転送された高解像度画像はディスプレイ１０２によって見ることができる。なお、画像処理プログラムの動作やデータベースの中身や作成方法などは、上述の実施形態で示したもののいずれかであり、ここでは説明を割愛する。
【００７２】
なお、本発明は図１３の構成に拘束されるものではなく、様々な構成をとることができる。例えば、超解像化テクスチャ特徴量データベース１０５ａを別のパーソナルコンピュータに接続された外部記憶装置からネットワーク１０８を介して取得してもかまわない。また低解像度画像は、ネットワーク１０８を介して取得してもかまわない。
【００７３】
（第２の構成例）
図１４は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像処理を行う構成の一例である。カメラ１１１の解像度はディスプレイ１１２の解像度よりも低く、ディスプレイ１１２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて超解像処理を実行する。サーバー１１３はテクスチャ解析部１１４および超解像処理部１１５を備え、入力画像ＩＩＮのテクスチャ特徴量ＦＴを超解像化し、超解像化テクスチャ特徴量ＳＦＴとしてネットワーク１１６を経由してクライアント１１７に送信する。クライアント１１７は受信した超解像化テクスチャ特徴量ＳＦＴを画像生成回路１１８によって可視化し、得られた超解像画像をディスプレイ１１２に表示する。なお、テクスチャ解析や超解像処理、超解像化テクスチャ特徴量データベースの中身や作成方法などは、上述の実施形態で示したもののいずれかであり、ここでは説明を割愛する。
【００７４】
なお、本発明は図１４の構成に拘束されるものではなく、様々な構成をとることができる。例えば、カメラ１１１はクライアント１１７の一部であってもかまわない。
【００７５】
（第３の構成例）
図１５は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。カメラ付携帯電話１２１はネットワーク１２２またはメモリカード１２３を介してテレビ１２４に画像データを送ることができる。カメラ付携帯電話１２１の解像度はテレビ１２４よりも低く、テレビ１２４の表示能力を最大限に生かすために、テレビの内部回路に実装されたテクスチャ特徴量解析回路、超解像化テクスチャ特徴量データベース、画像生成回路によって超解像画像を作成し、画面に表示する。なお、テクスチャ特徴量解析、超解像化テクスチャ特徴量データベース、画像生成の詳細は、上述の実施形態で示したもののいずれかであり、ここでは説明を割愛する。
【００７６】
なお、本発明は図１５の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話１２１はデジタルスチルカメラやビデオムービーカメラであってもかまわない。
【００７７】
以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアント型システム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。また、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、システム構築方法や、機器接続形態、機器内部の構成などを拘束するものではない。
【産業上の利用可能性】
【００７８】
本発明は、画像特徴を変質させず、より情報量の多い画像を作り出すため、視覚的情報量が重要視される様々な応用分野で活用できる。たとえば電子商取引では、消費者が注目する商品の細部を提示でき、デジタルアーカイブで展示物の細部を正確に鑑賞者に提示でき、映像制作で映像表現の可能性を高め、放送では様々な映像フォーマットで互換性が保証されるなどの効果がある。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【技術分野】
【０００１】
本発明は、画像計測・認識、画像生成などの画像処理に関し、特に、原画像から、情報量が原画像を超える情報量高密化画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年、様々な画像機器、映像機器のデジタル化とインターネットの普及によって、コンピュータや家電機器が相互に接続され、遠隔操作やメディア融合など、いわゆるユビキタスネットワーク社会が形成されつつある。画像機器のスペックは、その機構、携帯性、機能等の違いから多岐に渡り、このため、様々なフォーマットを有する画像情報が流通している。例えば、携帯電話向けの１セグメント地上デジタル放送では、１９２０画素×１０８０ラインのＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）画像を、例えば３２０画素×２４０ラインの画像にダウンコンバートして、携帯電話のディスプレイに表示しなければならない。すなわち、画像機器のスペックに応じて、空間解像度を変換する必要がある。また、空間解像度の他に、リフレッシュレートの違いに起因する時間解像度を変換する場合もある。例えば、秒２４コマの映画フィルムフォーマットを秒３０コマのビデオフォーマットに変換するテレシネ工程が一例である。
【０００３】
解像度変換において、サンプリング時の解像度を超えたデータを作り出すことを「超解像」と呼ぶ。例えば、ＤＶフォーマット（５７６画素×４８０ライン）で記録された映像をＨＤＴＶに表示したい場合、画素数約２倍、ライン数約２．５倍の超解像処理が必要になる。また、印刷用原稿には高解像度のものが必要であり、たとえば６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿を準備する必要がある。多くのカメラの解像度はこれを下回るため、例えば、デジタルスチルカメラからプリンタへのダイレクトプリントなどにおいては、超解像処理が必須といえる。これら２つの例は、解像度を画素数やライン数にとっているため、「空間ドメイン超解像」と定義される。一方、時間解像度をサンプリング時よりも高くする「時間ドメイン超解像」が必要となる場合もある。例えば、飛び越し走査（インターレース）方式で記録された映像を順次走査（プログレッシブ）方式のディスプレイに表示する場合には、倍率２倍の時間ドメイン超解像処理が必要になる。このような処理は、例えばアナログ放送素材をデジタル放送に転用する場合などで多用されている。
【０００４】
このような超解像処理は、既存データから新しいデータを作り出す補間問題と捉えられる。補間方法の基本的な考え方は、新しいデータの近傍に存在する既存データから自身を推測することである。空間ドメイン超解像であれば、水平、垂直、斜め方向の隣接画素が持つ信号値から自身の信号値を推測する。時間ドメイン超解像であれば、直前のデータと次に来るデータから自身のデータを推測する。空間ドメイン超解像の具体的な方法として、ニアレストネイバー法、バイリニア法、バイキュービック法などが一般的である（非特許文献１）。また、これら補間法のぼけによる品質劣化を高周波数成分の補充で補償する提案もなされている（特許文献１）。
【０００５】
一方、低解像度のデータを重複領域を含むように多数収集し、対応点をもってつなぎ合わせ、超解像処理を実現する手法も提案されている（特許文献２）。
【非特許文献１】荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐ．１４４−１４５
【特許文献１】特開２００２−１１６２７１号公報（図２）
【特許文献２】特開平８−２２６８７９号公報（図２）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の非特許文献１や特許文献１に記載の超解像処理技術では、物体表面の模様や光沢などについて、何ら考慮されておらず、超解像後の画像において原画像の模様や光沢などを保存する仕組みが含まれていない。すなわち、超解像処理によって原画像のテクスチャの印象が変質してしまい、画像に撮された物体の質感が異なってしまう可能性がある。
【０００７】
また、特許文献２記載の技術では、撮影を複数回実施する必要があり、作業工数が増えてしまうという問題がある。
【０００８】
前記の問題に鑑み、本発明は、原画像の画像特徴を変質させることなく、原画像の情報量を超える画像を生成する画像処理技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記の課題を解決するために、本発明は、原画像の画像特徴（例えば濃度分布、周波数分布、コントラストなど）を解析し、解析した画像特徴と、画像情報量（例えば画素数、階調数、色チャネル数など）が原画像を上回る情報量高密化画像から得られた画像特徴とを用いて、画像情報量を増やす情報量高密化処理を行う。特に、画像情報量を解像度とした場合は、入力画像のテクスチャ（模様や光沢などの属性の総称）を解析し、解析したテクスチャ特徴量と、空間解像度または時間解像度がより高い超解像画像から得られた超解像テクスチャ特徴量とを用いて、空間ドメイン超解像画像または時間ドメイン超解像画像を生成する。
【発明の効果】
【００１０】
本発明によると、原画像の画像特徴が変質することなく保存された、原画像の画像情報量を超える情報量高密化画像を生成できる。特に、画像情報量を解像度とした場合は、原画像が持つテクスチャの印象を保存したまま、空間ドメイン超解像画像または時間ドメイン超解像画像を生成できる。
【図面の簡単な説明】
【００１１】
［図１］図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
［図２］図２は、図１の情報量高密化部の構成の一例である。
［図３］図３は、本発明の第１の実施形態に係る空間ドメイン超解像処理の概念図である。
［図４］図４は、本発明の第１の実施形態に係る空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。
［図５］図５は、図４のテクスチャ解析部の構成と処理の一例を示す図である。
［図６］図６は、図４の超解像処理部の構成と処理の一例を示す図である。
［図７］図７は、図４の画像生成部の構成と処理の一例を示す図である。
［図８］図８は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
［図９］図９は、本発明の第２の実施形態に係る空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。
［図１０］図１０は、図９の構成において、基本テクスチャ特徴量重み係数を算出する方法の一例を示す図である。
［図１１］図１１は、本発明の第３の実施形態に係る画像処理装置の構成を示す図である。
［図１２］図１２は、図１１のテクスチャ特徴量ベクトル変換テーブルの作成方法の一例を示す図である。
［図１３］図１３は、本発明の第１の構成例を示す図である。
［図１４］図１４は、本発明の第２の構成例を示す図である。
［図１５］図１５は、本発明の第３の構成例を示す図である。
【符号の説明】
【００１２】
１０ 画像特徴解析部
２０，２０Ａ 情報量高密化部
３０ 画像生成部
４０ テクスチャ解析部（画像特徴解析部）
５０，５０Ａ 超解像処理部（情報量高密化部）
６０ 画像生成部
７１ テクスチャ特徴量データベース
７２ テクスチャ特徴量ベクトル変換テーブル
ＩＩＮ 入力画像（原画像）
ＦＩ 画像特徴量
ＳＦＩ 高密化画像特徴量
ＩＯＵＴ 出力画像（高密化画像）
ＦＶＴ テクスチャ特徴量ベクトル（画像特徴量）
ＳＦＶＴ 超解像化テクスチャ特徴量ベクトル（高密化画像特徴量）
【発明を実施するための最良の形態】
【００１３】
本発明の第１態様では、画像処理方法として、原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、前記第１のステップにおいて得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る第２のステップと、前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとを備えたものを提供する。
【００１４】
本発明の第２態様では、前記第２のステップは、予め準備した複数の画像特徴カテゴリの中から前記画像特徴量が属する画像特徴カテゴリを選定し、選定した画像特徴カテゴリにおける情報量高密化された基本画像特徴量を、高密化画像特徴量データベースから、前記高密化画像特徴量として読み出す前記第１態様の画像処理方法を提供する。
【００１５】
本発明の第３態様では、前記第２のステップは、前記画像特徴量について、予め準備した複数の画像特徴カテゴリとの類似度をそれぞれ算出し、前記各画像特徴カテゴリにおける基本画像特徴量を、算出した類似度に応じて重み付け加算することによって、前記高密化画像特徴量を生成する前記第１態様の画像処理方法を提供する。
【００１６】
本発明の第４態様では、前記第２のステップは、予め準備した複数の画像特徴カテゴリの中から前記画像特徴量が属する画像特徴カテゴリを選定し、変換テーブルデータベースを参照し、選定した画像特徴カテゴリにおける特徴量変換のための変換テーブルを用いて、前記画像特徴量を前記高密化画像特徴量に変換する前記第１態様の画像処理方法を提供する。
【００１７】
本発明の第５態様では、前記複数の画像特徴カテゴリは、画像に撮像された物体の材質毎に設けられている前記第４態様の画像処理方法を提供する。
【００１８】
本発明の第６態様では、前記画像特徴量として、空間解像度または時間解像度を用いる前記第１態様の画像処理方法を提供する。
【００１９】
本発明の第７態様では、フーリエ変換を用いて、空間周波数応答または時間周波数応答を求める前記第６態様の画像処理方法を提供する。
【００２０】
本発明の第８態様では、ウェーブレット変換を用いて、空間周波数応答または時間周波数応答を求める前記第６態様の画像処理方法を提供する。
【００２１】
本発明の第９態様では、スケール、位相および空間的方向性のうち少なくとも１つが異なる複数の空間フィルタを用いて、空間周波数応答または時間周波数応答を求める前記第６態様の画像処理方法を提供する。
【００２２】
本発明の第１０態様では、画像処理装置として、原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る画像特徴解析部と、前記画像特徴解析部によって得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る情報量高密化部と、前記情報量高密化部によって得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する画像生成部とを備えたものを提供する。
【００２３】
本発明の第１１態様では、画像処理プログラムとして、原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、前記第１のステップにおいて得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る第２のステップと、前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとをコンピュータに実行させるものを提供する。
【００２４】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２５】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、原画像の情報量を超える情報量高密化画像を生成するものである。
【００２６】
ここで、本願明細書において、「情報量高密化」とは、与えられた画像の画像情報量を増やす処理を意味し、場合によっては「超情報処理」または「超情報化」と記す。画像情報量とは例えば、画素数、階調数、色チャネル数などである。画素数を例にとると、３２０画素×２４０ラインの画像に対し、水平方向・垂直方向ともに４倍に拡大する情報量高密化処理を行うと、総画素数が１６倍になる１２８０画素×９６０ラインの画像が生成される。階調数の場合は、例えば各画素が１２８階調の入力画像を２５６階調に拡大する処理が、２倍の情報量高密化処理に相当する。色チャネル数の場合は、モノクロ画像（色チャネル数は１本）をＲＧＢ画像に変換する処理は、３倍の情報量高密化処理に相当する。
【００２７】
上述の３つの例を組み合わせた、「１２８階調の色チャネル１本からなる３２０画素×２４０ラインのモノクロ画像」を「２５６階調の色チャネル３本からなる１２８０画素×９６０ラインのＲＧＢ画像」に変換する処理は、画像情報量を９６倍（＝１６×２×３）に増加させる情報量高密化処理となる。
【００２８】
図１の構成において、画像特徴解析部１０は原画像としての入力画像ＩＩＮの画像特徴を解析し、画像特徴量ＦＩを出力する（第１のステップ）。ここで、画像特徴とは例えば、濃度分布、周波数応答、コントラストなどであり、その特徴量はそれぞれ、濃度ヒストグラム、周波数スペクトラム、ハイライトと暗部との比によって表される。情報量高密化部２０は画像特徴量ＦＩに応じた情報量高密化処理を行い、高密化画像特徴量ＳＦＩを出力する（第２のステップ）。画像特徴量ＦＩを直接、情報量高密化するため、画像特徴そのものを変質させないで、画像の情報量高密化を実現できる。画像生成部３０は高密化画像特徴量ＳＦＩを可視化し、高密化画像としての出力画像ＩＯＵＴを生成する（第３のステップ）。
【００２９】
図２は図１の情報量高密化部２０の構成の一例である。図２において、画像特徴カテゴリ選定部２１は、予め分類しておいた画像特徴カテゴリの中から画像特徴量ＦＩが属するものを選定し、選定した画像特徴カテゴリの種類を示す画像特徴インデックスＩＤを出力する。画像特徴インデックスＩＤは高密化画像特徴量データベース２２に与えられ、画像特徴インデックスＩＤに対応する情報量高密化された画像特徴量が、高密化画像特徴量データベース２２から高密化画像特徴量ＳＦＩとして出力される。
【００３０】
具体的には例えば、画像特徴量をベクトル表記（例えば濃度ヒストグラムの頻度をベクトル要素とする）し、任意のクラスタリング手法（例えばＫ−ｍｅａｎ法）を用いて類似のベクトルをまとめてカテゴリ形成を行う。そして、ベクトル量子化によってカテゴリを選定する、といった手法が有効である。高密化画像特徴量データベース２２は、情報量高密化処理の実行前に作成する。画像情報量が入力画像を超える高密サンプル画像を予め準備して、例えば濃度ヒストグラム等の画像特徴量を求める。例えば３２０画素×２４０ラインの入力画像を１２８０画素×９６０ラインの高密化画像に変換する場合は、１２８０画素×９６０ラインの画像を高密サンプル画像として準備すればよい。画像特徴カテゴリ選定部２１と高密化画像特徴量データベース２２に適用されるベクトル表記方法、クラスタリング手法、画像特徴インデックスの付与方法は、共通とする。
【００３１】
図３は画像情報量として空間解像度を用いた、空間ドメイン超解像処理を概念的に示す図である。低解像度画像Ｘの濃度分布をラインＬで観察した結果、濃度分布Ｘを得たとする。ここでは説明の便宜上、ラインＬにおける画素数は８画素とする。またここでの濃度分布は、図示した画像データを正確に反映したものではなく、概念を説明するために模式的に示したものであり、以降の説明でも同様である。
【００３２】
画素数を４倍にする超解像処理の場合、１ラインの画素数が３２画素になるため、３２個の濃度レベルが必要になり、したがって、２４画素分の濃度データを何らかの形で補う必要がある。この場合、例えば濃度分布Ａに示すように、低解像度画像Ｘの濃度を４画素ごとに等間隔に配置し、その間の画素は線形補間によって補う方法が考えられる。この場合、ラインＬに沿う濃度変化の増減パターンは保存されるが、勾配が滑らかになるため、画像Ａのようにぼけた画像となる。画像情報量は４倍になったが、画像特徴であるテクスチャの印象が変質したケースである。
【００３３】
一方、濃度分布Ｂは、低周波成分となる濃度分布Ｘの波形形状とは無関係に高周波成分を作成したものである。濃度レベルの変化が大きくなり、濃度分布Ａよりも急激に変化しているため、画像Ｂのような細かなテクスチャが生成される。ところが、波形は濃度分布Ａと大きくかけ離れているため、テクスチャ印象が変質している。
【００３４】
濃度分布Ｃは濃度分布Ａを低周波成分として保存し、さらに濃度分布Ａよりも空間周波数が高い高周波成分を重畳したケースである。この場合は、低周波成分がテクスチャの基本的なパターンをトレースし、かつ高周波成分が細かなテクスチャパターンを加えていくため、テクスチャの印象が保存されたまま、不足する２４画素の濃度レベルを補うことができる。
【００３５】
なお、上述の説明は、画像の水平方向に関しても同様に当てはまるため、ここでは説明を割愛する。
【００３６】
次に、図３で説明した「低周波成分に高周波成分を重畳する技術思想（濃度分布Ｃ）」を具体的に実現する方法を、図４、図５、図６および図７を用いて説明する。
【００３７】
図４は空間解像度を画像情報量として用いる空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。入力画像ＩＩＮの画像特徴であるテクスチャは、画素単位で画像特徴解析部としてのテクスチャ解析部４０によって解析され、テクスチャ特徴量ベクトルＦＶＴとして記述される。情報量高密化部としての超解像処理部５０はテクスチャ特徴量空間において超解像処理を実行し、画像特徴量としてのテクスチャ特徴量ベクトルＦＶＴを高密化画像特徴量としての超解像化テクスチャ特徴量ベクトルＳＦＶＴに変換する。画像生成部６０は超解像化テクスチャ特徴量ベクトルＳＦＶＴを可視化し、出力画像ＩＯＵＴを出力する。
【００３８】
図５は図４のテクスチャ解析部４０の構成と処理の一例を示す図である。図５に示すように、テクスチャ解析部４０は空間周波数応答を用いてテクスチャ解析を行う。入力画像ＩＩＮは空間周波数成分分解部４１において複数チャネルに分配され、各空間周波数帯域に与えられ、空間周波数応答量ＦＲＳが得られる。テクスチャ特徴量ベクトル生成部４２は、空間周波数応答量ＦＲＳを要素としてテクスチャ特徴量ベクトルＦＶＴを生成する。テクスチャ特徴量ベクトルＦＶＴは、各空間周波数帯域の応答チャネルを軸とするテクスチャ特徴量空間内で方向と大きさを持ち、この属性によってテクスチャを記述する。なお、特徴量の各要素がお互いに独立である場合、重複がなく効率の高い特徴量表現となるため、空間周波数成分の分解には、フーリエ変換やウェーブレット変換などが有効である。また、スケール、位相および空間的方向性のうち少なくとも１つが異なる複数の空間フィルタを用いて、空間周波数応答を求めてもよい。
【００３９】
図６は図４の超解像処理部５０の構成と処理の一例を示す図である。図６において、超解像化テクスチャ特徴量データベース５１は、複数の画像特徴カテゴリ毎に、入力画像ＩＩＮの解像度を超えるサンプル画像から生成されたテクスチャ特徴量ベクトルをそれぞれ格納している。各テクスチャ特徴量ベクトルには、画像特徴カテゴリを特定するためのインデックス１〜Ｍがそれぞれ付されている。テクスチャカテゴリ選定部５２は、入力画像ＩＩＮのテクスチャを記述したテクスチャ特徴量ベクトルＦＶＴを、超解像化テクスチャ特徴量データベース５１に格納された各テクスチャ特徴量ベクトルと比較する。
【００４０】
ここで、入力画像ＩＩＮはサンプル画像よりも解像度が低いため、テクスチャ特徴量ベクトルＦＶＴは高周波成分に有意な応答（任意に与えられる閾値以上の応答）を持たず、直流成分から中間的な周波数（この例では周波数ｗ）成分までに応答が表れる。そこでテクスチャカテゴリ選定部５２は、具体的にはテクスチャ特徴量ベクトルＦＶＴが応答を持つ低解像度成分同士でベクトルの内積を取り、これを類似度とする。内積が最も大きい（類似度が最も高い）インデックス（この例ではインデックスＳ）がテクスチャ特徴量インデックスＩＤＴとして選定され、このテクスチャ特徴量インデックスＩＤＴが付されたテクスチャ特徴量ベクトルが超解像化テクスチャ特徴量ベクトルＳＦＶＴとして出力される。超解像化テクスチャ特徴量ベクトルＳＦＶＴは周波数ｗを超える周波数帯域にも応答を持つため、テクスチャ特徴量空間で超解像処理が成されたことになる。なお、図６では応答量を０〜１００のダイナミックレンジで図示している。
【００４１】
図７は図４の画像生成部６０の構成と処理の一例を示す図である。図７に示すように、ここでの処理は図５に示した空間周波数分解と逆の処理となる。すなわち、超解像化テクスチャ特徴量ベクトルＳＦＶＴの各要素について、空間周波数の各帯域において基本関数と積を取り、全チャネルの和を出力画像ＩＯＵＴとする。なお、テクスチャ解析部４０においてフーリエ変換やウェーブレット変換などを用いた場合は、画像生成部６０ではこれらの逆変換を実行する。
【００４２】
以上のように本実施形態によると、入力画像のテクスチャを空間周波数スペクトルとして記述し、入力画像の解像度を超える超解像サンプル画像から生成された空間周波数スペクトルと比較して、テクスチャ選定を行う。このため、超解像処理後の画像のテクスチャは、その印象が入力画像に一致する、という効果が確実に得られる。
【００４３】
なお、ここでは、画像特徴量として空間解像度を用いる空間ドメイン超解像処理について説明したが、画像特徴量として時間解像度を用いる時間ドメイン超解像処理も、ここで説明した空間ドメイン超解像処理と同様に実施できる。この場合、テクスチャは時間変化に伴う映像信号レベルの違いから発生する。したがって、図４のテクスチャ解析部４０は時間ドメインで構成され、時間周波数分解を行う。時間ドメインに展開された以降の処理は図４〜図７で説明したものと同様であり、ここでは説明を割愛する。
【００４４】
（第２の実施形態）
図８は本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。図８に示す画像処理装置も、図１の画像処理装置と同様に、入力画像の情報量を超える情報量高密化画像を生成する。図８では、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。いる。
【００４５】
情報量高密化部２０Ａは、高密化画像特徴量データベース２５、基本画像特徴量重み係数算出部２６、および画像特徴量補間部２７を備えている。高密化画像特徴量データベース２５は、情報量が入力画像ＩＩＮを超える高密サンプル画像から生成された，情報量高密化された基本画像特徴量を、複数の画像特徴カテゴリ毎に、格納している。基本画像特徴量重み係数算出部２６は、入力画像ＩＩＮから得られた画像特徴量ＦＩと、高密化画像特徴量データベース２５に格納されている各基本画像特徴量との類似度をそれぞれ算出し、この類似度を基にして基本画像特徴量重み係数群ＧＷＣを求める。基本画像特徴量重み係数群ＧＷＣは画像特徴量補間部２７に与えられる。これとともに、高密化画像特徴量データベース２５は格納している基本画像特徴量群ＧＳＦＩを画像特徴量補間部２７に供給する。画像特徴量補間部２７は、基本画像特徴量群ＧＳＦＩを基本画像特徴量重み係数群ＧＷＣを用いて線形重み付け加算し、高密化画像特徴量ＳＦＩとして出力する。
【００４６】
すなわち、本実施形態では、情報量高密化は、画像特徴量空間における線形補間によって実行される。このため、入力画像ＩＩＮの画像特徴が、情報量高密化された画像ＩＯＵＴにおいても保存される。また、複数の基本画像特徴量を基本画像特徴量重み係数を用いて補間するため、情報量高密化された画像特徴量をより精密に生成することが可能になる。
【００４７】
図９は空間解像度を画像情報量として用いる空間ドメイン超解像処理を行う画像処理装置の概略構成を示すブロック図である。図９では、図４と共通の構成要素には図４と同一の符号を付しており、ここではその詳細な説明を省略する。
【００４８】
情報量高密化部としての超解像処理部５０Ａは、超解像化テクスチャ特徴量データベース５５、基本テクスチャ特徴量重み係数算出部５６、およびテクスチャ特徴量補間部５７を備えている。超解像化テクスチャ特徴量データベース５５は、解像度が入力画像ＩＩＮを超える超解像サンプル画像から生成された，超解像化された基本テクスチャ特徴量ベクトルを、基本画像特徴量として、複数の画像特徴カテゴリ毎に、格納している。基本テクスチャ特徴量重み係数算出部５６は、入力画像ＩＩＮから得られたテクスチャ特徴量ベクトルＦＶＴと、超解像化テクスチャ特徴量データベース５５に格納されている基本テクスチャ特徴量ベクトルとの類似度をそれぞれ算出し、この類似度を基にして基本テクスチャ特徴量重み係数群ＧＷＣＴを求める。基本テクスチャ特徴量重み係数群ＧＷＣＴはテクスチャ特徴量補間部５７に与えられる。これとともに、超解像化テクスチャ特徴量データベース５５は格納している基本テクスチャ特徴量ベクトル群ＧＳＦＶＴをテクスチャ特徴量補間部５７に供給する。テクスチャ特徴量補間部５７は、基本テクスチャ特徴量ベクトル群ＧＳＦＶＴを基本テクスチャ特徴量重み係数群ＧＷＣＴを用いて線形重み付け加算し、超解像化テクスチャ特徴量ベクトルＳＦＶＴとして出力する。
【００４９】
すなわち、超解像処理は、テクスチャ特徴量空間における線形補間によって実行される。このため、入力画像ＩＩＮのテクスチャが、超解像化された画像ＩＯＵＴにおいても保存される。また、複数の基本テクスチャ特徴量を基本テクスチャ特徴量重み係数を用いて補間するため、情報量高密化された画像特徴量をより精密に生成することが可能になる。
【００５０】
図１０は基本テクスチャ特徴量重み係数を算出する方法の一例を示す図である。基本テクスチャ特徴量重み係数算出部５６は、入力画像ＩＩＮのテクスチャを記述したテクスチャ特徴量ベクトルＦＶＴについて、超解像化テクスチャ特徴量データベース５５が持つ基本テクスチャ特徴量ベクトル群ＧＳＦＶＴとの類似度を算出する。テクスチャ特徴量ベクトルＦＶＴは高周波成分に有意な応答（任意に与えられる閾値以上の応答）を持たず、直流成分から中間的な周波数（この例では周波数ｗ）成分までに応答が表れる。そこで基本テクスチャ特徴量重み係数算出部５６は、具体的には、テクスチャ特徴量ベクトルＦＶＴが応答を持つ低解像度成分同士でベクトルの内積を取り、これを類似度とする。そして内積の和が１になるように正規化し、基本テクスチャ特徴量ベクトル重み係数群ＧＷＣＴとして出力する。基本テクスチャ特徴量ベクトル群ＧＳＦＶＴは周波数ｗを超える周波数帯域にも応答を持つため、テクスチャ特徴量空間において超解像処理がなされたことになる。なお、図１０では応答量を０〜１００のダイナミックレンジで図示している。
【００５１】
以上のように本実施形態によると、入力画像のテクスチャを空間周波数スペクトルとして記述し、入力画像の解像度を超える超解像サンプル画像から生成された基本テクスチャ特徴量ベクトルを、類似度から求めた重み係数を用いて線形補間することによって、超解像化テクスチャ特徴量ベクトルを算出する。このため、超解像処理後の画像のテクスチャは、その印象が入力画像に一致する、という効果が確実に得られる。
【００５２】
なお、ここでは、画像特徴量として空間解像度を用いる空間ドメイン超解像処理について説明したが、画像特徴量として時間解像度を用いる時間ドメイン超解像処理も、ここで説明した空間ドメイン超解像処理と同様に実施できる。この場合、テクスチャは時間変化に伴う映像信号レベルの違いから発生する。したがって、図９のテクスチャ解析部４０は時間ドメインで構成され、時間周波数分解を行う。時間ドメインに展開された以降の処理は図９で説明したものと同様であり、ここでは説明を割愛する。
【００５３】
（第３の実施形態）
図１１は本発明の第３の実施形態に係る画像処理装置の構成を示す図である。図１１に示す画像処理装置は、入力画像ＩＩＮの解像度を超える超解像画像ＩＯＵＴを生成するものであり、図４と共通の構成要素には図４と同一の符号を付している。テクスチャ特徴量データベース７１およびテクスチャ特徴量ベクトル変換テーブル７２によって、情報量高密化部が構成されている。入力画像ＩＩＮの画像特徴であるテクスチャは、画素単位でテクスチャ解析部４０によって解析され、テクスチャ特徴量ベクトルＦＶＴとして記述される。テクスチャ解析部４０の内部動作は、図５と同様であり、空間周波数応答量ＦＲＳからテクスチャ特徴量ベクトルＦＶＴを生成する。
【００５４】
テクスチャ特徴量データベース７１は、ｉ種類の解像度とｊ種類の材質、合計（ｉ×ｊ）個のサンプル画像から予め作成されている。（ｉ×ｊ）個のサンプル画像をテクスチャ解析部４０によって、テクスチャ特徴量ベクトルに変換し、そのヒストグラムをテクスチャ特徴量データベース７１にサンプル画像ごとに登録する。すなわち、サンプル画像の画素ごとにテクスチャ解析部４０によってテクスチャ特徴量ベクトルを求め、全画素を対象にテクスチャ特徴量ベクトルの頻度を求める。これにより、画像に撮された材質の種類毎に、複数の画像特徴カテゴリＭ＿１〜Ｍ＿ｊが規定される。
【００５５】
ここで、解像度が異なるｉ種類のサンプル画像のうち、少なくとも１つは入力画像ＩＩＮの解像度を上回っていることが、超解像化の条件となる。また材質とは、たとえば木目、紙、石、砂などであり、これらが物理的な特性から定義されても、人間の目で見た感覚から定義されても構わない。また同じ木目でも、目の粗い木目や表面の滑らかな木目、明るい木目などの表現が考えられ、材料の種類に関する表現は多岐に渡る。本発明はこの表現に制限を設けるものではなく、任意の定義を受け入れる。
【００５６】
なお、同じテクスチャ特徴量ベクトルを持つ画素が少なく、特徴量ヒストグラムの各要素の頻度が低い場合は、クラスタリング手法（たとえばＫ−ｍｅａｎ法）を用いて類似のベクトルをまとめてヒストグラムを構成すると、テクスチャ特徴を変質させることなく、データ量が削減できる。
【００５７】
このようにして予め準備したテクスチャ特徴量データベース７１に対して、入力画像ＩＩＮの全画素のテクスチャ特徴量ベクトルＦＶＴから求めた特徴量ヒストグラムとの比較を行う（ヒストグラムの類似度の比較方法は任意）。図１１では、材質Ｍ＿２、解像度Ｒ＿２の特徴量ヒストグラムＨ１が、入力画像ＩＩＮの特徴量ヒストグラムと類似度が最も高いものとして選択されている。画像特徴であるテクスチャの印象を変質させないで超解像を行うには、同一材質（この場合は材質Ｍ＿２）の画像特徴カテゴリにおいて、入力画像ＩＩＮの解像度を超える特徴量ヒストグラムを選択すればいい。この例では、解像度Ｒ＿ｉの特徴量ヒストグラムＨ２を選択している。
【００５８】
なお、ここでは、ヒストグラムを用いて処理を行っているので、実行時と、学習時すなわちテクスチャ特徴量データベース７１の作成時とにおいて、空間的情報（空間座標）が一致していなくても、適用可能である。
【００５９】
次に、入力画像ＩＩＮのテクスチャ特徴量を超解像化するために、テクスチャ特徴量ベクトル変換テーブル７２を利用する。テクスチャ特徴量ベクトル変換テーブル７２はテクスチャ特徴量データベース７１と対に設けられており、ｉ種類の解像度とｊ種類の材質からなる（ｉ×ｊ）個の変換テーブルが格納されている。いま、入力画像ＩＩＮのテクスチャ特徴量ベクトルＦＶＴと類似度が最も高いものとして、「材質Ｍ＿２、解像度Ｒ＿２」の特徴量ヒストグラムＨ１が選定されているので、これを「材質Ｍ＿２、解像度Ｒ＿ｉ」の特徴量ヒストグラムＨ２に変換するため、「（Ｍ＿２−Ｒ＿２）→（Ｍ＿２−Ｒ＿ｉ）」変換テーブルＴＢを参照する。テクスチャ特徴量ベクトル変換テーブル７２の出力が超解像化テクスチャ特徴量ベクトルＳＦＶＴであり、画像生成部６０によって可視化され、これにより出力画像ＩＯＵＴが得られる。
【００６０】
図１２はテクスチャ特徴量ベクトル変換テーブル７２の作成方法の一例を示す図である。まず、解像度が最も高い画像から、「ローパスフィルタ＋サブサンプリング」によって段階的に低解像度画像を作成する。ここでは、解像度が最も高い画像である解像度Ｒ＿ｉ画像をローパスフィルタ８１に通し、サブサンプリング８２によって解像度を落として、解像度Ｒ＿ｉ−１画像を得る。同様に、解像度Ｒ＿ｉ−１画像をローパスフィルタ８３に通し、サブサンプリング８４によって解像度を落として、解像度Ｒ＿ｉ−２画像を得る。
【００６１】
そして、各画像についてテクスチャ解析を行い、テクスチャ特徴量ベクトルを求める。図１２では、テクスチャ特徴量ベクトルの種類をラベル番号によって表わしている。解像度Ｒ＿ｉ画像から、ラベル番号を画素ごとに持つラベル画像Ａが得られる。同様に、解像度Ｒ＿ｉ−１画像からラベル画像Ｂが得られ、解像度Ｒ＿ｉ−２画像からラベル画像Ｃが得られる。なお、ラベル画像Ａ，Ｂ，Ｃについては、ここでの説明では全画素を図示する必要がないため、その一部を模式的に示している。
【００６２】
解像度Ｒ＿ｉ−１画像を解像度Ｒ＿ｉ画像に変換するテクスチャ特徴量ベクトル変換テーブルは、例えば次のように、ラベル画像Ｂとラベル画像Ａとのラベル番号の対応関係から構築する。いま、＜ラベル対応例１＞に示すように、ラベル画像Ｂのラベル番号「５」は、２画素に存在し、かつ、ラベル画像Ａのラベル番号「３」「５」「７」「８」の４種類のテクスチャ特徴量ベクトルに対応している。それぞれの頻度は、１、２、４、１である。そこで、最大頻度をとるラベル番号「７」のテクスチャ特徴量ベクトルを超解像化テクスチャ特徴量ベクトルとする。例えばこのような単純な選択処理によって、テクスチャ特徴量ベクトル変換テーブルを作成できる。
【００６３】
また、頻度に応じて各テクスチャ特徴量ベクトルの重み付け線形和をとると、発生頻度に準じた超解像が実現でき、計算量が別途発生するものの、テクスチャ保存の効果は高くなる。
【００６４】
これら２つの方法では、ラベル同士が一対一に対応することになり、１個のテクスチャ特徴量ベクトルが１個の超解像化テクスチャ特徴量ベクトルに変換される。このため、図１２の例では、ラベル画像Ｂの１画素がラベル画像Ａの４画素に対応しているため、ラベル画像Ａの４画素に同じテクスチャ特徴量ベクトルが割り当てられる。ところが、超解像の効果をより引き出すためには、４画素それぞれに対して、超解像化テクスチャ特徴量ベクトルを割り当てることが望ましい。
【００６５】
その具体的方法としては例えば、超解像化テクスチャ特徴量ベクトルを、ラベル頻度に応じて、各画素に当てはめていく方法が考えられる。すなわち、ラベル画像Ｂのラベル「５」に対応するラベル画像Ａの８画素のうち、１画素にラベル「３」を割り当て、２画素にラベル「５」を割り当て、４画素にラベル「７」を割り当て、１画素にラベル「８」を割り当てる。
【００６６】
ただし、テクスチャ特徴量データベース７１作成時と入力画像ＩＩＮの超解像実行時とにおいて、テクスチャパターンが空間的に同じ位置にあることは極めて稀であるため、ラベル画像Ａの空間位置情報を利用することは必ずしも適切ではない。そこで、超解像化テクスチャ特徴量ベクトルをラベル頻度に応じて画素毎に割り当てる場合は、乱数発生等の手段によってランダムに行うのが好ましい。なお、画素の選択はランダムに決定されるが、選ばれる超解像化テクスチャ特徴量ベクトルとその頻度は、ラベルの対応関係に応じて定められる。
【００６７】
一方、解像度Ｒ＿ｉ−２画像を解像度Ｒ＿ｉ画像に変換するテクスチャ特徴量ベクトル変換テーブルは、ラベル画像Ｃとラベル画像Ａとのラベル番号の組み合わせから構築される。例えば、ラベル画像Ｃのラベル番号「１１」とラベル画像Ａのラベルとの組み合わせと頻度は、＜ラベル対応例２＞のようになる。頻度が最大になるのはラベル番号「７」「９」の２つであるため、例えばラベル「７」「９」の２個のテクスチャ特徴量ベクトルの平均を超解像化テクスチャ特徴量ベクトルとすればよい。また、他の方法としては、解像度Ｒ＿ｉ−１画像を解像度Ｒ＿ｉ画像に変換する変換テーブルの作成においてすでに説明した方法を用いてもよい。
【００６８】
以上のように本実施形態によると、テクスチャ特徴量を材質ごとに超解像化するため、テクスチャの材質感を変質せずに超解像処理が実現できる。また複数の解像度に対してそれぞれテクスチャ特徴量が準備されているため、低解像度側（すなわち入力画像）のテクスチャ選定と高解像度側（すなわち出力画像）の画像生成の両面から、テクスチャ変質のない超解像処理を実現できる。
【００６９】
なお、本発明に係る画像処理装置の各手段、または本発明に係る画像処理方法の各ステップの全部または一部を、専用のハードウェアを用いて実現してもかまわないし、コンピュータのプログラムによってソフトウェア的に実現してもかまわない。
【００７０】
以下、本発明を実現する構成例を例示する。
【００７１】
（第１の構成例）
図１３は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像処理を行う構成の一例である。カメラ１０１の解像度はディスプレイ１０２の解像度よりも低く、ディスプレイ１０２の表示能力を最大限に生かすために、メインメモリ１０３にロードされた本発明に係る画像処理プログラムによって超解像画像を作成する。カメラ１０１によって取り込まれた低解像度画像は画像メモリ１０４に記録される。外部記憶装置１０５には予め、メインメモリ１０３の画像処理プログラムから参照できるように、超解像化テクスチャ特徴量データベース１０５ａを準備しておく。メインメモリ１０３の画像処理プログラムは、メモリバス１０６を介して画像メモリ１０４の低解像度画像を読み込み、ディスプレイ１０２の解像度に合わせて高解像度画像に変換して、再びメモリバス１０６経由でビデオメモリ１０７に転送する。ビデオメモリ１０７に転送された高解像度画像はディスプレイ１０２によって見ることができる。なお、画像処理プログラムの動作やデータベースの中身や作成方法などは、上述の実施形態で示したもののいずれかであり、ここでは説明を割愛する。
【００７２】
なお、本発明は図１３の構成に拘束されるものではなく、様々な構成をとることができる。例えば、超解像化テクスチャ特徴量データベース１０５ａを別のパーソナルコンピュータに接続された外部記憶装置からネットワーク１０８を介して取得してもかまわない。また低解像度画像は、ネットワーク１０８を介して取得してもかまわない。
【００７３】
（第２の構成例）
図１４は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像処理を行う構成の一例である。カメラ１１１の解像度はディスプレイ１１２の解像度よりも低く、ディスプレイ１１２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて超解像処理を実行する。サーバー１１３はテクスチャ解析部１１４および超解像処理部１１５を備え、入力画像ＩＩＮのテクスチャ特徴量ＦＴを超解像化し、超解像化テクスチャ特徴量ＳＦＴとしてネットワーク１１６を経由してクライアント１１７に送信する。クライアント１１７は受信した超解像化テクスチャ特徴量ＳＦＴを画像生成回路１１８によって可視化し、得られた超解像画像をディスプレイ１１２に表示する。なお、テクスチャ解析や超解像処理、超解像化テクスチャ特徴量データベースの中身や作成方法などは、上述の実施形態で示したもののいずれかであり、ここでは説明を割愛する。
【００７４】
なお、本発明は図１４の構成に拘束されるものではなく、様々な構成をとることができる。例えば、カメラ１１１はクライアント１１７の一部であってもかまわない。
【００７５】
（第３の構成例）
図１５は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。カメラ付携帯電話１２１はネットワーク１２２またはメモリカード１２３を介してテレビ１２４に画像データを送ることができる。カメラ付携帯電話１２１の解像度はテレビ１２４よりも低く、テレビ１２４の表示能力を最大限に生かすために、テレビの内部回路に実装されたテクスチャ特徴量解析回路、超解像化テクスチャ特徴量データベース、画像生成回路によって超解像画像を作成し、画面に表示する。なお、テクスチャ特徴量解析、超解像化テクスチャ特徴量データベース、画像生成の詳細は、上述の実施形態で示したもののいずれかであり、ここでは説明を割愛する。
【００７６】
なお、本発明は図１５の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話１２１はデジタルスチルカメラやビデオムービーカメラであってもかまわない。
【００７７】
以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアント型システム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。また、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、システム構築方法や、機器接続形態、機器内部の構成などを拘束するものではない。
【産業上の利用可能性】
【００７８】
本発明は、画像特徴を変質させず、より情報量の多い画像を作り出すため、視覚的情報量が重要視される様々な応用分野で活用できる。たとえば電子商取引では、消費者が注目する商品の細部を提示でき、デジタルアーカイブで展示物の細部を正確に鑑賞者に提示でき、映像制作で映像表現の可能性を高め、放送では様々な映像フォーマットで互換性が保証されるなどの効果がある。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【特許請求の範囲】
【請求項１】
原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、
前記第１のステップにおいて得られた画像特徴量を、情報量高密化して、高密化画像特徴量を得る第２のステップと、
前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとを備えた
ことを特徴とする画像処理方法。
【請求項２】
請求項１において、
前記第２のステップは、
予め準備した複数の画像特徴カテゴリの中から、前記画像特徴量が属する画像特徴カテゴリを選定し、
選定した画像特徴カテゴリにおける情報量高密化された基本画像特徴量を、高密化画像特徴量データベースから、前記高密化画像特徴量として読み出すものであることを特徴とする画像処理方法。
【請求項３】
請求項１において、
前記第２のステップは、
前記画像特徴量について、予め準備した複数の画像特徴カテゴリとの類似度を、それぞれ算出し、
前記各画像特徴カテゴリにおける基本画像特徴量を、算出した類似度に応じて重み付け加算することによって、前記高密化画像特徴量を生成するものであることを特徴とする画像処理方法。
【請求項４】
請求項１において、
前記第２のステップは、
予め準備した複数の画像特徴カテゴリの中から、前記画像特徴量が属する画像特徴カテゴリを選定し、
変換テーブルデータベースを参照し、選定した画像特徴カテゴリにおける特徴量変換のための変換テーブルを用いて、前記画像特徴量を、前記高密化画像特徴量に変換するものである
ことを特徴とする画像処理方法。
【請求項５】
請求項４において、
前記複数の画像特徴カテゴリは、画像に撮像された物体の材質毎に、設けられている
ことを特徴とする画像処理方法。
【請求項６】
請求項１において、
前記画像特徴量として、空間解像度または時間解像度を用いる
ことを特徴とする画像処理方法。
【請求項７】
フーリエ変換を用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
ウェーブレット変換を用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項６記載の画像処理方法。
【請求項９】
スケール、位相および空間的方向性のうち少なくとも１つが異なる複数の空間フィルタを用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項６記載の画像処理方法。
【請求項１０】
原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る画像特徴解析部と、
前記画像特徴解析部によって得られた画像特徴量を、情報量高密化して、高密化画像特徴量を得る情報量高密化部と、
前記情報量高密化部によって得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する画像生成部とを備えた
ことを特徴とする画像処理装置。
【請求項１１】
原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、
前記第１のステップにおいて得られた画像特徴量を、情報量高密化して、高密化画像特徴量を得る第２のステップと、
前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとを
コンピュータに実行させる画像処理プログラム。
【請求項１】
原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、
前記第１のステップにおいて得られた画像特徴量を、情報量高密化して、高密化画像特徴量を得る第２のステップと、
前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとを備えた
ことを特徴とする画像処理方法。
【請求項２】
請求項１において、
前記第２のステップは、
予め準備した複数の画像特徴カテゴリの中から、前記画像特徴量が属する画像特徴カテゴリを選定し、
選定した画像特徴カテゴリにおける情報量高密化された基本画像特徴量を、高密化画像特徴量データベースから、前記高密化画像特徴量として読み出すものであることを特徴とする画像処理方法。
【請求項３】
請求項１において、
前記第２のステップは、
前記画像特徴量について、予め準備した複数の画像特徴カテゴリとの類似度を、それぞれ算出し、
前記各画像特徴カテゴリにおける基本画像特徴量を、算出した類似度に応じて重み付け加算することによって、前記高密化画像特徴量を生成するものであることを特徴とする画像処理方法。
【請求項４】
請求項１において、
前記第２のステップは、
予め準備した複数の画像特徴カテゴリの中から、前記画像特徴量が属する画像特徴カテゴリを選定し、
変換テーブルデータベースを参照し、選定した画像特徴カテゴリにおける特徴量変換のための変換テーブルを用いて、前記画像特徴量を、前記高密化画像特徴量に変換するものである
ことを特徴とする画像処理方法。
【請求項５】
請求項４において、
前記複数の画像特徴カテゴリは、画像に撮像された物体の材質毎に、設けられている
ことを特徴とする画像処理方法。
【請求項６】
請求項１において、
前記画像特徴量として、空間解像度または時間解像度を用いる
ことを特徴とする画像処理方法。
【請求項７】
フーリエ変換を用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
ウェーブレット変換を用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項６記載の画像処理方法。
【請求項９】
スケール、位相および空間的方向性のうち少なくとも１つが異なる複数の空間フィルタを用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項６記載の画像処理方法。
【請求項１０】
原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る画像特徴解析部と、
前記画像特徴解析部によって得られた画像特徴量を、情報量高密化して、高密化画像特徴量を得る情報量高密化部と、
前記情報量高密化部によって得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する画像生成部とを備えた
ことを特徴とする画像処理装置。
【請求項１１】
原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第１のステップと、
前記第１のステップにおいて得られた画像特徴量を、情報量高密化して、高密化画像特徴量を得る第２のステップと、
前記第２のステップにおいて得られた高密化画像特徴量を基にして、前記原画像を情報量高密化した高密化画像を生成する第３のステップとを
コンピュータに実行させる画像処理プログラム。
【国際公開番号】ＷＯ２００５／０６７２９４
【国際公開日】平成１７年７月２１日（２００５．７．２１）
【発行日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００５−５１６８４２（Ｐ２００５−５１６８４２）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１９３７４
【国際出願日】平成１６年１２月２４日（２００４．１２．２４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【国際公開日】平成１７年７月２１日（２００５．７．２１）
【発行日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１９３７４
【国際出願日】平成１６年１２月２４日（２００４．１２．２４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]