データ品位を向上する方法及びシステム
【課題】シーンまたは信号を表現する画像データ、ビデオデータ、及び音声データの品位（例えば解像度）を、シーンまたは信号の同一部分の高品位表現及び低品位表現上で学習させた品位向上関数によって品位向上させる。
【解決手段】学習アルゴリズムは、シーンまたはシーンの一部分の低品位画像を、同じシーンまたはシーンの一部分の高品位画像と共に用いて、品位向上関数のパラメータを最適化する。次に最適化した品位向上関数を用いて、シーンまたはシーンの一部分の他の低品位画像を品位向上させる。信号の一部分の低分解能サンプル、及び同じ信号部分の高分解能サンプルを用いて品位向上関数を学習させ、そしてこの品位向上関数を用いて信号の残り部分を品位向上させることによって、音声データを品位向上させる。
【解決手段】学習アルゴリズムは、シーンまたはシーンの一部分の低品位画像を、同じシーンまたはシーンの一部分の高品位画像と共に用いて、品位向上関数のパラメータを最適化する。次に最適化した品位向上関数を用いて、シーンまたはシーンの一部分の他の低品位画像を品位向上させる。信号の一部分の低分解能サンプル、及び同じ信号部分の高分解能サンプルを用いて品位向上関数を学習させ、そしてこの品位向上関数を用いて信号の残り部分を品位向上させることによって、音声データを品位向上させる。
【発明の詳細な説明】
【背景技術】
【０００１】
（関連出願のクロスリファレンス）
本願は、米国特許暫定出願番号60/367,324、発明の名称”Enhanced Imaging Using Self-Training Sensors”、2002年3月25日出願にもとづいて優先権を主張し、この特許出願全体を参考文献として本明細書に含める。
【０００２】
（連邦政府による資金提供を受けた研究開発の記載）
本発明は、部分的に、米国科学技術財団の研究助成番号IIS-00-85864の下に米国政府からの支援を受けたものである。従って、米国政府は本発明において一定の権利を有する。
【技術分野】
【０００３】
（発明の背景）
ビデオカメラあるいはスチル（静止画）カメラのような撮像装置（イメージャ）は、シーン（被写体の光景）から出る光を受光して検出することによってシーンを撮像する。シーン中の特定点から入射する光信号は、輝度、波長スペクトル、及び偏光のような特性を有する。これに加えて、撮像装置が受光する全視野は、撮像装置が光を受光する角度によって変化する。もちろん、特定の光線または光束を受光する角度は、シーンの光が出る点の位置に依存する。
【０００４】
多くの応用が、視野の精密かつ正確な測定を必要とする。例えば、イメージベース・レンダリング（Image Based Rendering：ＩＢＲ）では、シーンを撮像し、そして再レンダリングして、シーンの周りの航法（ナビゲーション）を模擬する。空間及び方向の両方についての全視野の測定は、シーンの幾何学的構造の抽出を可能にする。他の例として、各材料から反射した光、及び各照明源から出る光は、それ自身の特徴的なスペクトル曲線及び偏光特性を有する。高いスペクトル分解能によって、異なる種類の材料及び照明を識別すること、及び／または異なる模擬照明下でシーンを再レンダリングすることが可能になる。シーン中の点からの光の偏光を測定することは、シーン中の点に存在する材料の種類に関するさらなる情報を提供する。偏光情報も、屋外のシーンをレンダリング（表示画像作成）する際に気象条件の影響を補償するため、及び深度、即ち撮像装置からシーン中の点までの距離の測定を手助けするために用いられてきた。以上の例に見られるように、視野を精密かつ正確に測定するシステムには、種々の有益な応用がある。
【０００５】
しかし、従来の撮像装置は、輝度分解能、スペクトル分解能、波長、及び偏光−即ち、輝度、波長、及び偏光の差を見分ける能力が限られ、そして、空間解像度−即ち、シーン中の各点の位置の相違を見分ける能力も限られている。例えば、現在は、空間解像度の高い画像を捕捉することが可能なディジタル・スチルカメラが存在する。しかし、関係するデータ量が多いので、これらのカメラは高解像度のビデオを生成することができない。他方では、30フレーム／秒という上等な時間分解能でビデオを捕捉することができる廉価なカメラが存在する。しかし、こうしたビデオカメラは、低い空間解像度しか提供しない。高い時間分解能かつ高い空間解像度を有する撮像装置を設計することは、特に困難である。多次元の高解像度に関連する技術的問題に加えて、基本的な物理的問題がしばしば存在する。例えば、暗い光条件はより長い露光時間を必要とし、時間分解能がより粗くなり、従って、動体の撮像における「ぼけ」を生じさせる。
【０００６】
上述した問題に応える１つの方法は、視野の異なる態様を測定するために、「併置」する（即ち、同じ視点を有する）複数のセンサを使用する。例えば、熱撮像装置、距離計、及び可視光カメラを併置する。一部の場合は、複数センサの方法によって、露光と時間分解能との間のトレードオフのような、単一のセンサに存在する物理的限界の一部を克服することができる。しかし、こうした方法は、追加的な撮像リソースを必要とする。利用可能なリソースが限られている状況−例えば、固定数の画素、固定量のメモリ、及び露光と時間とのトレードオフが存在する状況では、これらのリソースをできる限り効率的に使用することが望ましい。
【０００７】
視野が、互いに無関係な任意数の輝度の集合であるとした場合には、より大規模で、より高速で、より高密度にまとめた複数のセンサを構成すること以外の解決法に、少しの可能性が存在する。しかし、視野には、膨大な構造及び冗長性が存在する。例えば、視点が少し移動すると、シーンの見え方は一般に、予測可能なように変化する。これに加えて、単色の材料を見渡したスペクトル応答は、比較的一様であることが多い。さらに、シーン中の物体の動きは、規則的で予測可能なことが多い。例えば、大部分の物体は堅く、そして多くの場合に、物体はほぼ一定速度で移動しがちである。これらの要因のすべてが、視野内に大きな冗長性を生じさせる。その結果、視野の領域内のあらゆる点で視野をサンプリング（標本化）して、視野を再構成、近似、あるいは予測することは、通常は必要でない。
【０００８】
上述した視野における冗長性を利用するために、この冗長性に関するいくつかの仮定をすることができる。例えば、（内挿）補間及びサンプリング理論は、信号の規則性についての仮定を用いて、限定数のサンプルからこの信号を復活させる。特によく知られている例として、ナイキスト理論は、サンプリングする信号の帯域が限られている−即ち、この信号が有限範囲内の周波数成分を有するものとすれば、最大限必要な信号サンプリング周波数は限られる、ということを述べている。画像に関しては、こうした有限周波数範囲の要求は、端部及び角のような不連続部分に許される鮮鋭度についての制限となる。ナイキスト理論に用いられる関数は三角関数であるが、画像の補間のために多項式も用いることができる。簡単な例は、双線形補間及び双三次元（bi-cubic）補間を含む。不都合なことに、簡単な補間技法から可能な改善は限られている。特に、こうした技法によって提供される解像度の増加は一般に、かなり小幅である。さらに、自然画像は、補間技法に固有の数学的仮定に従わないことが多いので、こうした方法は美観上不快なアーティファクト（歪像）を生じさせ得る。
【０００９】
画像を粗くサンプリングして結果的なデータを有効に補間することは、ローパス（低域通過）フィルタとして作用する。従って、画像の空間解像度を増加させることは、画像の「ぼけを減らす」問題として表現することができる。擬似逆（Pseudo Inverse）フィルタ及びウィーナ・フィルタのような鮮鋭化フィルタは、ガウス性のぼけを減らすために用いられてきた。以前に用いられた他の方法は、ベイズ分析、端部に沿った補間、適応フィルタ処理、ウェブレット分析、フラクタル補間、凸集合上への投影、変分法、及びレベルセットを含む。こうした方法は基本的な補間を改善するが、これらの方法は局所的な画像構造を用いるか、あるいは視野の挙動に先立って全体を仮定したものを適用する、即ち視野の規則性についての仮定を適用するに過ぎないので、これらの方法が冗長性を利用する能力は幾分限られる。
【００１０】
サンプリング及び補間に関するものは、「超解像」として知られている技法があり、この技法では、比較的粗いサンプリングを複数回実行して、サンプリングの有効分解能を改善する。上述した補間法のように、超解像は、視野の規則性についての仮定を行い、近年、理論的限界があることが示されている。
【００１１】
広範囲にわたる視野を捕捉するための、種々のマルチカメラ（多カメラ）システムが提案されている。こうしたシステムは一般に、補間画像のワーピング（ねじり）を用いて、欠損したデータを埋めている。例えば、ハイブリッド撮像では、異なる特性−例えば異なるフレームレートまたは空間解像度を有する複数のカメラを用いて画像を捕捉する。視野の大部分は、計算されたカメラの幾何形状にもとづいて、補間と画像ワーピングとの組合せを用いて埋められる。
【００１２】
追加的な方法は、テクスチャ合成及びシーンの統計量にもとづくものである。視野における冗長性の構造についての数学的仮定を行うのではなく、統計量またはパターン分析を用いて、冗長性をモデル化して利用する。１つの技法は、異なる尺度での画素の相関を用いる。他の方法は、毎日のシーンの、種々の異なるテクスチャ及び種々の異なる画像を用いて、モデルを「学習」させる。この学習の方法では、学習アルゴリズムが、画像における冗長性を抽出し利用して、画像を改善して画像の解像度を増加させることができるようにすべきである。人間の顔の高解像度画像を低解像度のデータから合成する周知の「hallucinating faces（幻覚顔）」法におけるように、画像の種類の領域が非常に限られていれば、こうした学習の方法が解像度を劇的に改善する。しかし、より広範な領域をモデル化する試みは一般に、機械学習の標準性の問題が生じる。例えば、モデルを非常に特別な領域で学習させれば、このモデルは特定の学習データに過剰に適合して、一般性に乏しくなる。例えば、解像度向上アルゴリズムを顔で学習させて建物に適用すれば、このアルゴリズムは、アーティファクトを生じさせやすく、そして品位向上の結果が低度になりやすくなる。他方では、モデルを非常に広範な画像の種類の領域で学習させれば、このモデルは、ほとんどの画像に生じるごく一般的な冗長性を学習するに過ぎない。その結果、広範な学習を行ったモデルは大部分の領域についてある程度の利益をもたらすが、いずれの領域についても格別良好な結果はもたらさない。
【００１３】
（発明の概要）
従って、本発明の目的は、ハードウエア資源（リソース）を効率的に用いつつ、画像データ（例えばビデオ及び静止画像データ）及び音声データのようなデータの品位を向上させる方法及びシステムを提供することにある。
【００１４】
本発明の他の目的は、こうしたデータ品位の向上を、視覚的に不快なアーティファクトのような不所望な副作用を回避する方法で提供することにある。
【００１５】
本発明のさらに他の目的は、広く異なる種類の画像、音声、等に対して良好な性能を有するデータ品位向上を提供することにある。
【００１６】
これら及び他の目的は、品位を向上させるデータ集合の一部分で学習させた品位向上関数によって達成される。例えば、システムがシーン全体（全景）から低品位の画像データを捕捉して、このシーンの狭い視野から高品位の画像データを捕捉することができる。シーンの一部分を表現する高品位の画像データ、及びこのシーンの同一部分を表現する低品位の画像データの対応部分を、画像データのこれらの集合にもとづいて品位向上関数を学習させる学習アルゴリズムによって処理する。換言すれば、前記品位向上関数が１つ以上のパラメータを有して、前記品位向上関数が、前記低品位画像データの前記部分から、前記高品位画像に非常に近いデータ集合を導出することができるように、前記学習アルゴリズムは、これらのパラメータのうちどの値が最適であるかを決定する。前記品位向上関数は、シーン全体の前記低品位画像によって表現されるのと同じシーンから取り出した高品位及び低品位のデータ、即ち品位を向上させるデータそのもので学習させるので、前記品位向上関数は最も関係するデータ集合向きに最適化される。学習後には、前記品位向上関数を用いて、残りの低品位データを品位向上させる。このシステムはこのようにして、従来のシステムに関連する欠点（例えば新たな領域についての貧弱な性能）をなくして、学習で品位向上させる撮像の利益を提供する。
【００１７】
上述した手順は画像データに限らず、オーディオ（即ち音声）データにも適用することができる。サンプリングしたオーディオ信号を品位向上させるために、信号を表現する低品位のデータ集合を、同じ信号の一部分を表現する高品位のデータ集合と共に捕捉する。信号の一部分を表現する前記高品位のデータ集合、及び前記低品位のデータ集合のこれに対応する部分を学習アルゴリズムによって処理し、この学習アルゴリズムは、前記品位向上関数の１つ以上のパラメータの最適な学習値を定める。前記品位向上関数が、前記低品位のデータ集合から、前記高品位のデータ集合に非常に近いデータ集合を導出する動作を行うように、前記学習パラメータを選択する。一旦学習を実行すると、前記品位向上関数を用いて、残りの前記低品位データを品位向上させる。
【００１８】
本発明の追加的な態様によれば、品位が変化する画像列を用いて、品位向上関数を学習させ、そしてこの品位向上関数を用いて、前記画像列中の低品位画像を品位向上させることができる。シーンの高解像度画像、及び同じシーンの低解像度画像を学習アルゴリズムによって処理して、品位向上関数の１つ以上のパラメータの学習値を定める。これらのパラメータ値によって、前記品位向上関数が、前記低品位画像から、前記高品位画像に非常に近い画像を導出する動作を行うように、前記パラメータの学習値を定める。一旦、前記品位向上関数のパラメータを学習させると、前記品位向上関数を用いて、同じシーンの追加的な低品位画像を処理して高品位画像を導出する。
【００１９】
本発明のさらなる目的、特徴、及び利点は、以下の図面を参照した詳細な説明より明らかになり、これらの図面は本発明の実施例を示す。
これらの図面を通して、特に断わりのない限り、同一参照番号及び符号は、実施例における同じ形状、素子、構成要素、または部分を表わす。
【００２０】
（実施例の詳細な説明）
本発明によれば、同じシーンまたは信号の低品位及び高品位のサンプリング（標本化）を行って、低い品位を有するデータ、並びにこれに対応する高い品位を有するデータを生成することによって、データ品位を向上させることができる。これらの低品位データ及びこれに対応する高品位データは共に、シーンまたは信号の同一部分を表現し、これらのデータを用いてデータ品位向上関数を学習させて、次にこのデータ品位向上関数を用いて、シーンまたは信号の残りの部分を表わす追加的な低品位データの品位を向上させることができる。本明細書で用いる「品位」とは、例えば、データの空間解像度を称することができるが、空間解像度に限定する必要はない。「品位」は、実際には、データがシーン、視野、オーディオ信号、等を表現する精度及び／または正確性に関するあらゆる特性とすることができる。例えば、品位は、輝度分解能（例えば画素当たりのビット数）、スベクトル分解能（例えば、光または他の放射を異なるスペクトル成分に分解する際のスペクトル成分の数）、偏光分解能（例えば、光または他の放射を偏光成分に分解できる精度）、時間分解能（例えば、１秒当たりのビデオフレーム数または１秒当たりのオーディオサンプル（標本）数）、信号レベル分解能（例えば、オーディオ・データストリームにおけるサンプル当たりのビット数）、及び／または信号対雑音比である。品位とは、例えば、画像の次の属性を称することもできる：
画像中に出現する端部（エッジ）が、シーン中の対象物（オブジェクト）の端部の実際位置を表現する精度、
画像が、入射する視野内に存在する実際の色を表現する精度、及び／または、
入射する視野の明るさのコントラストまたは色のコントラストを画像中に表現する精度。
【００２１】
図２及び図４に、本発明により画像データの品位を向上させる好適な手順を示す。図に示す手順では、シーンを撮像して、低い品位を有するこのシーンの画像を生成する（ステップ２０２）。シーンの一部分は、高品位の画像データ−即ち、ステップ２０２で生成したデータよりも高い品位を有するデータを生成すべく撮像する（ステップ２０４）。図１に、こうして生成した画像データの集合の好例を示す。図に示すデータ集合は、シーンの広い視野の、低い空間解像度の384×384画素の画像ＩS、及びこのシーンの狭い視野の、高い空間解像度の256×256画素の画像ＩQを含む。ＩSの中央の128×128画素の部分集合（図中の白い四角形で囲んだ部分）を
で表わし、この部分は、高い空間解像度の画像ＩQを低い解像度にしたものに相当する。「空間解像度」とは、例えば、遠近法の投影による単位深さにおける平面上の単位面積当たりの画素数を称することができる。従って、画像ＩQは画像ＩSよりも総画素数が少なく、画像ＩQはＩSよりも高い解像度を有する。選択肢として、低解像度のデータ集合
は、低解像度の全体画像ＩSの一部分を選択することによって、あるいは、高解像度画像ＩQを低解像度画像ＩSの解像度に劣化させることによって得ることができる。例えば、平均化のためのガウスぼかしカーネル（Gaussian blur kernel）を高解像度データに適用し、これに続いて、低解像度画像を模擬するためのサブサンプリング（副標本化）を行うことができる。代表的なガウスぼかしカーネルは、要素の値が正規化した二次元ガウス関数Ｇ＝Ｋexp((-x2-y2)/σ2)にもとづく（例えば9×9）正方行列である。画像は、画素毎に新たな値を計算することによってぼかされ、これらの新たな値は、当該画素を囲む正方形状の近傍（例えば9×9の正方形状の近傍）の全画素の加重平均である。加重平均を計算するために、前記近傍内の各画素の値に、ぼかしカーネルの対応する要素の値を乗じて、結果的な積を加算する。結果的な積の総和が、中心画素の新たな値となる。画像の各画素を上述した手順によって個別に処理して、新たなぼかし画像を生成する。
【００２２】
高品位データＩQ、及びこれに対応する低品位画像ＩSの部分集合
を学習アルゴリズム４０２によって処理して（ステップ２０６）、品位向上関数４０６の１つ以上のパラメータの学習値４０４を決定して、この決定は、学習パラメータ４０４を品位向上関数４０６に用いる場合に、関数４０６が、低品位データＩSの部分集合
から高品位データＩQに非常に近いデータを導出する動作をするように行う。一旦、品位向上関数の適切なパラメータを学習させると、結果的な最適化された関数を用いて、低品位のデータ集合ＩSの残り部分ＩRを処理して、シーンの残り部分を表現するデータ集合ＩR’を導出することができる（ステップ２０８）。高品位のデータ集合ＩQとＩR’とを組み合わせて（ステップ４０８）、シーン全体の高品位画像ＩHを導出することができる。
【００２３】
選択肢として、低品位データの部分集合
及び高品位のデータ集合ＩQを、１つ以上の「学習対」−即ち画像データの集合内の種々の異なる領域から取り出した小部分を選択することによって処理することができる。図７に、図１に示す低品位画像及び高品位画像
及びＩQのデータ集合から導出することのできる多数の学習対を示す。図７に示す、低解像度の、5×5画素の画像パッチ（片）ＰS1、ＰS2、ＰS3、及びＰS4は
から取り出したものであり、これらに対応する高解像度の、10×10画素の画像片ＰQ1、ＰQ2、ＰQ3、及びＰQ4はＩQから取り出したものである。結果的なパッチの対−即ち（ＰS1,ＰQ1）、（ＰS2,ＰQ2）、（ＰS3,ＰQ3）、及び（ＰS4,ＰQ4）は、学習アルゴリズム４０２用の学習データを提供する。
【００２４】
品位向上関数４０６は、（学習アルゴリズム４０２において）一組の学習対(ＰS1,ＰQ1),...,(ＰSK,ＰQK)への多項式の回帰を適用することによって学習させて、ここにＫは学習対の数を表わす。まず、学習アルゴリズム４０２は、25画素の低解像度パッチＰSnの値を並べて、25要素の行ベクトルＷSnを形成する。これら25画素の値は都合の良い順に並べることができるが、すべてのパッチについて同じ順序を用いる。次に、各パッチのベクトルを並べて、次の行列にする：
【数１】
ここに、Ｔはベクトルまたは行列の転置を表わす。
ＷS1は１番目の、低解像度の、5×5画素のパッチＰS1を表わすベクトルであり、そして、ｚi(ＷS1)（ｉ＝1,...,25）は、このパッチＰS1のｉ番目の値を表わすものとする。学習アルゴリズム４０２の効率を改善するために、アルゴリズム４０２は２次の多項式のみを考えることが好ましい。従って、ｔをすべての２次及びより低次の単項式のリストあるいはベクトルとし、即ちｔは、(a)値１、(b)各画素の値、及び(c)パッチＰS1の種々の画素を互いに掛け合わせるかあるいは二乗することによって形成することのできるすべての２次の単項式を含み、次式のようになる：
【数２】
【００２５】
低解像度のパッチ毎に、これらの単項式の行ベクトルを形成する。例えば、パッチＰS1に対応する行ベクトルは、ｔ(ＷS1)：＝(ｔ1(ＷS1),...ｔp(ＷS1))となる。図８に示すように、パッチＰS1が25画素を有すれば、これに対応する行ベクトルｔ(ＷS1)は651個の要素を有する。各パッチについての行ベクトルを並べて、次式の行列にする：
【数３】
【００２６】
図に示す例では、空間解像度の４：１の向上を実行している。従って、与えられた低解像度パッチ内の各低解像度画素が、この低解像度パッチに対応する高解像度パッチ内の４つの高解像度画素に対応する。例えば、図８に示すように、5×5のパッチＰS1内の画素８０２が、このパッチＰS1に対応する高解像度パッチＰQ1内のそれぞれ位置ａ、ｂ、ｃ、及びｄにある４つの画素８０４、８０６、８０８、及び８１０に対応し、各位置ａ、ｂ、ｃ、及びｄは、低解像度パッチＰS1の中央にある画素８０２の位置との関係で規定される。高解像度画素８０４、８０６、８０８、及び８１０は、数学的にはそれぞれ(ＷQ1)a、(ＷQ1)b、(ＷQ1)c、及び(ＷQ1)dのように表わすことができる。図に示す例では、高解像度パッチＰQ1の中央にある４つの画素８０４、８０６、８０８、及び８１０のみを学習用に用いて、高解像度パッチＰQ1の残りの画素は用いる必要がない。最終的には、品位向上関数の集合の学習させる各関数を用いて、低解像度パッチ全体に対して前記４つの高解像度画素のうちの１つを取り出す動作を行い、パッチ全体はパッチの中央にある画素の近傍として見ることができ、取り出した１つの画素を、前記近傍の中央にある低解像度画素と置き換える。例えば、5×5の低解像度の近傍／パッチにもとづく４：１の空間解像度の向上の場合には、４つの別個の解像度向上関数ｆa、ｆb、ｆc、及びｆdが、低解像パッチの全体に対して、４つの画素位置ａ、ｂ、ｃ、及びｄにある、対応する４つの高解像度画素のうちの１つを取り出す動作を行う。学習アルゴリズム４０２は、品位向上関数ｆa、ｆb、ｆc、及びｆdが最適化されていれば−即ち、これらの関数の係数が適切に選定されていれば、低解像度パッチ（例えば図８に示すＰS1）内の全画素の値から所定の高解像度画素（例えば画素８０４）を取り出すことができるべきである、という原理で動作する。与えられた画素位置ｍ（ｍ＝ａ、ｂ、ｃ、またはｄ）に対する係数が行ベクトルＣm＝(ｃm1,...,ｃmk)Tを形成し、ここで、ベクトルＣm中の係数の値は、どの高解像度画素を取り出すか、即ち、取り出す画素が位置ａ、ｂ、ｃ、またはｄのいずれにあるかに依存する。換言すれば、４つの高品位画素の位置ａ、ｂ、ｃ、またはｄは異なる係数の組を有し：即ち、関数ｆa、ｆb、ｆc、及
びｆdに対しそれぞれＣa、Ｃb、Ｃc、及びＣdを有する。各々が低解像度パッチ及び対応する４つの高解像度画素を有する複数の学習対を用いることが好ましく、これら４つの高解像度画素はそれぞれ位置ａ、ｂ、ｃ、及びｄにある。すべての学習対から取り出した、与えられた画素位置ｍに関連する値を用いて、この画素位置ｍに存在するそれぞれの高品位画素の値を並べて、次式の行列にすることができる：
【数４】
ここに、ｍ＝ａ、ｂ、ｃ、及びｄである。
Ｃmの係数が適正に定められているものとすれば、これら４つの画素位置のいずれか１つ−即ち、与えられた任意のｍについて、Ｃmは次の行列方程式が解けるものであるべきである：
【数５】
(4)式の形の行列方程式におけるベクトルＣmに対する解を見つけるための周知の線形代数技法がいくつか存在する。例えば、ｔ(ＷS)Tｔ(ＷS)が可逆であれば、学習アルゴリズム４０２は、Ｃmを次式のように計算することができる：
【数６】
(5)式は、(4)式におけるＣmに対する最小二乗解を提供し−即ち、Ｃmに対する、(4)式の左辺と右辺の二乗差の総和を最小にするベクトル要素値の集合を提供する。
【００２７】
本実施例では、学習段階の出力結果は、４つの係数ベクトルＣa、Ｃb、Ｃc、及びＣdである。従って、これらのベクトルＣa、Ｃb、Ｃc、及びＣdは、４つの多項式品位向上関数それぞれｆa、ｆb、ｆc、及びｆdの係数を含み、これらの関数は、任意に与えられた5×5の低解像度パッチＬ上で、このパッチＬの近傍の中央にある、対応する４つの高解像度画素Ｈmを取り出す動作を行うことができ、ここに、
【数７】
ｍ＝ａ、ｂ、ｃ、及びｄである。図１に示す画像部分集合ＩRのような低解像度画像データ集合または部分集合を品位向上させるために、品位向上アルゴリズム（図２のステップ２０８）は一般に、データ集合ＩRの最初の5×5パッチＬ（例えば、図１に示す、左上隅のパッチＬ）を処理して、高解像度画像データ集合ＩR’の、パッチＬに対応する近傍の中心にある４つの高解像度画素Ｈa、Ｈb、Ｈc、及びＨdを生成することによって始まる。次にこのアルゴリズムは、低解像度画素１つ分だけ（例えば右に）移動することによって次のパッチを処理して、４つの高解像度画素の隣接組を生成する。換言すれば、続けて処理する低解像度パッチどうしの間に、例えば4×5画素の重複領域が存在し、これにより、生成される高解像度画像データ集合ＩR’がシーン領域を完全にカバーすることを保証することが好ましい。この重複は、垂直方向及び水平方向共に存在すべきである。
【００２８】
なお、以上の説明は異なる空間解像度を有するデータ集合に重きをおいてきたが、図２及び図４に示す手順は、異なる輝度分解能（例えば、異なる数のグレーレベル（輝度階調）及び／または画素当たりのビット数）を有するデータ集合を処理するために用いることもできる。再び図１、図２、及び図４を参照して説明する。低品位画像ＩSが低い輝度分解能を有する画像であり、高品位画像ＩQが高い輝度分解能を有する画像であれば、共にシーンの同一部分を表現する、高品位画像ＩQ及び低品位画像ＩSの最初の部分集合
を学習アルゴリズム４０２によって処理して（ステップ２０６）、品位向上関数４０６のパラメータ４０４を定める。品位向上関数４０６はこのように最適化され、従って、低い輝度分解能の画像ＩSの残りの部分集合ＩRの分解能を向上させて、シーンの残り部分の高い輝度分解能の画像ＩR’を導出するために用いることができる。次に、高品位画像ＩQとＩR’とを組み合わせて（ステップ４０８）、シーン全体の改善された画像ＩHを提供することができ、この画像は、最初に捕捉したシーンの低品位画像ＩSよりも高い輝度分解能を有する。
【００２９】
図９Ａに、本発明による品位向上用の高品位及び低品位のデータを収集する好適なシステムを示す。図に示す撮像システムは、比較的広い視野９０８を有するが比較的低品位の（例えば空間解像度または輝度分解能が低い）第１撮像装置９０２と、より狭い視野９１０を有するが高品位の（例えば空間解像度または輝度分解能が高い）第２撮像装置９０４と、ビームスプリッタ９０６とを具えている。ビームスプリッタ９０６は、入射光を、低品位撮像装置９０２及び高品位撮像装置９０４の両方に指向させて、これらの撮像装置９０２及び９０４を用いて、図１に示す低品位画像ＩS及び高品位画像ＩQを生成することができる。選択肢として、このシステムは、図１、図２、及び図４を参照して上述したデータ品位向上を実行する処理装置９３０を具えることもでき、処理装置９３０は例えば、コンピュータまたは特定目的の処理論理回路で構成することができる。その代わりに、あるいはこれに加えて、処理装置９３０は撮像装置９０２及び９０４の一方または両方に内蔵させることができる。
【００３０】
図９Ｂに、学習アルゴリズム及び上述した品位向上手順に用いる画像データを生成する好適なシステムを、追加的に示す。図に示すシステムは、カメラ９１２及び曲面鏡９２０を具えて、これらはシーンの広角像を提供する。鏡９２０は、例えば放物面鏡とすることができ、低解像度（低品位）の視野９１４、高解像度（高品位）の視野９１８、及び中位の解像度（品位）の視野９１６を提供する。高解像度の視野９１８及び／または中位の解像度の視野９１６から収集したデータを劣化させて、元々捕捉した高解像度及び中位の解像度のデータと組み合わせて用いる低解像度の学習データを提供することができる。選択肢として、図９Ａを参照して上述した処理装置９３０をカメラ９１２内に内蔵させることができる。
【００３１】
図９Ｃに、多解像度の撮像システムの追加的な例を示す。この撮像システムは、低解像度部分９２８及び高解像度部分９２６のあるＣＣＤアレイ９２４を有するカメラ９２２を具えている。高解像度部分９２６は高解像度の視野９１０内のデータを捕捉し、低解像度部分９２８は低解像度の視野９０８からのデータを捕捉する。撮像装置９２２は、高解像度部分９２６から、その視野９１０の低解像度データを直接取得しないが、この高解像度部分９１０から収集した前記視野の高解像度データを上述したように劣化させて、ＣＣＤアレイ９２４の高解像度部分９２６によって収集した高解像度データと組み合わせて用いる低品位の学習データを導出することができる。
【００３２】
なお、以上の例は、多項式回帰にもとづく学習アルゴリズムに重きをおいてきたが、同じシーンからの低解像度データ及び高解像度データ上での学習の技法はこうした学習アルゴリズムに限定されない。実際には、回帰を用いてデータ品位向上関数のパラメータを調整するあらゆる学習アルゴリズムを用いることができる。適切なアルゴリズムの追加的な例は、当業者には良く知られた次の周知の学習アルゴリズムを含む：ベイズ決定法、最大尤度法、線形判別法、ニューラルネットワーク、遺伝的プログラミング、及び支持ベクトルマシンのようなカーネル法。
【００３３】
本発明による品位向上手順は、音声／オーディオデータを品位向上させるために用いることもでき、これを図３、５、及び６に示す。図に示す手順では、音声信号を検出して、低品位の音声データ集合ＡSを生成する（ステップ５０２）。低品位データ集合ＡSは、第１及び第２の音声部分
及びＡRを含み、これらは例えば時刻ｔ1から時刻ｔ2までに収集したデータ、及び時刻ｔ2から時刻ｔ3までに収集したデータである。高品位音声データの集合ＡQは、音声信号の、第１の低品位データの部分集合
を生成するために用いたのと同じ部分をサンプリングすることによって生成する（ステップ５０４）。例えば音声信号を、前記低品位のデータ集合ＡS（部分集合
及びＡRを含む）を導出するための22kHz、及び高品位音声データ集合ＡQを生成するための44kHzでサンプリングすることができる。その代わりに、あるいはこれに加えて、低品位データ集合ＡSの第１部分集合
を、高品位データＡQを劣化させることによって−例えば２サンプル毎に１サンプルを消去することによって導出することができる。音声データの品位は、信号レベルの分解能−例えば１サンプル当たりのビット数によって規定することもできる。例えば、低品位データが１サンプル当たり8ビットを有して、高品位データが１サンプル当たり16ビットを有することができる。
【００３４】
いずれの場合にも、高分解能（高品位）音声データＡQ、及び低分解能（低品位）音声データの第１部分集合
を、学習アルゴリズム６０２用の学習対として用いて、品位向上関数６０６の最適化したパラメータ６０４を導出することができる（ステップ５０６）。例えば、品位向上関数６０６が多項式関数であれば、多項式の係数ベクトルＣa、Ｃb、Ｃc等は学習アルゴリズム６０２によって導出される。いずれの場合にも、品位向上関数６０６の学習させたパラメータ６０４を一旦定めると、この品位向上関数を学習させたパラメータと共に用いて低品位音声データの第２部分集合ＡRを処理して、音声信号の残り部分を表現する高品位音声データＡR’が導出される（ステップ５０８）。こうして導出した高品位音声データＡR’を、高品位にサンプリングした音声データＡQと組み合わせて（ステップ６０８）、音声信号全体を表現する高品位音声データＡHの完全な集合を導出することができる。
【００３５】
本発明の追加的な態様によれば、品位向上関数を、異なる品位−例えば異なる空間解像度を有する一組のビデオフレーム上で学習させることができ、このことを図１１及び図１４に示す。図に示す手順では、シーンを撮像して、第１の高品位画像１１０２（例えば高品位ビデオフレーム）を生成する（ステップ１４０２）。シーンを再び撮像して、第１の低品位画像／ビデオフレーム１１０４を生成する（ステップ１４０４）。高品位画像１１０２及び低品位画像１１０４を上述したような学習アルゴリズムにおける学習対として用いて、品位向上関数のパラメータを定める（ステップ１４０６）。１つ以上の低解像度フレーム（例えば低品位画像１１０６）が生成されると（ステップ１４０８）、品位向上関数を学習させたパラメータと共に用いて、追加的な低品位画像を処理して、追加的な高品位画像を導出することができる（ステップ１４１０）。しかし、図１４は上述した手順を、追加的な低品位データを捕捉する前に学習アルゴリズムを適用するように示しているが、この学習アルゴリズムは、すべての、あるいは大部分の画像データを捕捉した後でも同じように容易に適用することができる。
【００３６】
図１０Ａ及び図１０Ｃに、図１４に示す手順に用いる画像データを生成するための好適なシステムを示す。図１０Ａに示すシステムは、高解像度ビデオカメラ１００２、低解像度ビデオカメラ１００４、及び入射光を２つのカメラ１００２及び１００４に分配するためのビームスプリッタ１００６を具えている。同じ入射ビームをカメラ１００２及び１００４の両方で撮像するので、システムは単一の視点１０１４を持っているものと考えることができる。選択肢として、高解像度カメラ１００２を低いフレームレートにして、低解像度カメラ１００４を高いフレームレートにすることができる。例えば、高解像度カメラ１００２が1000×1000画素の空間解像度を有するビデオデータを１秒当たり3フレームのフレームレートで生成して、低解像度カメラ１００４が500×500画素の空間解像度を有するビデオデータを１秒当たり30フレームのフレームレートで生成することができる。
【００３７】
図１０Ａに示すシステムと同様に、図１０Ｃに示すシステムは、高解像度ビデオカメラ１００２及び低解像度ビデオカメラ１００４を具えている。しかし、図１０Ｃに示すシステムはビームスプリッタ１００６を具えていない。むしろ、図１０Ｃに示す２つのカメラ１００２及び１００４はそれぞれ、異なる視点１０１２及び１０１４を有する。カメラ１００２及び１００４の視点１０１２と１０１４とは近接していることが好ましく−特に、視点１０１２と１０１４とが撮像するシーンの深度（被写体深度）に比べて十分近接して、視差調整を少ししか、あるいは全く必要としないことが好ましい。図１４に示す手順を用いて、カメラ１００２及び１００４によって生成した高解像度及び低解像度の画像（図１４に示すステップ１４０２及び１４０４で生成した画像）を処理して、その上で、上述した品位向上関数を学習させて（ステップ１４０６）、低解像度カメラ１００４によって生成されたさらなる低解像度画像を、前記品位向上関数によって品位向上させて、高解像度画像を導出する（ステップ１４１０）。品位向上させた画像の視点は通常、低解像度画像を生成するために用いた低解像度カメラ１００４の視点に等しいかあるいは近接し、前記品位向上させた画像はこの低解像度画像から導出している。
【００３８】
図１０Ｂに、図１４に示す手順に用いる画像データを生成するのに適したＣＣＤアレイ１００８を示す。図に示すＣＣＤアレイ１００８を用いて、個々の素子を（例えば４画素のグループに）一群にまとめて「超画素」１０１０を形成することによって、解像度を変化させてデータを生成することができる。各超画素内の４つの画素は、例えばこれら４画素の値を平均することによって一群にすることができる。こうした画素の一群化（クラスタリング）は有利である、というのは、装置の空間解像度は低下するが、一群化はＣＣＤアレイ１００８がより高いフレームレートでサンプリングを行うことを可能にする。画素はフレーム毎に一群化する必要はない。連続するフレームの解像度は−例えば、連続する９個の低解像度画像を高いフレームレートで捕捉し、これに続いて１つの高解像度画像を捕捉することによって、変化させることができる。図１１及び図１４を参照して上述したように、高解像度画像及び１つ以上の低解像度画像を用いて品位向上関数を学習させることによって、低解像度画像を品位向上させて高解像度画像を導出することができる。その結果、前記システムは高解像度のビデオを高いフレームレートで生成することができる。
【００３９】
本発明によれば、画像データのスペクトル分解能も向上させることができる。図１２に、高いスペクトル分解能の部分と低いスペクトル分解能の部分とを有する画像データを生成するシステムを示す。このシステムは、ビデオカメラ１２０２、ビームスプリッタ１２０４、スリット１２０６、第１レンズ１２０８、プリズム１２１０、第２レンズ１２１２、及びＣＣＤアレイ１２１４を具えている。ビームスプリッタ１２０４は、入射光の一部を通過させてビデオカメラ１２０２に向けて、残りの光をスリット１２０６に向けて指向させて、スリット１２０６から狭いビーム１２１６が第１レンズ１２０８を通ってプリズム１２１０に入る。プリズム１２１０は、このビームの種々のスペクトル成分を異なる方向に指向させる。これらの成分は第２レンズ１２１２を通過して、ＣＣＤアレイ１２１４によって受光され検出される。ＣＣＤアレイ１２１４の結果的な出力は、スリット１２０６を通過する光の狭いビーム１２１６に存在する波長の高いスペクトル分解能の測定値である。ビデオカメラ１２０２がカラービデオカメラであっても、こうしたカメラは一般に、粗い赤色、緑色、及び青色（ＲＧＢ）の情報を提供するに過ぎない。これとは対照的に、ＣＣＤアレイ１２１４によって受光した光はスリット１２０６及びプリズム１２１０を通っているので、この光に存在する種々の波長は、ＣＣＤアレイ１２１４全体にわたって水平方向に拡散されている。結果的なスペクトル情報は、ＣＣＤアレイ１２１４の水平次元の画素数と同数のスペクトル成分の測定値を含む。図１３に、図１２に示すシステムによって生み出されるビデオカメラを示す。ビデオカメラの各フレーム内には、カメラ１２０２によって生成された低品位（この場合は低いスペクトル分解能）画像ＩSが存在し、低品位画像ＩSは第１データ部分集合
及び第２データ部分集合ＩRを含む。各フレーム内には、ＣＣＤアレイ１２１４によって生成された高品位（この場合は高いスペクトル分解能）データ集合ＩQも含まれ、高品位データ集合ＩQは、低品位データ集合ＩSの第１部分集合
と同じ部分のシーンを表現する。図１に示す画像データＩS及びＩQと同様に、図１３に示す画像データを、図２及び図４に示す学習及び品位向上手順に従って、例えば図１２に示す処理装置９３０によって処理して、シーン全体を表現する画像を導出することができるが、低品位画像ＩSに存在するスペクトル情報量よりもずっと多くのスペクトル情報量を有する。選択肢として、１３０２のビデオシーケンス（画像列）は、シーケンス１３０２の各フレームが低スペクトル分解能データＩS及び高スペクトル分解能データＩQを含み、このシーケンスを捕捉して品位向上させて、シーン全体を高いスペクトル分解能で表現するビデオシーケンスを導出することができる。
【００４０】
図１〜１４に示す方法及びシステムは、図１〜８、１１、１３、及び１４によって規定される適切なソフトウエアの制御下で動作する種々の標準的な処理装置によって実現できることは、当業者にとって明らかである。図１５に、本発明の方法を実行するのに適した好適な処理ハードウエア９３０を機能ブロック図で示す。こうした処理装置９３０は随意的に、図９Ｂ及び図９Ｃに示すように、画像データを生成するために使用する上述した撮像装置の１つ以上に内蔵させるか、あるいは、図９Ａ及び図１２に示すように独立した装置とすることができる。図に示す装置９３０は一般に、処理ユニット１５１０、制御論理回路１５２０、及びメモリユニット１５５０を具えている。この処理装置は、タイマ１５３０及び入力／出力ポート１５４０も具えていることが好ましい。この装置は、処理ユニット１５１０に使用するマイクロプロセッサに応じて、コプロセッサ１５６０も具えることができる。制御論理回路１５２０は、処理ユニット１５１０と合同して、メモリユニット１５５０と入力／出力ポート１５４０との間の通信を取り扱うために必要な制御を行う。タイマ１５３０は、処理ユニット１５１０用及び制御論理回路１５２０用のタイミング基準信号を供給する。コプロセッサ１５６０は、暗号アルゴリズムが必要とする演算のような複雑な演算をリアルタイム（実時間）で実行する強化された能力を提供する。
【００４１】
メモリユニット１５５０は、揮発性メモリ及び不揮発性メモリ、及びリードオンリー（読出し専用）メモリ及びプログラマブル（プログラム可能な）メモリのような異なる種類のメモリを含むことができる。例えば、図１５に示すように、メモリユニット１５５０は、リードオンリーメモリ（ＲＯＭ）１５５２、電気的に消去可能なプログラマブル・リードオンリーメモリ（ＥＥＰＲＯＭ）１５５４、及びランダムアクセスメモリ（ＲＡＭ）１５５６を含むことができる。異なるプロセッサ、メモリ構成、データ構造、等を用いて本発明を実施することができ、本発明は特定のプラットフォームに限定されない。
【００４２】
図１〜８、１１、１３、及び１４によって規定されるソフトウエアは、当業者にとって明らかな広範なプログラム言語で記述することができる。例えば、本発明によるソフトウエア・アルゴリズムは、周知のプログラム言語であるＭＡＴＬＡＢ（登録商標）数学ツールというプログラミング言語で記述されている。ＭＡＴＬＡＢ（登録商標）言語で記述された好適なアルゴリズム用のソースコードを、本明細書に添付した付録Ａ、Ｂ、及びＣに示す。
【００４３】
なお、以上の画像品位向上の説明は、可視光スペクトルの範囲内で見たシーンの撮像装置に重きを置いてきたが、本明細書に開示する技法は、紫外線、赤外線、Ｘ線、レーダー、超音波、等を含むあらゆる形態の放射の撮像に適用可能であるが、これらに限定されない。
【００４４】
本発明は特定の好適な実施例に関連して説明してきたが、特許請求の範囲に記載したに本発明の範囲を逸脱することなしに、開示した実施例に対して種々の変更、置換、及び代替を行うことができることは明らかである。
【００４５】
（付録Ａ）
２次多項式のベクトルｔを計算するための好適なアルゴリズムのＭＡＴＬＡＢ（登録商標）ソースコード
%ここでは”t”関数を計算するが、
%z1*z2のような項は無視して、z1^2, z2^2のような項のみを考える。
%これにより、近似精度は低下するが、効率は改善される。
function fsVect=nbhdToFS(a, nbhd, degree)
%積の項なし
nV=nbhd(:);
nLen=prod(size(nV));
fsVect=zeros(nLen*degree, 1);
fsVect(1:nLen)=nV;
for deg=2:degree
fsVect((((deg-1)*nLen)+1):(deg*nLen)) = ...
nbhd().*...
fsVect((((deg-2)*nLen)+1):((deg-1)*nLen));
end
【００４６】
（付録Ｂ）
好適な学習アルゴリズムのＭＡＴＬＡＢ（登録商標）ソースコード
%以下は、品位向上用の係数を学習させるためのＭＡＴＬＡＢソースコードである。
%polyLearnedModel構成器
function a=polyLearnedModel(fctr, nbhdSize, degree, lrSeq, hrSeq)
a.null=”;
if 0==nargin
%Create a dummy model
a.fctr=0;
a.nbhdSize=[1, 1];
a.degree=-1;
a.params=[];
b=enhancementModel(‘polyLearnedModel’, [1, 1]’);
a=class(a, ‘polyLearnedModel’, b);
elseif 1==nargin
if isa(fctr, ‘polyLearnedModel’);
a=fctr;
else
errstr=[num2str(fctr), ...
‘Not polyLearnedModel object’];
error(errstr);
end
elseif 5==nargin
a.fctr=fctr;
a.nbhdSize=nbhdSize;
a.degree=degree;
a.params=[];
dummy=polyLearnedModel;
params=interpKernel(fctr, nbhdSize, degree, lrSeq, hrSeq, dummy);
b=engancementModel(‘polyLearnedModel’, params);
a.params=params;
a=class(a, ‘polyLearnedModel’, b);
else
error(‘Argument wrong type’)
end
return
function kernVals=...
interpKernel(fctr, nSize, degree, lrSeq, hrseq, modl)
%正規化及びＤＣ成分の減算を可能にするため変数
%DCSUB=0;
epsilon=2^(-26);
%epsilon=0
lrSeqSize=size(lrSeq);
hrSeqSize=size(hrSeq);
if prod((fctr*lrSeqSize)==hrSeqSize)&(2==length(lrSeqSize))
;%Ok
elseif prod((fctr*lrSeqSize(1:2))==hrSeqSize(1:2))&...
(length(lrSeqSize)<=3)
;%Ok
else
error(‘Images sequences improper sizes with respect to fctr’)
end
% ’In polyLearnedModel構成器 fvSize’
fvSize=size(nbhdToFS(modl, zeros(nSize), degree));
featVectLen=prod(fvSize);
fvMat=zeros([featVectLen, featVectLen]);
outMat=zeros([featVectLen, fctr^2]);
inRows=1:(lrSeqSize(1)-(nSize(1)+1));
inCols=1:(lrSeqSize(2)-(nSize(2)+1));
nRad=floor((1/2)*nSize);
hrOffset=(fctr*(nRad-(~mod(nSize, 2))))+...
(~mod(nSize, 2)).*[fctr/2, fctr/2]+1;
if (legth(lrSeqSize)<3)
numIms=1;
elseif (3==length(IrSeqSize))
numIms=lrSeqSize(3);
else
error(‘Images sequences improper sizes’)
end
for imInd=1:numIms
if (length(lrSeqSize)<3)
lrIm=lrSeq;
hrIm=hrSeq;
elseif (3==length(lrSeqSize))
lrIm=lrSeq(:, :, imInd);
hrIm=hrSeq(:, :, imInd);
end
for inR=inRows
for inC=inCols
inN=getNbhd(inR, inC, lrIm, nSize);
featVect=nbhdToFS(modl, inN, degree);
fvMat=fvMat+featVect*featVect’;
out=fctr*[(inR-1), (inC-1)]+hrOffset;
outN=getNbhd(out(1), out(2), hrIm, [fctr, fctr]);
outMat=outMat+featVect*outN(:)’;
end
end
end
‘cond’
cond(fvMat)
‘rank’
rank(fvMat)
‘size’
size(fvMat)
if (abs(max(fvMat(:)))>epsilon)|...
(abs(min(fvMat(:)))>epsilon)
%SVDを用いて解く
[U, S, V]=svd(fvMat);
%実際に０に近い固有値は消去しなければならない。
Nz=(abs(S)>epsilon);
InvS=(ones(size(nz))./((~nz)+S)).*nz;
KernVals=V*invS*U’*outMat;
Else
%非常に特異なfvMat
kernVals=zeros(featVectLen, fctr^2);
end
return
% [“, num2str()]
function inNbhd=getNbhd(iR, iC, im, imNbhdSize)
indsR=(iR-1)+(1:inNbhdSize(1));
indsC=(iC-1)+(1:inNbhdSize(2));
inNbhd=im(indsR, indsC);
return
【００４７】
（付録Ｃ）
学習係数を用いて画像解像度を向上させる好適なアルゴリズムのＭＡＴＬＡＢ（登録商標）ソースコード
function newIm=improveImage(modl, im)
nSize=modl.nbhdSize;
imDize=size(im);
fctr=modl.fctr;
if (nSize(1)>imSize(1))|(nSize(2)>imSize(2))
error(‘Neighborhood larger than image,')
end
nbhdRad=floor((1/2)*nSize);
eImSize=fctr*(imSize-nSize+ones(nSize)));
newIm=zeros(eImSize);
nbhdsRow=1:(imSize(1)-nSize(1)+1);
nbhdsCol=1:(imSize(2)-nSize(2)+1);
nbhdRInds=0:(nSize(1)-1);
nbhdCInds=0:(nSize(2)-1);
for nR=nbhdsRow
for nC=nbhdsCol
nbhd=im(nR+nbhdRInds, nC+nbhdCInds);
newValues=nbhdFunc(nbhd, modl);
newBlock=reshape(newValues, [fctr, fctr]);
newIm(fctr*(nR-1)+(1:fctr), ...
fctr*(nC-1)+(1:fctr))=newBlock;
end
end
return;
function newVals=nbhdFunc(nbhd, modl)
%DCSUB=0;
nSize=size(nbhd);
degree=get(modl, ‘degree’);
fsVect=nbhdToFS(modl, nbhd, degree);
newVals=((fsVect)’*(modl.params))’;
return
【図面の簡単な説明】
【００４８】
【図１】本発明により処理される画像データの好例を示す図である。
【図２】本発明により画像データの品位を向上させる好適な手順を示すフロー図である。
【図３】本発明により処理される音声データの好例を示す図である。
【図４】本発明により画像データの品位を向上させる好適な手順を示すブロック図である。
【図５】本発明により音声データの品位を向上させる好適な手順を示すフロー図である。
【図６】本発明により音声の品位を向上させる追加的な好適な手順を示すブロック図である。
【図７】本発明により処理される画像データの好例を示す図である。
【図８】本発明により処理される画像データの追加的な好例を示す図である。
【図９Ａ】本発明により画像データの品位を向上させるシステムを示す図である。
【図９Ｂ】本発明により画像データの品位を向上させる追加的なシステムを示す図である。
【図９Ｃ】本発明により画像データの品位を向上させる他のシステムを示す図である。
【図１０Ａ】本発明により画像データの品位を向上させるさらに他のシステムを示す図である。
【図１０Ｂ】本発明により画像データの品位を向上させるさらに他のシステムを示す図である。
【図１１】本発明により処理されるビデオシーケンスの好例を示す図である。
【図１２】本発明により画像データを生成するシステムを示す図である。
【図１３】本発明により処理されるビデオ及び静止画像データの好例を示す図である。
【図１４】本発明により画像データの品位を向上させる好適なシステムを示す図である。
【図１５】図１〜１４に示すシステム及び手順に用いる好適な処理装置を示すブロック図である。
【背景技術】
【０００１】
（関連出願のクロスリファレンス）
本願は、米国特許暫定出願番号60/367,324、発明の名称”Enhanced Imaging Using Self-Training Sensors”、2002年3月25日出願にもとづいて優先権を主張し、この特許出願全体を参考文献として本明細書に含める。
【０００２】
（連邦政府による資金提供を受けた研究開発の記載）
本発明は、部分的に、米国科学技術財団の研究助成番号IIS-00-85864の下に米国政府からの支援を受けたものである。従って、米国政府は本発明において一定の権利を有する。
【技術分野】
【０００３】
（発明の背景）
ビデオカメラあるいはスチル（静止画）カメラのような撮像装置（イメージャ）は、シーン（被写体の光景）から出る光を受光して検出することによってシーンを撮像する。シーン中の特定点から入射する光信号は、輝度、波長スペクトル、及び偏光のような特性を有する。これに加えて、撮像装置が受光する全視野は、撮像装置が光を受光する角度によって変化する。もちろん、特定の光線または光束を受光する角度は、シーンの光が出る点の位置に依存する。
【０００４】
多くの応用が、視野の精密かつ正確な測定を必要とする。例えば、イメージベース・レンダリング（Image Based Rendering：ＩＢＲ）では、シーンを撮像し、そして再レンダリングして、シーンの周りの航法（ナビゲーション）を模擬する。空間及び方向の両方についての全視野の測定は、シーンの幾何学的構造の抽出を可能にする。他の例として、各材料から反射した光、及び各照明源から出る光は、それ自身の特徴的なスペクトル曲線及び偏光特性を有する。高いスペクトル分解能によって、異なる種類の材料及び照明を識別すること、及び／または異なる模擬照明下でシーンを再レンダリングすることが可能になる。シーン中の点からの光の偏光を測定することは、シーン中の点に存在する材料の種類に関するさらなる情報を提供する。偏光情報も、屋外のシーンをレンダリング（表示画像作成）する際に気象条件の影響を補償するため、及び深度、即ち撮像装置からシーン中の点までの距離の測定を手助けするために用いられてきた。以上の例に見られるように、視野を精密かつ正確に測定するシステムには、種々の有益な応用がある。
【０００５】
しかし、従来の撮像装置は、輝度分解能、スペクトル分解能、波長、及び偏光−即ち、輝度、波長、及び偏光の差を見分ける能力が限られ、そして、空間解像度−即ち、シーン中の各点の位置の相違を見分ける能力も限られている。例えば、現在は、空間解像度の高い画像を捕捉することが可能なディジタル・スチルカメラが存在する。しかし、関係するデータ量が多いので、これらのカメラは高解像度のビデオを生成することができない。他方では、30フレーム／秒という上等な時間分解能でビデオを捕捉することができる廉価なカメラが存在する。しかし、こうしたビデオカメラは、低い空間解像度しか提供しない。高い時間分解能かつ高い空間解像度を有する撮像装置を設計することは、特に困難である。多次元の高解像度に関連する技術的問題に加えて、基本的な物理的問題がしばしば存在する。例えば、暗い光条件はより長い露光時間を必要とし、時間分解能がより粗くなり、従って、動体の撮像における「ぼけ」を生じさせる。
【０００６】
上述した問題に応える１つの方法は、視野の異なる態様を測定するために、「併置」する（即ち、同じ視点を有する）複数のセンサを使用する。例えば、熱撮像装置、距離計、及び可視光カメラを併置する。一部の場合は、複数センサの方法によって、露光と時間分解能との間のトレードオフのような、単一のセンサに存在する物理的限界の一部を克服することができる。しかし、こうした方法は、追加的な撮像リソースを必要とする。利用可能なリソースが限られている状況−例えば、固定数の画素、固定量のメモリ、及び露光と時間とのトレードオフが存在する状況では、これらのリソースをできる限り効率的に使用することが望ましい。
【０００７】
視野が、互いに無関係な任意数の輝度の集合であるとした場合には、より大規模で、より高速で、より高密度にまとめた複数のセンサを構成すること以外の解決法に、少しの可能性が存在する。しかし、視野には、膨大な構造及び冗長性が存在する。例えば、視点が少し移動すると、シーンの見え方は一般に、予測可能なように変化する。これに加えて、単色の材料を見渡したスペクトル応答は、比較的一様であることが多い。さらに、シーン中の物体の動きは、規則的で予測可能なことが多い。例えば、大部分の物体は堅く、そして多くの場合に、物体はほぼ一定速度で移動しがちである。これらの要因のすべてが、視野内に大きな冗長性を生じさせる。その結果、視野の領域内のあらゆる点で視野をサンプリング（標本化）して、視野を再構成、近似、あるいは予測することは、通常は必要でない。
【０００８】
上述した視野における冗長性を利用するために、この冗長性に関するいくつかの仮定をすることができる。例えば、（内挿）補間及びサンプリング理論は、信号の規則性についての仮定を用いて、限定数のサンプルからこの信号を復活させる。特によく知られている例として、ナイキスト理論は、サンプリングする信号の帯域が限られている−即ち、この信号が有限範囲内の周波数成分を有するものとすれば、最大限必要な信号サンプリング周波数は限られる、ということを述べている。画像に関しては、こうした有限周波数範囲の要求は、端部及び角のような不連続部分に許される鮮鋭度についての制限となる。ナイキスト理論に用いられる関数は三角関数であるが、画像の補間のために多項式も用いることができる。簡単な例は、双線形補間及び双三次元（bi-cubic）補間を含む。不都合なことに、簡単な補間技法から可能な改善は限られている。特に、こうした技法によって提供される解像度の増加は一般に、かなり小幅である。さらに、自然画像は、補間技法に固有の数学的仮定に従わないことが多いので、こうした方法は美観上不快なアーティファクト（歪像）を生じさせ得る。
【０００９】
画像を粗くサンプリングして結果的なデータを有効に補間することは、ローパス（低域通過）フィルタとして作用する。従って、画像の空間解像度を増加させることは、画像の「ぼけを減らす」問題として表現することができる。擬似逆（Pseudo Inverse）フィルタ及びウィーナ・フィルタのような鮮鋭化フィルタは、ガウス性のぼけを減らすために用いられてきた。以前に用いられた他の方法は、ベイズ分析、端部に沿った補間、適応フィルタ処理、ウェブレット分析、フラクタル補間、凸集合上への投影、変分法、及びレベルセットを含む。こうした方法は基本的な補間を改善するが、これらの方法は局所的な画像構造を用いるか、あるいは視野の挙動に先立って全体を仮定したものを適用する、即ち視野の規則性についての仮定を適用するに過ぎないので、これらの方法が冗長性を利用する能力は幾分限られる。
【００１０】
サンプリング及び補間に関するものは、「超解像」として知られている技法があり、この技法では、比較的粗いサンプリングを複数回実行して、サンプリングの有効分解能を改善する。上述した補間法のように、超解像は、視野の規則性についての仮定を行い、近年、理論的限界があることが示されている。
【００１１】
広範囲にわたる視野を捕捉するための、種々のマルチカメラ（多カメラ）システムが提案されている。こうしたシステムは一般に、補間画像のワーピング（ねじり）を用いて、欠損したデータを埋めている。例えば、ハイブリッド撮像では、異なる特性−例えば異なるフレームレートまたは空間解像度を有する複数のカメラを用いて画像を捕捉する。視野の大部分は、計算されたカメラの幾何形状にもとづいて、補間と画像ワーピングとの組合せを用いて埋められる。
【００１２】
追加的な方法は、テクスチャ合成及びシーンの統計量にもとづくものである。視野における冗長性の構造についての数学的仮定を行うのではなく、統計量またはパターン分析を用いて、冗長性をモデル化して利用する。１つの技法は、異なる尺度での画素の相関を用いる。他の方法は、毎日のシーンの、種々の異なるテクスチャ及び種々の異なる画像を用いて、モデルを「学習」させる。この学習の方法では、学習アルゴリズムが、画像における冗長性を抽出し利用して、画像を改善して画像の解像度を増加させることができるようにすべきである。人間の顔の高解像度画像を低解像度のデータから合成する周知の「hallucinating faces（幻覚顔）」法におけるように、画像の種類の領域が非常に限られていれば、こうした学習の方法が解像度を劇的に改善する。しかし、より広範な領域をモデル化する試みは一般に、機械学習の標準性の問題が生じる。例えば、モデルを非常に特別な領域で学習させれば、このモデルは特定の学習データに過剰に適合して、一般性に乏しくなる。例えば、解像度向上アルゴリズムを顔で学習させて建物に適用すれば、このアルゴリズムは、アーティファクトを生じさせやすく、そして品位向上の結果が低度になりやすくなる。他方では、モデルを非常に広範な画像の種類の領域で学習させれば、このモデルは、ほとんどの画像に生じるごく一般的な冗長性を学習するに過ぎない。その結果、広範な学習を行ったモデルは大部分の領域についてある程度の利益をもたらすが、いずれの領域についても格別良好な結果はもたらさない。
【００１３】
（発明の概要）
従って、本発明の目的は、ハードウエア資源（リソース）を効率的に用いつつ、画像データ（例えばビデオ及び静止画像データ）及び音声データのようなデータの品位を向上させる方法及びシステムを提供することにある。
【００１４】
本発明の他の目的は、こうしたデータ品位の向上を、視覚的に不快なアーティファクトのような不所望な副作用を回避する方法で提供することにある。
【００１５】
本発明のさらに他の目的は、広く異なる種類の画像、音声、等に対して良好な性能を有するデータ品位向上を提供することにある。
【００１６】
これら及び他の目的は、品位を向上させるデータ集合の一部分で学習させた品位向上関数によって達成される。例えば、システムがシーン全体（全景）から低品位の画像データを捕捉して、このシーンの狭い視野から高品位の画像データを捕捉することができる。シーンの一部分を表現する高品位の画像データ、及びこのシーンの同一部分を表現する低品位の画像データの対応部分を、画像データのこれらの集合にもとづいて品位向上関数を学習させる学習アルゴリズムによって処理する。換言すれば、前記品位向上関数が１つ以上のパラメータを有して、前記品位向上関数が、前記低品位画像データの前記部分から、前記高品位画像に非常に近いデータ集合を導出することができるように、前記学習アルゴリズムは、これらのパラメータのうちどの値が最適であるかを決定する。前記品位向上関数は、シーン全体の前記低品位画像によって表現されるのと同じシーンから取り出した高品位及び低品位のデータ、即ち品位を向上させるデータそのもので学習させるので、前記品位向上関数は最も関係するデータ集合向きに最適化される。学習後には、前記品位向上関数を用いて、残りの低品位データを品位向上させる。このシステムはこのようにして、従来のシステムに関連する欠点（例えば新たな領域についての貧弱な性能）をなくして、学習で品位向上させる撮像の利益を提供する。
【００１７】
上述した手順は画像データに限らず、オーディオ（即ち音声）データにも適用することができる。サンプリングしたオーディオ信号を品位向上させるために、信号を表現する低品位のデータ集合を、同じ信号の一部分を表現する高品位のデータ集合と共に捕捉する。信号の一部分を表現する前記高品位のデータ集合、及び前記低品位のデータ集合のこれに対応する部分を学習アルゴリズムによって処理し、この学習アルゴリズムは、前記品位向上関数の１つ以上のパラメータの最適な学習値を定める。前記品位向上関数が、前記低品位のデータ集合から、前記高品位のデータ集合に非常に近いデータ集合を導出する動作を行うように、前記学習パラメータを選択する。一旦学習を実行すると、前記品位向上関数を用いて、残りの前記低品位データを品位向上させる。
【００１８】
本発明の追加的な態様によれば、品位が変化する画像列を用いて、品位向上関数を学習させ、そしてこの品位向上関数を用いて、前記画像列中の低品位画像を品位向上させることができる。シーンの高解像度画像、及び同じシーンの低解像度画像を学習アルゴリズムによって処理して、品位向上関数の１つ以上のパラメータの学習値を定める。これらのパラメータ値によって、前記品位向上関数が、前記低品位画像から、前記高品位画像に非常に近い画像を導出する動作を行うように、前記パラメータの学習値を定める。一旦、前記品位向上関数のパラメータを学習させると、前記品位向上関数を用いて、同じシーンの追加的な低品位画像を処理して高品位画像を導出する。
【００１９】
本発明のさらなる目的、特徴、及び利点は、以下の図面を参照した詳細な説明より明らかになり、これらの図面は本発明の実施例を示す。
これらの図面を通して、特に断わりのない限り、同一参照番号及び符号は、実施例における同じ形状、素子、構成要素、または部分を表わす。
【００２０】
（実施例の詳細な説明）
本発明によれば、同じシーンまたは信号の低品位及び高品位のサンプリング（標本化）を行って、低い品位を有するデータ、並びにこれに対応する高い品位を有するデータを生成することによって、データ品位を向上させることができる。これらの低品位データ及びこれに対応する高品位データは共に、シーンまたは信号の同一部分を表現し、これらのデータを用いてデータ品位向上関数を学習させて、次にこのデータ品位向上関数を用いて、シーンまたは信号の残りの部分を表わす追加的な低品位データの品位を向上させることができる。本明細書で用いる「品位」とは、例えば、データの空間解像度を称することができるが、空間解像度に限定する必要はない。「品位」は、実際には、データがシーン、視野、オーディオ信号、等を表現する精度及び／または正確性に関するあらゆる特性とすることができる。例えば、品位は、輝度分解能（例えば画素当たりのビット数）、スベクトル分解能（例えば、光または他の放射を異なるスペクトル成分に分解する際のスペクトル成分の数）、偏光分解能（例えば、光または他の放射を偏光成分に分解できる精度）、時間分解能（例えば、１秒当たりのビデオフレーム数または１秒当たりのオーディオサンプル（標本）数）、信号レベル分解能（例えば、オーディオ・データストリームにおけるサンプル当たりのビット数）、及び／または信号対雑音比である。品位とは、例えば、画像の次の属性を称することもできる：
画像中に出現する端部（エッジ）が、シーン中の対象物（オブジェクト）の端部の実際位置を表現する精度、
画像が、入射する視野内に存在する実際の色を表現する精度、及び／または、
入射する視野の明るさのコントラストまたは色のコントラストを画像中に表現する精度。
【００２１】
図２及び図４に、本発明により画像データの品位を向上させる好適な手順を示す。図に示す手順では、シーンを撮像して、低い品位を有するこのシーンの画像を生成する（ステップ２０２）。シーンの一部分は、高品位の画像データ−即ち、ステップ２０２で生成したデータよりも高い品位を有するデータを生成すべく撮像する（ステップ２０４）。図１に、こうして生成した画像データの集合の好例を示す。図に示すデータ集合は、シーンの広い視野の、低い空間解像度の384×384画素の画像ＩS、及びこのシーンの狭い視野の、高い空間解像度の256×256画素の画像ＩQを含む。ＩSの中央の128×128画素の部分集合（図中の白い四角形で囲んだ部分）を
で表わし、この部分は、高い空間解像度の画像ＩQを低い解像度にしたものに相当する。「空間解像度」とは、例えば、遠近法の投影による単位深さにおける平面上の単位面積当たりの画素数を称することができる。従って、画像ＩQは画像ＩSよりも総画素数が少なく、画像ＩQはＩSよりも高い解像度を有する。選択肢として、低解像度のデータ集合
は、低解像度の全体画像ＩSの一部分を選択することによって、あるいは、高解像度画像ＩQを低解像度画像ＩSの解像度に劣化させることによって得ることができる。例えば、平均化のためのガウスぼかしカーネル（Gaussian blur kernel）を高解像度データに適用し、これに続いて、低解像度画像を模擬するためのサブサンプリング（副標本化）を行うことができる。代表的なガウスぼかしカーネルは、要素の値が正規化した二次元ガウス関数Ｇ＝Ｋexp((-x2-y2)/σ2)にもとづく（例えば9×9）正方行列である。画像は、画素毎に新たな値を計算することによってぼかされ、これらの新たな値は、当該画素を囲む正方形状の近傍（例えば9×9の正方形状の近傍）の全画素の加重平均である。加重平均を計算するために、前記近傍内の各画素の値に、ぼかしカーネルの対応する要素の値を乗じて、結果的な積を加算する。結果的な積の総和が、中心画素の新たな値となる。画像の各画素を上述した手順によって個別に処理して、新たなぼかし画像を生成する。
【００２２】
高品位データＩQ、及びこれに対応する低品位画像ＩSの部分集合
を学習アルゴリズム４０２によって処理して（ステップ２０６）、品位向上関数４０６の１つ以上のパラメータの学習値４０４を決定して、この決定は、学習パラメータ４０４を品位向上関数４０６に用いる場合に、関数４０６が、低品位データＩSの部分集合
から高品位データＩQに非常に近いデータを導出する動作をするように行う。一旦、品位向上関数の適切なパラメータを学習させると、結果的な最適化された関数を用いて、低品位のデータ集合ＩSの残り部分ＩRを処理して、シーンの残り部分を表現するデータ集合ＩR’を導出することができる（ステップ２０８）。高品位のデータ集合ＩQとＩR’とを組み合わせて（ステップ４０８）、シーン全体の高品位画像ＩHを導出することができる。
【００２３】
選択肢として、低品位データの部分集合
及び高品位のデータ集合ＩQを、１つ以上の「学習対」−即ち画像データの集合内の種々の異なる領域から取り出した小部分を選択することによって処理することができる。図７に、図１に示す低品位画像及び高品位画像
及びＩQのデータ集合から導出することのできる多数の学習対を示す。図７に示す、低解像度の、5×5画素の画像パッチ（片）ＰS1、ＰS2、ＰS3、及びＰS4は
から取り出したものであり、これらに対応する高解像度の、10×10画素の画像片ＰQ1、ＰQ2、ＰQ3、及びＰQ4はＩQから取り出したものである。結果的なパッチの対−即ち（ＰS1,ＰQ1）、（ＰS2,ＰQ2）、（ＰS3,ＰQ3）、及び（ＰS4,ＰQ4）は、学習アルゴリズム４０２用の学習データを提供する。
【００２４】
品位向上関数４０６は、（学習アルゴリズム４０２において）一組の学習対(ＰS1,ＰQ1),...,(ＰSK,ＰQK)への多項式の回帰を適用することによって学習させて、ここにＫは学習対の数を表わす。まず、学習アルゴリズム４０２は、25画素の低解像度パッチＰSnの値を並べて、25要素の行ベクトルＷSnを形成する。これら25画素の値は都合の良い順に並べることができるが、すべてのパッチについて同じ順序を用いる。次に、各パッチのベクトルを並べて、次の行列にする：
【数１】
ここに、Ｔはベクトルまたは行列の転置を表わす。
ＷS1は１番目の、低解像度の、5×5画素のパッチＰS1を表わすベクトルであり、そして、ｚi(ＷS1)（ｉ＝1,...,25）は、このパッチＰS1のｉ番目の値を表わすものとする。学習アルゴリズム４０２の効率を改善するために、アルゴリズム４０２は２次の多項式のみを考えることが好ましい。従って、ｔをすべての２次及びより低次の単項式のリストあるいはベクトルとし、即ちｔは、(a)値１、(b)各画素の値、及び(c)パッチＰS1の種々の画素を互いに掛け合わせるかあるいは二乗することによって形成することのできるすべての２次の単項式を含み、次式のようになる：
【数２】
【００２５】
低解像度のパッチ毎に、これらの単項式の行ベクトルを形成する。例えば、パッチＰS1に対応する行ベクトルは、ｔ(ＷS1)：＝(ｔ1(ＷS1),...ｔp(ＷS1))となる。図８に示すように、パッチＰS1が25画素を有すれば、これに対応する行ベクトルｔ(ＷS1)は651個の要素を有する。各パッチについての行ベクトルを並べて、次式の行列にする：
【数３】
【００２６】
図に示す例では、空間解像度の４：１の向上を実行している。従って、与えられた低解像度パッチ内の各低解像度画素が、この低解像度パッチに対応する高解像度パッチ内の４つの高解像度画素に対応する。例えば、図８に示すように、5×5のパッチＰS1内の画素８０２が、このパッチＰS1に対応する高解像度パッチＰQ1内のそれぞれ位置ａ、ｂ、ｃ、及びｄにある４つの画素８０４、８０６、８０８、及び８１０に対応し、各位置ａ、ｂ、ｃ、及びｄは、低解像度パッチＰS1の中央にある画素８０２の位置との関係で規定される。高解像度画素８０４、８０６、８０８、及び８１０は、数学的にはそれぞれ(ＷQ1)a、(ＷQ1)b、(ＷQ1)c、及び(ＷQ1)dのように表わすことができる。図に示す例では、高解像度パッチＰQ1の中央にある４つの画素８０４、８０６、８０８、及び８１０のみを学習用に用いて、高解像度パッチＰQ1の残りの画素は用いる必要がない。最終的には、品位向上関数の集合の学習させる各関数を用いて、低解像度パッチ全体に対して前記４つの高解像度画素のうちの１つを取り出す動作を行い、パッチ全体はパッチの中央にある画素の近傍として見ることができ、取り出した１つの画素を、前記近傍の中央にある低解像度画素と置き換える。例えば、5×5の低解像度の近傍／パッチにもとづく４：１の空間解像度の向上の場合には、４つの別個の解像度向上関数ｆa、ｆb、ｆc、及びｆdが、低解像パッチの全体に対して、４つの画素位置ａ、ｂ、ｃ、及びｄにある、対応する４つの高解像度画素のうちの１つを取り出す動作を行う。学習アルゴリズム４０２は、品位向上関数ｆa、ｆb、ｆc、及びｆdが最適化されていれば−即ち、これらの関数の係数が適切に選定されていれば、低解像度パッチ（例えば図８に示すＰS1）内の全画素の値から所定の高解像度画素（例えば画素８０４）を取り出すことができるべきである、という原理で動作する。与えられた画素位置ｍ（ｍ＝ａ、ｂ、ｃ、またはｄ）に対する係数が行ベクトルＣm＝(ｃm1,...,ｃmk)Tを形成し、ここで、ベクトルＣm中の係数の値は、どの高解像度画素を取り出すか、即ち、取り出す画素が位置ａ、ｂ、ｃ、またはｄのいずれにあるかに依存する。換言すれば、４つの高品位画素の位置ａ、ｂ、ｃ、またはｄは異なる係数の組を有し：即ち、関数ｆa、ｆb、ｆc、及
びｆdに対しそれぞれＣa、Ｃb、Ｃc、及びＣdを有する。各々が低解像度パッチ及び対応する４つの高解像度画素を有する複数の学習対を用いることが好ましく、これら４つの高解像度画素はそれぞれ位置ａ、ｂ、ｃ、及びｄにある。すべての学習対から取り出した、与えられた画素位置ｍに関連する値を用いて、この画素位置ｍに存在するそれぞれの高品位画素の値を並べて、次式の行列にすることができる：
【数４】
ここに、ｍ＝ａ、ｂ、ｃ、及びｄである。
Ｃmの係数が適正に定められているものとすれば、これら４つの画素位置のいずれか１つ−即ち、与えられた任意のｍについて、Ｃmは次の行列方程式が解けるものであるべきである：
【数５】
(4)式の形の行列方程式におけるベクトルＣmに対する解を見つけるための周知の線形代数技法がいくつか存在する。例えば、ｔ(ＷS)Tｔ(ＷS)が可逆であれば、学習アルゴリズム４０２は、Ｃmを次式のように計算することができる：
【数６】
(5)式は、(4)式におけるＣmに対する最小二乗解を提供し−即ち、Ｃmに対する、(4)式の左辺と右辺の二乗差の総和を最小にするベクトル要素値の集合を提供する。
【００２７】
本実施例では、学習段階の出力結果は、４つの係数ベクトルＣa、Ｃb、Ｃc、及びＣdである。従って、これらのベクトルＣa、Ｃb、Ｃc、及びＣdは、４つの多項式品位向上関数それぞれｆa、ｆb、ｆc、及びｆdの係数を含み、これらの関数は、任意に与えられた5×5の低解像度パッチＬ上で、このパッチＬの近傍の中央にある、対応する４つの高解像度画素Ｈmを取り出す動作を行うことができ、ここに、
【数７】
ｍ＝ａ、ｂ、ｃ、及びｄである。図１に示す画像部分集合ＩRのような低解像度画像データ集合または部分集合を品位向上させるために、品位向上アルゴリズム（図２のステップ２０８）は一般に、データ集合ＩRの最初の5×5パッチＬ（例えば、図１に示す、左上隅のパッチＬ）を処理して、高解像度画像データ集合ＩR’の、パッチＬに対応する近傍の中心にある４つの高解像度画素Ｈa、Ｈb、Ｈc、及びＨdを生成することによって始まる。次にこのアルゴリズムは、低解像度画素１つ分だけ（例えば右に）移動することによって次のパッチを処理して、４つの高解像度画素の隣接組を生成する。換言すれば、続けて処理する低解像度パッチどうしの間に、例えば4×5画素の重複領域が存在し、これにより、生成される高解像度画像データ集合ＩR’がシーン領域を完全にカバーすることを保証することが好ましい。この重複は、垂直方向及び水平方向共に存在すべきである。
【００２８】
なお、以上の説明は異なる空間解像度を有するデータ集合に重きをおいてきたが、図２及び図４に示す手順は、異なる輝度分解能（例えば、異なる数のグレーレベル（輝度階調）及び／または画素当たりのビット数）を有するデータ集合を処理するために用いることもできる。再び図１、図２、及び図４を参照して説明する。低品位画像ＩSが低い輝度分解能を有する画像であり、高品位画像ＩQが高い輝度分解能を有する画像であれば、共にシーンの同一部分を表現する、高品位画像ＩQ及び低品位画像ＩSの最初の部分集合
を学習アルゴリズム４０２によって処理して（ステップ２０６）、品位向上関数４０６のパラメータ４０４を定める。品位向上関数４０６はこのように最適化され、従って、低い輝度分解能の画像ＩSの残りの部分集合ＩRの分解能を向上させて、シーンの残り部分の高い輝度分解能の画像ＩR’を導出するために用いることができる。次に、高品位画像ＩQとＩR’とを組み合わせて（ステップ４０８）、シーン全体の改善された画像ＩHを提供することができ、この画像は、最初に捕捉したシーンの低品位画像ＩSよりも高い輝度分解能を有する。
【００２９】
図９Ａに、本発明による品位向上用の高品位及び低品位のデータを収集する好適なシステムを示す。図に示す撮像システムは、比較的広い視野９０８を有するが比較的低品位の（例えば空間解像度または輝度分解能が低い）第１撮像装置９０２と、より狭い視野９１０を有するが高品位の（例えば空間解像度または輝度分解能が高い）第２撮像装置９０４と、ビームスプリッタ９０６とを具えている。ビームスプリッタ９０６は、入射光を、低品位撮像装置９０２及び高品位撮像装置９０４の両方に指向させて、これらの撮像装置９０２及び９０４を用いて、図１に示す低品位画像ＩS及び高品位画像ＩQを生成することができる。選択肢として、このシステムは、図１、図２、及び図４を参照して上述したデータ品位向上を実行する処理装置９３０を具えることもでき、処理装置９３０は例えば、コンピュータまたは特定目的の処理論理回路で構成することができる。その代わりに、あるいはこれに加えて、処理装置９３０は撮像装置９０２及び９０４の一方または両方に内蔵させることができる。
【００３０】
図９Ｂに、学習アルゴリズム及び上述した品位向上手順に用いる画像データを生成する好適なシステムを、追加的に示す。図に示すシステムは、カメラ９１２及び曲面鏡９２０を具えて、これらはシーンの広角像を提供する。鏡９２０は、例えば放物面鏡とすることができ、低解像度（低品位）の視野９１４、高解像度（高品位）の視野９１８、及び中位の解像度（品位）の視野９１６を提供する。高解像度の視野９１８及び／または中位の解像度の視野９１６から収集したデータを劣化させて、元々捕捉した高解像度及び中位の解像度のデータと組み合わせて用いる低解像度の学習データを提供することができる。選択肢として、図９Ａを参照して上述した処理装置９３０をカメラ９１２内に内蔵させることができる。
【００３１】
図９Ｃに、多解像度の撮像システムの追加的な例を示す。この撮像システムは、低解像度部分９２８及び高解像度部分９２６のあるＣＣＤアレイ９２４を有するカメラ９２２を具えている。高解像度部分９２６は高解像度の視野９１０内のデータを捕捉し、低解像度部分９２８は低解像度の視野９０８からのデータを捕捉する。撮像装置９２２は、高解像度部分９２６から、その視野９１０の低解像度データを直接取得しないが、この高解像度部分９１０から収集した前記視野の高解像度データを上述したように劣化させて、ＣＣＤアレイ９２４の高解像度部分９２６によって収集した高解像度データと組み合わせて用いる低品位の学習データを導出することができる。
【００３２】
なお、以上の例は、多項式回帰にもとづく学習アルゴリズムに重きをおいてきたが、同じシーンからの低解像度データ及び高解像度データ上での学習の技法はこうした学習アルゴリズムに限定されない。実際には、回帰を用いてデータ品位向上関数のパラメータを調整するあらゆる学習アルゴリズムを用いることができる。適切なアルゴリズムの追加的な例は、当業者には良く知られた次の周知の学習アルゴリズムを含む：ベイズ決定法、最大尤度法、線形判別法、ニューラルネットワーク、遺伝的プログラミング、及び支持ベクトルマシンのようなカーネル法。
【００３３】
本発明による品位向上手順は、音声／オーディオデータを品位向上させるために用いることもでき、これを図３、５、及び６に示す。図に示す手順では、音声信号を検出して、低品位の音声データ集合ＡSを生成する（ステップ５０２）。低品位データ集合ＡSは、第１及び第２の音声部分
及びＡRを含み、これらは例えば時刻ｔ1から時刻ｔ2までに収集したデータ、及び時刻ｔ2から時刻ｔ3までに収集したデータである。高品位音声データの集合ＡQは、音声信号の、第１の低品位データの部分集合
を生成するために用いたのと同じ部分をサンプリングすることによって生成する（ステップ５０４）。例えば音声信号を、前記低品位のデータ集合ＡS（部分集合
及びＡRを含む）を導出するための22kHz、及び高品位音声データ集合ＡQを生成するための44kHzでサンプリングすることができる。その代わりに、あるいはこれに加えて、低品位データ集合ＡSの第１部分集合
を、高品位データＡQを劣化させることによって−例えば２サンプル毎に１サンプルを消去することによって導出することができる。音声データの品位は、信号レベルの分解能−例えば１サンプル当たりのビット数によって規定することもできる。例えば、低品位データが１サンプル当たり8ビットを有して、高品位データが１サンプル当たり16ビットを有することができる。
【００３４】
いずれの場合にも、高分解能（高品位）音声データＡQ、及び低分解能（低品位）音声データの第１部分集合
を、学習アルゴリズム６０２用の学習対として用いて、品位向上関数６０６の最適化したパラメータ６０４を導出することができる（ステップ５０６）。例えば、品位向上関数６０６が多項式関数であれば、多項式の係数ベクトルＣa、Ｃb、Ｃc等は学習アルゴリズム６０２によって導出される。いずれの場合にも、品位向上関数６０６の学習させたパラメータ６０４を一旦定めると、この品位向上関数を学習させたパラメータと共に用いて低品位音声データの第２部分集合ＡRを処理して、音声信号の残り部分を表現する高品位音声データＡR’が導出される（ステップ５０８）。こうして導出した高品位音声データＡR’を、高品位にサンプリングした音声データＡQと組み合わせて（ステップ６０８）、音声信号全体を表現する高品位音声データＡHの完全な集合を導出することができる。
【００３５】
本発明の追加的な態様によれば、品位向上関数を、異なる品位−例えば異なる空間解像度を有する一組のビデオフレーム上で学習させることができ、このことを図１１及び図１４に示す。図に示す手順では、シーンを撮像して、第１の高品位画像１１０２（例えば高品位ビデオフレーム）を生成する（ステップ１４０２）。シーンを再び撮像して、第１の低品位画像／ビデオフレーム１１０４を生成する（ステップ１４０４）。高品位画像１１０２及び低品位画像１１０４を上述したような学習アルゴリズムにおける学習対として用いて、品位向上関数のパラメータを定める（ステップ１４０６）。１つ以上の低解像度フレーム（例えば低品位画像１１０６）が生成されると（ステップ１４０８）、品位向上関数を学習させたパラメータと共に用いて、追加的な低品位画像を処理して、追加的な高品位画像を導出することができる（ステップ１４１０）。しかし、図１４は上述した手順を、追加的な低品位データを捕捉する前に学習アルゴリズムを適用するように示しているが、この学習アルゴリズムは、すべての、あるいは大部分の画像データを捕捉した後でも同じように容易に適用することができる。
【００３６】
図１０Ａ及び図１０Ｃに、図１４に示す手順に用いる画像データを生成するための好適なシステムを示す。図１０Ａに示すシステムは、高解像度ビデオカメラ１００２、低解像度ビデオカメラ１００４、及び入射光を２つのカメラ１００２及び１００４に分配するためのビームスプリッタ１００６を具えている。同じ入射ビームをカメラ１００２及び１００４の両方で撮像するので、システムは単一の視点１０１４を持っているものと考えることができる。選択肢として、高解像度カメラ１００２を低いフレームレートにして、低解像度カメラ１００４を高いフレームレートにすることができる。例えば、高解像度カメラ１００２が1000×1000画素の空間解像度を有するビデオデータを１秒当たり3フレームのフレームレートで生成して、低解像度カメラ１００４が500×500画素の空間解像度を有するビデオデータを１秒当たり30フレームのフレームレートで生成することができる。
【００３７】
図１０Ａに示すシステムと同様に、図１０Ｃに示すシステムは、高解像度ビデオカメラ１００２及び低解像度ビデオカメラ１００４を具えている。しかし、図１０Ｃに示すシステムはビームスプリッタ１００６を具えていない。むしろ、図１０Ｃに示す２つのカメラ１００２及び１００４はそれぞれ、異なる視点１０１２及び１０１４を有する。カメラ１００２及び１００４の視点１０１２と１０１４とは近接していることが好ましく−特に、視点１０１２と１０１４とが撮像するシーンの深度（被写体深度）に比べて十分近接して、視差調整を少ししか、あるいは全く必要としないことが好ましい。図１４に示す手順を用いて、カメラ１００２及び１００４によって生成した高解像度及び低解像度の画像（図１４に示すステップ１４０２及び１４０４で生成した画像）を処理して、その上で、上述した品位向上関数を学習させて（ステップ１４０６）、低解像度カメラ１００４によって生成されたさらなる低解像度画像を、前記品位向上関数によって品位向上させて、高解像度画像を導出する（ステップ１４１０）。品位向上させた画像の視点は通常、低解像度画像を生成するために用いた低解像度カメラ１００４の視点に等しいかあるいは近接し、前記品位向上させた画像はこの低解像度画像から導出している。
【００３８】
図１０Ｂに、図１４に示す手順に用いる画像データを生成するのに適したＣＣＤアレイ１００８を示す。図に示すＣＣＤアレイ１００８を用いて、個々の素子を（例えば４画素のグループに）一群にまとめて「超画素」１０１０を形成することによって、解像度を変化させてデータを生成することができる。各超画素内の４つの画素は、例えばこれら４画素の値を平均することによって一群にすることができる。こうした画素の一群化（クラスタリング）は有利である、というのは、装置の空間解像度は低下するが、一群化はＣＣＤアレイ１００８がより高いフレームレートでサンプリングを行うことを可能にする。画素はフレーム毎に一群化する必要はない。連続するフレームの解像度は−例えば、連続する９個の低解像度画像を高いフレームレートで捕捉し、これに続いて１つの高解像度画像を捕捉することによって、変化させることができる。図１１及び図１４を参照して上述したように、高解像度画像及び１つ以上の低解像度画像を用いて品位向上関数を学習させることによって、低解像度画像を品位向上させて高解像度画像を導出することができる。その結果、前記システムは高解像度のビデオを高いフレームレートで生成することができる。
【００３９】
本発明によれば、画像データのスペクトル分解能も向上させることができる。図１２に、高いスペクトル分解能の部分と低いスペクトル分解能の部分とを有する画像データを生成するシステムを示す。このシステムは、ビデオカメラ１２０２、ビームスプリッタ１２０４、スリット１２０６、第１レンズ１２０８、プリズム１２１０、第２レンズ１２１２、及びＣＣＤアレイ１２１４を具えている。ビームスプリッタ１２０４は、入射光の一部を通過させてビデオカメラ１２０２に向けて、残りの光をスリット１２０６に向けて指向させて、スリット１２０６から狭いビーム１２１６が第１レンズ１２０８を通ってプリズム１２１０に入る。プリズム１２１０は、このビームの種々のスペクトル成分を異なる方向に指向させる。これらの成分は第２レンズ１２１２を通過して、ＣＣＤアレイ１２１４によって受光され検出される。ＣＣＤアレイ１２１４の結果的な出力は、スリット１２０６を通過する光の狭いビーム１２１６に存在する波長の高いスペクトル分解能の測定値である。ビデオカメラ１２０２がカラービデオカメラであっても、こうしたカメラは一般に、粗い赤色、緑色、及び青色（ＲＧＢ）の情報を提供するに過ぎない。これとは対照的に、ＣＣＤアレイ１２１４によって受光した光はスリット１２０６及びプリズム１２１０を通っているので、この光に存在する種々の波長は、ＣＣＤアレイ１２１４全体にわたって水平方向に拡散されている。結果的なスペクトル情報は、ＣＣＤアレイ１２１４の水平次元の画素数と同数のスペクトル成分の測定値を含む。図１３に、図１２に示すシステムによって生み出されるビデオカメラを示す。ビデオカメラの各フレーム内には、カメラ１２０２によって生成された低品位（この場合は低いスペクトル分解能）画像ＩSが存在し、低品位画像ＩSは第１データ部分集合
及び第２データ部分集合ＩRを含む。各フレーム内には、ＣＣＤアレイ１２１４によって生成された高品位（この場合は高いスペクトル分解能）データ集合ＩQも含まれ、高品位データ集合ＩQは、低品位データ集合ＩSの第１部分集合
と同じ部分のシーンを表現する。図１に示す画像データＩS及びＩQと同様に、図１３に示す画像データを、図２及び図４に示す学習及び品位向上手順に従って、例えば図１２に示す処理装置９３０によって処理して、シーン全体を表現する画像を導出することができるが、低品位画像ＩSに存在するスペクトル情報量よりもずっと多くのスペクトル情報量を有する。選択肢として、１３０２のビデオシーケンス（画像列）は、シーケンス１３０２の各フレームが低スペクトル分解能データＩS及び高スペクトル分解能データＩQを含み、このシーケンスを捕捉して品位向上させて、シーン全体を高いスペクトル分解能で表現するビデオシーケンスを導出することができる。
【００４０】
図１〜１４に示す方法及びシステムは、図１〜８、１１、１３、及び１４によって規定される適切なソフトウエアの制御下で動作する種々の標準的な処理装置によって実現できることは、当業者にとって明らかである。図１５に、本発明の方法を実行するのに適した好適な処理ハードウエア９３０を機能ブロック図で示す。こうした処理装置９３０は随意的に、図９Ｂ及び図９Ｃに示すように、画像データを生成するために使用する上述した撮像装置の１つ以上に内蔵させるか、あるいは、図９Ａ及び図１２に示すように独立した装置とすることができる。図に示す装置９３０は一般に、処理ユニット１５１０、制御論理回路１５２０、及びメモリユニット１５５０を具えている。この処理装置は、タイマ１５３０及び入力／出力ポート１５４０も具えていることが好ましい。この装置は、処理ユニット１５１０に使用するマイクロプロセッサに応じて、コプロセッサ１５６０も具えることができる。制御論理回路１５２０は、処理ユニット１５１０と合同して、メモリユニット１５５０と入力／出力ポート１５４０との間の通信を取り扱うために必要な制御を行う。タイマ１５３０は、処理ユニット１５１０用及び制御論理回路１５２０用のタイミング基準信号を供給する。コプロセッサ１５６０は、暗号アルゴリズムが必要とする演算のような複雑な演算をリアルタイム（実時間）で実行する強化された能力を提供する。
【００４１】
メモリユニット１５５０は、揮発性メモリ及び不揮発性メモリ、及びリードオンリー（読出し専用）メモリ及びプログラマブル（プログラム可能な）メモリのような異なる種類のメモリを含むことができる。例えば、図１５に示すように、メモリユニット１５５０は、リードオンリーメモリ（ＲＯＭ）１５５２、電気的に消去可能なプログラマブル・リードオンリーメモリ（ＥＥＰＲＯＭ）１５５４、及びランダムアクセスメモリ（ＲＡＭ）１５５６を含むことができる。異なるプロセッサ、メモリ構成、データ構造、等を用いて本発明を実施することができ、本発明は特定のプラットフォームに限定されない。
【００４２】
図１〜８、１１、１３、及び１４によって規定されるソフトウエアは、当業者にとって明らかな広範なプログラム言語で記述することができる。例えば、本発明によるソフトウエア・アルゴリズムは、周知のプログラム言語であるＭＡＴＬＡＢ（登録商標）数学ツールというプログラミング言語で記述されている。ＭＡＴＬＡＢ（登録商標）言語で記述された好適なアルゴリズム用のソースコードを、本明細書に添付した付録Ａ、Ｂ、及びＣに示す。
【００４３】
なお、以上の画像品位向上の説明は、可視光スペクトルの範囲内で見たシーンの撮像装置に重きを置いてきたが、本明細書に開示する技法は、紫外線、赤外線、Ｘ線、レーダー、超音波、等を含むあらゆる形態の放射の撮像に適用可能であるが、これらに限定されない。
【００４４】
本発明は特定の好適な実施例に関連して説明してきたが、特許請求の範囲に記載したに本発明の範囲を逸脱することなしに、開示した実施例に対して種々の変更、置換、及び代替を行うことができることは明らかである。
【００４５】
（付録Ａ）
２次多項式のベクトルｔを計算するための好適なアルゴリズムのＭＡＴＬＡＢ（登録商標）ソースコード
%ここでは”t”関数を計算するが、
%z1*z2のような項は無視して、z1^2, z2^2のような項のみを考える。
%これにより、近似精度は低下するが、効率は改善される。
function fsVect=nbhdToFS(a, nbhd, degree)
%積の項なし
nV=nbhd(:);
nLen=prod(size(nV));
fsVect=zeros(nLen*degree, 1);
fsVect(1:nLen)=nV;
for deg=2:degree
fsVect((((deg-1)*nLen)+1):(deg*nLen)) = ...
nbhd().*...
fsVect((((deg-2)*nLen)+1):((deg-1)*nLen));
end
【００４６】
（付録Ｂ）
好適な学習アルゴリズムのＭＡＴＬＡＢ（登録商標）ソースコード
%以下は、品位向上用の係数を学習させるためのＭＡＴＬＡＢソースコードである。
%polyLearnedModel構成器
function a=polyLearnedModel(fctr, nbhdSize, degree, lrSeq, hrSeq)
a.null=”;
if 0==nargin
%Create a dummy model
a.fctr=0;
a.nbhdSize=[1, 1];
a.degree=-1;
a.params=[];
b=enhancementModel(‘polyLearnedModel’, [1, 1]’);
a=class(a, ‘polyLearnedModel’, b);
elseif 1==nargin
if isa(fctr, ‘polyLearnedModel’);
a=fctr;
else
errstr=[num2str(fctr), ...
‘Not polyLearnedModel object’];
error(errstr);
end
elseif 5==nargin
a.fctr=fctr;
a.nbhdSize=nbhdSize;
a.degree=degree;
a.params=[];
dummy=polyLearnedModel;
params=interpKernel(fctr, nbhdSize, degree, lrSeq, hrSeq, dummy);
b=engancementModel(‘polyLearnedModel’, params);
a.params=params;
a=class(a, ‘polyLearnedModel’, b);
else
error(‘Argument wrong type’)
end
return
function kernVals=...
interpKernel(fctr, nSize, degree, lrSeq, hrseq, modl)
%正規化及びＤＣ成分の減算を可能にするため変数
%DCSUB=0;
epsilon=2^(-26);
%epsilon=0
lrSeqSize=size(lrSeq);
hrSeqSize=size(hrSeq);
if prod((fctr*lrSeqSize)==hrSeqSize)&(2==length(lrSeqSize))
;%Ok
elseif prod((fctr*lrSeqSize(1:2))==hrSeqSize(1:2))&...
(length(lrSeqSize)<=3)
;%Ok
else
error(‘Images sequences improper sizes with respect to fctr’)
end
% ’In polyLearnedModel構成器 fvSize’
fvSize=size(nbhdToFS(modl, zeros(nSize), degree));
featVectLen=prod(fvSize);
fvMat=zeros([featVectLen, featVectLen]);
outMat=zeros([featVectLen, fctr^2]);
inRows=1:(lrSeqSize(1)-(nSize(1)+1));
inCols=1:(lrSeqSize(2)-(nSize(2)+1));
nRad=floor((1/2)*nSize);
hrOffset=(fctr*(nRad-(~mod(nSize, 2))))+...
(~mod(nSize, 2)).*[fctr/2, fctr/2]+1;
if (legth(lrSeqSize)<3)
numIms=1;
elseif (3==length(IrSeqSize))
numIms=lrSeqSize(3);
else
error(‘Images sequences improper sizes’)
end
for imInd=1:numIms
if (length(lrSeqSize)<3)
lrIm=lrSeq;
hrIm=hrSeq;
elseif (3==length(lrSeqSize))
lrIm=lrSeq(:, :, imInd);
hrIm=hrSeq(:, :, imInd);
end
for inR=inRows
for inC=inCols
inN=getNbhd(inR, inC, lrIm, nSize);
featVect=nbhdToFS(modl, inN, degree);
fvMat=fvMat+featVect*featVect’;
out=fctr*[(inR-1), (inC-1)]+hrOffset;
outN=getNbhd(out(1), out(2), hrIm, [fctr, fctr]);
outMat=outMat+featVect*outN(:)’;
end
end
end
‘cond’
cond(fvMat)
‘rank’
rank(fvMat)
‘size’
size(fvMat)
if (abs(max(fvMat(:)))>epsilon)|...
(abs(min(fvMat(:)))>epsilon)
%SVDを用いて解く
[U, S, V]=svd(fvMat);
%実際に０に近い固有値は消去しなければならない。
Nz=(abs(S)>epsilon);
InvS=(ones(size(nz))./((~nz)+S)).*nz;
KernVals=V*invS*U’*outMat;
Else
%非常に特異なfvMat
kernVals=zeros(featVectLen, fctr^2);
end
return
% [“, num2str()]
function inNbhd=getNbhd(iR, iC, im, imNbhdSize)
indsR=(iR-1)+(1:inNbhdSize(1));
indsC=(iC-1)+(1:inNbhdSize(2));
inNbhd=im(indsR, indsC);
return
【００４７】
（付録Ｃ）
学習係数を用いて画像解像度を向上させる好適なアルゴリズムのＭＡＴＬＡＢ（登録商標）ソースコード
function newIm=improveImage(modl, im)
nSize=modl.nbhdSize;
imDize=size(im);
fctr=modl.fctr;
if (nSize(1)>imSize(1))|(nSize(2)>imSize(2))
error(‘Neighborhood larger than image,')
end
nbhdRad=floor((1/2)*nSize);
eImSize=fctr*(imSize-nSize+ones(nSize)));
newIm=zeros(eImSize);
nbhdsRow=1:(imSize(1)-nSize(1)+1);
nbhdsCol=1:(imSize(2)-nSize(2)+1);
nbhdRInds=0:(nSize(1)-1);
nbhdCInds=0:(nSize(2)-1);
for nR=nbhdsRow
for nC=nbhdsCol
nbhd=im(nR+nbhdRInds, nC+nbhdCInds);
newValues=nbhdFunc(nbhd, modl);
newBlock=reshape(newValues, [fctr, fctr]);
newIm(fctr*(nR-1)+(1:fctr), ...
fctr*(nC-1)+(1:fctr))=newBlock;
end
end
return;
function newVals=nbhdFunc(nbhd, modl)
%DCSUB=0;
nSize=size(nbhd);
degree=get(modl, ‘degree’);
fsVect=nbhdToFS(modl, nbhd, degree);
newVals=((fsVect)’*(modl.params))’;
return
【図面の簡単な説明】
【００４８】
【図１】本発明により処理される画像データの好例を示す図である。
【図２】本発明により画像データの品位を向上させる好適な手順を示すフロー図である。
【図３】本発明により処理される音声データの好例を示す図である。
【図４】本発明により画像データの品位を向上させる好適な手順を示すブロック図である。
【図５】本発明により音声データの品位を向上させる好適な手順を示すフロー図である。
【図６】本発明により音声の品位を向上させる追加的な好適な手順を示すブロック図である。
【図７】本発明により処理される画像データの好例を示す図である。
【図８】本発明により処理される画像データの追加的な好例を示す図である。
【図９Ａ】本発明により画像データの品位を向上させるシステムを示す図である。
【図９Ｂ】本発明により画像データの品位を向上させる追加的なシステムを示す図である。
【図９Ｃ】本発明により画像データの品位を向上させる他のシステムを示す図である。
【図１０Ａ】本発明により画像データの品位を向上させるさらに他のシステムを示す図である。
【図１０Ｂ】本発明により画像データの品位を向上させるさらに他のシステムを示す図である。
【図１１】本発明により処理されるビデオシーケンスの好例を示す図である。
【図１２】本発明により画像データを生成するシステムを示す図である。
【図１３】本発明により処理されるビデオ及び静止画像データの好例を示す図である。
【図１４】本発明により画像データの品位を向上させる好適なシステムを示す図である。
【図１５】図１〜１４に示すシステム及び手順に用いる好適な処理装置を示すブロック図である。
【特許請求の範囲】
【請求項１】
シーンを表現する第１の低品位画像のデータ品位を、前記シーンの一部分を表現する高品位画像、前記シーンの前記一部分を表現する第２の低品位画像、及び少なくとも１つのパラメータを有する品位向上関数を用いて向上させる方法であって、前記シーンの前記一部分が前記シーン全体よりも小さく、前記高品位画像が第１の品位を有し、前記第１の低品位画像及び前記第２の低品位画像が第２の品位を有し、前記第１の品位が前記第２の品位より高いデータ品位向上方法において、
前記高品位画像及び前記第２の低品位画像を学習アルゴリズムによって処理して、前記少なくとも１つのパラメータの学習値を決定するステップであって、前記品位向上関数が、前記第２の低品位画像にもとづいて、前記少なくとも１つのパラメータの前記学習値を用いて、前記高品位画像を近似する画像を導出する機能を有するステップと、
前記第１の低品位画像を、前記品位向上関数によって、前記少なくとも１つのパラメータの前記学習値を用いて処理して、前記第２の品位より高い第３の品位を有する画像を導出するステップと
を具えていることを特徴とするデータ品位向上方法。
【請求項２】
前記第１の品位が第１の分解能から成り、前記第２の品位が第２の分解能から成り、前記第３の品位が第３の分解能から成ることを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の分解能が、第１の空間解像度、第１の輝度分解能、第１のスペクトル分解能、及び第１の偏光分解能のうちの少なくとも１つから成り、前記第２の分解能が、第２の空間解像度、第２の輝度分解能、第２のスペクトル分解能、及び第２の偏光分解能のうちの少なくとも１つから成り、前記第３の分解能が、第３の空間解像度、第３の輝度分解能、第３のスペクトル分解能、及び第３の偏光分解能のうちの少なくとも１つから成ることを特徴とする請求項２に記載の方法。
【請求項４】
前記第１の品位が第１の信号対雑音比から成り、前記第２の品位が第２の信号対雑音比から成り、前記第３の品位が第３の信号対雑音比から成ることを特徴とする請求項１に記載の方法。
【請求項５】
前記品位向上関数が多項式関数から成り、前記少なくとも１つのパラメータが、前記多項式関数の１つ以上の係数から成ることを特徴とする請求項１に記載の方法。
【請求項６】
前記学習アルゴリズムが、前記１つ以上の係数の各々の値を、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項５に記載の方法。
【請求項７】
前記学習アルゴリズムが、前記１つ以上のパラメータを、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項１に記載の方法。
【請求項８】
前記高品位画像が第１視点から見たシーンを表現し、前記第１の低品位画像が第２視点から見たシーンを表現し、前記第２の低品位画像が第３視点から見たシーンを表現し、前記第２の視点及び前記第３の視点が前記第１の視点に近接していることを特徴とする請求項１に記載の方法。
【請求項９】
シーンを表現する第１の低品位画像のデータ品位を、前記シーンの一部分を表現する高品位画像、前記シーンの前記一部分を表現する第２の低品位画像、及び少なくとも１つのパラメータを有する品位向上関数を用いて向上させるシステムであって、前記シーンの前記一部分が前記シーン全体よりも小さく、前記高品位画像が第１の品位を有し、前記第１の低品位画像及び前記第２の低品位画像が第２の品位を有し、前記第１の品位が前記第２の品位より高いデータ品位向上システムにおいて、
該システムが処理装置を具えて、該処理装置が、
前記高品位画像及び前記第２の低品位画像を学習アルゴリズムによって処理して、前記少なくとも１つのパラメータの学習値を決定するステップであって、前記品位向上関数が、前記第２の低品位画像にもとづいて、前記少なくとも１つのパラメータの前記学習値を用いて、前記高品位画像を近似する画像を導出すべく動作可能であるステップと、
前記第１の低品位画像を、前記少なくとも１つのパラメータの前記学習値を用いて前記品位向上関数によって処理して、前記第２の品位より高い第３の品位を有する画像を導出するステップと
を実行すべく構成されていることを特徴とするデータ品位向上システム。
【請求項１０】
前記第１の品位が第１の分解能から成り、前記第２の品位が第２の分解能から成り、前記第３の品位が第３の分解能から成ることを特徴とする請求項９に記載のシステム。
【請求項１１】
前記第１の分解能が、第１の空間解像度、第１の輝度分解能、第１のスペクトル分解能、及び第１の偏光分解能のうちの少なくとも１つから成り、前記第２の分解能が、第２の空間解像度、第２の輝度分解能、第２のスペクトル分解能、及び第２の偏光分解能のうちの少なくとも１つから成り、前記第３の分解能が、第３の空間解像度、第３の輝度分解能、第３のスペクトル分解能、及び第３の偏光分解能のうちの少なくとも１つから成ることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記第１の品位が第１の信号対雑音比から成り、前記第２の品位が第２の信号対雑音比から成り、前記第３の品位が第３の信号対雑音比から成ることを特徴とする請求項９に記載のシステム。
【請求項１３】
前記品位向上関数が多項式関数から成り、前記少なくとも１つのパラメータが、前記多項式関数の１つ以上の係数から成ることを特徴とする請求項９に記載のシステム。
【請求項１４】
前記学習アルゴリズムが、前記１つ以上の係数の各々の値を、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記学習アルゴリズムが、前記１つ以上のパラメータを、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項９に記載のシステム。
【請求項１６】
前記高品位画像が第１視点から見たシーンを表現し、前記第１の低品位画像が第２視点から見たシーンを表現し、前記第２の低品位画像が第３視点から見たシーンを表現し、前記第２の視点及び前記第３の視点が前記第１の視点に近接していることを特徴とする請求項９に記載のシステム。
【請求項１】
シーンを表現する第１の低品位画像のデータ品位を、前記シーンの一部分を表現する高品位画像、前記シーンの前記一部分を表現する第２の低品位画像、及び少なくとも１つのパラメータを有する品位向上関数を用いて向上させる方法であって、前記シーンの前記一部分が前記シーン全体よりも小さく、前記高品位画像が第１の品位を有し、前記第１の低品位画像及び前記第２の低品位画像が第２の品位を有し、前記第１の品位が前記第２の品位より高いデータ品位向上方法において、
前記高品位画像及び前記第２の低品位画像を学習アルゴリズムによって処理して、前記少なくとも１つのパラメータの学習値を決定するステップであって、前記品位向上関数が、前記第２の低品位画像にもとづいて、前記少なくとも１つのパラメータの前記学習値を用いて、前記高品位画像を近似する画像を導出する機能を有するステップと、
前記第１の低品位画像を、前記品位向上関数によって、前記少なくとも１つのパラメータの前記学習値を用いて処理して、前記第２の品位より高い第３の品位を有する画像を導出するステップと
を具えていることを特徴とするデータ品位向上方法。
【請求項２】
前記第１の品位が第１の分解能から成り、前記第２の品位が第２の分解能から成り、前記第３の品位が第３の分解能から成ることを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の分解能が、第１の空間解像度、第１の輝度分解能、第１のスペクトル分解能、及び第１の偏光分解能のうちの少なくとも１つから成り、前記第２の分解能が、第２の空間解像度、第２の輝度分解能、第２のスペクトル分解能、及び第２の偏光分解能のうちの少なくとも１つから成り、前記第３の分解能が、第３の空間解像度、第３の輝度分解能、第３のスペクトル分解能、及び第３の偏光分解能のうちの少なくとも１つから成ることを特徴とする請求項２に記載の方法。
【請求項４】
前記第１の品位が第１の信号対雑音比から成り、前記第２の品位が第２の信号対雑音比から成り、前記第３の品位が第３の信号対雑音比から成ることを特徴とする請求項１に記載の方法。
【請求項５】
前記品位向上関数が多項式関数から成り、前記少なくとも１つのパラメータが、前記多項式関数の１つ以上の係数から成ることを特徴とする請求項１に記載の方法。
【請求項６】
前記学習アルゴリズムが、前記１つ以上の係数の各々の値を、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項５に記載の方法。
【請求項７】
前記学習アルゴリズムが、前記１つ以上のパラメータを、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項１に記載の方法。
【請求項８】
前記高品位画像が第１視点から見たシーンを表現し、前記第１の低品位画像が第２視点から見たシーンを表現し、前記第２の低品位画像が第３視点から見たシーンを表現し、前記第２の視点及び前記第３の視点が前記第１の視点に近接していることを特徴とする請求項１に記載の方法。
【請求項９】
シーンを表現する第１の低品位画像のデータ品位を、前記シーンの一部分を表現する高品位画像、前記シーンの前記一部分を表現する第２の低品位画像、及び少なくとも１つのパラメータを有する品位向上関数を用いて向上させるシステムであって、前記シーンの前記一部分が前記シーン全体よりも小さく、前記高品位画像が第１の品位を有し、前記第１の低品位画像及び前記第２の低品位画像が第２の品位を有し、前記第１の品位が前記第２の品位より高いデータ品位向上システムにおいて、
該システムが処理装置を具えて、該処理装置が、
前記高品位画像及び前記第２の低品位画像を学習アルゴリズムによって処理して、前記少なくとも１つのパラメータの学習値を決定するステップであって、前記品位向上関数が、前記第２の低品位画像にもとづいて、前記少なくとも１つのパラメータの前記学習値を用いて、前記高品位画像を近似する画像を導出すべく動作可能であるステップと、
前記第１の低品位画像を、前記少なくとも１つのパラメータの前記学習値を用いて前記品位向上関数によって処理して、前記第２の品位より高い第３の品位を有する画像を導出するステップと
を実行すべく構成されていることを特徴とするデータ品位向上システム。
【請求項１０】
前記第１の品位が第１の分解能から成り、前記第２の品位が第２の分解能から成り、前記第３の品位が第３の分解能から成ることを特徴とする請求項９に記載のシステム。
【請求項１１】
前記第１の分解能が、第１の空間解像度、第１の輝度分解能、第１のスペクトル分解能、及び第１の偏光分解能のうちの少なくとも１つから成り、前記第２の分解能が、第２の空間解像度、第２の輝度分解能、第２のスペクトル分解能、及び第２の偏光分解能のうちの少なくとも１つから成り、前記第３の分解能が、第３の空間解像度、第３の輝度分解能、第３のスペクトル分解能、及び第３の偏光分解能のうちの少なくとも１つから成ることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記第１の品位が第１の信号対雑音比から成り、前記第２の品位が第２の信号対雑音比から成り、前記第３の品位が第３の信号対雑音比から成ることを特徴とする請求項９に記載のシステム。
【請求項１３】
前記品位向上関数が多項式関数から成り、前記少なくとも１つのパラメータが、前記多項式関数の１つ以上の係数から成ることを特徴とする請求項９に記載のシステム。
【請求項１４】
前記学習アルゴリズムが、前記１つ以上の係数の各々の値を、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記学習アルゴリズムが、前記１つ以上のパラメータを、前記高品位画像と前記高品位画像を近似する前記画像との間の二乗誤差値の総和を最小化する値に決定するステップを具えていることを特徴とする請求項９に記載のシステム。
【請求項１６】
前記高品位画像が第１視点から見たシーンを表現し、前記第１の低品位画像が第２視点から見たシーンを表現し、前記第２の低品位画像が第３視点から見たシーンを表現し、前記第２の視点及び前記第３の視点が前記第１の視点に近接していることを特徴とする請求項９に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２０８７９（Ｐ２００９−２０８７９Ａ）
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願番号】特願２００８−１７２５７６（Ｐ２００８−１７２５７６）
【出願日】平成２０年７月１日（２００８．７．１）
【分割の表示】特願２００３−５８１４７７（Ｐ２００３−５８１４７７）の分割
【原出願日】平成１５年３月２５日（２００３．３．２５）
【出願人】（５００３８２４７３）ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク (17)
【Ｆターム（参考）】
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願日】平成２０年７月１日（２００８．７．１）
【分割の表示】特願２００３−５８１４７７（Ｐ２００３−５８１４７７）の分割
【原出願日】平成１５年３月２５日（２００３．３．２５）
【出願人】（５００３８２４７３）ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク (17)
【Ｆターム（参考）】
[ Back to top ]