信号の時間分解能の増加方法およびシステム
【課題】この発明の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムおよび方法を開示する。
【解決手段】この方法は、第１の時間分解能を有するフレームの入力シーケンスとして信号を取得する。この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化される。この方法は、第２の時間分解能が第１の時間分解能よりも大きくなるような当該第２の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する。この変換はフーリエ領域における信号のスパース性に基づく。
【解決手段】この方法は、第１の時間分解能を有するフレームの入力シーケンスとして信号を取得する。この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化される。この方法は、第２の時間分解能が第１の時間分解能よりも大きくなるような当該第２の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する。この変換はフーリエ領域における信号のスパース性に基づく。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的には信号の処理に関し、より詳細には、周期信号または準周期信号の時間分解能を増加させる方法およびシステムに関する。
【背景技術】
【０００２】
周期信号は、自然界および機械においてありふれたものである。準周期信号は、正確には周期性はなく、かなり反復性のある信号である。以下では、実質的周期信号（ｓｕｂｓｔａｎｔｉａｌｌｙ ｐｅｒｉｏｄｉｃ ｓｉｇｎａｌ）は、周期信号および準周期信号を含む。心臓の鼓動および呼吸等の多数の生物学的活動、産業オートメーションプロセス、ならびにハンドミキサおよび冷却ファン等の消費者製品は、実質的周期信号を生成する。
【０００３】
高速撮像ハードウェア
高速ビデオ信号を記録するための制約の１つは、動きブレを低減するために露出時間が短いということである。これには、照明の増加または高利得撮像装置の使用が必要とされる。しかしながら、多くの用途では、明るい光を使用することができない。さらに、高速カメラは高価である。
【０００４】
ストロービング
従来のストロボスコープは、動きが静止してまたはほとんど静止して見えるように、照明の周期的な短いバーストをシーンの周期的な動きに同期させている。この同期が正確である場合には、動きは静止する。この同期が、動きよりもわずかに遅いかまたは速いとき、動きは、ゆっくりと後進または前進するように見える。これらの効果を達成可能にするには、動きの周期が前もって知られていなければならない。また、照明は周期的な短いバーストであるので、全照明時間は非常に小さく、極めて明るい光源が必要とされる。したがって、ほとんどのストロボスコープは、非常に明るいフラッシュを使用して、低減された照明を補償している。
【０００５】
処理
多くのコンピュータビジョンアプリケーションは、実質的に周期的な動きを取り扱っている。たとえば、周期トレース（ｐｅｒｉｏｄ ｔｒａｃｅ）は、周期的な動きの時間変動の記述を提供し、動きの傾向および不規則性を検出するのに使用することができる。
【０００６】
反復的な動きを受ける移動する表面および変形可能な表面の稠密深さ（ｄｅｎｓｅ ｄｅｐｔｈ）および色サンプルを得るには、構造化光を使用することができる。信号の高い時間分解能および空間分解能を得る別の代替的な方法は、ハイブリッド撮像デバイスを介するものである。ハイブリッド撮像デバイスは、高フレームレートではあるが低分解能のビデオカメラと共に、高空間分解能のデジタルカメラを含む。また、直線的な動きによって引き起こされる画像のブレを低減するには、符号化露出も使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
明るい照明を使用することもなく高価な高利得センサを使用することもなく、カメラによって取得される実質的周期信号の時間分解能を増加させることが望まれている。
【課題を解決するための手段】
【０００８】
この発明の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムおよび方法を開示する。
【０００９】
１つの実施の形態は、第１の時間分解能を有するフレームの入力シーケンスとして信号を取得し、第２の時間分解能が第１の時間分解能よりも大きくなるような当該第２の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する方法であって、この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化され、この変換はフーリエ領域における信号のスパース性に基づく、方法を開示する。
【００１０】
別の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムであって、第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、信号は実質的周期信号である、センサ、符号化シーケンスにしたがってフレームの入力シーケンスにおけるフレームを符号化するように構成されたシャッタ、および第２の時間分解能が第１の時間分解能よりも大きくなるような当該第２の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換するように構成された変換モジュールであって、変換は、フーリエ領域における信号のスパース性に基づく、変換モジュール、を含むシステムを開示する。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１による周期信号の時間分解能を増加させるための方法のブロック図である。
【図２Ａ】従来のストロービングのタイミング図である。
【図２Ｂ】符号化ストロービングのタイミング図である。
【図３】この発明の実施の形態１を使用するシステムに由来する一例である。
【図４】この発明の実施の形態１による観測モデルの模式図である。
【図５】この発明の実施の形態１による信号モデルの模式図である。
【図６】この発明の実施の形態１による観測モデルと信号モデルとを結合したものの模式図である。
【図７】この発明の実施の形態１による信号の基本周期を求めるための方法のブロック図である。
【発明を実施するための形態】
【００１２】
図１は、この発明の実施の形態１による実質的周期信号の時間分解能を増加させるための方法を示す。以下では、実質的周期信号は、周期信号および準周期信号を含む。これらの信号は、視覚、音響、電気、またはそれらの組み合わせとすることができる。
【００１３】
信号１１０は、第１の時間分解能１５５（フレーム毎秒）を有するフレーム１５１の入力シーケンス１５０として、たとえばカメラといったセンサ１２０によってシーン１１５から取得される。信号１００は、実質的に周期的であり、たとえばスピン歯ブラシといった実質的に周期的な事象１１５に対応する。
【００１４】
いくつかの実施の形態では、信号１１０を符号化する（１２５）のに、符号化パターン１４０がシャッタコントローラ１３０によって使用される。たとえば、シャッタコントローラは、単一の画像またはフレームの信号積分中にカメラシャッタを開閉する。これについては、米国特許第７，５８０，６２０号明細書を参照されたい。この米国特許は、参照により本明細書に援用される。符号化パターン１４０は、時間的に変化していく。いくつかの実施の形態では、符号化パターンは、入力シーケンスにおけるフレームが異なって符号化されるように決定される。本明細書で定義するように、異なって符号化されたフレームは、第１のフレームが符号化パターンの第１の部分にしたがって符号化され、第２のフレームが符号化パターンの第２の部分にしたがって符号化され、符号化パターンの第１の部分が符号化パターンの第２の部分と異なるような、少なくとも第１のフレームおよび第２のフレームを含む。
【００１５】
入力シーケンス１５０が変換されて（１６０）、第２の時間分解能が第１の時間分解能よりも大きくなるような第２の時間分解能１７５を有するフレームの出力シーケンス１７０が作成される。このフレームの出力シーケンスは、たとえば、表示デバイス、記憶装置、または送信機（図示せず）に出力することができる。
【００１６】
図２Ａ〜図２Ｂは、従来のストロービングおよびこの発明の実施の形態１による符号化ストロービングをそれぞれ示す。従来のストロービングでは、信号２１０は、所定のストロービング周期２１５に同期したサンプリング時間２３０の期間中にサンプリングされる（２２０）。サンプリング時間２１０の期間中に取得された信号のサンプルは、１つのフレーム１５１を生成する。周期およびサンプリング時間が同じである場合、信号は静止して見える。サンプリング時間が周期とわずかに異なる場合、信号は、ゆっくりと遅れるように見えるかまたはゆっくりと進むように見える。
【００１７】
この発明の実施の形態１では、信号は、各フレームの光を積分している間に符号化パターン１４０にしたがってシャッタが複数回オンおよびオフにされる間、取得される。別の実施の形態では、外部シャッタがカメラの前に置かれる。このシャッタは、信号積分時間中に符号化パターンにしたがって交互に不透明および透明にされる。さらに別の実施の形態では、センサ１２０における光の積分は、信号積分時間中に符号化パターンにしたがってオン／オフにされる。
【００１８】
たとえば、パターン１４０にしたがってフレーム２４０を取得している間、信号は、パターンが「１」であるときにのみ積分され（２４２）、２値パターンが「０」に等しいときは積分されない（２４１）。図２Ｂに示す非限定的な例では、フレーム２４０の符号化パターンは、「１１１００１１１００１１１１１」である。その結果、単一のフレームの積分は、時間的に変調または符号化される。
【００１９】
いくつかの実施の形態では、符号化パターンは、変調が独立同一分布（ｉ．ｉ．ｄ．）ベルヌーイ数にしたがってシーケンス１５０のフレームと共に変化するように選択される。
【００２０】
フレームの入力シーケンスは、スパース復元（ｓｐａｒｓｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）方法および圧縮センシング方法から導出された技法を使用して、変換モジュール１６０により出力シーケンスに変換される。
【００２１】
図３は、２０ｆｐｓの第１の時間分解能３０１および１０００ｆｐｓの第２の時間分解能３０２を示す。信号１１０は、回転翼の１つに数字「１」３１０を有する扇風機によって生成される。この数字は、より高い分解能シーケンスでのみ見える。
【００２２】
たとえば電気信号またはオーディオ信号といった非視覚信号を処理する実施の形態では、シャッタコントローラ１３０およびカメラ１２０は、非視覚信号を取得するように構成された適切なセンサと取り替えられる。たとえば、電気信号または電子信号の場合、カメラ１２０は、従来の電圧計または電流計と取り替えられる一方、シャッタコントローラ１３０は、入来電気信号の符号化を実行する回路と取り替えられる。同様に、オーディオ信号の場合、カメラ１２０は、マイクロホンと取り替えられ、シャッタコントローラ１３０は、オーディオ変調デバイスと取り替えられる。
【００２３】
観測モデル
図４は、観測モデル４００を示す。時間ｔにわたる、基本周波数ｆｐを有する実質的周期信号ｘ（ｔ）１１０は、周期Ｐ＝１／ｆｐ ２１５および最大周波数ｆＭａｘを有する。この信号は、実質的に周期的であるので、以下のように表すことができる。
【００２４】
【数１】
【００２５】
信号ｘ（ｔ）のフーリエ変換は、ｊｆPに対応する周波数でのみエネルギーを含む。ここで、ｊ∈｛−Ｑ，−（Ｑ−１），…，０，１，…，Ｑ｝であり、Ｑは実数であり、ｘＤＣは、そのピクセルの平均輝度である。したがって、実質的周期信号は、最大でＫ＝２Ｑ＋１個の非ゼロのフーリエ係数およびフーリエ領域のスパース表現を有する。
【００２６】
信号１１０は、周波数帯域が以下のように制限される。
【００２７】
【数２】
【００２８】
第２の時間分解能１７５を有するシーケンスとして信号を正確に表すために、信号のサンプルは、δｔ＝１／（２ｆＭａｘ）の時間間隔で取得される。ここで、δｔは、第２の時間分解能のサンプリング周期に対応する。取得時間がＮδｔである場合、信号のＮ個のサンプルが取得される。Ｎ個の未知のサンプル４２１は、Ｎ次元ベクトルｘ４２０として表される。従来のカメラでは、放射輝度が、各露出時間中にピクセルにおいて積分され、そのピクセルの強度として記録される。この発明の実施の形態１は、符号化パターン１４０にしたがって積分している間、入来放射輝度を変調したものを符号化する（１２５）。したがって、ピクセルの強度値ｙ４３０は、以下である。
【００２９】
ｙ＝Ｃｘ＋η ・・・（２）
【００３０】
ここで、Ｍ×Ｎ符号化行列Ｃ４４０は、フレームの継続時間の間、変調および積分の双方を実行する。ここで、Ｍは、フレームの入力シーケンスにおけるフレームの個数であり、Ｎは、フレームの出力シーケンスにおけるフレームの個数であり、Ｍ≪Ｎであり、ηは雑音である。
【００３１】
センサ１２０が、ＴＳ秒４１１ごとにフレームを取得する場合、入力シーケンスにおけるフレームの全個数は、Ｍ＝Ｎδｔ／ＴＳであり、当該シーケンスの場合、ピクセルの強度値ｙはＭ×１ベクトルである。Ｍ≪Ｎであり且つｆｓ＝１／ＴＳが第１の時間分解能である場合、実施の形態１によるアップサンプリング係数は、以下である。
【００３２】
【数３】
【００３３】
たとえば１つの実施の形態では、ｆＭａｘ＝１０００Ｈｚであり、ｆｓ＝２５ｆｐｓである。したがって、サンプリング係数は８０である。すなわち、カメラ１２０のフレームレートは、同等の高速ビデオカメラよりも８０倍低速である。有効な変調は、５０％の透過を有する符号で達成することができる。すなわち、シャッタは、２分の１の時間開いている。しかしながら、この発明のさまざまな実施の形態は、異なる透過比を使用する。
【００３４】
信号モデル
図５は、信号モデル５００を示す。信号ｘは、以下である。
【００３５】
ｘ＝Ｂｓ ・・・（４）
【００３６】
ここで、Ｂは、フーリエ基底要素を含む列を有する逆フーリエ変換行列５１０であり、ベクトルｓは、フーリエ係数ベクトル５２０である。信号ｘ（ｔ）は実質的に周期的であるので、フーリエ係数ベクトルｓはスパースである。すなわち、少数の非ゼロの要素５２５を有する。
【００３７】
信号モデルと観測モデルとを結合すると、取得されたサンプルは、以下によって基底係数に関係付けられる。
【００３８】
ｙ＝Ｃｘ＋η＝ＣＢｓ＋η＝Ａｓ＋η ・・・（５）
【００３９】
ここで、Ａは、変換１６０の混合行列である。
【００４０】
変換
取得された強度値は変調されるので、入力シーケンスの出力シーケンスへの変換１６０は、式（５）の線形システムを解くことによって実行される。
【００４１】
図６は、取得されたサンプルとフーリエ係数ベクトルｓとの間の関係を示す。上述したように、ベクトルｙは、次元Ｍ×１を有する。ベクトルｙの各要素は、対応するフレームにおいて取得された信号の値である。たとえば、信号１１０がビデオ信号である場合、ベクトルｙの値は、ピクセルの強度を表す。ベクトルｙの値は、フレームの入力シーケンスが取得された後に分かる。
【００４２】
符号化行列Ｃは、サイズＭ×Ｎを有する。符号化行列の値は、既知であり、図４に示すように、符号化パターン１４０に依存する。フーリエ変換行列は、サイズＮ×Ｎを有し、フーリエ変換行列の値は既知である。したがって、未知のベクトルｘを求めるために、変換には、信号の変調された強度ｙから係数ｓを復元することが必要とされる。しかしながら、未知の要素の個数が、たとえば１つの実施の形態では、８０といったアップサンプリング係数Ｕにより既知の変数の個数を超えている。したがって、式（５）のシステムは、厳しく劣決定的である。
【００４３】
したがって、この発明の実施形態は、式（５）を解くために、フーリエ係数ｓのスパース性等の信号の周期性についての追加の知識を使用する。
【００４４】
スパース性強化変換（Ｓｐａｒｓｉｔｙ Ｅｎｆｏｒｃｉｎｇ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）
信号１１０の周期性のために、フーリエ係数ベクトルｓは、Ｋ個の非ゼロの要素しか含まない。すなわち、信号は、Ｋ−スパース（Ｋ−ｓｐａｒｓｅ）である。その上、各非ゼロのフーリエ係数は、信号の基本周波数ｆｐの高調波である。すなわち、ベクトルｓは、ｊｆPに対応するインデックスを有する要素に非ゼロの値を有する。ここで、ｊは、正の整数である。したがって、この発明の実施の形態１は、基本周波数ｆｐを求め、式（５）の劣決定性を覆す。
【００４５】
図７は、信号１１０の基本周波数を求めるための方法７００のブロック図を示す。方法７００は、基本周波数の異なる可能な値について実行される（７１０）。各基本周波数７１５について、フーリエ係数ベクトルｓ７８５が求められ、取得されたベクトルｙ７７５と比較されて、基本周波数の関数としての誤差が求められる（７７０）。最小の誤差となるフーリエ係数ベクトル７９５が選択される。
【００４６】
基本周波数の可能な値のセットの中の基本周波数の各選択された値について（７１０）、フーリエ係数の縮小ベクトルｓｒｅｄ７２５が求められる（７２０）。縮小するステップ７２０は、ｊｆPに等しくないインデックスを有する要素をフーリエ係数ベクトルｓから除去する。したがって、ベクトルｓｒｅｄは、Ｋ個の要素を有する。ここで、Ｋ≪Ｎである。したがって、ベクトルｓから除去された要素のインデックスに対応するインデックスを有する列を行列Ｂから除去することによって、行列Ｂ ５１０のサイズも縮小され、サイズＭ×Ｋを有するＢｒｅｄ７３５が作成される。同様に、有効な混合行列Ａ＝ＢＣもサイズが縮小され、サイズＭ×Ｋを有する縮小混合行列Ａｒｅｄ７５５、すなわちＡｒｅｄ＝ＢｒｅｄＣが作成される（７５０）。
【００４７】
式（５）は、以下に書き換えることができる。
【００４８】
ｙ＝Ａｒｅｄｓｒｅｄ ・・・（６）
【００４９】
Ｋ≦Ｍである場合、式（６）は、基本周波数７１５に対応する縮小フーリエ係数ベクトル７８５を求めることができる（７６０）。この求めるステップ７６０は、たとえば、以下による線形逆変換技法を使用することができる。
【００５０】
【数４】
【００５１】
ここで、Ａ†ｒｅｄは、縮小混合行列Ａｒｅｄの疑似逆行列である。
【００５２】
各縮小フーリエ係数ベクトル７８５について、基本周波数の関数としての誤差７９０が求められ（７７０）、たとえば、以下にしたがって誤差のセットが作成される。
【００５３】
【数５】
【００５４】
誤差を最小にするフーリエ係数ベクトル７９５が選択される。ベクトルｓが分かると、第２の時間分解能を有する信号の未知の値が、式（４）にしたがって求められる。
【００５５】
実質的周期信号における異常
医用画像等の多くの用途では、たとえば声帯といった身体の振動部分または発振部分は、或る異常に起因して規則的な間隔で「動揺」する可能性がある。視覚信号は実質的に周期的であるが、全体が破損される可能性があり、信号に異常が引き起こされる可能性がある。異常信号ｘａ（ｔ）は、ｘａ（ｔ）＝ｘ（ｔ）＋ａ（ｔ）として記述することができる。ここで、信号の異常ａ（ｔ）は、規則的な周期の箇所を除いて大部分ゼロである。多くの用途では、異常部分ａ（ｔ）は、望ましくない破損であり、実質的周期信号ｘ（ｔ）の正確な回復が望まれる。
【００５６】
異常は、周期全体を破損し、比較的まれに発生することから、１つの実施の形態は、符号化ストロービング観測結果ｙから異常周期を直接検出する。異常は時間領域ではスパースであり、実質的周期信号はフーリエ領域ではスパースであるので、異常信号は、結合基底（ｊｏｉｎｔ ｂａｓｉｓ）Ｂａ＝［ＢＩ］においてスパースである。ここで、ＢａはＮ×２Ｎ行列である。
【００５７】
係数ｓａ＝［ｓＴａＴ］Ｔを有する異常信号ｘａ＝Ｂａｓａは、実質的周期信号の周波数成分ｓおよびａ（ｔ）の異常周期の双方を表す。係数
【００５８】
【数６】
【００５９】
は、破損した符号化ストロービングフレームに対応するロケーションでのみ非ゼロである異常な時刻に対応する当該係数
【００６０】
【数７】
【００６１】
として回復される。これらのフレームは、その後、廃棄される。
【００６２】
この発明を好ましい実施の形態の例として説明してきたが、この発明の趣旨および範囲内において他のさまざまな適応および変更を行えることが理解されるべきである。したがって、この発明の真の趣旨および範囲内に入るこのようなすべての変形および変更をカバーすることが添付の特許請求の範囲の目的である。
【技術分野】
【０００１】
この発明は、包括的には信号の処理に関し、より詳細には、周期信号または準周期信号の時間分解能を増加させる方法およびシステムに関する。
【背景技術】
【０００２】
周期信号は、自然界および機械においてありふれたものである。準周期信号は、正確には周期性はなく、かなり反復性のある信号である。以下では、実質的周期信号（ｓｕｂｓｔａｎｔｉａｌｌｙ ｐｅｒｉｏｄｉｃ ｓｉｇｎａｌ）は、周期信号および準周期信号を含む。心臓の鼓動および呼吸等の多数の生物学的活動、産業オートメーションプロセス、ならびにハンドミキサおよび冷却ファン等の消費者製品は、実質的周期信号を生成する。
【０００３】
高速撮像ハードウェア
高速ビデオ信号を記録するための制約の１つは、動きブレを低減するために露出時間が短いということである。これには、照明の増加または高利得撮像装置の使用が必要とされる。しかしながら、多くの用途では、明るい光を使用することができない。さらに、高速カメラは高価である。
【０００４】
ストロービング
従来のストロボスコープは、動きが静止してまたはほとんど静止して見えるように、照明の周期的な短いバーストをシーンの周期的な動きに同期させている。この同期が正確である場合には、動きは静止する。この同期が、動きよりもわずかに遅いかまたは速いとき、動きは、ゆっくりと後進または前進するように見える。これらの効果を達成可能にするには、動きの周期が前もって知られていなければならない。また、照明は周期的な短いバーストであるので、全照明時間は非常に小さく、極めて明るい光源が必要とされる。したがって、ほとんどのストロボスコープは、非常に明るいフラッシュを使用して、低減された照明を補償している。
【０００５】
処理
多くのコンピュータビジョンアプリケーションは、実質的に周期的な動きを取り扱っている。たとえば、周期トレース（ｐｅｒｉｏｄ ｔｒａｃｅ）は、周期的な動きの時間変動の記述を提供し、動きの傾向および不規則性を検出するのに使用することができる。
【０００６】
反復的な動きを受ける移動する表面および変形可能な表面の稠密深さ（ｄｅｎｓｅ ｄｅｐｔｈ）および色サンプルを得るには、構造化光を使用することができる。信号の高い時間分解能および空間分解能を得る別の代替的な方法は、ハイブリッド撮像デバイスを介するものである。ハイブリッド撮像デバイスは、高フレームレートではあるが低分解能のビデオカメラと共に、高空間分解能のデジタルカメラを含む。また、直線的な動きによって引き起こされる画像のブレを低減するには、符号化露出も使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
明るい照明を使用することもなく高価な高利得センサを使用することもなく、カメラによって取得される実質的周期信号の時間分解能を増加させることが望まれている。
【課題を解決するための手段】
【０００８】
この発明の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムおよび方法を開示する。
【０００９】
１つの実施の形態は、第１の時間分解能を有するフレームの入力シーケンスとして信号を取得し、第２の時間分解能が第１の時間分解能よりも大きくなるような当該第２の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する方法であって、この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化され、この変換はフーリエ領域における信号のスパース性に基づく、方法を開示する。
【００１０】
別の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムであって、第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、信号は実質的周期信号である、センサ、符号化シーケンスにしたがってフレームの入力シーケンスにおけるフレームを符号化するように構成されたシャッタ、および第２の時間分解能が第１の時間分解能よりも大きくなるような当該第２の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換するように構成された変換モジュールであって、変換は、フーリエ領域における信号のスパース性に基づく、変換モジュール、を含むシステムを開示する。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１による周期信号の時間分解能を増加させるための方法のブロック図である。
【図２Ａ】従来のストロービングのタイミング図である。
【図２Ｂ】符号化ストロービングのタイミング図である。
【図３】この発明の実施の形態１を使用するシステムに由来する一例である。
【図４】この発明の実施の形態１による観測モデルの模式図である。
【図５】この発明の実施の形態１による信号モデルの模式図である。
【図６】この発明の実施の形態１による観測モデルと信号モデルとを結合したものの模式図である。
【図７】この発明の実施の形態１による信号の基本周期を求めるための方法のブロック図である。
【発明を実施するための形態】
【００１２】
図１は、この発明の実施の形態１による実質的周期信号の時間分解能を増加させるための方法を示す。以下では、実質的周期信号は、周期信号および準周期信号を含む。これらの信号は、視覚、音響、電気、またはそれらの組み合わせとすることができる。
【００１３】
信号１１０は、第１の時間分解能１５５（フレーム毎秒）を有するフレーム１５１の入力シーケンス１５０として、たとえばカメラといったセンサ１２０によってシーン１１５から取得される。信号１００は、実質的に周期的であり、たとえばスピン歯ブラシといった実質的に周期的な事象１１５に対応する。
【００１４】
いくつかの実施の形態では、信号１１０を符号化する（１２５）のに、符号化パターン１４０がシャッタコントローラ１３０によって使用される。たとえば、シャッタコントローラは、単一の画像またはフレームの信号積分中にカメラシャッタを開閉する。これについては、米国特許第７，５８０，６２０号明細書を参照されたい。この米国特許は、参照により本明細書に援用される。符号化パターン１４０は、時間的に変化していく。いくつかの実施の形態では、符号化パターンは、入力シーケンスにおけるフレームが異なって符号化されるように決定される。本明細書で定義するように、異なって符号化されたフレームは、第１のフレームが符号化パターンの第１の部分にしたがって符号化され、第２のフレームが符号化パターンの第２の部分にしたがって符号化され、符号化パターンの第１の部分が符号化パターンの第２の部分と異なるような、少なくとも第１のフレームおよび第２のフレームを含む。
【００１５】
入力シーケンス１５０が変換されて（１６０）、第２の時間分解能が第１の時間分解能よりも大きくなるような第２の時間分解能１７５を有するフレームの出力シーケンス１７０が作成される。このフレームの出力シーケンスは、たとえば、表示デバイス、記憶装置、または送信機（図示せず）に出力することができる。
【００１６】
図２Ａ〜図２Ｂは、従来のストロービングおよびこの発明の実施の形態１による符号化ストロービングをそれぞれ示す。従来のストロービングでは、信号２１０は、所定のストロービング周期２１５に同期したサンプリング時間２３０の期間中にサンプリングされる（２２０）。サンプリング時間２１０の期間中に取得された信号のサンプルは、１つのフレーム１５１を生成する。周期およびサンプリング時間が同じである場合、信号は静止して見える。サンプリング時間が周期とわずかに異なる場合、信号は、ゆっくりと遅れるように見えるかまたはゆっくりと進むように見える。
【００１７】
この発明の実施の形態１では、信号は、各フレームの光を積分している間に符号化パターン１４０にしたがってシャッタが複数回オンおよびオフにされる間、取得される。別の実施の形態では、外部シャッタがカメラの前に置かれる。このシャッタは、信号積分時間中に符号化パターンにしたがって交互に不透明および透明にされる。さらに別の実施の形態では、センサ１２０における光の積分は、信号積分時間中に符号化パターンにしたがってオン／オフにされる。
【００１８】
たとえば、パターン１４０にしたがってフレーム２４０を取得している間、信号は、パターンが「１」であるときにのみ積分され（２４２）、２値パターンが「０」に等しいときは積分されない（２４１）。図２Ｂに示す非限定的な例では、フレーム２４０の符号化パターンは、「１１１００１１１００１１１１１」である。その結果、単一のフレームの積分は、時間的に変調または符号化される。
【００１９】
いくつかの実施の形態では、符号化パターンは、変調が独立同一分布（ｉ．ｉ．ｄ．）ベルヌーイ数にしたがってシーケンス１５０のフレームと共に変化するように選択される。
【００２０】
フレームの入力シーケンスは、スパース復元（ｓｐａｒｓｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）方法および圧縮センシング方法から導出された技法を使用して、変換モジュール１６０により出力シーケンスに変換される。
【００２１】
図３は、２０ｆｐｓの第１の時間分解能３０１および１０００ｆｐｓの第２の時間分解能３０２を示す。信号１１０は、回転翼の１つに数字「１」３１０を有する扇風機によって生成される。この数字は、より高い分解能シーケンスでのみ見える。
【００２２】
たとえば電気信号またはオーディオ信号といった非視覚信号を処理する実施の形態では、シャッタコントローラ１３０およびカメラ１２０は、非視覚信号を取得するように構成された適切なセンサと取り替えられる。たとえば、電気信号または電子信号の場合、カメラ１２０は、従来の電圧計または電流計と取り替えられる一方、シャッタコントローラ１３０は、入来電気信号の符号化を実行する回路と取り替えられる。同様に、オーディオ信号の場合、カメラ１２０は、マイクロホンと取り替えられ、シャッタコントローラ１３０は、オーディオ変調デバイスと取り替えられる。
【００２３】
観測モデル
図４は、観測モデル４００を示す。時間ｔにわたる、基本周波数ｆｐを有する実質的周期信号ｘ（ｔ）１１０は、周期Ｐ＝１／ｆｐ ２１５および最大周波数ｆＭａｘを有する。この信号は、実質的に周期的であるので、以下のように表すことができる。
【００２４】
【数１】
【００２５】
信号ｘ（ｔ）のフーリエ変換は、ｊｆPに対応する周波数でのみエネルギーを含む。ここで、ｊ∈｛−Ｑ，−（Ｑ−１），…，０，１，…，Ｑ｝であり、Ｑは実数であり、ｘＤＣは、そのピクセルの平均輝度である。したがって、実質的周期信号は、最大でＫ＝２Ｑ＋１個の非ゼロのフーリエ係数およびフーリエ領域のスパース表現を有する。
【００２６】
信号１１０は、周波数帯域が以下のように制限される。
【００２７】
【数２】
【００２８】
第２の時間分解能１７５を有するシーケンスとして信号を正確に表すために、信号のサンプルは、δｔ＝１／（２ｆＭａｘ）の時間間隔で取得される。ここで、δｔは、第２の時間分解能のサンプリング周期に対応する。取得時間がＮδｔである場合、信号のＮ個のサンプルが取得される。Ｎ個の未知のサンプル４２１は、Ｎ次元ベクトルｘ４２０として表される。従来のカメラでは、放射輝度が、各露出時間中にピクセルにおいて積分され、そのピクセルの強度として記録される。この発明の実施の形態１は、符号化パターン１４０にしたがって積分している間、入来放射輝度を変調したものを符号化する（１２５）。したがって、ピクセルの強度値ｙ４３０は、以下である。
【００２９】
ｙ＝Ｃｘ＋η ・・・（２）
【００３０】
ここで、Ｍ×Ｎ符号化行列Ｃ４４０は、フレームの継続時間の間、変調および積分の双方を実行する。ここで、Ｍは、フレームの入力シーケンスにおけるフレームの個数であり、Ｎは、フレームの出力シーケンスにおけるフレームの個数であり、Ｍ≪Ｎであり、ηは雑音である。
【００３１】
センサ１２０が、ＴＳ秒４１１ごとにフレームを取得する場合、入力シーケンスにおけるフレームの全個数は、Ｍ＝Ｎδｔ／ＴＳであり、当該シーケンスの場合、ピクセルの強度値ｙはＭ×１ベクトルである。Ｍ≪Ｎであり且つｆｓ＝１／ＴＳが第１の時間分解能である場合、実施の形態１によるアップサンプリング係数は、以下である。
【００３２】
【数３】
【００３３】
たとえば１つの実施の形態では、ｆＭａｘ＝１０００Ｈｚであり、ｆｓ＝２５ｆｐｓである。したがって、サンプリング係数は８０である。すなわち、カメラ１２０のフレームレートは、同等の高速ビデオカメラよりも８０倍低速である。有効な変調は、５０％の透過を有する符号で達成することができる。すなわち、シャッタは、２分の１の時間開いている。しかしながら、この発明のさまざまな実施の形態は、異なる透過比を使用する。
【００３４】
信号モデル
図５は、信号モデル５００を示す。信号ｘは、以下である。
【００３５】
ｘ＝Ｂｓ ・・・（４）
【００３６】
ここで、Ｂは、フーリエ基底要素を含む列を有する逆フーリエ変換行列５１０であり、ベクトルｓは、フーリエ係数ベクトル５２０である。信号ｘ（ｔ）は実質的に周期的であるので、フーリエ係数ベクトルｓはスパースである。すなわち、少数の非ゼロの要素５２５を有する。
【００３７】
信号モデルと観測モデルとを結合すると、取得されたサンプルは、以下によって基底係数に関係付けられる。
【００３８】
ｙ＝Ｃｘ＋η＝ＣＢｓ＋η＝Ａｓ＋η ・・・（５）
【００３９】
ここで、Ａは、変換１６０の混合行列である。
【００４０】
変換
取得された強度値は変調されるので、入力シーケンスの出力シーケンスへの変換１６０は、式（５）の線形システムを解くことによって実行される。
【００４１】
図６は、取得されたサンプルとフーリエ係数ベクトルｓとの間の関係を示す。上述したように、ベクトルｙは、次元Ｍ×１を有する。ベクトルｙの各要素は、対応するフレームにおいて取得された信号の値である。たとえば、信号１１０がビデオ信号である場合、ベクトルｙの値は、ピクセルの強度を表す。ベクトルｙの値は、フレームの入力シーケンスが取得された後に分かる。
【００４２】
符号化行列Ｃは、サイズＭ×Ｎを有する。符号化行列の値は、既知であり、図４に示すように、符号化パターン１４０に依存する。フーリエ変換行列は、サイズＮ×Ｎを有し、フーリエ変換行列の値は既知である。したがって、未知のベクトルｘを求めるために、変換には、信号の変調された強度ｙから係数ｓを復元することが必要とされる。しかしながら、未知の要素の個数が、たとえば１つの実施の形態では、８０といったアップサンプリング係数Ｕにより既知の変数の個数を超えている。したがって、式（５）のシステムは、厳しく劣決定的である。
【００４３】
したがって、この発明の実施形態は、式（５）を解くために、フーリエ係数ｓのスパース性等の信号の周期性についての追加の知識を使用する。
【００４４】
スパース性強化変換（Ｓｐａｒｓｉｔｙ Ｅｎｆｏｒｃｉｎｇ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）
信号１１０の周期性のために、フーリエ係数ベクトルｓは、Ｋ個の非ゼロの要素しか含まない。すなわち、信号は、Ｋ−スパース（Ｋ−ｓｐａｒｓｅ）である。その上、各非ゼロのフーリエ係数は、信号の基本周波数ｆｐの高調波である。すなわち、ベクトルｓは、ｊｆPに対応するインデックスを有する要素に非ゼロの値を有する。ここで、ｊは、正の整数である。したがって、この発明の実施の形態１は、基本周波数ｆｐを求め、式（５）の劣決定性を覆す。
【００４５】
図７は、信号１１０の基本周波数を求めるための方法７００のブロック図を示す。方法７００は、基本周波数の異なる可能な値について実行される（７１０）。各基本周波数７１５について、フーリエ係数ベクトルｓ７８５が求められ、取得されたベクトルｙ７７５と比較されて、基本周波数の関数としての誤差が求められる（７７０）。最小の誤差となるフーリエ係数ベクトル７９５が選択される。
【００４６】
基本周波数の可能な値のセットの中の基本周波数の各選択された値について（７１０）、フーリエ係数の縮小ベクトルｓｒｅｄ７２５が求められる（７２０）。縮小するステップ７２０は、ｊｆPに等しくないインデックスを有する要素をフーリエ係数ベクトルｓから除去する。したがって、ベクトルｓｒｅｄは、Ｋ個の要素を有する。ここで、Ｋ≪Ｎである。したがって、ベクトルｓから除去された要素のインデックスに対応するインデックスを有する列を行列Ｂから除去することによって、行列Ｂ ５１０のサイズも縮小され、サイズＭ×Ｋを有するＢｒｅｄ７３５が作成される。同様に、有効な混合行列Ａ＝ＢＣもサイズが縮小され、サイズＭ×Ｋを有する縮小混合行列Ａｒｅｄ７５５、すなわちＡｒｅｄ＝ＢｒｅｄＣが作成される（７５０）。
【００４７】
式（５）は、以下に書き換えることができる。
【００４８】
ｙ＝Ａｒｅｄｓｒｅｄ ・・・（６）
【００４９】
Ｋ≦Ｍである場合、式（６）は、基本周波数７１５に対応する縮小フーリエ係数ベクトル７８５を求めることができる（７６０）。この求めるステップ７６０は、たとえば、以下による線形逆変換技法を使用することができる。
【００５０】
【数４】
【００５１】
ここで、Ａ†ｒｅｄは、縮小混合行列Ａｒｅｄの疑似逆行列である。
【００５２】
各縮小フーリエ係数ベクトル７８５について、基本周波数の関数としての誤差７９０が求められ（７７０）、たとえば、以下にしたがって誤差のセットが作成される。
【００５３】
【数５】
【００５４】
誤差を最小にするフーリエ係数ベクトル７９５が選択される。ベクトルｓが分かると、第２の時間分解能を有する信号の未知の値が、式（４）にしたがって求められる。
【００５５】
実質的周期信号における異常
医用画像等の多くの用途では、たとえば声帯といった身体の振動部分または発振部分は、或る異常に起因して規則的な間隔で「動揺」する可能性がある。視覚信号は実質的に周期的であるが、全体が破損される可能性があり、信号に異常が引き起こされる可能性がある。異常信号ｘａ（ｔ）は、ｘａ（ｔ）＝ｘ（ｔ）＋ａ（ｔ）として記述することができる。ここで、信号の異常ａ（ｔ）は、規則的な周期の箇所を除いて大部分ゼロである。多くの用途では、異常部分ａ（ｔ）は、望ましくない破損であり、実質的周期信号ｘ（ｔ）の正確な回復が望まれる。
【００５６】
異常は、周期全体を破損し、比較的まれに発生することから、１つの実施の形態は、符号化ストロービング観測結果ｙから異常周期を直接検出する。異常は時間領域ではスパースであり、実質的周期信号はフーリエ領域ではスパースであるので、異常信号は、結合基底（ｊｏｉｎｔ ｂａｓｉｓ）Ｂａ＝［ＢＩ］においてスパースである。ここで、ＢａはＮ×２Ｎ行列である。
【００５７】
係数ｓａ＝［ｓＴａＴ］Ｔを有する異常信号ｘａ＝Ｂａｓａは、実質的周期信号の周波数成分ｓおよびａ（ｔ）の異常周期の双方を表す。係数
【００５８】
【数６】
【００５９】
は、破損した符号化ストロービングフレームに対応するロケーションでのみ非ゼロである異常な時刻に対応する当該係数
【００６０】
【数７】
【００６１】
として回復される。これらのフレームは、その後、廃棄される。
【００６２】
この発明を好ましい実施の形態の例として説明してきたが、この発明の趣旨および範囲内において他のさまざまな適応および変更を行えることが理解されるべきである。したがって、この発明の真の趣旨および範囲内に入るこのようなすべての変形および変更をカバーすることが添付の特許請求の範囲の目的である。
【特許請求の範囲】
【請求項１】
実質的に周期的な信号の時間分解能を増加させるための方法であって、前記方法のステップを実行するためのプロセッサを備え、
第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するステップであって、前記信号は実質的周期信号であり、各フレームは符号化パターンにしたがって符号化される、取得ステップと、
第２の時間分解能が前記第１の時間分解能よりも大きくなるような前記第２の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するステップであって、フーリエ領域における前記信号のスパース性に基づく、変換ステップと、
を含む、方法。
【請求項２】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってカメラのシャッタを開閉することにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってシャッタを交互に不透明および透明にすることにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項４】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってセンサによる光の積分をオンおよびオフにすることにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記符号化パターンは、時間的に変化していく、請求項１に記載の方法。
【請求項６】
前記符号化パターンは、２値パターンである、請求項１に記載の方法。
【請求項７】
前記符号化パターンは、確率分布関数にしたがう、請求項１に記載の方法。
【請求項８】
前記フレームの入力シーケンスは、第１のフレームが前記符号化パターンの第１の部分にしたがって符号化され、第２のフレームが前記符号化パターンの第２の部分にしたがって符号化され、前記符号化パターンの前記第１の部分が前記符号化パターンの前記第２の部分と異なるような、前記第１のフレームおよび前記第２のフレームを含む、請求項１に記載の方法。
【請求項９】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがって光源をオンおよびオフに交互に切り替えることにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記変換ステップは、
観測モデルにしたがって前記信号を表すステップと、
信号モデルにしたがって前記信号を表すステップと、
前記観測モデルと前記信号モデルとを結合するステップであって、それによって、混合モデルを作成する、結合するステップと、
前記混合モデルに基づいて前記フレームの出力シーケンスを求めるステップと、
をさらに含む、請求項１に記載の方法。
【請求項１１】
前記変換するステップは、
ｙ＝Ｃｘ＋η＝ＣＢｓ＋η＝Ａｓ＋η
にしたがって、前記入力シーケンスと前記出力シーケンスとの間の関係を表すステップ、
をさらに含み、ここで、ｙは前記フレームの入力シーケンスにおける前記信号の値を表し、Ｃは符号化行列であり、前記符号化行列の値は前記符号化パターンに依存し、Ｂは逆フーリエ変換行列であり、ｓはフーリエ係数ベクトルであり、ｘは前記フレームの出力シーケンスにおける前記信号の値を表し、Ａは前記変換の混合行列であり、ηは雑音である、請求項１に記載の方法。
【請求項１２】
前記信号の基本周波数を求めるステップと、
前記フーリエ係数ベクトルｓを求めるステップと、
ｘ＝Ｂｓにしたがって前記フレームの出力シーケンスを求めるステップと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
基本周波数の可能な値のセットを取得するステップと、
基本周波数の前記可能な値のセットにおける基本周波数の各値について、前記フーリエ係数ベクトルを求めるステップと、
各フーリエ係数ベクトルについて、前記基本周波数の関数としての誤差を求めるステップであって、それによって、誤差のセットを作成する、求めるステップと、
前記誤差のセットにおける最小の誤差に対応する前記フーリエ係数ベクトルを選択するステップと、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
実質的周期信号の時間分解能を増加させるためのシステムであって、
第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するための手段であって、前記信号は実質的周期信号であり、前記フレームの入力シーケンスにおける前記フレームは符号化パターンにしたがって符号化される、取得するための手段と、
第２の時間分解能が前記第１の時間分解能よりも大きくなるような前記第２の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するための手段であって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換するための手段と、
を備える、システム。
【請求項１５】
前記フレームの入力シーケンスのフレームの信号積分時間中に前記符号化パターンにしたがって前記信号を符号化するための手段、
をさらに備える、請求項１４に記載のシステム。
【請求項１６】
前記フレームの入力シーケンスにおける前記フレームは、異なって符号化される、請求項１４に記載のシステム。
【請求項１７】
実質的周期信号の時間分解能を増加させるためのシステムであって、
第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、前記信号は実質的周期信号である、センサと、
符号化シーケンスにしたがって前記フレームの入力シーケンスにおける前記フレームを符号化するように構成されたシャッタと、
第２の時間分解能が前記第１の時間分解能よりも大きくなるような前記第２の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するように構成された変換モジュールであって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換モジュールと、
を備える、システム。
【請求項１８】
前記フレームの出力シーケンスを記憶するための記憶装置、
をさらに備える、請求項１７に記載のシステム。
【請求項１９】
前記フレームの出力シーケンスを表示するように構成されたディスプレイ、
をさらに備える、請求項１７に記載のシステム。
【請求項１】
実質的に周期的な信号の時間分解能を増加させるための方法であって、前記方法のステップを実行するためのプロセッサを備え、
第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するステップであって、前記信号は実質的周期信号であり、各フレームは符号化パターンにしたがって符号化される、取得ステップと、
第２の時間分解能が前記第１の時間分解能よりも大きくなるような前記第２の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するステップであって、フーリエ領域における前記信号のスパース性に基づく、変換ステップと、
を含む、方法。
【請求項２】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってカメラのシャッタを開閉することにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってシャッタを交互に不透明および透明にすることにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項４】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってセンサによる光の積分をオンおよびオフにすることにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記符号化パターンは、時間的に変化していく、請求項１に記載の方法。
【請求項６】
前記符号化パターンは、２値パターンである、請求項１に記載の方法。
【請求項７】
前記符号化パターンは、確率分布関数にしたがう、請求項１に記載の方法。
【請求項８】
前記フレームの入力シーケンスは、第１のフレームが前記符号化パターンの第１の部分にしたがって符号化され、第２のフレームが前記符号化パターンの第２の部分にしたがって符号化され、前記符号化パターンの前記第１の部分が前記符号化パターンの前記第２の部分と異なるような、前記第１のフレームおよび前記第２のフレームを含む、請求項１に記載の方法。
【請求項９】
前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがって光源をオンおよびオフに交互に切り替えることにより、前記信号を符号化するステップ、
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記変換ステップは、
観測モデルにしたがって前記信号を表すステップと、
信号モデルにしたがって前記信号を表すステップと、
前記観測モデルと前記信号モデルとを結合するステップであって、それによって、混合モデルを作成する、結合するステップと、
前記混合モデルに基づいて前記フレームの出力シーケンスを求めるステップと、
をさらに含む、請求項１に記載の方法。
【請求項１１】
前記変換するステップは、
ｙ＝Ｃｘ＋η＝ＣＢｓ＋η＝Ａｓ＋η
にしたがって、前記入力シーケンスと前記出力シーケンスとの間の関係を表すステップ、
をさらに含み、ここで、ｙは前記フレームの入力シーケンスにおける前記信号の値を表し、Ｃは符号化行列であり、前記符号化行列の値は前記符号化パターンに依存し、Ｂは逆フーリエ変換行列であり、ｓはフーリエ係数ベクトルであり、ｘは前記フレームの出力シーケンスにおける前記信号の値を表し、Ａは前記変換の混合行列であり、ηは雑音である、請求項１に記載の方法。
【請求項１２】
前記信号の基本周波数を求めるステップと、
前記フーリエ係数ベクトルｓを求めるステップと、
ｘ＝Ｂｓにしたがって前記フレームの出力シーケンスを求めるステップと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
基本周波数の可能な値のセットを取得するステップと、
基本周波数の前記可能な値のセットにおける基本周波数の各値について、前記フーリエ係数ベクトルを求めるステップと、
各フーリエ係数ベクトルについて、前記基本周波数の関数としての誤差を求めるステップであって、それによって、誤差のセットを作成する、求めるステップと、
前記誤差のセットにおける最小の誤差に対応する前記フーリエ係数ベクトルを選択するステップと、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
実質的周期信号の時間分解能を増加させるためのシステムであって、
第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するための手段であって、前記信号は実質的周期信号であり、前記フレームの入力シーケンスにおける前記フレームは符号化パターンにしたがって符号化される、取得するための手段と、
第２の時間分解能が前記第１の時間分解能よりも大きくなるような前記第２の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するための手段であって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換するための手段と、
を備える、システム。
【請求項１５】
前記フレームの入力シーケンスのフレームの信号積分時間中に前記符号化パターンにしたがって前記信号を符号化するための手段、
をさらに備える、請求項１４に記載のシステム。
【請求項１６】
前記フレームの入力シーケンスにおける前記フレームは、異なって符号化される、請求項１４に記載のシステム。
【請求項１７】
実質的周期信号の時間分解能を増加させるためのシステムであって、
第１の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、前記信号は実質的周期信号である、センサと、
符号化シーケンスにしたがって前記フレームの入力シーケンスにおける前記フレームを符号化するように構成されたシャッタと、
第２の時間分解能が前記第１の時間分解能よりも大きくなるような前記第２の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するように構成された変換モジュールであって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換モジュールと、
を備える、システム。
【請求項１８】
前記フレームの出力シーケンスを記憶するための記憶装置、
をさらに備える、請求項１７に記載のシステム。
【請求項１９】
前記フレームの出力シーケンスを表示するように構成されたディスプレイ、
をさらに備える、請求項１７に記載のシステム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−７８０８４（Ｐ２０１１−７８０８４Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−１７１８６４（Ｐ２０１０−１７１８６４）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２０１０−１７１８６４（Ｐ２０１０−１７１８６４）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]