シーンの一連のフレームをビデオとして取得するカメラ
【課題】時空間超解像度ビデオを達成することが可能で、ビデオ超解像度、雑音除去、補間、およびぶれ除去等の用途にハードウェアを追加することなく用いることもできるビデオモデルおよび再構成ビデオ方法を構築する。
【解決手段】シーンの一連のフレームをビデオとして取得するカメラが、センサーピクセルのアレイを有するセンサーを含む。個々のセンサーピクセルは、ビデオの各フレームを取得している間、対応する変調関数によって変調される。変調は、シーンとセンサーとの間の光路に配置された透過型または反射型のマスクによって実行することができる。フレームは、カメラの本来のフレームレートおよび空間解像度よりも実質的に高いフレームレートおよび空間解像度を有するように再構成することができる。
【解決手段】シーンの一連のフレームをビデオとして取得するカメラが、センサーピクセルのアレイを有するセンサーを含む。個々のセンサーピクセルは、ビデオの各フレームを取得している間、対応する変調関数によって変調される。変調は、シーンとセンサーとの間の光路に配置された透過型または反射型のマスクによって実行することができる。フレームは、カメラの本来のフレームレートおよび空間解像度よりも実質的に高いフレームレートおよび空間解像度を有するように再構成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、ビデオカメラおよびビデオ処理に関し、より詳細には、変動する時空間解像度のビデオを再構成することができるビデオカメラに関する。
【背景技術】
【０００２】
従来のビデオカメラの空間解像度は、例えば１メガピクセル〜２０メガピクセル以上に着実に増加している。しかしながら、ほとんどの従来のビデオカメラの時間解像度は、例えば３０フレーム毎秒（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）〜６０フレーム毎秒に限られたままである。
【０００３】
高速度ビデオカメラは、高帯域幅、高い光効率、および高スループットの要件のために、技術的に困難であり費用を要する。通例、高速度カメラは、限られたメモリと、このメモリをセンサーに直接接続する専用バスとを有する。フレームレートは、メモリサイズによって制限される。
【０００４】
例えば、最も強力な高速度カメラの１つであるＰｈｏｔｒｏｎ ＦａｓｔＣａｍ ＳＡ５では、７５００ｆｐｓで１メガピクセル解像度を有するビデオが最大３秒に達する。高速度カメラは、フレームのその後の処理を可能にするために、取得された各フレームが雑音レベルを超えるよう、高い光感度を有する特殊化されたセンサーおよびイメージインテンシファイアを有する必要もある。ＦａｓｔＣａｍ ＳＡ５は、３２０×１９２ピクセルの空間解像度および約３００，０００ドルの費用で約１００，０００ｆｐｓのフレームレートに達することができる。
【０００５】
単一フレームおよびマルチフレームの空間超解像度
複数のフレームから空間超解像度を生成する方法がよく知られている。残念ながら、それらの方法には、根本的な限界がある。この限界は、高低解像度フレーム対を一致させる実例の形の追加の事前情報、または適切な変換基底で圧縮可能なようにフレームをモデル化することによる追加の事前情報のいずれかが利用可能であることで克服することができる。
【０００６】
時間超解像度
時空間超解像度は、動きぶれおよび時間的エイリアシングのない動的な事象を検知する交互露出を有する複数のカメラによって取得されたビデオから得ることができる。高密度なカメラアレイは、３０ｆｐｓのカメラの集合体を、数千フレーム毎秒を有する等価な仮想カメラに変換することによって、非常に高速なビデオを生成することもできる。それらのシステムは、複数のカメラを時間超解像度に用いることができることを実証しているが、高価であり、正確な同期を有する複数のカメラを必要とし、カメラの数と線形にしかスケーリングしない。
【０００７】
ビデオ補間
カメラのフレームレートと表示デバイスのフレームレートとが異なる可能性があるので、取得されたフレームを表示目的で再サンプリングおよび補間する必要が常に存在していた。そのようなソフトウェアフレームレート変換のいくつかの技法が知られている。
【０００８】
動きぶれ除去
高速な動きのビデオが低フレームレートカメラによって取得されるとき、短い露出継続時間を用いて、雑音がありエイリアシングを有する鮮鋭な画像を得ることもできるし、それよりも長い露出継続時間を用いてぶれのある画像を取得することもできる。空間正則化項をデコンボリューションの枠組み内に組み込むことによってぶれ除去の問題に大きな進歩がもたらされてきた。
【０００９】
ビデオの圧縮センシング
圧縮センシングは、複数のランダムな線形測定値が各時刻において利用可能であると仮定することにより、スナップショットイメージャを用いて、または単一ピクセルカメラ（ＳＰＣ：ｓｉｎｇｌｅ ｐｉｘｅｌ ｃａｍｅｒａ）からの連続した測定値をスタックすることによってビデオを圧縮して取得するのに用いることができる。そのような一連の圧縮測定値が与えられると、ビデオの変換領域スパース性（ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ ｓｐａｒｓｉｔｙ）についての従来のモデルが、ビデオを再構成するのに用いられる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ゆっくりと変化するダイナミクスを有するビデオの場合、最初のフレームが取得された後、後続のフレームに必要とされる測定値は、より少なくなる。動き補償されたウェーブレット基底を用いて時空間ピクセルボリューム、すなわちボクセルをスパース表現する（ｓｐａｒｓｅｌｙ ｒｅｐｒｅｓｅｎｔ）ことにより動きおよび外観を反復的に推定することができる場合、各フレームを圧縮サンプリングすることによるビデオ取得が可能である。そのような方法は、原理的には非常に魅力的であるが、主として、ビデオの時間的構造が明示的にモデル化されず、これらの方法のハードウェアアーキテクチャが扱いにくくかつ／または高価であることから、ほどほどの成功しか収めていない。
【課題を解決するための手段】
【００１１】
本発明の実施の形態は、シーンの一連のフレームをビデオとして取得するように構成されたプログラマブルピクセル圧縮ビデオカメラおよびビデオ処理パイプラインを提供する。センサーのピクセルが、対応する変調関数に従って変調される。これらの変調関数は、離散的（ＯＮ／ＯＦＦ）、連続的、または用途、ユーザー、若しくはシーンに対して適応型とすることができる。変調は、空間的、時間的、またはそれらの双方で変化することができる。対応する変調関数は、ピクセル、ピクセルのサブセット、またはサブピクセルによって異なることができる。例えば、カメラのセンサーの各ピクセルは、カメラの本来のフレームレートよりも実質的に大きなレート、例えば３０フレーム毎秒（ｆｐｓ）カメラを用いて２４０ｆｐｓ〜４８０ｆｐｓで変調される。
【００１２】
変調のための手段は、シーンとセンサーとの間の光路に配置されたマスクの形態とすることができる。マスクは、透過型または反射型とすることができる。したがって、個々のピクセルの強度は、センサーにおける積分の前に個々に変調される。このように、各フレームは、ボクセルからなる対応するビデオボリュームの符号化された投影（ｃｏｄｅｄ ｐｒｏｊｅｃｔｉｏｎ）である。これによって、カメラは、このカメラの実際のフレームレートよりも実質的に大きな知覚されるフレームレートで再構成することができるビデオを取得することが可能になる。１つの実施の形態では、マスクピクセル解像度は、センサーピクセル解像度よりも実質的に大きい。別の実施の形態では、変調レートは、カメラのフレームレートと同一である。
【００１３】
オプティカルフローベースの明るさ、または色の恒常性制約を用いて時空間制約をビデオ内に明示的にモデル化することにより、基本となる高速度ビデオフレームをビデオから忠実に再構成することができる。したがって、ビデオカメラは、圧縮カメラ（ｃｏｍｐｒｅｓｓｉｖｅ ｃａｍｅｒａ）である。
【発明の効果】
【００１４】
このカメラおよび処理パイプラインによれば、時空間超解像度ビデオを達成することも可能である。加えて、このビデオモデルおよび再構成ビデオ方法は、ビデオ超解像度、雑音除去、補間、およびぶれ除去等の用途にハードウェアを追加することなく用いることもできる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態によるプログラマブルピクセル圧縮カメラの概略図である。
【図２】本発明の１つの実施の形態による適応型変調コントローラーを有するプログラマブルピクセル圧縮カメラの概略図である。
【図３】本発明の実施の形態による低フレームレート低解像度ビデオから高フレームレート高解像度ビデオを再構成する方法のフロー図である。
【図４】本発明の１つの実施の形態による反射型マスクを有するプログラマブルピクセル圧縮カメラの概略図である。
【発明を実施するための形態】
【００１６】
プログラマブルピクセル圧縮ビデオ
図１は、本発明の実施の形態によるプログラマブルピクセル圧縮ビデオカメラ１００の簡略化した概略図である。このカメラは、シーンの一連のフレームをビデオとして取得するように構成されている。カメラは、レンズ１１０、センサー１２０、変調コントローラー１３０、および時空間マスク１４０を含む。
【００１７】
好ましい実施の形態では、カメラは、デジタルビデオカメラであり、センサーは、例えば０．２５メガピクセルのセンサーピクセルのアレイを含む。センサーは、ベイヤーフィルターモザイク、すなわちカラーフィルターアレイ（ＣＦＡ：ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）においてインターリーブされた赤色ピクセル、緑色ピクセル、および青色（ＲＧＢ：ｒｅｄ ｇｒｅｅｎ ａｎｄ ｂｌｕｅ）ピクセルを含むことができる。ＣＦＡでは、カラーパターンは、ＧＲＧＢである。カメラは、３０フレーム毎秒（ｆｐｓ）の一連の低時間解像度フレーム１５０を取得する。この３０フレーム毎秒（ｆｐｓ）は、カメラの本来のフレームレートである。
【００１８】
マスク
マスクは、例えば１メガピクセルのマスクピクセルのアレイを含む。換言すれば、マスクの空間解像度（マスクピクセル解像度）は、センサーピクセル解像度よりも実質的に大きい。この場合、マスクは、センサー上のサブピクセルを画定する。センサーの解像度と同一の解像度も可能であるし、例えば２×３センサーピクセルまたは５×５センサーピクセルのサブセットと同等のより低い解像度を有するマスクを含む他の解像度も可能であることが理解される。
【００１９】
変調コントローラー
変調コントローラーは、対応する変調関数を用いてマスクのピクセルを個々に変調する。これらの関数は、離散的とすることもできるし（１３１）、連続的とすることもできる（１３２）。関数が離散的である場合、センサーピクセルセンサーにおける積分は、露出時間にわたって、例えば４８０ｆｐｓでＯＮおよびＯＦＦにされる。連続的である場合、積分は、連続的に変化する。関数は、独立したものとすることができ、ピクセルごと、サブピクセルごと、またはピクセルのサブセットごとに異なることができ、例えば２×２ピクセルまたは５×５ピクセルのサブセットによって異なることができる。代替的に、変調は、グレースケール関数またはＲＧＢ色関数に従うこともできる。
【００２０】
変調コントローラーは、センサーに直接接続することができ（１３４）、この場合、マスクは、必要とされないことに留意されたい。
【００２１】
別の実施の形態では、時空間変調は、コントローラー１３５を用いてユーザー制御される。このように、ビデオグラファーは、シーンが展開するにつれてビデオをどのように取得するのかを決定する。
【００２２】
別の実施の形態では、変調関数は、適応型であり、前に取得されたフレームに基づくか、または他のセンサー領域若しくは用途領域からの事前の知識を用いる。
【００２３】
図２に示すような１つの用途では、シーン１０２は、静的特徴および動的特徴を有する。シーンアナライザー２００は、静的特徴および動的特徴を求め、視聴経験を高めるために、ピクセルが動的特徴を捕捉することに集中することができ、かつ静的特徴にはそれほど集中することができないように、適応型の時間変調関数および空間変調関数を変調コントローラー１３０にフィードバックする（２０１）。
【００２４】
センサーは、シーン１０２のエネルギー場１０１を取得することができる。シーンは、移動物体１０３を含むことがある。エネルギー場は、任意のタイプの電磁放射、例えば可視光または赤外光とすることができる。
【００２５】
カメラの出力は、一連のフレーム１５０であり、一連のフレーム１５０から、センサーの空間解像度およびフレームレートの時間解像度とは異なる空間解像度および時間解像度を有するビデオを再構成することができる。
【００２６】
全ての実施の形態は、本質的に、センサー１２０の個々のピクセルによって取得された光場を、対応する変調関数に従って変調し、各露出時間中に積分されたフレームを生成する。ピクセルが異なるごとに異なる変調関数を用いることができる。変調関数は、任意または疑似ランダムとすることもできることに留意すべきである。
【００２７】
マスクは、高速高解像度変調器の形態とすることができ、例えば、透過型のシリコン上液晶（ＬＣＯＳ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）デバイス、または図４に示すような反射型のデジタルマイクロミラー（ＤＭＤ：ｄｉｇｉｔａｌ ｍｉｃｒｏｍｉｒｒｏｒ）デバイスとすることができる。ＤＭＤデバイスの場合、光路にビームスプリッター４００がある。これまでのところ、ＬＣＯＳおよびＤＭＤは、大部分がプロジェクターで用いられており、本明細書で説明するように、カメラでは用いられていないことに留意されたい。
【００２８】
１つの実施の形態では、変調されて取得されたフレームは、付随する明るさの恒常性（ｂｒｉｇｈｔｎｅｓｓ ｃｏｎｓｔａｎｃｙ）制約、および凸最適化の枠組みにおけるウェーブレット領域スパース性モデルと共に用いられ、高解像度高速度ビデオが再構成される。代替的に、離散コサイン変換基底またはフーリエ基底のスパース性を用いることもできる。
【００２９】
方法
図３に示すように、カメラ１００によって取得されたビデオ１５０は、再構成方法３００に入力される。この再構成方法３００は、凸最適化に基づいている。この方法は、オプティカルフローの明るさの恒常性制約３０１および再構成されたボクセルのウェーブレット領域スパース性３０２を用いる。出力は、再構成されたビデオ３１０である。この方法は、カメラ内のマイクロプロセッサまたはハードウェア処理パイプライン１６０で実施することができ、この場合、カメラの出力は、高速度ビデオであることに留意すべきである。
【００３０】
撮像アーキテクチャ
所望の高フレームレートビデオは、Ｘ（ｓ，ｔ）であり、ここで、ｓおよびｒは、それぞれ空間座標および時間座標である。これ以降、取得されたフレームは、このフレームを積分することによって生成されるので、より高いレートのフレームを「サブフレーム」を呼ぶことにする。
【００３１】
本発明者らのビデオカメラによって、変調されたフレームＹ（ｓｌ，ｔｌ）を取得することが可能になる。ここで、ｓｌおよびｔｌは、それぞれフレームの空間座標および時間座標であり、ＬｓおよびＬｔは、それぞれ空間サブサンプリング係数および時間サブサンプリング係数である。時刻ｔｌにおいて取得されたフレームＹ（：，：，ｔｌ）は、
【数１】
として、サブフレームＸに関係付けられる。ここで、Ｍは、ピクセルごとの時間変調関数を示し、Ｘは、ビデオのボクセルを示し、Ｄｓ（ ）は、空間サブサンプリング操作を示す。元の高速度ビデオのＬｔ個のサブフレームが、Ｌｔ個の独立した高解像度マスクを用いて変調され、次いで、合算されて１つの取得されたフレームが生成されることに留意されたい。
【００３２】
センサーの空間解像度をより低くすることもできる。これは、空間サブサンプリング操作Ｄｓによって示されている。
【００３３】
好ましい実施の形態では、一般の人の大部分が、ビデオの時間解像度を増加させることに興味がある。したがって、この明細書では、大部分を、空間におけるダウンサンプリングがない場合に焦点を当てている。しかしながら、本明細書で説明するカメラおよび方法は、時空間問題、並びにビデオ超解像度、雑音除去、補間、およびぶれ除去等の多数の他の用途に拡張できることが理解される。
【００３４】
行列ベクトル表記
取得式を離散化し、式を行列ベクトル形式で表す。取得されたピクセル強度（Ｙ）は、元の高速度ビデオボクセル（Ｘ）の線形結合であり、ここで、線形結合の重みは、変調関数（Ｍ）によって与えられるので、行列ベクトル形式での取得式を
【数２】
として記述することができる。ここで、Φは、ピクセル単位の変調並びに時間における積分および空間におけるサブサンプリングを表す線形演算子であり、ｘおよびｙは、所望の高速度サブフレームＸおよび取得されたフレームＹのベクトル化形式である。
【００３５】
本発明者らのカメラの各フレーム継続時間中、各ピクセルにおける入射光（エネルギー場）の強度を独立した２値符号を用いて変調する。例えば、２０ｆｐｓカメラのフレーム継続時間中、各ピクセルは、長さ８の独立した２値符号を用いて時間変調される。これは、５０／８＝６．２５ｍｓの最小露出継続時間に対応し、この最小露出継続時間は、所望のサブフレームのフレーム継続時間である。さまざまなピクセルの時間的な２値符号は、異なる可能性があり、異なる長さの符号を用いることもできることに留意されたい。
【００３６】
独立した２値符号を用いた時間変調は、サブフレーム継続時間においてランダムな２値マスクを用いることと等価であり、これによって、さまざまなピクセルにおいて光を積分することが選択的に可能になる。直感的には、これは、サブフレーム継続時間における入射光に「タイムスタンプ」を付けることとして理解することができ、これにより、ビデオに関する事前情報を用いて、積分されたサブフレームを復号することが可能になる。
【００３７】
他のアーキテクチャとの対比
米国特許第７，５８０，６２０号は、時間符号化パターンを用いて画像のぶれを除去する「フラッターシャッター（ｆｌｕｔｔｅｒ ｓｈｕｔｔｅｒ）」（ＦＳ）カメラを記載している。カメラの露出継続時間中、シャッターをはためかせる（ｆｌｕｔｔｅｒ）ことによって、動きぶれを反転することを可能にする高周波数情報を画像内に保存することができる。この点について、シャッターをはためかせることは、全てのピクセルに等しく適用される。ＦＳカメラは、動きぶれ除去に適しており、直線的な動きまたは既知の動きの方向および速度に限られている。
【００３８】
これとは対照的に、本発明では、対応する変調関数に従ってピクセルを個々に変調する。変調関数は、ピクセルの組み合わせ、ピクセルのサブセット、またはサブピクセルが異なれば、異なるものとすることができる。本発明者らのカメラは、それらの限界を超越しており、任意で複雑な動きを有するシーンに適用可能である。また、ＦＳカメラは、動きぶれが除去された画像を再構成するが、本発明者らは、高速度ビデオを再構成する。
【００３９】
本発明者らのカメラは、単一ピクセルカメラおよびランダムイメージャ（ｒａｎｄｏｍ ｉｍａｇｅｒ）にも関係している。それらのカメラでは、観測結果とボクセルとの間の混合（ｍｉｘｉｎｇ）は、完全に大域的である。一方、本発明者らのカメラでは、混合は、本質的に局所的である。すなわち、各取得されたピクセルをもたらす近傍のボクセルの符号化された混合（ｃｏｄｅｄ ｍｉｘｉｎｇ）が存在する。この局所的な混合によって、最初の反復で良好なオプティカルフローを得ることが可能になる。この局所性が存在しない場合、最初の反復で妥当なオプティカルフローを得ることができない。
【００４０】
以下で説明するように、オプティカルフローは、高い忠実度の高速度ビデオ再構成にとって重要である。オプティカルフローの明るさの恒常性制約３０１によって、フローがない場合に可能な品質よりもはるかに高い品質の再構成３１０を得ることが可能になる。これは、従来技術と比較して、本発明者らの撮像アーキテクチャの最も重要な進展の１つである。
【００４１】
その上、本発明者らのカメラは、単一ピクセル検出器の代わりにピクセルアレイを用いることによって、特に可視波長について、従来のセンサーにより提供されたコストの利点も利用する。
【００４２】
カメラの柔軟性
本発明者らのカメラは、極めて柔軟なアーキテクチャを提供し、必要に応じて、簡易な再コンフィギュレーションで他の撮像用途を達成することを可能にする。フル画像露出を有する従来のカメラは、結局、「すべて１」の時空間混合符号を用いることになる。露出が短い従来のカメラは、結局、本発明による「１０００００００」時空間混合関数を用いることになる。
【００４３】
まさに同じアーキテクチャを、柔軟なボクセル、ハイダイナミックレンジ撮像、フラッターシャッター、およびいくつかの同様の用途を実現するのに用いることができる。このアーキテクチャによって、さまざまな機能を同じカメラ構造により実現することが可能になるので、本発明者らの撮像アーキテクチャのこの柔軟性は、重要な属性である。
【００４４】
ビデオ用のモデル
本発明者らの目標は、取得されたフレームを時空間で超解像にすることであるので、取得連立方程式（２）は、劣決定である。サブフレームｘの値を求めるために、時空間ボリュームに関する事前情報を仮定する。ビデオが空間および時間の双方において冗長であることはよく知られている。空間的には、画像は、ウェーブレット等の変換基底で圧縮可能である。このことは、ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ：ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）圧縮で用いられる。時間的には、シーン内の物体は、通例ゆっくりとした動きであるか、またはカメラはゆっくりと動くので、連続したフレームの外観は、同様であることが多い。空間および時間におけるこの冗長性は、ムービングピクチャエキスパートグループ（ＭＰＥＧ）等のさまざまなビデオ圧縮標準規格で用いられてきた。式（２）を解くために、ビデオを、空間変換基底において圧縮可能としておよびピクセル近傍の時間的類似性を有するものとしてモデル化する。
【００４５】
ビデオにおける冗長性
動きの重要性
シーン内の物体の動きは分かっており、オプティカルフロー場が利用可能であるものと仮定する。説明のために、順方向フローのみを考えるが、本発明者らのモデルでは、正確さを増すために逆方向フローも用いる。
【００４６】
明るさの恒常性制約は、以下の連立方程式に対応する。
【数３】
ここで、行列の全ての行は、時空間ピクセルの明るさの恒常性の式を表す。動きが分かっていることによって、サブフレームｘを再構成する追加の制約が与えられ、次に、以下の式が解かれる。
【数４】
【００４７】
時空間ピクセルにおけるフローがサブピクセルであるとき、ピクセル強度を、その後のフレームにおいて最も近いピクセルによって双一次補間されたものとして扱う。また、オクルージョン推論（ｏｃｃｌｕｓｉｏｎ ｒｅａｓｏｎｉｎｇ）を行って、どのピクセルが一致した順方向フローおよび逆方向フローを有するのかを判断する。一致していないピクセルは、閉塞していると宣言され、閉塞ピクセルの明るさの恒常性に対応する行を行列から削除した。これによって、動きの境界におけるピクセルに対応する明るさの恒常性の式が正確であることが保証される。
【００４８】
オプティカルフローの品質に依存して、明るさの恒常性の式は、式（４）が良条件であることを保証するのに十分でない可能性がある。この問題を緩和しかつ連立方程式（４）に対する正確さを増すために、空間冗長性を追加して組み込む。したがって、所望のサブフレームの変換係数のスパース性を用いて上記連立方程式を正規化する。変換係数のスパース性を最小にするｌ１ノルムを用いる。
【００４９】
詳細には、以下の式を得る。
【数５】
ここで、Ψは変換基底であり、ｘはＸ（：，：，ｔ）のベクトル形式であり、εは小さな所定のしきい値である。
【００５０】
ビデオ再構成
実際には、サブフレームのオプティカルフロー場をアプリオリに有するのではない。しかしながら、サブフレームおよびサブフレーム間のオプティカルフローは、式（４）から反復的な方法で交互に推定することができる。空間スパース性のみの助けを借りてブートストラッピングすることにより推定する。
【００５１】
空間的にのみ正規化することによってかつ動き制約を利用することなく雑音のある画像を最初に推定する以下の反復プロセスを採用する。以下で説明するように、雑音が除去された画像からオプティカルフロー場を推定し、次に、そのオプティカルフロー場を用いてより良好な画像を推定し、品質のしきい値に達するまでこの反復を続ける。
【００５２】
交互の反復再構成
代替的な反復再構成では、雑音のある高速度画像ｘ０を次のように推定する。
【数６】
【００５３】
反復開始
推定値ｘｋ−１を雑音除去し、オプティカルフローを推定し、オクルージョン推論を実行し、行列Ωｋ−１を構成する。
【００５４】
オプティカルフロー制約を有する高速度フレームを推定する。
【数７】
【００５５】
反復終了
推定された、雑音のある画像の雑音を除去するために、従来の雑音除去プロセスを用いる。
【００５６】
用途
このカメラを用いることができる用途には、フル２Ｄ変調、民生用ビデオカメラ、高速度撮像が含まれ得るが、これらに限定されるものではない。視覚サーボ（ＶＳ）では、カメラは、センサーによって取得された情報をフィードバックしてロボットの動きを制御する。
【００５７】
バーコードのスキャンおよび検出の用途では、変調は、行または列に沿うことができ、すなわち一方向においてのみとすることができ、すなわち変調は直線的である。
【００５８】
他の用途には、ビデオ超解像度、雑音除去、補間、およびぶれ除去が含まれる。
【００５９】
発明の効果
本発明者らのカメラおよび処理パイプラインのアーキテクチャは、従来の撮像アーキテクチャを上回る非常に大きな利点を提供する。
【００６０】
第１に、本発明は、圧縮センシングパラダイムを利用することによってセンサーにおける帯域幅要件を大幅に低減する。圧縮センシングによって、サブナイキストレートで観測結果を記録することを可能にするが、高速度ビデオをそのサブナイキスト測定値から再構成するために、オプティカルフローおよび空間的正則化（ｓｐａｔｉａｌ ｒｅｇｕｌａｒｉｚａｔｉｏｎ）の形態で、時空間一貫性（ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｃｏｎｓｉｓｔｅｎｃｙ）制約についての事前情報を用いることが可能になる。
【００６１】
第２に、本発明は、短露出低フレームレートビデオを取得することと比較して、システムの光スループットを改善し、低い光レベルでの取得を可能にする。これらは、高速度フレーマーの法外な費用が本質的に高帯域幅および高光感度の要件に起因しているので、大きな利点である。
【００６２】
第３に、撮像アーキテクチャは、極めて柔軟であり、コンテンツアウェアビデオグラフィー（ｃｏｎｔｅｎｔ ａｗａｒｅ ｖｉｄｅｏｇｒａｐｈｙ）のためのハイダイナミックレンジ（ＨＤＲ）、各種ピクセルおよび柔軟なボクセルを含む他のいくつかの機能の組み込みを可能にする。
【００６３】
加えて、本発明者らが開発したビデオモデルおよび付随した再構成方法は、かなり汎用的であり、ハードウェアを追加する必要なく、ビデオの雑音除去、超解像度、および補間等の用途に用いることができる。
【００６４】
本発明者らの圧縮カメラは、かなりの時空間冗長性がビデオに存在していることを利用する。参考として、従来の圧縮方法によって利用される時空間冗長性および本発明者らの撮像アーキテクチャによって利用される時空間冗長性は、非常に類似しているので、効率的に圧縮されるシーンを、本発明者らの方法を用いて良好に取得することができるものと想定することができる。
【００６５】
１つの実施の形態では、本発明者らの変調器は、２値のピクセル単位のシャッター（ｂｉｎａｒｙ ｐｅｒ−ｐｉｘｅｌ ｓｈｕｔｔｅｒ）のみを用いる。これによって、光スループットが５０％低減される。ほとんどのセンサーは、「デュアルモード」積分を実行する能力をすでに有し、すなわち、ピクセルの利得を変化させるので、本発明者らは、非２値変調を達成することができる。５０％の光損失は、単一センサーの実施態様にとって不可避であるが、本発明者らは、２つのセンサーおよびビームスプリッターを用いて、符号化画像および反転符号化画像の双方を測定する場合に、この光損失を回避することができる。
【００６６】
本発明を好ましい実施の形態の例として説明してきたが、本発明の趣旨および範囲内からさまざまな他の適応および変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨および範囲内に入る全ての変形および変更を包含することである。
【技術分野】
【０００１】
本発明は、包括的には、ビデオカメラおよびビデオ処理に関し、より詳細には、変動する時空間解像度のビデオを再構成することができるビデオカメラに関する。
【背景技術】
【０００２】
従来のビデオカメラの空間解像度は、例えば１メガピクセル〜２０メガピクセル以上に着実に増加している。しかしながら、ほとんどの従来のビデオカメラの時間解像度は、例えば３０フレーム毎秒（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）〜６０フレーム毎秒に限られたままである。
【０００３】
高速度ビデオカメラは、高帯域幅、高い光効率、および高スループットの要件のために、技術的に困難であり費用を要する。通例、高速度カメラは、限られたメモリと、このメモリをセンサーに直接接続する専用バスとを有する。フレームレートは、メモリサイズによって制限される。
【０００４】
例えば、最も強力な高速度カメラの１つであるＰｈｏｔｒｏｎ ＦａｓｔＣａｍ ＳＡ５では、７５００ｆｐｓで１メガピクセル解像度を有するビデオが最大３秒に達する。高速度カメラは、フレームのその後の処理を可能にするために、取得された各フレームが雑音レベルを超えるよう、高い光感度を有する特殊化されたセンサーおよびイメージインテンシファイアを有する必要もある。ＦａｓｔＣａｍ ＳＡ５は、３２０×１９２ピクセルの空間解像度および約３００，０００ドルの費用で約１００，０００ｆｐｓのフレームレートに達することができる。
【０００５】
単一フレームおよびマルチフレームの空間超解像度
複数のフレームから空間超解像度を生成する方法がよく知られている。残念ながら、それらの方法には、根本的な限界がある。この限界は、高低解像度フレーム対を一致させる実例の形の追加の事前情報、または適切な変換基底で圧縮可能なようにフレームをモデル化することによる追加の事前情報のいずれかが利用可能であることで克服することができる。
【０００６】
時間超解像度
時空間超解像度は、動きぶれおよび時間的エイリアシングのない動的な事象を検知する交互露出を有する複数のカメラによって取得されたビデオから得ることができる。高密度なカメラアレイは、３０ｆｐｓのカメラの集合体を、数千フレーム毎秒を有する等価な仮想カメラに変換することによって、非常に高速なビデオを生成することもできる。それらのシステムは、複数のカメラを時間超解像度に用いることができることを実証しているが、高価であり、正確な同期を有する複数のカメラを必要とし、カメラの数と線形にしかスケーリングしない。
【０００７】
ビデオ補間
カメラのフレームレートと表示デバイスのフレームレートとが異なる可能性があるので、取得されたフレームを表示目的で再サンプリングおよび補間する必要が常に存在していた。そのようなソフトウェアフレームレート変換のいくつかの技法が知られている。
【０００８】
動きぶれ除去
高速な動きのビデオが低フレームレートカメラによって取得されるとき、短い露出継続時間を用いて、雑音がありエイリアシングを有する鮮鋭な画像を得ることもできるし、それよりも長い露出継続時間を用いてぶれのある画像を取得することもできる。空間正則化項をデコンボリューションの枠組み内に組み込むことによってぶれ除去の問題に大きな進歩がもたらされてきた。
【０００９】
ビデオの圧縮センシング
圧縮センシングは、複数のランダムな線形測定値が各時刻において利用可能であると仮定することにより、スナップショットイメージャを用いて、または単一ピクセルカメラ（ＳＰＣ：ｓｉｎｇｌｅ ｐｉｘｅｌ ｃａｍｅｒａ）からの連続した測定値をスタックすることによってビデオを圧縮して取得するのに用いることができる。そのような一連の圧縮測定値が与えられると、ビデオの変換領域スパース性（ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ ｓｐａｒｓｉｔｙ）についての従来のモデルが、ビデオを再構成するのに用いられる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ゆっくりと変化するダイナミクスを有するビデオの場合、最初のフレームが取得された後、後続のフレームに必要とされる測定値は、より少なくなる。動き補償されたウェーブレット基底を用いて時空間ピクセルボリューム、すなわちボクセルをスパース表現する（ｓｐａｒｓｅｌｙ ｒｅｐｒｅｓｅｎｔ）ことにより動きおよび外観を反復的に推定することができる場合、各フレームを圧縮サンプリングすることによるビデオ取得が可能である。そのような方法は、原理的には非常に魅力的であるが、主として、ビデオの時間的構造が明示的にモデル化されず、これらの方法のハードウェアアーキテクチャが扱いにくくかつ／または高価であることから、ほどほどの成功しか収めていない。
【課題を解決するための手段】
【００１１】
本発明の実施の形態は、シーンの一連のフレームをビデオとして取得するように構成されたプログラマブルピクセル圧縮ビデオカメラおよびビデオ処理パイプラインを提供する。センサーのピクセルが、対応する変調関数に従って変調される。これらの変調関数は、離散的（ＯＮ／ＯＦＦ）、連続的、または用途、ユーザー、若しくはシーンに対して適応型とすることができる。変調は、空間的、時間的、またはそれらの双方で変化することができる。対応する変調関数は、ピクセル、ピクセルのサブセット、またはサブピクセルによって異なることができる。例えば、カメラのセンサーの各ピクセルは、カメラの本来のフレームレートよりも実質的に大きなレート、例えば３０フレーム毎秒（ｆｐｓ）カメラを用いて２４０ｆｐｓ〜４８０ｆｐｓで変調される。
【００１２】
変調のための手段は、シーンとセンサーとの間の光路に配置されたマスクの形態とすることができる。マスクは、透過型または反射型とすることができる。したがって、個々のピクセルの強度は、センサーにおける積分の前に個々に変調される。このように、各フレームは、ボクセルからなる対応するビデオボリュームの符号化された投影（ｃｏｄｅｄ ｐｒｏｊｅｃｔｉｏｎ）である。これによって、カメラは、このカメラの実際のフレームレートよりも実質的に大きな知覚されるフレームレートで再構成することができるビデオを取得することが可能になる。１つの実施の形態では、マスクピクセル解像度は、センサーピクセル解像度よりも実質的に大きい。別の実施の形態では、変調レートは、カメラのフレームレートと同一である。
【００１３】
オプティカルフローベースの明るさ、または色の恒常性制約を用いて時空間制約をビデオ内に明示的にモデル化することにより、基本となる高速度ビデオフレームをビデオから忠実に再構成することができる。したがって、ビデオカメラは、圧縮カメラ（ｃｏｍｐｒｅｓｓｉｖｅ ｃａｍｅｒａ）である。
【発明の効果】
【００１４】
このカメラおよび処理パイプラインによれば、時空間超解像度ビデオを達成することも可能である。加えて、このビデオモデルおよび再構成ビデオ方法は、ビデオ超解像度、雑音除去、補間、およびぶれ除去等の用途にハードウェアを追加することなく用いることもできる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態によるプログラマブルピクセル圧縮カメラの概略図である。
【図２】本発明の１つの実施の形態による適応型変調コントローラーを有するプログラマブルピクセル圧縮カメラの概略図である。
【図３】本発明の実施の形態による低フレームレート低解像度ビデオから高フレームレート高解像度ビデオを再構成する方法のフロー図である。
【図４】本発明の１つの実施の形態による反射型マスクを有するプログラマブルピクセル圧縮カメラの概略図である。
【発明を実施するための形態】
【００１６】
プログラマブルピクセル圧縮ビデオ
図１は、本発明の実施の形態によるプログラマブルピクセル圧縮ビデオカメラ１００の簡略化した概略図である。このカメラは、シーンの一連のフレームをビデオとして取得するように構成されている。カメラは、レンズ１１０、センサー１２０、変調コントローラー１３０、および時空間マスク１４０を含む。
【００１７】
好ましい実施の形態では、カメラは、デジタルビデオカメラであり、センサーは、例えば０．２５メガピクセルのセンサーピクセルのアレイを含む。センサーは、ベイヤーフィルターモザイク、すなわちカラーフィルターアレイ（ＣＦＡ：ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）においてインターリーブされた赤色ピクセル、緑色ピクセル、および青色（ＲＧＢ：ｒｅｄ ｇｒｅｅｎ ａｎｄ ｂｌｕｅ）ピクセルを含むことができる。ＣＦＡでは、カラーパターンは、ＧＲＧＢである。カメラは、３０フレーム毎秒（ｆｐｓ）の一連の低時間解像度フレーム１５０を取得する。この３０フレーム毎秒（ｆｐｓ）は、カメラの本来のフレームレートである。
【００１８】
マスク
マスクは、例えば１メガピクセルのマスクピクセルのアレイを含む。換言すれば、マスクの空間解像度（マスクピクセル解像度）は、センサーピクセル解像度よりも実質的に大きい。この場合、マスクは、センサー上のサブピクセルを画定する。センサーの解像度と同一の解像度も可能であるし、例えば２×３センサーピクセルまたは５×５センサーピクセルのサブセットと同等のより低い解像度を有するマスクを含む他の解像度も可能であることが理解される。
【００１９】
変調コントローラー
変調コントローラーは、対応する変調関数を用いてマスクのピクセルを個々に変調する。これらの関数は、離散的とすることもできるし（１３１）、連続的とすることもできる（１３２）。関数が離散的である場合、センサーピクセルセンサーにおける積分は、露出時間にわたって、例えば４８０ｆｐｓでＯＮおよびＯＦＦにされる。連続的である場合、積分は、連続的に変化する。関数は、独立したものとすることができ、ピクセルごと、サブピクセルごと、またはピクセルのサブセットごとに異なることができ、例えば２×２ピクセルまたは５×５ピクセルのサブセットによって異なることができる。代替的に、変調は、グレースケール関数またはＲＧＢ色関数に従うこともできる。
【００２０】
変調コントローラーは、センサーに直接接続することができ（１３４）、この場合、マスクは、必要とされないことに留意されたい。
【００２１】
別の実施の形態では、時空間変調は、コントローラー１３５を用いてユーザー制御される。このように、ビデオグラファーは、シーンが展開するにつれてビデオをどのように取得するのかを決定する。
【００２２】
別の実施の形態では、変調関数は、適応型であり、前に取得されたフレームに基づくか、または他のセンサー領域若しくは用途領域からの事前の知識を用いる。
【００２３】
図２に示すような１つの用途では、シーン１０２は、静的特徴および動的特徴を有する。シーンアナライザー２００は、静的特徴および動的特徴を求め、視聴経験を高めるために、ピクセルが動的特徴を捕捉することに集中することができ、かつ静的特徴にはそれほど集中することができないように、適応型の時間変調関数および空間変調関数を変調コントローラー１３０にフィードバックする（２０１）。
【００２４】
センサーは、シーン１０２のエネルギー場１０１を取得することができる。シーンは、移動物体１０３を含むことがある。エネルギー場は、任意のタイプの電磁放射、例えば可視光または赤外光とすることができる。
【００２５】
カメラの出力は、一連のフレーム１５０であり、一連のフレーム１５０から、センサーの空間解像度およびフレームレートの時間解像度とは異なる空間解像度および時間解像度を有するビデオを再構成することができる。
【００２６】
全ての実施の形態は、本質的に、センサー１２０の個々のピクセルによって取得された光場を、対応する変調関数に従って変調し、各露出時間中に積分されたフレームを生成する。ピクセルが異なるごとに異なる変調関数を用いることができる。変調関数は、任意または疑似ランダムとすることもできることに留意すべきである。
【００２７】
マスクは、高速高解像度変調器の形態とすることができ、例えば、透過型のシリコン上液晶（ＬＣＯＳ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）デバイス、または図４に示すような反射型のデジタルマイクロミラー（ＤＭＤ：ｄｉｇｉｔａｌ ｍｉｃｒｏｍｉｒｒｏｒ）デバイスとすることができる。ＤＭＤデバイスの場合、光路にビームスプリッター４００がある。これまでのところ、ＬＣＯＳおよびＤＭＤは、大部分がプロジェクターで用いられており、本明細書で説明するように、カメラでは用いられていないことに留意されたい。
【００２８】
１つの実施の形態では、変調されて取得されたフレームは、付随する明るさの恒常性（ｂｒｉｇｈｔｎｅｓｓ ｃｏｎｓｔａｎｃｙ）制約、および凸最適化の枠組みにおけるウェーブレット領域スパース性モデルと共に用いられ、高解像度高速度ビデオが再構成される。代替的に、離散コサイン変換基底またはフーリエ基底のスパース性を用いることもできる。
【００２９】
方法
図３に示すように、カメラ１００によって取得されたビデオ１５０は、再構成方法３００に入力される。この再構成方法３００は、凸最適化に基づいている。この方法は、オプティカルフローの明るさの恒常性制約３０１および再構成されたボクセルのウェーブレット領域スパース性３０２を用いる。出力は、再構成されたビデオ３１０である。この方法は、カメラ内のマイクロプロセッサまたはハードウェア処理パイプライン１６０で実施することができ、この場合、カメラの出力は、高速度ビデオであることに留意すべきである。
【００３０】
撮像アーキテクチャ
所望の高フレームレートビデオは、Ｘ（ｓ，ｔ）であり、ここで、ｓおよびｒは、それぞれ空間座標および時間座標である。これ以降、取得されたフレームは、このフレームを積分することによって生成されるので、より高いレートのフレームを「サブフレーム」を呼ぶことにする。
【００３１】
本発明者らのビデオカメラによって、変調されたフレームＹ（ｓｌ，ｔｌ）を取得することが可能になる。ここで、ｓｌおよびｔｌは、それぞれフレームの空間座標および時間座標であり、ＬｓおよびＬｔは、それぞれ空間サブサンプリング係数および時間サブサンプリング係数である。時刻ｔｌにおいて取得されたフレームＹ（：，：，ｔｌ）は、
【数１】
として、サブフレームＸに関係付けられる。ここで、Ｍは、ピクセルごとの時間変調関数を示し、Ｘは、ビデオのボクセルを示し、Ｄｓ（ ）は、空間サブサンプリング操作を示す。元の高速度ビデオのＬｔ個のサブフレームが、Ｌｔ個の独立した高解像度マスクを用いて変調され、次いで、合算されて１つの取得されたフレームが生成されることに留意されたい。
【００３２】
センサーの空間解像度をより低くすることもできる。これは、空間サブサンプリング操作Ｄｓによって示されている。
【００３３】
好ましい実施の形態では、一般の人の大部分が、ビデオの時間解像度を増加させることに興味がある。したがって、この明細書では、大部分を、空間におけるダウンサンプリングがない場合に焦点を当てている。しかしながら、本明細書で説明するカメラおよび方法は、時空間問題、並びにビデオ超解像度、雑音除去、補間、およびぶれ除去等の多数の他の用途に拡張できることが理解される。
【００３４】
行列ベクトル表記
取得式を離散化し、式を行列ベクトル形式で表す。取得されたピクセル強度（Ｙ）は、元の高速度ビデオボクセル（Ｘ）の線形結合であり、ここで、線形結合の重みは、変調関数（Ｍ）によって与えられるので、行列ベクトル形式での取得式を
【数２】
として記述することができる。ここで、Φは、ピクセル単位の変調並びに時間における積分および空間におけるサブサンプリングを表す線形演算子であり、ｘおよびｙは、所望の高速度サブフレームＸおよび取得されたフレームＹのベクトル化形式である。
【００３５】
本発明者らのカメラの各フレーム継続時間中、各ピクセルにおける入射光（エネルギー場）の強度を独立した２値符号を用いて変調する。例えば、２０ｆｐｓカメラのフレーム継続時間中、各ピクセルは、長さ８の独立した２値符号を用いて時間変調される。これは、５０／８＝６．２５ｍｓの最小露出継続時間に対応し、この最小露出継続時間は、所望のサブフレームのフレーム継続時間である。さまざまなピクセルの時間的な２値符号は、異なる可能性があり、異なる長さの符号を用いることもできることに留意されたい。
【００３６】
独立した２値符号を用いた時間変調は、サブフレーム継続時間においてランダムな２値マスクを用いることと等価であり、これによって、さまざまなピクセルにおいて光を積分することが選択的に可能になる。直感的には、これは、サブフレーム継続時間における入射光に「タイムスタンプ」を付けることとして理解することができ、これにより、ビデオに関する事前情報を用いて、積分されたサブフレームを復号することが可能になる。
【００３７】
他のアーキテクチャとの対比
米国特許第７，５８０，６２０号は、時間符号化パターンを用いて画像のぶれを除去する「フラッターシャッター（ｆｌｕｔｔｅｒ ｓｈｕｔｔｅｒ）」（ＦＳ）カメラを記載している。カメラの露出継続時間中、シャッターをはためかせる（ｆｌｕｔｔｅｒ）ことによって、動きぶれを反転することを可能にする高周波数情報を画像内に保存することができる。この点について、シャッターをはためかせることは、全てのピクセルに等しく適用される。ＦＳカメラは、動きぶれ除去に適しており、直線的な動きまたは既知の動きの方向および速度に限られている。
【００３８】
これとは対照的に、本発明では、対応する変調関数に従ってピクセルを個々に変調する。変調関数は、ピクセルの組み合わせ、ピクセルのサブセット、またはサブピクセルが異なれば、異なるものとすることができる。本発明者らのカメラは、それらの限界を超越しており、任意で複雑な動きを有するシーンに適用可能である。また、ＦＳカメラは、動きぶれが除去された画像を再構成するが、本発明者らは、高速度ビデオを再構成する。
【００３９】
本発明者らのカメラは、単一ピクセルカメラおよびランダムイメージャ（ｒａｎｄｏｍ ｉｍａｇｅｒ）にも関係している。それらのカメラでは、観測結果とボクセルとの間の混合（ｍｉｘｉｎｇ）は、完全に大域的である。一方、本発明者らのカメラでは、混合は、本質的に局所的である。すなわち、各取得されたピクセルをもたらす近傍のボクセルの符号化された混合（ｃｏｄｅｄ ｍｉｘｉｎｇ）が存在する。この局所的な混合によって、最初の反復で良好なオプティカルフローを得ることが可能になる。この局所性が存在しない場合、最初の反復で妥当なオプティカルフローを得ることができない。
【００４０】
以下で説明するように、オプティカルフローは、高い忠実度の高速度ビデオ再構成にとって重要である。オプティカルフローの明るさの恒常性制約３０１によって、フローがない場合に可能な品質よりもはるかに高い品質の再構成３１０を得ることが可能になる。これは、従来技術と比較して、本発明者らの撮像アーキテクチャの最も重要な進展の１つである。
【００４１】
その上、本発明者らのカメラは、単一ピクセル検出器の代わりにピクセルアレイを用いることによって、特に可視波長について、従来のセンサーにより提供されたコストの利点も利用する。
【００４２】
カメラの柔軟性
本発明者らのカメラは、極めて柔軟なアーキテクチャを提供し、必要に応じて、簡易な再コンフィギュレーションで他の撮像用途を達成することを可能にする。フル画像露出を有する従来のカメラは、結局、「すべて１」の時空間混合符号を用いることになる。露出が短い従来のカメラは、結局、本発明による「１０００００００」時空間混合関数を用いることになる。
【００４３】
まさに同じアーキテクチャを、柔軟なボクセル、ハイダイナミックレンジ撮像、フラッターシャッター、およびいくつかの同様の用途を実現するのに用いることができる。このアーキテクチャによって、さまざまな機能を同じカメラ構造により実現することが可能になるので、本発明者らの撮像アーキテクチャのこの柔軟性は、重要な属性である。
【００４４】
ビデオ用のモデル
本発明者らの目標は、取得されたフレームを時空間で超解像にすることであるので、取得連立方程式（２）は、劣決定である。サブフレームｘの値を求めるために、時空間ボリュームに関する事前情報を仮定する。ビデオが空間および時間の双方において冗長であることはよく知られている。空間的には、画像は、ウェーブレット等の変換基底で圧縮可能である。このことは、ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ：ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）圧縮で用いられる。時間的には、シーン内の物体は、通例ゆっくりとした動きであるか、またはカメラはゆっくりと動くので、連続したフレームの外観は、同様であることが多い。空間および時間におけるこの冗長性は、ムービングピクチャエキスパートグループ（ＭＰＥＧ）等のさまざまなビデオ圧縮標準規格で用いられてきた。式（２）を解くために、ビデオを、空間変換基底において圧縮可能としておよびピクセル近傍の時間的類似性を有するものとしてモデル化する。
【００４５】
ビデオにおける冗長性
動きの重要性
シーン内の物体の動きは分かっており、オプティカルフロー場が利用可能であるものと仮定する。説明のために、順方向フローのみを考えるが、本発明者らのモデルでは、正確さを増すために逆方向フローも用いる。
【００４６】
明るさの恒常性制約は、以下の連立方程式に対応する。
【数３】
ここで、行列の全ての行は、時空間ピクセルの明るさの恒常性の式を表す。動きが分かっていることによって、サブフレームｘを再構成する追加の制約が与えられ、次に、以下の式が解かれる。
【数４】
【００４７】
時空間ピクセルにおけるフローがサブピクセルであるとき、ピクセル強度を、その後のフレームにおいて最も近いピクセルによって双一次補間されたものとして扱う。また、オクルージョン推論（ｏｃｃｌｕｓｉｏｎ ｒｅａｓｏｎｉｎｇ）を行って、どのピクセルが一致した順方向フローおよび逆方向フローを有するのかを判断する。一致していないピクセルは、閉塞していると宣言され、閉塞ピクセルの明るさの恒常性に対応する行を行列から削除した。これによって、動きの境界におけるピクセルに対応する明るさの恒常性の式が正確であることが保証される。
【００４８】
オプティカルフローの品質に依存して、明るさの恒常性の式は、式（４）が良条件であることを保証するのに十分でない可能性がある。この問題を緩和しかつ連立方程式（４）に対する正確さを増すために、空間冗長性を追加して組み込む。したがって、所望のサブフレームの変換係数のスパース性を用いて上記連立方程式を正規化する。変換係数のスパース性を最小にするｌ１ノルムを用いる。
【００４９】
詳細には、以下の式を得る。
【数５】
ここで、Ψは変換基底であり、ｘはＸ（：，：，ｔ）のベクトル形式であり、εは小さな所定のしきい値である。
【００５０】
ビデオ再構成
実際には、サブフレームのオプティカルフロー場をアプリオリに有するのではない。しかしながら、サブフレームおよびサブフレーム間のオプティカルフローは、式（４）から反復的な方法で交互に推定することができる。空間スパース性のみの助けを借りてブートストラッピングすることにより推定する。
【００５１】
空間的にのみ正規化することによってかつ動き制約を利用することなく雑音のある画像を最初に推定する以下の反復プロセスを採用する。以下で説明するように、雑音が除去された画像からオプティカルフロー場を推定し、次に、そのオプティカルフロー場を用いてより良好な画像を推定し、品質のしきい値に達するまでこの反復を続ける。
【００５２】
交互の反復再構成
代替的な反復再構成では、雑音のある高速度画像ｘ０を次のように推定する。
【数６】
【００５３】
反復開始
推定値ｘｋ−１を雑音除去し、オプティカルフローを推定し、オクルージョン推論を実行し、行列Ωｋ−１を構成する。
【００５４】
オプティカルフロー制約を有する高速度フレームを推定する。
【数７】
【００５５】
反復終了
推定された、雑音のある画像の雑音を除去するために、従来の雑音除去プロセスを用いる。
【００５６】
用途
このカメラを用いることができる用途には、フル２Ｄ変調、民生用ビデオカメラ、高速度撮像が含まれ得るが、これらに限定されるものではない。視覚サーボ（ＶＳ）では、カメラは、センサーによって取得された情報をフィードバックしてロボットの動きを制御する。
【００５７】
バーコードのスキャンおよび検出の用途では、変調は、行または列に沿うことができ、すなわち一方向においてのみとすることができ、すなわち変調は直線的である。
【００５８】
他の用途には、ビデオ超解像度、雑音除去、補間、およびぶれ除去が含まれる。
【００５９】
発明の効果
本発明者らのカメラおよび処理パイプラインのアーキテクチャは、従来の撮像アーキテクチャを上回る非常に大きな利点を提供する。
【００６０】
第１に、本発明は、圧縮センシングパラダイムを利用することによってセンサーにおける帯域幅要件を大幅に低減する。圧縮センシングによって、サブナイキストレートで観測結果を記録することを可能にするが、高速度ビデオをそのサブナイキスト測定値から再構成するために、オプティカルフローおよび空間的正則化（ｓｐａｔｉａｌ ｒｅｇｕｌａｒｉｚａｔｉｏｎ）の形態で、時空間一貫性（ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｃｏｎｓｉｓｔｅｎｃｙ）制約についての事前情報を用いることが可能になる。
【００６１】
第２に、本発明は、短露出低フレームレートビデオを取得することと比較して、システムの光スループットを改善し、低い光レベルでの取得を可能にする。これらは、高速度フレーマーの法外な費用が本質的に高帯域幅および高光感度の要件に起因しているので、大きな利点である。
【００６２】
第３に、撮像アーキテクチャは、極めて柔軟であり、コンテンツアウェアビデオグラフィー（ｃｏｎｔｅｎｔ ａｗａｒｅ ｖｉｄｅｏｇｒａｐｈｙ）のためのハイダイナミックレンジ（ＨＤＲ）、各種ピクセルおよび柔軟なボクセルを含む他のいくつかの機能の組み込みを可能にする。
【００６３】
加えて、本発明者らが開発したビデオモデルおよび付随した再構成方法は、かなり汎用的であり、ハードウェアを追加する必要なく、ビデオの雑音除去、超解像度、および補間等の用途に用いることができる。
【００６４】
本発明者らの圧縮カメラは、かなりの時空間冗長性がビデオに存在していることを利用する。参考として、従来の圧縮方法によって利用される時空間冗長性および本発明者らの撮像アーキテクチャによって利用される時空間冗長性は、非常に類似しているので、効率的に圧縮されるシーンを、本発明者らの方法を用いて良好に取得することができるものと想定することができる。
【００６５】
１つの実施の形態では、本発明者らの変調器は、２値のピクセル単位のシャッター（ｂｉｎａｒｙ ｐｅｒ−ｐｉｘｅｌ ｓｈｕｔｔｅｒ）のみを用いる。これによって、光スループットが５０％低減される。ほとんどのセンサーは、「デュアルモード」積分を実行する能力をすでに有し、すなわち、ピクセルの利得を変化させるので、本発明者らは、非２値変調を達成することができる。５０％の光損失は、単一センサーの実施態様にとって不可避であるが、本発明者らは、２つのセンサーおよびビームスプリッターを用いて、符号化画像および反転符号化画像の双方を測定する場合に、この光損失を回避することができる。
【００６６】
本発明を好ましい実施の形態の例として説明してきたが、本発明の趣旨および範囲内からさまざまな他の適応および変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨および範囲内に入る全ての変形および変更を包含することである。
【特許請求の範囲】
【請求項１】
シーンの一連のフレームをビデオとして取得するカメラであって、
センサーピクセルのアレイを含むセンサーと、
前記カメラの露出時間中に前記ビデオの各フレームを取得している間、対応する変調関数に従って個々の前記センサーピクセルを変調する手段と、
を備えるカメラ。
【請求項２】
前記変調する手段は、
前記シーンと前記センサーとの間の光路に配置されたマスクであって、マスクピクセルのアレイを含む、マスクと、
前記マスクに接続された変調コントローラーと、
を更に備える請求項１に記載のカメラ。
【請求項３】
マスクピクセル空間解像度が、センサーピクセル空間解像度よりも実質的に大きい請求項２に記載のカメラ。
【請求項４】
前記センサーピクセルを変調するレートが、前記カメラのフレームレートよりも実質的に高い請求項１に記載のカメラ。
【請求項５】
前記変調する手段は、前記センサーピクセルごとに独立したＯＮ信号およびＯＦＦ信号の２値シーケンスを生成する請求項２に記載のカメラ。
【請求項６】
前記ビデオを、前記カメラのフレームレートよりも実質的に高いフレームレートを有する再構成ビデオとして再構成する手段を更に備える請求項１に記載のカメラ。
【請求項７】
前記再構成ビデオの空間解像度および時間解像度は、前記カメラによって取得された前記ビデオの空間解像度および時間解像度よりも実質的に大きい請求項６に記載のカメラ。
【請求項８】
前記再構成ビデオの時間解像度は、前記カメラによって取得された前記ビデオの時間解像度よりも実質的に大きい請求項６に記載のカメラ。
【請求項９】
前記変調関数は、ランダム２値シーケンスを含む請求項５に記載のカメラ。
【請求項１０】
前記マスクは、透過型である請求項２に記載のカメラ。
【請求項１１】
前記マスクは、反射型である請求項２に記載のカメラ。
【請求項１２】
それぞれの積分時間を独立に制御する手段、
を更に備える請求項１に記載のカメラ。
【請求項１３】
前記変調関数は、ユーザー制御の変調関数を含む請求項１に記載のカメラ。
【請求項１４】
前記変調関数は、グレースケールシーケンスに従う請求項１に記載のカメラ。
【請求項１５】
前記変調関数は、カラーシーケンスに従う請求項１に記載のカメラ。
【請求項１６】
マスクピクセル解像度およびセンサーピクセル解像度が同一である請求項２に記載のカメラ。
【請求項１７】
前記再構成する手段は、ウェーブレット基底、離散コサイン変換基底、またはフーリエ基底における前記ビデオのスパース性を用いる請求項６に記載のカメラ。
【請求項１８】
前記再構成する手段は、オプティカルフロー制約を用いる請求項６に記載のカメラ。
【請求項１９】
前記再構成する手段は、凸最適化問題を解く請求項６に記載のカメラ。
【請求項２０】
前記再構成ビデオは、前記カメラの空間解像度よりも高い空間解像度を有する請求項６に記載のカメラ。
【請求項２１】
前記変調関数は、離散関数を含む請求項１に記載のカメラ。
【請求項２２】
前記変調関数は、連続関数を含む請求項１に記載のカメラ。
【請求項２３】
前記変調関数は、用途適応型である請求項１に記載のカメラ。
【請求項２４】
前記変調関数は、前記シーンに適応している請求項１に記載のカメラ。
【請求項２５】
前記マスクは、前記センサー上にサブピクセルを画定する請求項２に記載のカメラ。
【請求項１】
シーンの一連のフレームをビデオとして取得するカメラであって、
センサーピクセルのアレイを含むセンサーと、
前記カメラの露出時間中に前記ビデオの各フレームを取得している間、対応する変調関数に従って個々の前記センサーピクセルを変調する手段と、
を備えるカメラ。
【請求項２】
前記変調する手段は、
前記シーンと前記センサーとの間の光路に配置されたマスクであって、マスクピクセルのアレイを含む、マスクと、
前記マスクに接続された変調コントローラーと、
を更に備える請求項１に記載のカメラ。
【請求項３】
マスクピクセル空間解像度が、センサーピクセル空間解像度よりも実質的に大きい請求項２に記載のカメラ。
【請求項４】
前記センサーピクセルを変調するレートが、前記カメラのフレームレートよりも実質的に高い請求項１に記載のカメラ。
【請求項５】
前記変調する手段は、前記センサーピクセルごとに独立したＯＮ信号およびＯＦＦ信号の２値シーケンスを生成する請求項２に記載のカメラ。
【請求項６】
前記ビデオを、前記カメラのフレームレートよりも実質的に高いフレームレートを有する再構成ビデオとして再構成する手段を更に備える請求項１に記載のカメラ。
【請求項７】
前記再構成ビデオの空間解像度および時間解像度は、前記カメラによって取得された前記ビデオの空間解像度および時間解像度よりも実質的に大きい請求項６に記載のカメラ。
【請求項８】
前記再構成ビデオの時間解像度は、前記カメラによって取得された前記ビデオの時間解像度よりも実質的に大きい請求項６に記載のカメラ。
【請求項９】
前記変調関数は、ランダム２値シーケンスを含む請求項５に記載のカメラ。
【請求項１０】
前記マスクは、透過型である請求項２に記載のカメラ。
【請求項１１】
前記マスクは、反射型である請求項２に記載のカメラ。
【請求項１２】
それぞれの積分時間を独立に制御する手段、
を更に備える請求項１に記載のカメラ。
【請求項１３】
前記変調関数は、ユーザー制御の変調関数を含む請求項１に記載のカメラ。
【請求項１４】
前記変調関数は、グレースケールシーケンスに従う請求項１に記載のカメラ。
【請求項１５】
前記変調関数は、カラーシーケンスに従う請求項１に記載のカメラ。
【請求項１６】
マスクピクセル解像度およびセンサーピクセル解像度が同一である請求項２に記載のカメラ。
【請求項１７】
前記再構成する手段は、ウェーブレット基底、離散コサイン変換基底、またはフーリエ基底における前記ビデオのスパース性を用いる請求項６に記載のカメラ。
【請求項１８】
前記再構成する手段は、オプティカルフロー制約を用いる請求項６に記載のカメラ。
【請求項１９】
前記再構成する手段は、凸最適化問題を解く請求項６に記載のカメラ。
【請求項２０】
前記再構成ビデオは、前記カメラの空間解像度よりも高い空間解像度を有する請求項６に記載のカメラ。
【請求項２１】
前記変調関数は、離散関数を含む請求項１に記載のカメラ。
【請求項２２】
前記変調関数は、連続関数を含む請求項１に記載のカメラ。
【請求項２３】
前記変調関数は、用途適応型である請求項１に記載のカメラ。
【請求項２４】
前記変調関数は、前記シーンに適応している請求項１に記載のカメラ。
【請求項２５】
前記マスクは、前記センサー上にサブピクセルを画定する請求項２に記載のカメラ。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１３４９６３（Ｐ２０１２−１３４９６３Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２６６９５１（Ｐ２０１１−２６６９５１）
【出願日】平成２３年１２月６日（２０１１．１２．６）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１１−２６６９５１（Ｐ２０１１−２６６９５１）
【出願日】平成２３年１２月６日（２０１１．１２．６）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]