説明

焦点に基づく動的シーンの深度再構成のための装置および方法

【課題】動的シーンが、レンズおよびセンサを備えるカメラを用いて、焦点深度を変更しながら動的シーンの焦点スタックを最初に取得することによって、深度および拡張被写界深度ビデオとして再構成される。
【解決手段】焦点スタックのフレーム間のオプティカルフローが求められ、そのオプティカルフローにしたがってフレームをワープして、フレームを位置合わせし、仮想静的焦点スタックを生成する。最終的に、デプス・フロム・デフォーカスを用いて、仮想静的焦点スタックごとの深度マップおよびテクスチャマップが生成され、そのテクスチャマップはEDOF画像に対応する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、包括的にはビデオ再構成に関し、より詳細には、深度および拡張被写界深度(EDOF)ビデオを再構成するための装置および方法に関する。
【背景技術】
【0002】
カメラは至る所にある。数十億台もの携帯電話カメラ、5億台を超える監視カメラ、車内カメラ、および家庭用カメラが存在する。大抵の場合に、それらのカメラは、受動的なデバイスであり、ビデオを録画するにすぎない。これにより、取得されたビデオの大部分は、処理されないままである。情景解釈を自動化することに向けての主な障害は、シーンを理解する上で極めて重大である3D情報の不足である。従来のビデオカメラを、ビデオの取得中に意味のある3D情報を提供できるように適合させることが望ましい。
【0003】
可変焦点によってカメラを3D化する
大部分の最新のカメラは、自動焦点、可変焦点距離(focal length)およびズームなどの機構を備えており、その機構のすべてが焦点距離(focal distance)の変更を必要とする。残念なことに、カメラのこの能力は、十分に活用されていない。通常、自動焦点は、対象物に焦点が合っている画像を得るためにしか用いられない。
【0004】
デプス・フロム・デフォーカス(DFD(depth from defocus):焦点ぼけからの深度計算)
深度を推定するためのデプス・フロム・デフォーカス(DFD)解析は、ステレオ解析に必要とされる対応問題(correspondence problem)を回避するので、動きからのステレオおよび構造解析よりも、はるかに有利である。DFDがステレオよりも優れている別の利点は、DFDでは、1台のカメラしか必要としないことである。
【0005】
DFDを解決するためのいくつかの方法が既知である。通常、それらの方法は、データ項および空間正則化項を含む費用関数を最小にする。データ項は、テクスチャが深度に対応する既知の焦点距離の関数としていかにぼけるかを抑制する。正則化項は、シーンの深度マップ内の空間的な平滑度制約をモデル化する。しかしながら、すべての既存の方法は、カメラおよびシーンが静止していると仮定する。これらの方法は、いずれも動的シーンの場合にDFDを用いることができない。定義されるように(As defined)、動的シーンは、シーンの動きおよび/またはカメラの動きのいずれかを有する。
【0006】
可変被写界深度撮像
撮像システムの被写界深度(DOF)は、アパーチャを小さくすることによって拡張することができる。しかしながら、これは、カメラセンサによって受光される光の量を少なくするので、結果として信号対雑音比(SNR)が低くなる。アパーチャを大きくする場合には、センサ雑音は減少するが、それと引き換えにDOFが小さくなる。
【0007】
理想的には、大きなDOFが望ましいが、センサ雑音は低くしたい。センサ雑音とDOFとの間のこの根本的なトレードオフを克服するいくつかの方法が既知である。たとえば、アパーチャにおける広帯域マスクによって、ぼけの点像分布関数がより良好に機能する。これにより、計算によってぼけを除去し、DOFを拡張できるようになる。
【0008】
DOFは、レンズの近くに立方位相板を挿入することによって、または露出時間中にセンサを動かすことによって大きくすることもできる。いずれの方法においても、取得された画像がぼけるが、ぼけカーネルは、深度から独立しているので、ぼけ除去方法を用いて、ぼけを除去することができる。
【0009】
DFDの基本および限界
カメラが或るシーンから光を取得し、その光をセンサに投影する。或るシーンの焦点が合っている部分は、薄レンズの法則(thin lens law)
【数1】

によって与えられる深度(s)にある。ただし、Fはレンズの焦点距離であり、νはレンズとセンサとの間の距離である。距離s≠sにあるシーン点は、像平面内に錯乱円(a circle of confusion(bulr))を有する。この錯乱円(blur circle)内の光の分布は、点像分布関数(PSF)と呼ばれる。PSFは、半径σを有する円板であり、その半径は、シーン点の深度に依拠する。
【0010】
【数2】

【0011】
ただし、Dはレンズ口径である。
【0012】
通常のDFD法は、種々の焦点設定において取得された一連のM個のフレームF(ビデオ)からなる焦点スタックF={F,F,・・・,F}を取得する。すなわち、この技術分野において既知であるような焦点スタック内の画像が、本質的に、異なる焦点深度または焦点面において取得される。
【0013】
従来のDFD法における基本的な仮定は、シーンおよびカメラが静止していることである。動的シーンは、DFDの対応誤りを引き起こし、結果として深度およびテクスチャに誤差が生じる。拡張DOF(EDOF)画像では、その誤りは、移動物体の複数のコピーとして現れ、一方、深度マップにおいては、動きのあるシーンの部分の上、および周囲に偽の(spurious)深度エッジが存在する。
【発明の概要】
【発明が解決しようとする課題】
【0014】
これらの従来技術の問題を修正することが望ましい。
【課題を解決するための手段】
【0015】
従来のデプス・フロム・デフォーカス(DFD)法は、ビデオを取得している間、カメラおよびシーンが静止していると仮定する。この発明の実施の形態は、DFDを動的シーンに適用し、深度マップおよび拡張DOFビデオを生成する方法を記述する。
【発明の効果】
【0016】
正確なオプティカルフロー(OF)が与えられると、フレームの焦点スタック(F)をワープして仮想静的焦点スタックを得ることができ、その仮想静的焦点スタックにDFD法を適用することができる。
【0017】
変化する焦点ぼけがある場合に、正確なOFを取得することは難しい作業である。焦点ぼけ変動は、オプティカルフローを推定する際に本質的な偏りを引き起こす。
【0018】
この発明によれば、変化する焦点ぼけが存在する場合でも、これらの偏りが正確に処理され、OFが求められる。これにより、従来の30fpsビデオカメラを、並置された30fpsの撮像デバイスおよび距離センサに変換するシステムおよび方法がもたらされる。
【0019】
さらに、距離および画像情報を抽出できることによって、取得された画像の被写界深度を拡張または縮小し、取得後のデジタルリフォーカスを実行するなど、芸術的な被写界深度効果を有する画像をレンダリングすることができるようになる。
【図面の簡単な説明】
【0020】
【図1】この発明の実施の形態1による、深度および拡張被写界深度ビデオを再構成するための方法の流れ図である。
【図2】この発明の実施の形態1によるビデオカメラの概略図である。
【発明を実施するための形態】
【0021】
実施の形態1.
この発明の実施の形態1は、ビデオカメラによって取得された一連のフレームから深度および拡張被写界深度(EDOF)ビデオを再構成するための方法を提供する。本明細書において、用語「フレーム」および「画像」は、交換可能に用いられる。
【0022】
動的シーンにおけるDFD
この発明では、従来のデプス・フロム・デフォーカス(DFD)法を、動的シーン、すなわち、カメラまたはシーンのいずれか、または両方に動きがあるシーンを処理するように適合させる。この発明では、焦点スタックF内のフレームFと他のすべてのフレームとの間の動き情報を有するものと仮定する。直観的に、この情報を用いて、フレーム{F}をFにワープすることができる。ただし、j=1〜Mである。
【0023】
これは、時刻iに対応する仮想静的焦点スタックZを生成する。仮想静的焦点スタック内で動きが補償されているので、シーン点はすべて対応状態にある。その際、この発明による仮想静的焦点スタックから、時刻iの深度マップおよびテクスチャマップを得ることができる。
【0024】
これらのマップを得るために、空間情報または時間情報がトレードオフされていないことは、注目に値する。動き推定における中心的な問題は、複数のフレームにわたって、変化する焦点外れぼけが存在することである。
【0025】
2つの画像間のオプティカルフロー(OF)を求めるための従来の動き推定法は、明るさの恒常性の仮定に依存する。
【0026】
【数3】

【0027】
ただし、(x,y)はピクセル位置であり、tは時刻であり、(δx,δy)は、対応するピクセルの変位(すなわち、オプティカルフロー)であり、δtは、画像間の時間差である。
【0028】
この発明では、変化する焦点外れぼけがOFを推定することに及ぼす影響を解析する。2つの画像が異なる深度において合焦するとき、同じ場所にあるシーン内の点は、異なる輝度を有する。これは、変化する焦点設定によって、異なるカーネルを有するぼけが生じ、結果として上記の明るさの恒常性が破られるためである。取得されたビデオデータに従来のOF法がそのまま適用される場合には、明るさの恒常性が破られることによって、偽のオプティカルフローが引き起こされる。
【0029】
さらなる情報がない場合には、ぼけレベルが変化している場合にOFを求めることは、難しい作業である。しかしながら、時刻tにおけるシーンの深度マップおよびテクスチャマップが与えられると、再ぼかしを用いてオプティカルフローを正確に求めることができる。所与のテクスチャマップおよび深度マップを用いて、任意の焦点設定を有する画像をシミュレートすることができる。このようにして、この発明では、隣り合う時刻において、同一の焦点設定を有する2つの画像を生成することができる。任意のシーン点の場合のぼけの量は、焦点設定が同一であるので、両方の画像について同じである。このようにして、明るさの恒常性が保存され、結果としてオプティカルフローが正確に推定される。さらに、フロー情報が与えられると、DFDを用いて、深度マップおよびテクスチャマップを再生することができる。これにより、段階的な最適化を介して動的シーンの深度およびテクスチャを推定するための反復改良法がもたらされる。
【0030】
深度およびフローの反復再構成
図1は、この発明の実施の形態1による、被写界深度およびEDOFビデオを再構成するための方法100を示す。
【0031】
この発明では、カメラ200を用いて、一連のフレームを動的シーン101の焦点スタック(F)110として取得する。すなわち、フレームは、本質的に、異なる焦点深度において取得される。Fが与えられると、まず、焦点スタック内の連続したフレームのすべてのフレーム対間のオプティカルフロー(OF)121を求める(120)。その後、OFにしたがってフレームをワープしてフレームを位置合わせし(130)、時刻ごとの仮想静的焦点スタック(Z)131を生成する。
【0032】
仮想静的焦点スタックにDFD法140を適用して、時刻ごとの深度マップおよびテクスチャマップ150を生成する(150)。好ましい実施形態では、DFD法は、以下に記述されるように、エネルギー関数によって最小にされる時空間マルコフ確率場(MRF)を用いる。他のDFD法も適用可能である。
【0033】
深度マップおよびテクスチャマップは、反復160によって改良される。最終的に、出力170において、時刻ごとの深度マップおよびテクスチャマップが得られる。テクスチャマップは、元の入力画像よりも大きなDOFを有するので、拡張被写界深度(EDOF)ビデオに対応する。上記のステップは、この技術分野において既知であるようなメモリおよび入力/出力インターフェースに接続されるプロセッサ102において実行することができる。プロセッサは、カメラの内部に存在することもできるし、カメラの外部に存在することもできる。
【0034】
初期オプティカルフロー
初期オプティカルフローを求めている間、深度マップおよびテクスチャマップを入手することはできない。初期OFを再生するために、この発明では、以下のことを仮定する。フローは、焦点スタックの期間M内で一定の速度を有する。ビデオの2つの連続した焦点スタックからのフレーム、たとえば、フレームiおよびM+iは、同じぼけレベルを有し、それゆえ、明るさの恒常性を満たす。
【0035】
この発明では、第iのフレームと第(M+i)のフレームとの間のOFを求め、中間のフレームのためのフローを線形に補間する。速度が一定であるという仮定に起因して、初期オプティカルフローは粗いが、OFは、後続の反復中に、再ぼかしによって改良される。
【0036】
深度およびテクスチャを与えられたときのフロー
本方法は、DFDの初期反復後に、シーンの深度マップおよびテクスチャマップの粗い推定値を生成する。DおよびTをそれぞれ時刻iにおけるシーンの深度マップおよびテクスチャマップとする。深度マップDによって、カーネルを用いてテクスチャマップTをぼかすことができるようになる。ただし、カーネルは、深度マップに依拠する。フレームのぼけレベルが一致した後に、明るさの恒常性が満たされ、それゆえ、より高い精度でOFを求めることができる。
【0037】
遮蔽
ここで、動き補償における遮蔽問題を記述する。焦点スタックFの2つの連続したフレームFおよびFについて考える。動きは、前景ピクセルによる背景ピクセルの領域の遮蔽を引き起こす可能性がある。Fにおいて、背景領域がぼかされる場合があり、一方、背景は、焦点スタックの後のフレームFにおいて遮蔽される場合がある。これは、この遮蔽された領域の合焦した背景に関する情報が入手できないことを意味する。
【0038】
フレームFをFにワープして動きを補償する間に、遮蔽領域を検出し、埋める必要がある。遮蔽領域は、先行するOFと後続のOFとの間の不一致によって検出される。
【0039】
先行−後続OF追跡の結果として相違が生じるとき、或る領域内のピクセルが遮蔽されたと仮定する。遮蔽された領域は、その領域が遮蔽されていないビデオの他のフレームから、ピクセルをコピーすることによって埋めることができる。遮蔽された領域が静止している場合には、この発明では、異なる焦点スタックからのぼけのないフレームを用いることによって、それらの遮蔽を埋める。そうでない場合には、現在の焦点スタック内の元のぼけたフレームを用いて、それらの領域を埋める。後者の場合、遮蔽された領域内に依然としてぼけアーティファクトが存在する。
【0040】
オプティカルフローを与えられたときの深度およびテクスチャ
OFを用いて焦点スタック内のフレームを位置合わせした後に、焦点スタック内の各フレームFに対応する深度マップD={D,D,・・・,D}およびテクスチャマップT={T,T,・・・,T}を推定する。時空間マルコフ確率場(MRF)を用いて、深度推定の問題を定式化する。
【0041】
ノードとしてフレームのスーパーピクセルを用いてMRFを定義する。マルコフ確率場は、1組の確率変数が無向グラフによって記述されるマルコフ特性を有するグラフィカルモデルである。各スーパーピクセルが単一の深度値を有する前方平行面(front−parallel plane)によって表されると仮定する。フレームごとのスーパーピクセルセグメンテーションは、反復法を用いて得られる。
【0042】
スーパーピクセルを規則的な格子として初期化し、各セグメントの形状および色分布の現在のガウス推定に基づいて、その形状を更新する。
【0043】
これにより、規則的な形状のスーパーピクセルが生成される。スーパーピクセルの集合Pおよび深度ラベルの有限集合Sが与えられるとき、その目的は、深度ラベルsを各スーパーピクセルpに割り当てることである。
【0044】
MRFのエネルギー関数E(s)は、以下の通りである。
【0045】
【数4】

【0046】
ただし、データ項D(s)は、深度レベルsを有するスーパーピクセルpのための項であり、平滑化項Vpq(s,s)は、隣接するスーパーピクセルpおよびqのための項であり、αは正則化の程度を制御する。
【0047】
データ項D(s)を求めるために、焦点スタックフレームFごとにテクスチャマップTが入手可能であると仮定する。最初に、仮想静的焦点スタックZにフォトモンタージュ法を適用することによって、これらのテクスチャマップが得られる。フォトモンタージュ法は、或る局所的な領域のための鮮鋭度指標を求め、その領域が鮮鋭であるフレームからピクセルを選択する。
【0048】
最初の反復後に、生成された深度マップの先行する推定を用いて求められたテクスチャマップを用いる。
【0049】
テクスチャを与えられると、データ項は、深度レベルsごとの観測されたスーパーピクセルと再度ぼかされたスーパーピクセルとの間の差の二乗和によって求められる。PSFは、テクスチャを再度ぼかすためのディスクカーネル(disk kernel)であると仮定される。
【0050】
この発明のMRF定式化では、空間および時間両方の平滑度について考える。平滑度項は、以下の通りである。
【0051】
pq(s,s)=wpq|s-s| ・・・(5)
【0052】
ただし、|s−s|は、隣接するスーパーピクセルpとqとの間の深度不連続にペナルティーを科し、wpqは時空間重み係数である。
【0053】
空間的に隣接する2つのスーパーピクセルpとqとの間の重みwpqは、2つのスーパーピクセルの平均色の類似度によって求められる。
【0054】
【数5】

【0055】
ただし、IおよびIは、スーパーピクセルpおよびqの平均色であり、τは色の類似度に関する制御パラメータである。
【0056】
時間的に隣接するスーパーピクセルのための重みは、以下のように求められる。フレームAおよびBについて考える。uをこれら2つのフレーム間のOFとする。OF uを用いて、フレームA内のスーパーピクセルpがフレームBにワープされる。その際、スーパーピクセルpと、フレームBのスーパーピクセルとの重なりが、時間的に隣接するスーパーピクセル間の重みとして用いられる。
【0057】
この発明者らは、グラフカット法を用いて、エネルギー関数を最小にする。グラフ理論において、カットは、グラフの頂点を2つの互いに素な部分集合に分割することである。カットのカット集合は、その終点が分割の異なる部分集合内にあるエッジの集合である。エッジがそのカット集合内にある場合には、そのエッジは、カットを横切っていると言われる。
【0058】
カメラ
図2は、この発明の1つの実施の形態によるカメラ200を概略的に示す。カメラは、レンズ210およびアパーチャ211と、順次走査CCDセンサ220と、ステッピングモータ(stepper motor)230とを含む。ステッピングモータ(stepping motor)は、マイクロプロセッサ(μP)102によって制御することができる。大部分の最新のデジタルカメラは、プログラムすることができる1つまたは複数のマイクロプロセッサを含む。カメラは較正される。12.5mmの焦点距離を有するCマウントレンズが、カメラに対して固定される。
【0059】
その記述は、センサを動かすことによって焦点スタックのための焦点制御を達成することに限定されるが、この発明が、レンズを動かすこと、液体レンズを用いること、バリオプティック(Varioptic:登録商標)レンズを用いること、レンズアセンブリのいくつかの部品を動かすこと、多素子レンズ内の1つのレンズ素子を動かすことなどを含む、焦点深度を変更する他の手段にも同じく当てはまることは理解されたい。
【0060】
ステッピングモータは、各ステップにおいて、センサを2μm駆動することができる。このようにして、1フレームを取得するための2つの連続したセンサ位置間の距離は、2μmの倍数において変更することができる。これは、取得されることになるシーン101内のDOF、および焦点スタック110あたりの必要とされるフレームの数にしたがって制御することができる。1つの実施の形態では、2つの連続したセンサ位置間で67ステップ(134μm)103が用いられる。ビデオを取得する間に、連続してセンサを動かし、通常、露出時間を10msecになるように維持する。カメラセンサが僅かに並進するだけで、広範囲の焦点深度が網羅される。
【0061】
センサは、一定の速度でレンズの光軸201に沿って並進する。センサが1つの方向において所定の極値(最大値または最小値)に達するとき、センサは、反対の方向に並進する。それゆえ、カメラは、毎秒30フレームで連続してフレームを取得することができる。
【0062】
1つの実施の形態では、センサが動く周期の半分において、カメラは、5フレームを取得し、それが焦点スタック110のサイズである。
【0063】
別の実施の形態では、カメラの出力がEDOFビデオ170であるように、方法100がマイクロプロセッサ102において実施される。すなわち、マイクロプロセッサは、オプティカルフローを求めるための手段、画像を位置合わせするための手段、DFD法、並びに深度マップおよびテクスチャマップを生成するための手段を実現する。
【0064】
被写界深度制御
本カメラおよび本方法によれば、動的シーンのための深度およびテクスチャの両方が同時に得られるようになるので、これにより、取得された画像の被写界深度(DOF)を合成的に操作できるようになる。たとえば、DOFを小さくすることによって非常に浅いDOFを有する芸術的な画像を生成することができる。また、取得後のデジタルリフォーカスを実行することもでき、これは自動的に、またはユーザ入力を用いてインタラクティブに行なうことができる。DFD法の深度量子化は、取得された各焦点スタックのDOFよりも、はるかに細かい。
【0065】
従来のDFD法は、フレームが取得される間、カメラおよびシーンが静止していると仮定する。この発明では、カメラおよびシーンの動きがこれらのDFD法に及ぼす影響を記述し、DFDおよびEDOF撮像の問題を動的シーンに拡張することに向けて、オプティカルフロー解析および動き推定をいかに利用することができるかを記述する。正確なOFが与えられると、この発明によれば、焦点スタック内のフレームを正確にワープして、仮想静的焦点スタックを得ることができ、仮想静的焦点スタックにDFDを適用することができる。明確な動き補償を実行するこの発明の着想は、汎用的である。この発明のDFD実施態様は、グラフカットによる定式化に基づくが、本明細書において記述される実施の形態は、他のDFD手法に対して自明に拡張することができる。
【0066】
変化する焦点ぼけがある場合に、正確なOFを取得することは、難しい作業である。この発明では、焦点ぼけ変動がOFを推定する際にいかに本質的な偏りを引き起こすか、および変化する焦点ぼけが存在する場合に、これらの偏りを処理し、正確なOFを求める方法を記述する。この発明により複数のフレームを正確に位置合わせすることができることの直接の結果として、この発明によれば、カメラの固有のフレームレートにおいて深度情報およびテクスチャマップを抽出することができ、それにより、従来の30fpsカメラを、30fps拡張被写界深度(EDOF)カメラおよび30fps距離センサに同時に変換することができる。
【0067】
また、距離および画像情報を抽出できることによって、取得された画像の被写界深度を拡張または縮小し、取得後のデジタルリフォーカスを実行するなど、芸術的な被写界深度効果を有する画像をレンダリングすることができるようになる。

【特許請求の範囲】
【請求項1】
動的シーンを深度および拡張被写界深度(EDOF)ビデオとして再構成するための方法であって、
ビデオカメラを用いて前記動的シーンの焦点スタックを取得するステップであって、前記焦点スタックは、連続した時刻における一連のフレームを含む、取得するステップと、
前記焦点スタックの前記フレーム間のオプティカルフローを求めるステップと、
前記オプティカルフローにしたがって前記フレームをワープし、前記フレームを位置合わせし、時刻ごとの仮想静的焦点スタックを生成する、ワープするステップと、
デプス・フロム・デフォーカス(DFD)法を用いて、前記仮想静的焦点スタックごとの深度マップおよびテクスチャマップを生成するステップであって、前記テクスチャマップはEDOF画像に対応する、生成するステップと、
を含む、動的シーンを深度および拡張被写界深度(EDOF)ビデオとして再構成するための方法。
【請求項2】
前記求めるステップ、前記ワープするステップおよび前記生成するステップを繰り返して、前記深度マップおよび前記テクスチャマップを改良する、繰り返すステップをさらに含む、請求項1に記載の方法。
【請求項3】
前記時刻は、前記カメラの固有のフレームレートによって決まる、請求項1に記載の方法。
【請求項4】
前記オプティカルフローは、連続したフレーム対間で求められる、請求項1に記載の方法。
【請求項5】
前記DFDは、エネルギー関数によって最小にされる時空間マルコフ確率場(MRF)を用いる、請求項1に記載の方法。
【請求項6】
カーネルを用いて前記各テクスチャマップをぼかすステップであって、前記カーネルは、対応する前記深度マップに依拠する、ぼかすステップをさらに含む、請求項1に記載の方法。
【請求項7】
前記フレーム内の遮蔽されたピクセルを検出するステップと、
前記遮蔽されたピクセルを遮蔽されていない他のフレームからの対応するピクセルで埋めるステップと、
をさらに含む、請求項1に記載の方法。
【請求項8】
前記MRFは、前記フレームのスーパーピクセルのセグメントに対応するノードによって、前記各セグメントの形状および色分布の現在のガウス推定に基づいて定義される、請求項5に記載の方法。
【請求項9】
前記MRFの前記エネルギー関数E(s)は、
【数1】

であり、ただし、データ項D(s)は、深度レベルsを有するスーパーピクセルpのための項であり、平滑化項Vpq(s,s)は、隣接するスーパーピクセルpおよびqのための項であり、αは正則化の程度を制御する、請求項8に記載の方法。
【請求項10】
初期テクスチャマップは、前記仮想静的焦点スタックにフォトモンタージュ法を適用することによって得られる、請求項9に記載の方法。
【請求項11】
前記テクスチャマップは、以前に生成された深度マップを用いて求められる、請求項9に記載の方法。
【請求項12】
前記平滑化項は、
pq(s,s)=wpq|s-s
であり、ただし、|s−s|は、隣接するスーパーピクセルpとqとの間の深度不連続にペナルティーを科し、wpqは時空間重み係数であり、空間的に隣接する2つのスーパーピクセルpとqとの間の重みwpqは、2つのスーパーピクセルの平均色の類似度によって求められ、
【数2】

ただし、IおよびIは、スーパーピクセルpおよびqの平均色であり、τは、平均色の類似度に関する制御パラメータである、請求項9に記載の方法。
【請求項13】
前記エネルギー関数は、グラフカット法を用いて最小にされる、請求項5に記載の方法。
【請求項14】
並進は、一定の速度であり、前記カメラのセンサは、1つの方向において所定の極値に達し、前記センサは、反対の方向に並進する、請求項5に記載の方法。
【請求項15】
前記焦点スタックは、静止しているレンズ素子に対してセンサ素子を動かすことによって得られる、請求項1に記載の方法。
【請求項16】
前記焦点スタックは、多レンズアセンブリのレンズ全体または一部のいずれかを動かすことによって得られる、請求項1に記載の方法。
【請求項17】
前記焦点スタックは、液体レンズの焦点を制御することによって得られる、請求項1に記載の方法。
【請求項18】
前記求めるステップ、前記ワープするステップ、および前記生成するステップは、マイクロプロセッサによって実行される、請求項1に記載の方法。
【請求項19】
動的シーンを深度および拡張被写界深度(EDOF)ビデオとして再構成するための装置であって、
レンズおよびセンサを含むカメラと、
連続した時刻において一連のフレームを含む焦点スタックを取得するように構成されるセンサと、
前記焦点スタックの前記フレーム間のオプティカルフローを求める手段と、
前記オプティカルフローにしたがって前記フレームをワープして、前記フレームを位置合わせし、時刻ごとの仮想静的焦点スタックを生成する、ワープする手段と、
デプス・フロム・デフォーカス(DFD)法を用いて、仮想静的焦点スタックごとの深度マップおよびテクスチャマップを生成する手段であって、前記テクスチャマップは、EDOF画像に対応する、生成する手段と、
を備える、動的シーンを深度および拡張被写界深度(EDOF)ビデオとして再構成するための装置。
【請求項20】
距離は、前記シーンの必要とされる被写界深度にしたがって制御される、請求項15に記載の方法。

【図1】
image rotate

【図2】
image rotate


【公開番号】特開2013−21682(P2013−21682A)
【公開日】平成25年1月31日(2013.1.31)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−120987(P2012−120987)
【出願日】平成24年5月28日(2012.5.28)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】