光フィールドデータを利用した映像処理装置及び方法
光フィールドデータを用いて所望の位置の領域に対する高解像度映像を提供するための映像処理装置及び方法が開示される。映像処理装置は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって選択された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させる。また、映像処理装置は、場面に対する光フィールドデータを用いて、第1映像に対する設定された比率の高解像度映像を生成させる。映像処理装置は、所望のフォーカシング位置によって選択された一部の光フィールドデータの類似度を用いて、高解像度映像及び設定された比率によって拡大された第1映像の地域的合成比率を決定し、該決定された地域的合成比率によって、高解像度映像及び拡大された第1映像を合成して合成映像を生成させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像アプリケーションに係り、より詳細には、光フィールドデータを用いて映像を処理する装置及び方法に関する。
【背景技術】
【0002】
現在、商用化された撮像システムは、1回の撮影で1つの映像のみ見られる。しかし、最近、フォーカスを再組合する機能付きプレノプティックカメラ(plenoptic camera)が研究されている。プレノプティックカメラは、光フィールド(lightfield)カメラと呼ばれ、マイクロレンズアレイ(通常、レンチキュラーレンズアレイ)または光符号化マスク(light coded mask)を用いて、場面に対する4次元光フィールド情報をキャプチャーする。このようなプレノプティックカメラは、1回の撮影後、フォーカス平面を変える機能(re−focusing)と場面を多くの角度から見るようなビューバリエーション(view variation)のような機能をユーザに提供する。
【0003】
一方、多くの領域で高解像度(high−resolution)映像が必要である。監視用カメラ、精密診断のためのCT(Computed Tomography)写真、パターンを認識するコンピュータビジョン、地質調査位相写真などがその例である。このような高解像度映像を得るために、低解像度映像シーケンスから信号処理技術を用いて、高解像度映像を再構成する方法が研究されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、光フィールドデータを用いて所望のフォーカシング位置を含む映像の領域に対して解像度を高めるための映像処理装置及び方法が提案される。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する光フィールドデータ位置決定部と、前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させるリフォーカシング映像生成部と、前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる高解像度映像生成部と、前記位置決定された一部の光フィールドデータの類似度を用いて、前記第1映像の高解像度映像及び前記リフォーカシングされた第1映像の地域的な合成比率を決定する合成比率決定部と、前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる映像合成部と、を含む映像処理装置が提供される。
【0006】
前記光フィールドデータ位置決定部は、前記所望のフォーカシング位置を含む前記場面を表わす映像の一部の領域に対応する第2映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させ、該生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する。
【0007】
前記合成比率決定部は、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように、前記地域的な合成比率を決定する。
【0008】
前記合成比率決定部は、前記決定された位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる不均一度マップ生成部と、前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の前記地域的な合成比率情報を含む不均一度比率マップを生成させる不均一度比率マップ生成部と、前記不均一度比率マップを前記設定された比率で拡大する不均一度比率マップ拡大部と、を含む。
【0009】
前記映像合成部は、前記第1映像を設定された比率によって拡大し、該拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する。
【0010】
前記高解像度映像生成部は、前記決定されたアルファ値を用いて決定された位置の光フィールドデータを用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する映像フレーム決定部と、前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定するポイントスプレッド関数決定部と、前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する映像補間部と、生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する映像復元部と、を含む。
【0011】
前記サブピクセルシフト量は、前記基準映像フレームと前記各参照映像フレームとでそれぞれ対応する光フィールドデータの間の位置差である。
【0012】
前記映像フレーム決定部は、前記アルファ値を用いて位置決定された光フィールドデータを用いて、1つの角度から見えるビュー映像を前記基準映像フレームとして決定し、前記基準映像フレームとして決定されたビュー映像以外の他の角度から見える少なくとも1つのビュー映像を前記少なくとも1つの参照映像フレームとして決定する。
【0013】
前記ポイントスプレッド関数決定部は、前記基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの2次元ガウス関数を前記ポイントスプレッド関数として決定する。
【0014】
前記映像復元部は、生成された高解像度基準映像フレーム、前記参照映像フレームのうちの1つ、及び前記1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させるレジデュアル値生成部と、前記レジデュアル値を用いて、前記高解像度基準映像フレームを更新する映像更新部と、を含む。
【0015】
前記レジデュアル値は、前記1つの参照映像フレームから、前記高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である。
【0016】
前記レジデュアル値生成部は、前記高解像度基準映像フレームが更新された場合、前記更新された高解像度基準映像フレーム、前記参照映像フレームのうちの他の1つ、及び前記他の1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる。
【0017】
前記レジデュアル値は、前記他の1つの参照映像フレームから、前記更新された高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である。
【0018】
前記映像処理装置は、物体の像を結ぶための第1光学部と、光線をキャプチャーするフォトセンサーアレイと、前記第1光学部と前記フォトセンサーアレイとの間に位置し、光線を光線の方向に基づいて分離して、前記フォトセンサーアレイに向かわせる第2光学部を含む光フィールドデータキャプチャー部と、をさらに含む。
【0019】
本発明の他の態様によれば、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階と、前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させる段階と、前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる段階と、所望のフォーカシング位置によって選択された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記第1映像の地域的な合成比率を決定する段階と、前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる段階と、を含む映像処理方法が提供される。
【0020】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階は、前記フォーカシング位置を含む前記映像の一部の領域に対応する第2映像を設定する段階と、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させる段階と、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定する段階と、選択されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する段階と、を含む。
【0021】
前記合成比率を決定する段階で、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように合成比率が決定される。
【0022】
前記合成比率を決定する段階は、前記アルファ値によって決定された光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる段階と、前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の地域的な合成比率情報を含む不均一度比率マップを生成させる段階と、前記不均一度比率マップを前記設定された比率で拡大する段階と、を含む。
【0023】
前記映像を合成する段階は、前記第1映像を設定された比率によって拡大する段階と、前記拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する段階と、を含む。
【0024】
前記高解像度映像を生成させる段階は、前記決定されたアルファ値を用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する段階と、前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する段階と、前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する段階と、生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する段階と、を含む。
【0025】
本発明のまた他の態様によれば、所望のフォーカシング位置を決定し、撮像面とリフォーカシング面との位置関係を表わす前記フォーカシング位置のアルファ値を決定する段階と、前記アルファ値による角度データからリフォーカシング映像を生成させる段階と、前記アルファ値による角度データのサブピクセル変位に基づいてリフォーカシング領域の解像度を高めて、高解像度映像を生成させる段階と、前記アルファ値による角度データの類似度を判断して、前記フォーカシング領域とアウトフォーカシング領域とを区分する段階と、前記リフォーカシング映像と前記高解像度映像とを合成する段階と、を含むことを特徴とする4次元光フィールド処理方法が提供される。
【0026】
前記アルファ値は、最も鮮明なリフォーカシング映像が生成されるまでアルファ値を変化させて決定される。
【0027】
本発明のさらに他の態様によれば、前記方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体が提供される。
【図面の簡単な説明】
【0028】
【図1】映像処理装置の構成の一例を示す図である。
【図2】光フィールドデータを利用した映像処理を説明するための図である。
【図3】図1のデータ処理部150によるリフォーカシング映像を生成させる方法を説明するための図である。
【図4】プレノプティックカメラの方向分解能、空間分解能、及びフォトセンサーのピクセルサイズとの関係を示す図である。
【図5】図1の映像処理装置のデータ処理部150の構成の一例を示す図である。
【図6A】アルファ値の決定動作の一例を示す図である。
【図6B】アルファ値の決定動作の一例を示す図である。
【図6C】アルファ値の決定動作の一例を示す図である。
【図7A】決定されたアルファ値に基盤して不均一マップ生成のための光フィールドデータの値を示すための図である。
【図7B】決定されたアルファ値に基盤して不均一マップ生成のための光フィールドデータの値を示すための図である。
【図8】図5の合成比率決定部550の構成の一例を示す図である。
【図9】比率関数の一例を示す図である。
【図10A】一実施例による高解像度映像の再構成の概念を示す図である。
【図10B】一実施例による高解像度映像の再構成の概念を示す図である。
【図10C】一実施例による高解像度映像の再構成の概念を示す図である。
【図11】図5の高解像度映像生成部540の構成の一例を示すブロック図である。
【図12A】一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。
【図12B】一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。
【図13A】一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【図13B】一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【図13C】一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【図14】基準映像フレーム基盤で高解像度基準映像フレームを生成させる動作の一例を示す図である。
【図15】基準映像フレーム基盤PSF計算の一例を示す図である。
【図16】光フィールドデータを用いて所望のフォーカシング領域に対する高解像度映像を生成させる方法の一例を示す図である。
【図17】光フィールドデータを用いて高解像度映像を生成させる方法の一例を示す図である。
【発明を実施するための形態】
【0029】
以下、添付した図面を参照して、本発明の一実施例を詳細に説明する。本発明を説明するに当って、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書の全般に亘った内容に基づいて下されなければならない。
【0030】
図1は、映像処理装置の構成の一例を示す図である。一態様による映像処理装置100は、物体の像を結ぶためのメインレンズ110、メインレンズ110を通過した光線を、光線の方向に基づいて分離して、フォトセンサーアレイ130に向かわせるマイクロレンズアレイ120及びフォトセンサーアレイ130を有している光フィールドデータキャプチャー部140、及びキャプチャーされた光フィールドデータを処理するデータ処理部150を含む。この場合に、マイクロレンズアレイ120及びフォトセンサーアレイ130は、イメージセンサー160として具現可能である。このような映像処理装置を用いてリフォーカシングされた映像や多くの角度から見えるビュー映像(view image)を獲得(すなわち、映像のビュー調整)することができる。
【0031】
イメージ化された場面内の被写体105上の単一点からの光線は、マイクロレンズアレイ120の焦点平面上の単一収斂点に到達されうる。この収斂点でのマイクロレンズ122は、これら光線を光の方向に基づいて分離させ、マイクロレンズ下のフォトセンサー上にメインレンズ110の口径のフォーカシングされたイメージを生成させる。
【0032】
フォトセンサーアレイ130は、その上に入射される光を検出し、さまざまな成分の1つ以上を使って処理される出力を生成させる。出力光データは、例えば、被写体105、106、及び107を含む場面のイメージを生成する時、データを提供する各フォトセンサーについての位置情報と共にデータを使うデータ処理部150に送られる。
【0033】
データ処理部150は、例えば、共通部品(例えば、1チップ)または異なる部品に選択的に具現されたコンピュータまたはその他の処理回路として具現可能である。データ処理部150の一部は、光フィールドデータキャプチャー部140内に具現され、他の部分は、外部コンピュータに具現可能である。データ処理部150は、イメージデータを処理し、被写体105、106、及び107を含む場面のイメージを計算するように具現される。
【0034】
データ処理部150は、光がマイクロレンズアレイ120に到逹した公知された方向(各フォトセンサーの公知された位置を使って計算される)と共に検出された光または検出された光の特性を使って、リフォーカシング(refocusing)が校正されうるイメージを形成する時、データを選択的にリフォーカシング及び/または校正する。
【0035】
映像処理装置は、アプリケーションによってさまざまな方式として具現される。例えば、マイクロレンズ120は、例として、幾つかの区別可能なマイクロレンズで示されるが、アレイは、一般的に多数の(例えば、数千または数百万)マイクロレンズとして具現される。メインレンズ110を通過した光線を光線の方向に基づいて分離する1つのマイクロレンズアレイ120以外に、光符号化マスクなどの他の形態で構成することができる。マイクロレンズアレイ120は、光符号化マスクのような他の形態の光分離装置として具現され、メインレンズ110は第1光学部と呼ばれ、マイクロレンズアレイ122は第2光学部と呼ばれる。当該技術分野の通常の知識を有した者は、現在利用可能であるか、将来に開発されるさまざまなレンズ及び/またはマイクロレンズアレイを用いて、メインレンズ110及びマイクロレンズアレイ120が具現可能であるということが分かる。
フォトセンサーアレイ130は、一般的に、マイクロレンズアレイ120内のそれぞれのマイクロレンズごとに幾つかのフォトセンサーを有する。フォトセンサーアレイ130の各ピクセルのサイズ、すなわち、ピッチ(pitch)は、マイクロレンズアレイ122より相対的に微細である。また、マイクロレンズアレイ120内のマイクロレンズ及びフォトセンサーアレイ130内のフォトセンサーは、一般的にそれぞれのマイクロレンズを通じてフォトセンサーアレイに進む光が、隣接したマイクロレンズを通じて進んだ光と重ならないように位置設定しうる。
【0036】
映像処理装置は、メインレンズ110と例示的な撮像被写体105との間に例示されたような所望の深度“d”で関心のある被写体上にフォーカシングするために、光軸に沿って水平方向に移動するような性能を有する。したがって、獲得された光フィールドデータ基盤で各関心位置にリフォーカシングができる。
【0037】
例として、被写体105の単一点からの光線は、このような説明のために示される。これら光線は、マイクロレンズアレイ120の焦点平面上のマイクロレンズ122から単一収斂点に到逹することができる。マイクロレンズ122は、これら光線の方向に基づいて分離して、マイクロレンズ下のピクセルアレイ内のピクセルセット上でメインレンズ110の口径のフォーカシングされたイメージ及び光フィールドデータを生成させる。
【0038】
図2は、光フィールドデータを利用した映像処理を説明するための図である。映像処理装置100内部の2平面光フィールド“L”を考慮すれば、光フィールドデータL(u,v,s,t)は、(u,v)でメインレンズ110と交差し、(s,t)でマイクロレンズアレイ120の平面と交差する光線に沿って移動する光を表わす。光フィールドデータL(u,v,s,t)は、光線の位置情報及び光線の進行方向情報を表すことができる。例えば、光フィールドデータL(u,v,s,t)は、各マイクロレンズ(s,t)で、メインレンズ110の各サブアパーチュア(sub−aperture)の位置(u,v)を通過するインテンシティ値を表わす。ここで、サブアパーチュアは、メインレンズ110の方向分解能の個数を意味する。例えば、サブアパーチュアの個数が196個である場合、各マイクロレンズアレイ120は、フォトセンサーの196個のピクセルに対応して構成することができる。
【0039】
再び図1を参照すると、フォトセンサーアレイ130内のそれぞれのフォトセンサーは、メインレンズ110及びマイクロレンズアレイ120を通じてフォトセンサーに向けた光線セットを表わす値を提供するように具現可能である。すなわち、それぞれのフォトセンサーは、フォトセンサー上に入射された光に応答して出力を生成させ、マイクロレンズアレイ120に対する各フォトセンサーの位置は、入射光についての方向情報を提供するために利用される。
【0040】
一方、マイクロレンズアレイ120内の特定マイクロレンズ122下に形成されるイメージは、撮像平面上のその位置に対するシステムの方向分解能(directionalresoultion)を指示する。メインレンズ110は、有効にマイクロレンズの光学的無限距離にあり、マイクロレンズをフォーカシングするために、フォトセンサーアレイ130は、マイクロレンズの焦点深度で1平面内に位置しうる。メインレンズ110とマイクロレンズアレイ120との分離距離“s”は、マイクロレンズの視野深度内で鋭いイメージを果たすように選択されうる。
【0041】
メインレンズ110の口径サイズ及びマイクロレンズアレイ120内のマイクロレンズの口径サイズ(例えば、レンズ内の開口部の有効サイズ)は、映像処理装置100が具現される特定アプリケーションに符合するように選択されうる。
【0042】
データ処理部150は、光フィールドデータ、すなわち、L(u,v,s,t)を用いてリフォーカシング映像を生成することができる。この際、データ処理部150は、マイクロレンズに対する各フォトセンサーの位置を用いて、各フォトセンサー上の光の方向を決定することができる。また、データ処理部150は、検出された光が広がって出る場面内の被写体の視野深度を決定し、視野深度及び検出された光の方向を使って、焦点平面とは異なる焦点平面上でフォーカシングされるリフォーカシング映像を計算することができる。
【0043】
図3は、図1のデータ処理部150によるリフォーカシング映像を生成させる方法を説明するための図である。図3に示したように、メインレンズ110の面310とフォトセンサーアレイ130が位置する撮像面330との距離がFであり、メインレンズ110の面とリフォーカシング面320との距離がF’である時、F’=αFとして設定することができる。この場合、リフォーカシング面320上の座標(s,t)の撮像面330での検出強度LFは、以下の式(1)で表すことができる。
【0044】
【数1】
式(1)を利用すれば、撮像面330とリフォーカシング面320との位置関係を表わすアルファ値αによって、リフォーカシング面320上で焦点が生じる被写体に関する光フィールドデータ値が選択されうる。リフォーカシング面320で得られるイメージE(s,t)は、式(1)の検出強度LF’をメインレンズ100の口径に関して積分したものになるために、以下の式(2)のように表示される。
【0045】
【数2】
したがって、式(2)からリフォーカシング演算を行って、データ処理後の映像データに基づいて、任意の焦点(リフォーカシング面320)に設定した映像を合成することができる。
【0046】
図4は、プレノプティックカメラの方向分解能、空間分解能、及びフォトセンサーのピクセルサイズとの関係を示す図である。
【0047】
カメラの空間サンプリングレート(spatial sampling rates)及びカメラの方向サンプリングレートをΔx及びΔuと言う。カメラセンサーの幅をWxと言い、レンズ口径の幅をWuと定義する。このように定義すれば、フォトセンサーの空間分解能Nx=Wx/Δxであり、光フィールドカメラの方向分解能Nu=Wu/Δuである。
【0048】
所望の距離でリフォーカシングを行うためには、次の式(1)に満足せねばならないと知られている。
【0049】
【数3】
Fは、メインレンズの焦点距離を表わし、FLは、物体からリフォーカシングを所望の範囲による焦点距離を表わす。すなわち、F及びFLは、正確なリフォーカシングを果たすことができる焦点深度の範囲を表わす。
【0050】
例えば、Wu=20mm、F=80mmである場合、リフォーカシングするための物体の距離が1mまでである場合、前記の値を式(1)に代入すれば、Δx・Nu≧1.59mmになる。4145×4145個のピクセルからなるセンサーでイメージの目標空間分解能が1400×1400である場合、方向分解能を表現することができるピクセルは、4150/1400によって3個程度になる。
【0051】
ところが、リフォーカシング範囲を1mないし∞として設定し、センサーの1つのピクセルのピッチが9μmである場合、必要な方向分解能Nuは、1.59mm/(3ピクセル×9μm)によって58以上でなければならない。すなわち、リフォーカシング範囲を1mないし∞にする時、空間分解能1400×1400を得ることは不可能である。したがって、リフォーカシング範囲を変えるか、それとも、目標空間分解能を変える必要がある。
【0052】
次の表1は、前記のような仮定下で目標空間分解能に対する方向分解能を表わすために必要な許容Δxと必要Nuとの値を表わす。
【0053】
【表1】
表1を参照すると、リフォーカシング範囲を1mないし∞にする時、空間分解能を300×300に定める場合に、方向分解能13×13が可能であり、前記のリフォーカシング範囲を確保することができる。すなわち、センサーサイズが固定されている時、所望の性能の空間分解能を確保しにくく、所望の空間分解能を得るためには、さらに大きいサイズのセンサーが要求される問題点がある。
【0054】
一実施例によれば、データ処理部150は、光フィールドデータを用いてリフォーカシングされた映像で、所望の位置の領域で高解像度映像を獲得するように光フィールドデータを処理する。高解像度映像を獲得するために、光フィールドデータを空間的にサブサンプリングされたデータとして決定し、解像度向上のための低解像度データと定義する。また、低解像度データのうち、基準低解像度映像位置に比べて、他のサブサンプリングされた低解像度映像位置に対するサブピクセルシフト量を定義して、低解像度データの登録(Registration)及び再構成(Reconstruction)を可能にしうる。したがって、光フィールドデータから形成された映像で、所望の位置の領域に対して信号処理によって空間解像度(Spatial Resolution)を向上させることができる。
【0055】
図5は、図1の映像処理装置のデータ処理部150の構成の一例を示す図である。データ処理部150は、光フィールドデータ位置決定部510、リフォーカシング映像生成部520、映像拡大部530、高解像度映像生成部540、合成比率決定部550、及び映像合成部560を含みうる。
【0056】
光フィールドデータ位置決定部510は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する。詳細には、光フィールドデータ位置決定部510は、所望のフォーカシング位置を含む場面を表わす映像の一部の領域に対応する第2映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、第2映像に対する複数個のリフォーカシング映像を生成させる。その後、光フィールドデータ位置決定部510は、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、一部の光フィールドデータの位置を決定することができる。
【0057】
リフォーカシング映像生成部520は、場面に対する光フィールドデータのうちから撮像面とリフォーカシング面との位置関係を表わすアルファ値によって選択された光フィールドデータを用いて、リフォーカシングされた映像である第1映像を生成させる。
【0058】
映像拡大部530は、第1映像を設定された比率(m)によって拡大する。設定された比率(m)は、高解像度映像生成部540で生成される映像と倍率とを一致させるために設定される。例えば、第1映像のサイズがS×Tである場合、リフォーカシングされた第1映像及び高解像度映像のサイズは、mS×mTのサイズを有する。映像拡大部530は、映像合成部560と別途に示されているが、映像合成部560に含まれて構成することができる。
【0059】
高解像度映像生成部540は、場面に対する光フィールドデータを用いて、第1映像に対する設定された比率(m)の高解像度映像を生成させる。高解像度映像生成部540は、光フィールドデータを高解像度復元に利用される低解像度データと定義して、該定義された低解像度データを高解像度映像復元方法を用いて高解像度映像を生成させる。高解像度映像生成部540の詳細構成及び動作については、図11を参照してさらに詳細に説明する。
【0060】
合成比率決定部550は、所望のフォーカシング位置によって決定された一部の光フィールドデータの類似度を用いて、高解像度映像及び拡大された第1映像の地域的な合成比率を決定する。合成比率決定部550は、一部の光フィールドデータの類似度が高い領域であるほど、高解像度映像の合成比率がさらに高くなるように合成比率を決定することができる。合成比率決定部550の構成及び動作については、図8を参照してさらに詳細に説明する。
【0061】
映像合成部560は、決定された地域的な合成比率によって、高解像度映像及び拡大された第1映像を合成して合成映像を生成させる。
【0062】
例えば、映像を構成する各ピクセル当たり拡大された第1映像の合成比率がRである場合、合成映像のピクセル値Cは、次の式(4)によってピクセルごとに計算されうる。
【0063】
C(x,y)=[(1−R)×RRM+R×ErFM](x,y) (4)
ここで、x及びyは、それぞれ合成映像を構成するピクセルの座標を表わし、RRM(Resolution−Recovered Image)は、高解像度映像生成部540で生成された高解像度映像の当該座標のピクセル値を表わし、ErFM(Enlarged re−Focusing Image)は、映像拡大部530から出力される拡大された第1映像の当該座標のピクセル値を表わす。
【0064】
図6Aないし図6Cは、アルファ値の決定動作の一例を示す図である。
【0065】
図6Aは、任意のアルファ値によってリフォーカシングされた映像が、映像処理装置600のディスプレイ610に表示されている状態を表わす。ユーザが、マウス、タッチパッドのようなユーザ入力装置を用いて、ディスプレイ610で所望のフォーカシング位置620を選択すれば、位置620を含む選択領域630が設定されうる。選択領域630に対応する映像を第2映像と言う。第2映像に該当する選択領域630は、位置620を含む図6Aに示したように、格子形態以外の任意の形態に設定しうる。
【0066】
ユーザ入力信号によって場面を表わす映像の一部の領域に対応する第2映像が選択されれば、光フィールドデータ位置決定部510は、図6Bに示したように、アルファ値を変化させながら、第2映像に対する複数個のリフォーカシング映像を生成させる。そのために、光フィールドデータ位置決定部510が、アルファ値の変更によって第2映像に対してリフォーカシング映像を生成するように構成され、リフォーカシング映像生成部520を制御して、リフォーカシング映像を生成させうる。
【0067】
光フィールドデータ位置決定部510は、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成したアルファ値を選択することができる。図6Cは、図6Bのアルファ値の変化によるリフォーカシング映像に対する鮮明度(sharpness)を表わすグラフの一例である。映像に対する鮮明度は、知られているか、知られる、多様な鮮明度の測定方法によって測定されうる。例えば、図6Cで、最も高い鮮明度の映像を生成することができるアルファ値は、0.76であると決定されうる。
【0068】
図7A及び図7Bは、決定されたアルファ値に基づいた不均一度マップ生成のための光フィールドデータの値を示すための図である。
【0069】
図7Aで、光フィールドデータ730は、場面の映像710を生成するのに利用される光フィールドデータ観測値の一部を表わし、そのうち、一部の光フィールドデータ740は、場面の映像710でアルファ値が0.76である場合、リフォーカシング面上に光線の焦点が位置される被写体が位置する領域720、すなわち、フォーカシング領域に対する光フィールドデータを表わす。光フィールドデータ740で白色のポイントは、アルファ値が0.76である場合の光フィールドデータの位置を表わす。図7Aに示したように、フォーカシング領域によって決定されたアルファ値によって決定される位置の光フィールドデータの値(または、強度)は、互いに均一な特性を表わす。
【0070】
図7Bは、フォーカシング領域ではないアウトフォーカシング領域(out−of−focus)に対する光フィールドデータの値を表わす。図7Bで、光フィールドデータ760は、場面の映像710の生成するのに利用される光フィールドデータ観測値の一部を表わし、そのうち、一部の光フィールドデータ770は、場面の映像710でフォーカシング領域から外れた被写体が位置した領域750に対する光フィールドデータを表わす。光フィールドデータ770で白色のポイントは、アルファ値が0.76である場合の光フィールドデータの位置を表わす。図7Aに示したように、アウトフォーカシング領域に対するアルファ値によって決定される位置の光フィールドデータの値(または、強度)は、均一ではない特性を表わす。
【0071】
一実施例によれば、アルファ値によって決定されるフォーカシング領域とアウトフォーカシング領域での光フィールドデータの不均一度によって、単純に拡大されたリフォーカシング映像と高解像度映像との地域的合成比率を決定することができる。
【0072】
図8は、図5の合成比率決定部550の構成の一例を示す図である。合成比率決定部550は、不均一度マップ生成部810、不均一度比率マップ生成部820、比率関数保存部830、及び不均一度比率マップ拡大部840を含みうる。
【0073】
不均一度マップ生成部810は、所望のフォーカシング位置によって決定された各光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成することができる。不均一度マップのサイズは、リフォーカシング映像のサイズと同一である。所望のフォーカシング位置によって決定された光フィールドデータの位置での光フィールドデータの強度値の類似度を測定するために、標準偏差(Standard Deviation)、1シグマ不均一度計算方法(1−sigma uniformity)などの知られているか、知られる、多様な均一度(uniformity)計算方法が利用されうる。均一度が計算されれば、該計算された均一度値から均一度と補償関係にある不均一度値が計算されうる。
【0074】
不均一度比率マップ生成部820は、不均一度マップを用いて決定された位置での高解像度映像及び拡大されたリフォーカシングされた映像の合成比率情報を含む不均一度比率マップを生成させる。不均一度比率マップ生成部820は、比率関数保存部830に保存された比率関数を用いて生成されうる。比率関数は、比率関数保存部830などの保存空間にあらかじめ設定されて保存することができる。
【0075】
図9は、比率関数の一例を示す図である。図9に示したように、比率関数は、不均一度値によるリフォーカシング映像の合成比率を表すことができる。不均一度値で不均一度値の最小値(Min)は、光フィールド値が均一な強度を有する時の強度値を0に表わし、不均一度値の最大値(Max)は、均一な強度での強度値で最も多く差がある強度値を表わす。図9には、比率関数がアルファ値によって異ならせて設定されているが、比率関数は、アルファと独立して均一な形態を保持することもできる。
【0076】
再び図8を参照すると、拡大されたリフォーカシング映像及び高解像度映像の合成比率の和を1であるとする時、不均一度比率マップ生成部820は、拡大されたリフォーカシング映像の合成比率情報を含むように構成されるか、高解像度映像の合成比率情報を含むように構成されるか、両者の合成比率をいずれも含むように構成することができる。
【0077】
不均一度比率マップ拡大部840は、不均一度比率マップを設定された比率(m)で拡大する。不均一度比率マップを合成に利用される拡大されたリフォーカシングされた第1映像及び高解像度映像のサイズと一致させるためである。例えば、第1映像及び高解像度映像のサイズは、mS×mTのサイズを有すれば、不均一度比率マップは、mS×mTのサイズを有するように拡大される。
【0078】
図10Aないし図10Cは、一実施例による高解像度映像の再構成の概念を示す図である。
【0079】
図10Aに示したように、光フィールドデータをキャプチャーする。前述したように、光フィールドデータを用いて映像を獲得すれば、同じフォトセンサーアレイを利用した一般的な撮像装置に比べて、空間解像度が低下した複数個の低解像度映像またはサブサンプリングされた映像が獲得される。一実施例によれば、基準映像フレームは、光フィールドデータを用いて生成される少なくとも1つの角度から見える映像フレーム(または、ビュー映像)のうちの1つに決定されうる。少なくとも1つの参照映像フレームは、生成された少なくとも1つの角度から見える映像フレームのうち、基準映像フレームとして決定された映像フレーム以外の少なくとも1つの映像フレームとして決定されうる。
【0080】
図10Bは、HRグリッド上に光フィールドデータを登録した結果を表わす。図10Bは、一実施例による選定される基準映像フレーム及び参照映像フレームを構成する光フィールドデータを高解像度グリッド上に登録したことを示す図である。図10Bで、●、×、△、*は、それぞれオブジェクトの1点に対する光フィールドデータとして他のメインレンズの位置を通過した光フィールドデータを表わす。一実施例によれば、点1011、1012を含む●と表示された光フィールドデータを用いて形成された映像フレームが基準映像フレームである場合、高解像度グリッド上に図10Bに示したように登録されうる。
【0081】
図10Cに示したように、高解像度映像フレームを再構成する。一実施例によれば、光フィールドデータを用いて基準映像フレームを構成する光フィールドデータの間の値を補間することによって、基準映像フレームの解像度を高めうる。例えば、光フィールドデータ1011と光フィールドデータ1012との間のHRグリッド上の値1013は、図10BのHRグリッド上の領域1010に属した光フィールドデータを用いて補間されうる。
【0082】
図11は、図5の高解像度映像生成部540の構成の一例を示すブロック図である。
高解像度映像生成部540は、映像フレーム決定部1110、ポイントスプレッド関数(Point Spread Function)決定部1120、映像補間部1130、及び映像復元部1140を含む。
【0083】
映像フレーム決定部1110は、場面に対する光フィールドデータを用いて1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定し、基準映像フレーム決定部1112及び参照映像フレーム決定部1114を含んで構成することができる。
【0084】
基準映像フレーム決定部1112は、決定されたアルファ値によって位置決定された一部の光フィールドデータを用いて生成される1つのビュー(view)映像を基準映像フレームとして決定することができる。参照映像フレーム決定部1114は、決定されたアルファ値によって位置決定された光フィールドデータを用いて生成された少なくとも1つの角度から見えるビュー映像のうち、基準映像フレームとして決定されたビュー以外の少なくとも1つのビュー映像を少なくとも1つの参照映像フレームとして決定することができる。
【0085】
ポイントスプレッド関数(以下、PSFと称する)決定部1120は、基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定することができる。
【0086】
サブピクセルシフト量は、基準映像フレームを構成する少なくとも1つの光フィールドデータと、少なくとも1つの光フィールドデータにそれぞれ対応する参照映像フレームでの光フィールドデータとの間の位置差であり得る。これは、フォトセンサーでセンシング位置の差ではないので、基準映像フレームと参照映像フレームとの間のシフト量で映像アルゴリズム処理によって計算される。ビュー映像、すなわち、基準映像フレームと参照映像フレームとの間のサブピクセルシフト量は、ルーカスカナデ(Lucas Kanade)アルゴリズムなどの知られるか、今後知られる、映像処理アルゴリズムによって計算されうる。
【0087】
サブピクセルシフト量は、光フィールドデータキャプチャー部140で、メインレンズで被写体の各ポイントに対する光フィールドデータの通過位置によって、または光フィールドデータキャプチャー部140の構成によって設定される値であり、被写体との距離によって変更調整される値であり得る。また、サブピクセルシフト量は、アルファ値によってあらかじめ決定されうる。アルファ値及びアルファ値によるサブピクセルシフト量は、あらかじめ設定されて映像処理装置100の所定の保存領域に保存されて、一実施例による高解像度映像生成時に利用されうる。
【0088】
一実施例によれば、PSF決定部1120は、基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの2次元ガウス関数をポイントスプレッド関数として決定することができる。PSFは、基準映像に比べて、各参照映像ごとに異なるように決定されるものであって、基準映像フレームの更新と無関係に予め定められた各参照映像に該当するサブピクセル移動量によって定められる。
【0089】
映像補間部1130は、基準映像フレームを基準映像フレームより高い解像度の高解像度基準映像フレームに補間する。映像補間部1130は、バイリニア補間(bilinear interpolation)方法またはバイキュービック補間(bicubicintepolation)方法を用いて補間することができる。
【0090】
映像復元部1140は、生成された高解像度映像フレーム、ポイントスプレッド関数及び少なくとも1つの参照映像フレームを用いて高解像度基準映像フレームを更新することによって、高解像度映像を復元することができる。映像復元部1140は、複数個の低解像度映像フレームを用いて高解像度映像フレームを生成させるさまざまな高解像度映像処理方法が行われるように具現可能である。
【0091】
一実施例によれば、映像復元部1140は、レジデュアル値生成部1142及び映像更新部1144を含みうる。
【0092】
レジデュアル値生成部1142は、生成された高解像度基準映像フレーム、参照映像フレームのうちの1つ、及び1つの参照映像フレームと基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる。ここで、レジデュアル値は、1つの参照映像フレーム(観測された映像)から、高解像度基準映像フレームとポイントスプレッド関数とをコンボリューションした値(予測された映像)を減算した値であり得る。映像更新部1144は、レジデュアル値、すなわち、観測された映像から予測された映像の差映像を用いて高解像度基準映像フレームを更新する。
【0093】
レジデュアル値生成部1142は、高解像度基準映像フレームが更新された場合、更新された高解像度基準映像フレーム、参照映像フレームのうちの他の1つ、及び他の1つの参照映像フレームと基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成することができる。ここで、レジデュアル値は、他の1つの参照映像フレームから更新された高解像度基準映像フレームとポイントスプレッド関数とをコンボリューションした値を減算した値であり得る。映像更新部1144は、レジデュアル値を用いて高解像度基準映像フレームを更新する。
【0094】
このような動作は、複数個の参照映像全部に対して行われるまで繰り返し行われる。例えば、参照映像フレームが10個であれば、前述したような更新動作は、10回行われる。このように生成されたレジデュアル値を用いて高解像度基準映像フレームを更新する方法は、POCS(projection onto convex sets)を含めた多様な高解像度映像復元技術を利用できる。
【0095】
また、高解像度基準映像フレームの更新動作は、復元された高解像度映像に対する品質が所望の所定の品質になるまで繰り返し行われる。例えば、10個の参照映像フレームに対して更新動作がいずれも完了した後、生成された高解像度映像を10個の参照映像フレーム及びPSFを用いて更新する動作をレジデュアル値が所定の臨界値以下になるまで繰り返し行うことができる。
【0096】
図12A及び図12Bは、一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。
【0097】
図12Aは、アルファ値αが1であって、リフォーカシング面とマイクロレンズアレイ上の撮像面とが一致されるように光フィールドデータがキャプチャーされる場合を表わし、図12Bは、アルファ値αが1ではなくて、リフォーカシング面と撮像面とが一致されない場合に、光フィールドデータがキャプチャーされる場合を表わす。
【0098】
図12Aに示したように、アルファ値αが1である場合、映像フレーム決定部1110は、光フィールドデータを用いて生成される少なくとも1つの角度から見える映像フレームのうち、1つを基準映像フレームとして決定し、生成された少なくとも1つの角度から見える映像フレームのうち、基準映像フレームとして決定された映像フレーム以外の少なくとも1つの映像フレームを少なくとも1つの参照映像フレームとして決定することができる。
【0099】
図12Bに示したように、アルファ値αが1ではない場合には、決定される光フィールドデータの位置が変わることを表わす。したがって、得られるビュー映像が、図12Aで変わり、得られるビュー映像を用いて基準映像フレーム及び参照映像フレームが再定義されうる。決定された基準映像フレームと参照映像フレームとの間のサブピクセルシフト量を確認することができる。サブピクセルシフト量は、図13Cのように定義されるか、あらかじめ当該アルファ値に基盤して基準映像フレームと参照映像フレームとの間の移動量が測定されうる。
【0100】
図13Aないし図13Cは、一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【0101】
図13Aは、場面1310のオブジェクト1311、1312に対する光信号は、9個のサブアパーチュアを有するメインレンズ1320を通過し、メインレンズ1320の各サブアパーチュアを通過した光信号が、光センサー1330でサブアパーチュアの個数に対応する光ピクセルに入射されることを表わす。図面符号1340は、センシングされたデータがLR(Low Resolution)グリッド上で位置定義されたことを表わす。図13Aでは、5番目の光センサーピクセルで感知された感知値、すなわち、インテンシティがLRグリッドに示されたが、残りの光センサーのピクセルで感知されたインテンシティもLRグリッド上に規定される。
【0102】
図13Bは、センシングされたLRデータが、すなわち、光フィールドデータは、メインレンズ1320のサブアパーチュアを通過するデータであることを表わす。図13A及び図13Bで、説明の便宜上、メインレンズ1320のサブアパーチュアの配置及び光センサー1330のピクセルの配列が一列に示されたが、サブアパーチュアの配置及びピクセルの配置は、他のさまざまな形態を有しうる。
【0103】
図13Cは、基準映像フレームに比べて残りの参照映像フレームのサブピクセルシフト量の一例を示す図である。図13Cに示したように、メインレンズのサブアパーチュアを通過するデータが基準映像フレームに比べて、どれほどサブピクセルシフトになっているかを定義することができる。図13Cで、5番のサブアパーチュアを通過した光フィールドデータからなる映像フレームを基準映像フレームとし、1番のサブアパーチュアを通過した光フィールドデータと9番のサブアパーチュアを通過した光フィールドとの間の配置差が1ピクセルであり、メインレンズ通過位置によるサブピクセルシフト量が、図13Cに示したように、比例する場合を仮定する。この場合、maxxは、0.5と定義すれば、6番目のサブアパーチュアを通過した光フィールドデータで構成される映像フレームは、基準映像フレームに比べて、0.125ピクセル差(pixel shift)があると決定されうる。
【0104】
図14は、基準映像フレーム基盤で高解像度基準映像フレームを生成させる動作の一例を示す図である。
【0105】
基準映像フレームを初期の高解像度映像に形成するために、向上させようとする解像度サイズ(Resolution Size)を決定し、基準映像フレームを信号処理、例えば、バイリニア補間またはバイキュービック補間などの補間処理によって、決定されたサイズに拡大する。
【0106】
図面符号1410は、センシングされた光フィールドデータを、図面符号1420は、LRグリッド上に表示された基準映像フレームのデータを、図面符号1430は、高解像度処理になって基準映像フレームのデータがHRグリッド上に表示された例を、各々表わす。●は、基準映像フレームのデータを、○は、元の基準映像フレームのデータを用いて補間されたデータを、各々表わす。
【0107】
図15は、基準映像フレーム基盤PSF計算の一例を示す図である。図15の左側に示される光フィールドデータは、PSFを計算する方法を説明するために獲得される光フィールドデータの簡略化された形態を表わす。●、▲、■は、被写体の1ポイントに対する光フィールドデータを表わす。
【0108】
一実施例によれば、PSFは、次の式(5)のように定義されうる。
【0109】
【数4】
例えば、■位置XXは、基準▲の(u,v)ドメインでのポイントの位置に、x軸方向に定義されたサブピクセルシフト量を合わせた値を表わす。R_XXは、round(XX)でPSFのガウス関数のピークのセンター位置を表わす。また、■位置YYは、基準▲の(u,v)ドメインでのポイントの位置に、y軸方向に定義されたサブピクセルシフト量を合わせた値を表わす。R_YYは、round(YY)でPSFのガウス関数のピークのセンター位置を表わす。すなわち、光フィールド位置に基盤してPSFが定義されうる。PSFは、サブピクセルシフト量程度によってガウス(Gaussian)のカーブ形態が変化する。
【0110】
図16は、光フィールドデータを用いて所望のフォーカシング領域に対する高解像度映像を生成させる方法の一例を示す図である。
【0111】
光フィールドデータキャプチャー部140は、場面に対する光フィールドデータをキャプチャーする(1610)。光フィールドデータ位置決定部510は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によってアルファ値を決定し、該決定されたアルファ値を用いて、一部の光フィールドデータの位置を決定する(1620)。
【0112】
リフォーカシング映像生成部520は、位置決定された一部の光フィールドデータを用いて、リフォーカシングされた映像を生成させる(1630)。
映像合成部560は、リフォーカシングされた映像を設定された比率によって拡大する(1640)。
【0113】
高解像度映像生成部540は、場面に対する光フィールドデータを用いて、リフォーカシングされた映像に対する設定された比率の高解像度映像を生成させる(1650)。
【0114】
合成比率決定部550は、アルファ値による選択された一部の光フィールドデータの類似度を用いて、高解像度映像及び拡大されたリフォーカシングされた映像の地域的合成比率を決定する(1660)。
【0115】
映像合成部560は、地域的合成比率によって、高解像度映像及び拡大されたリフォーカシングされた映像を合成して合成映像を生成させる(1670)。
【0116】
図17は、光フィールドデータを用いて高解像度映像を生成させる方法の一例を示す図である。光フィールドデータキャプチャー部140は、場面に対する光フィールドデータをキャプチャーする(1710)。高解像度映像生成部540は、キャプチャーされた光フィールドデータを用いて1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する(1720)。高解像度映像生成部540は、基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する(1740)。
【0117】
高解像度映像生成部540は、基準映像フレームを基準映像フレームより高い解像度の高解像度基準映像フレームに補間する(1730)。高解像度映像生成部540は、生成された高解像度映像フレーム、ポイントスプレッド関数及び少なくとも1つの参照映像フレームを用いて高解像度基準映像フレームを更新することによって、高解像度映像を復元する(1750)。
【0118】
高解像度映像を復元する動作は、複数個の参照映像全部に対して行われるまで繰り返し行われる。一実施例によれば、サブピクセル単位の高解像度映像を生成させるために、POCS(projection onto convex set)方法を利用できる。
【0119】
本発明の一態様は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。前記のプログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光ディスクなどを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。
【0120】
以上の説明は、本発明の一実施例に過ぎず、当業者ならば、本発明の本質的特性から外れない範囲で変形された形態で具現することができる。したがって、本発明の範囲は、前述した実施例に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施例が含まれるように解析しなければならない。
【産業上の利用可能性】
【0121】
本発明は、光フィールドデータを利用した映像処理装置及び方法関連の技術分野に適用可能である。
【技術分野】
【0001】
本発明は、撮像アプリケーションに係り、より詳細には、光フィールドデータを用いて映像を処理する装置及び方法に関する。
【背景技術】
【0002】
現在、商用化された撮像システムは、1回の撮影で1つの映像のみ見られる。しかし、最近、フォーカスを再組合する機能付きプレノプティックカメラ(plenoptic camera)が研究されている。プレノプティックカメラは、光フィールド(lightfield)カメラと呼ばれ、マイクロレンズアレイ(通常、レンチキュラーレンズアレイ)または光符号化マスク(light coded mask)を用いて、場面に対する4次元光フィールド情報をキャプチャーする。このようなプレノプティックカメラは、1回の撮影後、フォーカス平面を変える機能(re−focusing)と場面を多くの角度から見るようなビューバリエーション(view variation)のような機能をユーザに提供する。
【0003】
一方、多くの領域で高解像度(high−resolution)映像が必要である。監視用カメラ、精密診断のためのCT(Computed Tomography)写真、パターンを認識するコンピュータビジョン、地質調査位相写真などがその例である。このような高解像度映像を得るために、低解像度映像シーケンスから信号処理技術を用いて、高解像度映像を再構成する方法が研究されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、光フィールドデータを用いて所望のフォーカシング位置を含む映像の領域に対して解像度を高めるための映像処理装置及び方法が提案される。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する光フィールドデータ位置決定部と、前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させるリフォーカシング映像生成部と、前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる高解像度映像生成部と、前記位置決定された一部の光フィールドデータの類似度を用いて、前記第1映像の高解像度映像及び前記リフォーカシングされた第1映像の地域的な合成比率を決定する合成比率決定部と、前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる映像合成部と、を含む映像処理装置が提供される。
【0006】
前記光フィールドデータ位置決定部は、前記所望のフォーカシング位置を含む前記場面を表わす映像の一部の領域に対応する第2映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させ、該生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する。
【0007】
前記合成比率決定部は、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように、前記地域的な合成比率を決定する。
【0008】
前記合成比率決定部は、前記決定された位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる不均一度マップ生成部と、前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の前記地域的な合成比率情報を含む不均一度比率マップを生成させる不均一度比率マップ生成部と、前記不均一度比率マップを前記設定された比率で拡大する不均一度比率マップ拡大部と、を含む。
【0009】
前記映像合成部は、前記第1映像を設定された比率によって拡大し、該拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する。
【0010】
前記高解像度映像生成部は、前記決定されたアルファ値を用いて決定された位置の光フィールドデータを用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する映像フレーム決定部と、前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定するポイントスプレッド関数決定部と、前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する映像補間部と、生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する映像復元部と、を含む。
【0011】
前記サブピクセルシフト量は、前記基準映像フレームと前記各参照映像フレームとでそれぞれ対応する光フィールドデータの間の位置差である。
【0012】
前記映像フレーム決定部は、前記アルファ値を用いて位置決定された光フィールドデータを用いて、1つの角度から見えるビュー映像を前記基準映像フレームとして決定し、前記基準映像フレームとして決定されたビュー映像以外の他の角度から見える少なくとも1つのビュー映像を前記少なくとも1つの参照映像フレームとして決定する。
【0013】
前記ポイントスプレッド関数決定部は、前記基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの2次元ガウス関数を前記ポイントスプレッド関数として決定する。
【0014】
前記映像復元部は、生成された高解像度基準映像フレーム、前記参照映像フレームのうちの1つ、及び前記1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させるレジデュアル値生成部と、前記レジデュアル値を用いて、前記高解像度基準映像フレームを更新する映像更新部と、を含む。
【0015】
前記レジデュアル値は、前記1つの参照映像フレームから、前記高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である。
【0016】
前記レジデュアル値生成部は、前記高解像度基準映像フレームが更新された場合、前記更新された高解像度基準映像フレーム、前記参照映像フレームのうちの他の1つ、及び前記他の1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる。
【0017】
前記レジデュアル値は、前記他の1つの参照映像フレームから、前記更新された高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である。
【0018】
前記映像処理装置は、物体の像を結ぶための第1光学部と、光線をキャプチャーするフォトセンサーアレイと、前記第1光学部と前記フォトセンサーアレイとの間に位置し、光線を光線の方向に基づいて分離して、前記フォトセンサーアレイに向かわせる第2光学部を含む光フィールドデータキャプチャー部と、をさらに含む。
【0019】
本発明の他の態様によれば、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階と、前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させる段階と、前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる段階と、所望のフォーカシング位置によって選択された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記第1映像の地域的な合成比率を決定する段階と、前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる段階と、を含む映像処理方法が提供される。
【0020】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階は、前記フォーカシング位置を含む前記映像の一部の領域に対応する第2映像を設定する段階と、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させる段階と、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定する段階と、選択されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する段階と、を含む。
【0021】
前記合成比率を決定する段階で、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように合成比率が決定される。
【0022】
前記合成比率を決定する段階は、前記アルファ値によって決定された光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる段階と、前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の地域的な合成比率情報を含む不均一度比率マップを生成させる段階と、前記不均一度比率マップを前記設定された比率で拡大する段階と、を含む。
【0023】
前記映像を合成する段階は、前記第1映像を設定された比率によって拡大する段階と、前記拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する段階と、を含む。
【0024】
前記高解像度映像を生成させる段階は、前記決定されたアルファ値を用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する段階と、前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する段階と、前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する段階と、生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する段階と、を含む。
【0025】
本発明のまた他の態様によれば、所望のフォーカシング位置を決定し、撮像面とリフォーカシング面との位置関係を表わす前記フォーカシング位置のアルファ値を決定する段階と、前記アルファ値による角度データからリフォーカシング映像を生成させる段階と、前記アルファ値による角度データのサブピクセル変位に基づいてリフォーカシング領域の解像度を高めて、高解像度映像を生成させる段階と、前記アルファ値による角度データの類似度を判断して、前記フォーカシング領域とアウトフォーカシング領域とを区分する段階と、前記リフォーカシング映像と前記高解像度映像とを合成する段階と、を含むことを特徴とする4次元光フィールド処理方法が提供される。
【0026】
前記アルファ値は、最も鮮明なリフォーカシング映像が生成されるまでアルファ値を変化させて決定される。
【0027】
本発明のさらに他の態様によれば、前記方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体が提供される。
【図面の簡単な説明】
【0028】
【図1】映像処理装置の構成の一例を示す図である。
【図2】光フィールドデータを利用した映像処理を説明するための図である。
【図3】図1のデータ処理部150によるリフォーカシング映像を生成させる方法を説明するための図である。
【図4】プレノプティックカメラの方向分解能、空間分解能、及びフォトセンサーのピクセルサイズとの関係を示す図である。
【図5】図1の映像処理装置のデータ処理部150の構成の一例を示す図である。
【図6A】アルファ値の決定動作の一例を示す図である。
【図6B】アルファ値の決定動作の一例を示す図である。
【図6C】アルファ値の決定動作の一例を示す図である。
【図7A】決定されたアルファ値に基盤して不均一マップ生成のための光フィールドデータの値を示すための図である。
【図7B】決定されたアルファ値に基盤して不均一マップ生成のための光フィールドデータの値を示すための図である。
【図8】図5の合成比率決定部550の構成の一例を示す図である。
【図9】比率関数の一例を示す図である。
【図10A】一実施例による高解像度映像の再構成の概念を示す図である。
【図10B】一実施例による高解像度映像の再構成の概念を示す図である。
【図10C】一実施例による高解像度映像の再構成の概念を示す図である。
【図11】図5の高解像度映像生成部540の構成の一例を示すブロック図である。
【図12A】一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。
【図12B】一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。
【図13A】一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【図13B】一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【図13C】一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【図14】基準映像フレーム基盤で高解像度基準映像フレームを生成させる動作の一例を示す図である。
【図15】基準映像フレーム基盤PSF計算の一例を示す図である。
【図16】光フィールドデータを用いて所望のフォーカシング領域に対する高解像度映像を生成させる方法の一例を示す図である。
【図17】光フィールドデータを用いて高解像度映像を生成させる方法の一例を示す図である。
【発明を実施するための形態】
【0029】
以下、添付した図面を参照して、本発明の一実施例を詳細に説明する。本発明を説明するに当って、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書の全般に亘った内容に基づいて下されなければならない。
【0030】
図1は、映像処理装置の構成の一例を示す図である。一態様による映像処理装置100は、物体の像を結ぶためのメインレンズ110、メインレンズ110を通過した光線を、光線の方向に基づいて分離して、フォトセンサーアレイ130に向かわせるマイクロレンズアレイ120及びフォトセンサーアレイ130を有している光フィールドデータキャプチャー部140、及びキャプチャーされた光フィールドデータを処理するデータ処理部150を含む。この場合に、マイクロレンズアレイ120及びフォトセンサーアレイ130は、イメージセンサー160として具現可能である。このような映像処理装置を用いてリフォーカシングされた映像や多くの角度から見えるビュー映像(view image)を獲得(すなわち、映像のビュー調整)することができる。
【0031】
イメージ化された場面内の被写体105上の単一点からの光線は、マイクロレンズアレイ120の焦点平面上の単一収斂点に到達されうる。この収斂点でのマイクロレンズ122は、これら光線を光の方向に基づいて分離させ、マイクロレンズ下のフォトセンサー上にメインレンズ110の口径のフォーカシングされたイメージを生成させる。
【0032】
フォトセンサーアレイ130は、その上に入射される光を検出し、さまざまな成分の1つ以上を使って処理される出力を生成させる。出力光データは、例えば、被写体105、106、及び107を含む場面のイメージを生成する時、データを提供する各フォトセンサーについての位置情報と共にデータを使うデータ処理部150に送られる。
【0033】
データ処理部150は、例えば、共通部品(例えば、1チップ)または異なる部品に選択的に具現されたコンピュータまたはその他の処理回路として具現可能である。データ処理部150の一部は、光フィールドデータキャプチャー部140内に具現され、他の部分は、外部コンピュータに具現可能である。データ処理部150は、イメージデータを処理し、被写体105、106、及び107を含む場面のイメージを計算するように具現される。
【0034】
データ処理部150は、光がマイクロレンズアレイ120に到逹した公知された方向(各フォトセンサーの公知された位置を使って計算される)と共に検出された光または検出された光の特性を使って、リフォーカシング(refocusing)が校正されうるイメージを形成する時、データを選択的にリフォーカシング及び/または校正する。
【0035】
映像処理装置は、アプリケーションによってさまざまな方式として具現される。例えば、マイクロレンズ120は、例として、幾つかの区別可能なマイクロレンズで示されるが、アレイは、一般的に多数の(例えば、数千または数百万)マイクロレンズとして具現される。メインレンズ110を通過した光線を光線の方向に基づいて分離する1つのマイクロレンズアレイ120以外に、光符号化マスクなどの他の形態で構成することができる。マイクロレンズアレイ120は、光符号化マスクのような他の形態の光分離装置として具現され、メインレンズ110は第1光学部と呼ばれ、マイクロレンズアレイ122は第2光学部と呼ばれる。当該技術分野の通常の知識を有した者は、現在利用可能であるか、将来に開発されるさまざまなレンズ及び/またはマイクロレンズアレイを用いて、メインレンズ110及びマイクロレンズアレイ120が具現可能であるということが分かる。
フォトセンサーアレイ130は、一般的に、マイクロレンズアレイ120内のそれぞれのマイクロレンズごとに幾つかのフォトセンサーを有する。フォトセンサーアレイ130の各ピクセルのサイズ、すなわち、ピッチ(pitch)は、マイクロレンズアレイ122より相対的に微細である。また、マイクロレンズアレイ120内のマイクロレンズ及びフォトセンサーアレイ130内のフォトセンサーは、一般的にそれぞれのマイクロレンズを通じてフォトセンサーアレイに進む光が、隣接したマイクロレンズを通じて進んだ光と重ならないように位置設定しうる。
【0036】
映像処理装置は、メインレンズ110と例示的な撮像被写体105との間に例示されたような所望の深度“d”で関心のある被写体上にフォーカシングするために、光軸に沿って水平方向に移動するような性能を有する。したがって、獲得された光フィールドデータ基盤で各関心位置にリフォーカシングができる。
【0037】
例として、被写体105の単一点からの光線は、このような説明のために示される。これら光線は、マイクロレンズアレイ120の焦点平面上のマイクロレンズ122から単一収斂点に到逹することができる。マイクロレンズ122は、これら光線の方向に基づいて分離して、マイクロレンズ下のピクセルアレイ内のピクセルセット上でメインレンズ110の口径のフォーカシングされたイメージ及び光フィールドデータを生成させる。
【0038】
図2は、光フィールドデータを利用した映像処理を説明するための図である。映像処理装置100内部の2平面光フィールド“L”を考慮すれば、光フィールドデータL(u,v,s,t)は、(u,v)でメインレンズ110と交差し、(s,t)でマイクロレンズアレイ120の平面と交差する光線に沿って移動する光を表わす。光フィールドデータL(u,v,s,t)は、光線の位置情報及び光線の進行方向情報を表すことができる。例えば、光フィールドデータL(u,v,s,t)は、各マイクロレンズ(s,t)で、メインレンズ110の各サブアパーチュア(sub−aperture)の位置(u,v)を通過するインテンシティ値を表わす。ここで、サブアパーチュアは、メインレンズ110の方向分解能の個数を意味する。例えば、サブアパーチュアの個数が196個である場合、各マイクロレンズアレイ120は、フォトセンサーの196個のピクセルに対応して構成することができる。
【0039】
再び図1を参照すると、フォトセンサーアレイ130内のそれぞれのフォトセンサーは、メインレンズ110及びマイクロレンズアレイ120を通じてフォトセンサーに向けた光線セットを表わす値を提供するように具現可能である。すなわち、それぞれのフォトセンサーは、フォトセンサー上に入射された光に応答して出力を生成させ、マイクロレンズアレイ120に対する各フォトセンサーの位置は、入射光についての方向情報を提供するために利用される。
【0040】
一方、マイクロレンズアレイ120内の特定マイクロレンズ122下に形成されるイメージは、撮像平面上のその位置に対するシステムの方向分解能(directionalresoultion)を指示する。メインレンズ110は、有効にマイクロレンズの光学的無限距離にあり、マイクロレンズをフォーカシングするために、フォトセンサーアレイ130は、マイクロレンズの焦点深度で1平面内に位置しうる。メインレンズ110とマイクロレンズアレイ120との分離距離“s”は、マイクロレンズの視野深度内で鋭いイメージを果たすように選択されうる。
【0041】
メインレンズ110の口径サイズ及びマイクロレンズアレイ120内のマイクロレンズの口径サイズ(例えば、レンズ内の開口部の有効サイズ)は、映像処理装置100が具現される特定アプリケーションに符合するように選択されうる。
【0042】
データ処理部150は、光フィールドデータ、すなわち、L(u,v,s,t)を用いてリフォーカシング映像を生成することができる。この際、データ処理部150は、マイクロレンズに対する各フォトセンサーの位置を用いて、各フォトセンサー上の光の方向を決定することができる。また、データ処理部150は、検出された光が広がって出る場面内の被写体の視野深度を決定し、視野深度及び検出された光の方向を使って、焦点平面とは異なる焦点平面上でフォーカシングされるリフォーカシング映像を計算することができる。
【0043】
図3は、図1のデータ処理部150によるリフォーカシング映像を生成させる方法を説明するための図である。図3に示したように、メインレンズ110の面310とフォトセンサーアレイ130が位置する撮像面330との距離がFであり、メインレンズ110の面とリフォーカシング面320との距離がF’である時、F’=αFとして設定することができる。この場合、リフォーカシング面320上の座標(s,t)の撮像面330での検出強度LFは、以下の式(1)で表すことができる。
【0044】
【数1】
式(1)を利用すれば、撮像面330とリフォーカシング面320との位置関係を表わすアルファ値αによって、リフォーカシング面320上で焦点が生じる被写体に関する光フィールドデータ値が選択されうる。リフォーカシング面320で得られるイメージE(s,t)は、式(1)の検出強度LF’をメインレンズ100の口径に関して積分したものになるために、以下の式(2)のように表示される。
【0045】
【数2】
したがって、式(2)からリフォーカシング演算を行って、データ処理後の映像データに基づいて、任意の焦点(リフォーカシング面320)に設定した映像を合成することができる。
【0046】
図4は、プレノプティックカメラの方向分解能、空間分解能、及びフォトセンサーのピクセルサイズとの関係を示す図である。
【0047】
カメラの空間サンプリングレート(spatial sampling rates)及びカメラの方向サンプリングレートをΔx及びΔuと言う。カメラセンサーの幅をWxと言い、レンズ口径の幅をWuと定義する。このように定義すれば、フォトセンサーの空間分解能Nx=Wx/Δxであり、光フィールドカメラの方向分解能Nu=Wu/Δuである。
【0048】
所望の距離でリフォーカシングを行うためには、次の式(1)に満足せねばならないと知られている。
【0049】
【数3】
Fは、メインレンズの焦点距離を表わし、FLは、物体からリフォーカシングを所望の範囲による焦点距離を表わす。すなわち、F及びFLは、正確なリフォーカシングを果たすことができる焦点深度の範囲を表わす。
【0050】
例えば、Wu=20mm、F=80mmである場合、リフォーカシングするための物体の距離が1mまでである場合、前記の値を式(1)に代入すれば、Δx・Nu≧1.59mmになる。4145×4145個のピクセルからなるセンサーでイメージの目標空間分解能が1400×1400である場合、方向分解能を表現することができるピクセルは、4150/1400によって3個程度になる。
【0051】
ところが、リフォーカシング範囲を1mないし∞として設定し、センサーの1つのピクセルのピッチが9μmである場合、必要な方向分解能Nuは、1.59mm/(3ピクセル×9μm)によって58以上でなければならない。すなわち、リフォーカシング範囲を1mないし∞にする時、空間分解能1400×1400を得ることは不可能である。したがって、リフォーカシング範囲を変えるか、それとも、目標空間分解能を変える必要がある。
【0052】
次の表1は、前記のような仮定下で目標空間分解能に対する方向分解能を表わすために必要な許容Δxと必要Nuとの値を表わす。
【0053】
【表1】
表1を参照すると、リフォーカシング範囲を1mないし∞にする時、空間分解能を300×300に定める場合に、方向分解能13×13が可能であり、前記のリフォーカシング範囲を確保することができる。すなわち、センサーサイズが固定されている時、所望の性能の空間分解能を確保しにくく、所望の空間分解能を得るためには、さらに大きいサイズのセンサーが要求される問題点がある。
【0054】
一実施例によれば、データ処理部150は、光フィールドデータを用いてリフォーカシングされた映像で、所望の位置の領域で高解像度映像を獲得するように光フィールドデータを処理する。高解像度映像を獲得するために、光フィールドデータを空間的にサブサンプリングされたデータとして決定し、解像度向上のための低解像度データと定義する。また、低解像度データのうち、基準低解像度映像位置に比べて、他のサブサンプリングされた低解像度映像位置に対するサブピクセルシフト量を定義して、低解像度データの登録(Registration)及び再構成(Reconstruction)を可能にしうる。したがって、光フィールドデータから形成された映像で、所望の位置の領域に対して信号処理によって空間解像度(Spatial Resolution)を向上させることができる。
【0055】
図5は、図1の映像処理装置のデータ処理部150の構成の一例を示す図である。データ処理部150は、光フィールドデータ位置決定部510、リフォーカシング映像生成部520、映像拡大部530、高解像度映像生成部540、合成比率決定部550、及び映像合成部560を含みうる。
【0056】
光フィールドデータ位置決定部510は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する。詳細には、光フィールドデータ位置決定部510は、所望のフォーカシング位置を含む場面を表わす映像の一部の領域に対応する第2映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、第2映像に対する複数個のリフォーカシング映像を生成させる。その後、光フィールドデータ位置決定部510は、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、一部の光フィールドデータの位置を決定することができる。
【0057】
リフォーカシング映像生成部520は、場面に対する光フィールドデータのうちから撮像面とリフォーカシング面との位置関係を表わすアルファ値によって選択された光フィールドデータを用いて、リフォーカシングされた映像である第1映像を生成させる。
【0058】
映像拡大部530は、第1映像を設定された比率(m)によって拡大する。設定された比率(m)は、高解像度映像生成部540で生成される映像と倍率とを一致させるために設定される。例えば、第1映像のサイズがS×Tである場合、リフォーカシングされた第1映像及び高解像度映像のサイズは、mS×mTのサイズを有する。映像拡大部530は、映像合成部560と別途に示されているが、映像合成部560に含まれて構成することができる。
【0059】
高解像度映像生成部540は、場面に対する光フィールドデータを用いて、第1映像に対する設定された比率(m)の高解像度映像を生成させる。高解像度映像生成部540は、光フィールドデータを高解像度復元に利用される低解像度データと定義して、該定義された低解像度データを高解像度映像復元方法を用いて高解像度映像を生成させる。高解像度映像生成部540の詳細構成及び動作については、図11を参照してさらに詳細に説明する。
【0060】
合成比率決定部550は、所望のフォーカシング位置によって決定された一部の光フィールドデータの類似度を用いて、高解像度映像及び拡大された第1映像の地域的な合成比率を決定する。合成比率決定部550は、一部の光フィールドデータの類似度が高い領域であるほど、高解像度映像の合成比率がさらに高くなるように合成比率を決定することができる。合成比率決定部550の構成及び動作については、図8を参照してさらに詳細に説明する。
【0061】
映像合成部560は、決定された地域的な合成比率によって、高解像度映像及び拡大された第1映像を合成して合成映像を生成させる。
【0062】
例えば、映像を構成する各ピクセル当たり拡大された第1映像の合成比率がRである場合、合成映像のピクセル値Cは、次の式(4)によってピクセルごとに計算されうる。
【0063】
C(x,y)=[(1−R)×RRM+R×ErFM](x,y) (4)
ここで、x及びyは、それぞれ合成映像を構成するピクセルの座標を表わし、RRM(Resolution−Recovered Image)は、高解像度映像生成部540で生成された高解像度映像の当該座標のピクセル値を表わし、ErFM(Enlarged re−Focusing Image)は、映像拡大部530から出力される拡大された第1映像の当該座標のピクセル値を表わす。
【0064】
図6Aないし図6Cは、アルファ値の決定動作の一例を示す図である。
【0065】
図6Aは、任意のアルファ値によってリフォーカシングされた映像が、映像処理装置600のディスプレイ610に表示されている状態を表わす。ユーザが、マウス、タッチパッドのようなユーザ入力装置を用いて、ディスプレイ610で所望のフォーカシング位置620を選択すれば、位置620を含む選択領域630が設定されうる。選択領域630に対応する映像を第2映像と言う。第2映像に該当する選択領域630は、位置620を含む図6Aに示したように、格子形態以外の任意の形態に設定しうる。
【0066】
ユーザ入力信号によって場面を表わす映像の一部の領域に対応する第2映像が選択されれば、光フィールドデータ位置決定部510は、図6Bに示したように、アルファ値を変化させながら、第2映像に対する複数個のリフォーカシング映像を生成させる。そのために、光フィールドデータ位置決定部510が、アルファ値の変更によって第2映像に対してリフォーカシング映像を生成するように構成され、リフォーカシング映像生成部520を制御して、リフォーカシング映像を生成させうる。
【0067】
光フィールドデータ位置決定部510は、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成したアルファ値を選択することができる。図6Cは、図6Bのアルファ値の変化によるリフォーカシング映像に対する鮮明度(sharpness)を表わすグラフの一例である。映像に対する鮮明度は、知られているか、知られる、多様な鮮明度の測定方法によって測定されうる。例えば、図6Cで、最も高い鮮明度の映像を生成することができるアルファ値は、0.76であると決定されうる。
【0068】
図7A及び図7Bは、決定されたアルファ値に基づいた不均一度マップ生成のための光フィールドデータの値を示すための図である。
【0069】
図7Aで、光フィールドデータ730は、場面の映像710を生成するのに利用される光フィールドデータ観測値の一部を表わし、そのうち、一部の光フィールドデータ740は、場面の映像710でアルファ値が0.76である場合、リフォーカシング面上に光線の焦点が位置される被写体が位置する領域720、すなわち、フォーカシング領域に対する光フィールドデータを表わす。光フィールドデータ740で白色のポイントは、アルファ値が0.76である場合の光フィールドデータの位置を表わす。図7Aに示したように、フォーカシング領域によって決定されたアルファ値によって決定される位置の光フィールドデータの値(または、強度)は、互いに均一な特性を表わす。
【0070】
図7Bは、フォーカシング領域ではないアウトフォーカシング領域(out−of−focus)に対する光フィールドデータの値を表わす。図7Bで、光フィールドデータ760は、場面の映像710の生成するのに利用される光フィールドデータ観測値の一部を表わし、そのうち、一部の光フィールドデータ770は、場面の映像710でフォーカシング領域から外れた被写体が位置した領域750に対する光フィールドデータを表わす。光フィールドデータ770で白色のポイントは、アルファ値が0.76である場合の光フィールドデータの位置を表わす。図7Aに示したように、アウトフォーカシング領域に対するアルファ値によって決定される位置の光フィールドデータの値(または、強度)は、均一ではない特性を表わす。
【0071】
一実施例によれば、アルファ値によって決定されるフォーカシング領域とアウトフォーカシング領域での光フィールドデータの不均一度によって、単純に拡大されたリフォーカシング映像と高解像度映像との地域的合成比率を決定することができる。
【0072】
図8は、図5の合成比率決定部550の構成の一例を示す図である。合成比率決定部550は、不均一度マップ生成部810、不均一度比率マップ生成部820、比率関数保存部830、及び不均一度比率マップ拡大部840を含みうる。
【0073】
不均一度マップ生成部810は、所望のフォーカシング位置によって決定された各光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成することができる。不均一度マップのサイズは、リフォーカシング映像のサイズと同一である。所望のフォーカシング位置によって決定された光フィールドデータの位置での光フィールドデータの強度値の類似度を測定するために、標準偏差(Standard Deviation)、1シグマ不均一度計算方法(1−sigma uniformity)などの知られているか、知られる、多様な均一度(uniformity)計算方法が利用されうる。均一度が計算されれば、該計算された均一度値から均一度と補償関係にある不均一度値が計算されうる。
【0074】
不均一度比率マップ生成部820は、不均一度マップを用いて決定された位置での高解像度映像及び拡大されたリフォーカシングされた映像の合成比率情報を含む不均一度比率マップを生成させる。不均一度比率マップ生成部820は、比率関数保存部830に保存された比率関数を用いて生成されうる。比率関数は、比率関数保存部830などの保存空間にあらかじめ設定されて保存することができる。
【0075】
図9は、比率関数の一例を示す図である。図9に示したように、比率関数は、不均一度値によるリフォーカシング映像の合成比率を表すことができる。不均一度値で不均一度値の最小値(Min)は、光フィールド値が均一な強度を有する時の強度値を0に表わし、不均一度値の最大値(Max)は、均一な強度での強度値で最も多く差がある強度値を表わす。図9には、比率関数がアルファ値によって異ならせて設定されているが、比率関数は、アルファと独立して均一な形態を保持することもできる。
【0076】
再び図8を参照すると、拡大されたリフォーカシング映像及び高解像度映像の合成比率の和を1であるとする時、不均一度比率マップ生成部820は、拡大されたリフォーカシング映像の合成比率情報を含むように構成されるか、高解像度映像の合成比率情報を含むように構成されるか、両者の合成比率をいずれも含むように構成することができる。
【0077】
不均一度比率マップ拡大部840は、不均一度比率マップを設定された比率(m)で拡大する。不均一度比率マップを合成に利用される拡大されたリフォーカシングされた第1映像及び高解像度映像のサイズと一致させるためである。例えば、第1映像及び高解像度映像のサイズは、mS×mTのサイズを有すれば、不均一度比率マップは、mS×mTのサイズを有するように拡大される。
【0078】
図10Aないし図10Cは、一実施例による高解像度映像の再構成の概念を示す図である。
【0079】
図10Aに示したように、光フィールドデータをキャプチャーする。前述したように、光フィールドデータを用いて映像を獲得すれば、同じフォトセンサーアレイを利用した一般的な撮像装置に比べて、空間解像度が低下した複数個の低解像度映像またはサブサンプリングされた映像が獲得される。一実施例によれば、基準映像フレームは、光フィールドデータを用いて生成される少なくとも1つの角度から見える映像フレーム(または、ビュー映像)のうちの1つに決定されうる。少なくとも1つの参照映像フレームは、生成された少なくとも1つの角度から見える映像フレームのうち、基準映像フレームとして決定された映像フレーム以外の少なくとも1つの映像フレームとして決定されうる。
【0080】
図10Bは、HRグリッド上に光フィールドデータを登録した結果を表わす。図10Bは、一実施例による選定される基準映像フレーム及び参照映像フレームを構成する光フィールドデータを高解像度グリッド上に登録したことを示す図である。図10Bで、●、×、△、*は、それぞれオブジェクトの1点に対する光フィールドデータとして他のメインレンズの位置を通過した光フィールドデータを表わす。一実施例によれば、点1011、1012を含む●と表示された光フィールドデータを用いて形成された映像フレームが基準映像フレームである場合、高解像度グリッド上に図10Bに示したように登録されうる。
【0081】
図10Cに示したように、高解像度映像フレームを再構成する。一実施例によれば、光フィールドデータを用いて基準映像フレームを構成する光フィールドデータの間の値を補間することによって、基準映像フレームの解像度を高めうる。例えば、光フィールドデータ1011と光フィールドデータ1012との間のHRグリッド上の値1013は、図10BのHRグリッド上の領域1010に属した光フィールドデータを用いて補間されうる。
【0082】
図11は、図5の高解像度映像生成部540の構成の一例を示すブロック図である。
高解像度映像生成部540は、映像フレーム決定部1110、ポイントスプレッド関数(Point Spread Function)決定部1120、映像補間部1130、及び映像復元部1140を含む。
【0083】
映像フレーム決定部1110は、場面に対する光フィールドデータを用いて1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定し、基準映像フレーム決定部1112及び参照映像フレーム決定部1114を含んで構成することができる。
【0084】
基準映像フレーム決定部1112は、決定されたアルファ値によって位置決定された一部の光フィールドデータを用いて生成される1つのビュー(view)映像を基準映像フレームとして決定することができる。参照映像フレーム決定部1114は、決定されたアルファ値によって位置決定された光フィールドデータを用いて生成された少なくとも1つの角度から見えるビュー映像のうち、基準映像フレームとして決定されたビュー以外の少なくとも1つのビュー映像を少なくとも1つの参照映像フレームとして決定することができる。
【0085】
ポイントスプレッド関数(以下、PSFと称する)決定部1120は、基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定することができる。
【0086】
サブピクセルシフト量は、基準映像フレームを構成する少なくとも1つの光フィールドデータと、少なくとも1つの光フィールドデータにそれぞれ対応する参照映像フレームでの光フィールドデータとの間の位置差であり得る。これは、フォトセンサーでセンシング位置の差ではないので、基準映像フレームと参照映像フレームとの間のシフト量で映像アルゴリズム処理によって計算される。ビュー映像、すなわち、基準映像フレームと参照映像フレームとの間のサブピクセルシフト量は、ルーカスカナデ(Lucas Kanade)アルゴリズムなどの知られるか、今後知られる、映像処理アルゴリズムによって計算されうる。
【0087】
サブピクセルシフト量は、光フィールドデータキャプチャー部140で、メインレンズで被写体の各ポイントに対する光フィールドデータの通過位置によって、または光フィールドデータキャプチャー部140の構成によって設定される値であり、被写体との距離によって変更調整される値であり得る。また、サブピクセルシフト量は、アルファ値によってあらかじめ決定されうる。アルファ値及びアルファ値によるサブピクセルシフト量は、あらかじめ設定されて映像処理装置100の所定の保存領域に保存されて、一実施例による高解像度映像生成時に利用されうる。
【0088】
一実施例によれば、PSF決定部1120は、基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの2次元ガウス関数をポイントスプレッド関数として決定することができる。PSFは、基準映像に比べて、各参照映像ごとに異なるように決定されるものであって、基準映像フレームの更新と無関係に予め定められた各参照映像に該当するサブピクセル移動量によって定められる。
【0089】
映像補間部1130は、基準映像フレームを基準映像フレームより高い解像度の高解像度基準映像フレームに補間する。映像補間部1130は、バイリニア補間(bilinear interpolation)方法またはバイキュービック補間(bicubicintepolation)方法を用いて補間することができる。
【0090】
映像復元部1140は、生成された高解像度映像フレーム、ポイントスプレッド関数及び少なくとも1つの参照映像フレームを用いて高解像度基準映像フレームを更新することによって、高解像度映像を復元することができる。映像復元部1140は、複数個の低解像度映像フレームを用いて高解像度映像フレームを生成させるさまざまな高解像度映像処理方法が行われるように具現可能である。
【0091】
一実施例によれば、映像復元部1140は、レジデュアル値生成部1142及び映像更新部1144を含みうる。
【0092】
レジデュアル値生成部1142は、生成された高解像度基準映像フレーム、参照映像フレームのうちの1つ、及び1つの参照映像フレームと基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる。ここで、レジデュアル値は、1つの参照映像フレーム(観測された映像)から、高解像度基準映像フレームとポイントスプレッド関数とをコンボリューションした値(予測された映像)を減算した値であり得る。映像更新部1144は、レジデュアル値、すなわち、観測された映像から予測された映像の差映像を用いて高解像度基準映像フレームを更新する。
【0093】
レジデュアル値生成部1142は、高解像度基準映像フレームが更新された場合、更新された高解像度基準映像フレーム、参照映像フレームのうちの他の1つ、及び他の1つの参照映像フレームと基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成することができる。ここで、レジデュアル値は、他の1つの参照映像フレームから更新された高解像度基準映像フレームとポイントスプレッド関数とをコンボリューションした値を減算した値であり得る。映像更新部1144は、レジデュアル値を用いて高解像度基準映像フレームを更新する。
【0094】
このような動作は、複数個の参照映像全部に対して行われるまで繰り返し行われる。例えば、参照映像フレームが10個であれば、前述したような更新動作は、10回行われる。このように生成されたレジデュアル値を用いて高解像度基準映像フレームを更新する方法は、POCS(projection onto convex sets)を含めた多様な高解像度映像復元技術を利用できる。
【0095】
また、高解像度基準映像フレームの更新動作は、復元された高解像度映像に対する品質が所望の所定の品質になるまで繰り返し行われる。例えば、10個の参照映像フレームに対して更新動作がいずれも完了した後、生成された高解像度映像を10個の参照映像フレーム及びPSFを用いて更新する動作をレジデュアル値が所定の臨界値以下になるまで繰り返し行うことができる。
【0096】
図12A及び図12Bは、一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。
【0097】
図12Aは、アルファ値αが1であって、リフォーカシング面とマイクロレンズアレイ上の撮像面とが一致されるように光フィールドデータがキャプチャーされる場合を表わし、図12Bは、アルファ値αが1ではなくて、リフォーカシング面と撮像面とが一致されない場合に、光フィールドデータがキャプチャーされる場合を表わす。
【0098】
図12Aに示したように、アルファ値αが1である場合、映像フレーム決定部1110は、光フィールドデータを用いて生成される少なくとも1つの角度から見える映像フレームのうち、1つを基準映像フレームとして決定し、生成された少なくとも1つの角度から見える映像フレームのうち、基準映像フレームとして決定された映像フレーム以外の少なくとも1つの映像フレームを少なくとも1つの参照映像フレームとして決定することができる。
【0099】
図12Bに示したように、アルファ値αが1ではない場合には、決定される光フィールドデータの位置が変わることを表わす。したがって、得られるビュー映像が、図12Aで変わり、得られるビュー映像を用いて基準映像フレーム及び参照映像フレームが再定義されうる。決定された基準映像フレームと参照映像フレームとの間のサブピクセルシフト量を確認することができる。サブピクセルシフト量は、図13Cのように定義されるか、あらかじめ当該アルファ値に基盤して基準映像フレームと参照映像フレームとの間の移動量が測定されうる。
【0100】
図13Aないし図13Cは、一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。
【0101】
図13Aは、場面1310のオブジェクト1311、1312に対する光信号は、9個のサブアパーチュアを有するメインレンズ1320を通過し、メインレンズ1320の各サブアパーチュアを通過した光信号が、光センサー1330でサブアパーチュアの個数に対応する光ピクセルに入射されることを表わす。図面符号1340は、センシングされたデータがLR(Low Resolution)グリッド上で位置定義されたことを表わす。図13Aでは、5番目の光センサーピクセルで感知された感知値、すなわち、インテンシティがLRグリッドに示されたが、残りの光センサーのピクセルで感知されたインテンシティもLRグリッド上に規定される。
【0102】
図13Bは、センシングされたLRデータが、すなわち、光フィールドデータは、メインレンズ1320のサブアパーチュアを通過するデータであることを表わす。図13A及び図13Bで、説明の便宜上、メインレンズ1320のサブアパーチュアの配置及び光センサー1330のピクセルの配列が一列に示されたが、サブアパーチュアの配置及びピクセルの配置は、他のさまざまな形態を有しうる。
【0103】
図13Cは、基準映像フレームに比べて残りの参照映像フレームのサブピクセルシフト量の一例を示す図である。図13Cに示したように、メインレンズのサブアパーチュアを通過するデータが基準映像フレームに比べて、どれほどサブピクセルシフトになっているかを定義することができる。図13Cで、5番のサブアパーチュアを通過した光フィールドデータからなる映像フレームを基準映像フレームとし、1番のサブアパーチュアを通過した光フィールドデータと9番のサブアパーチュアを通過した光フィールドとの間の配置差が1ピクセルであり、メインレンズ通過位置によるサブピクセルシフト量が、図13Cに示したように、比例する場合を仮定する。この場合、maxxは、0.5と定義すれば、6番目のサブアパーチュアを通過した光フィールドデータで構成される映像フレームは、基準映像フレームに比べて、0.125ピクセル差(pixel shift)があると決定されうる。
【0104】
図14は、基準映像フレーム基盤で高解像度基準映像フレームを生成させる動作の一例を示す図である。
【0105】
基準映像フレームを初期の高解像度映像に形成するために、向上させようとする解像度サイズ(Resolution Size)を決定し、基準映像フレームを信号処理、例えば、バイリニア補間またはバイキュービック補間などの補間処理によって、決定されたサイズに拡大する。
【0106】
図面符号1410は、センシングされた光フィールドデータを、図面符号1420は、LRグリッド上に表示された基準映像フレームのデータを、図面符号1430は、高解像度処理になって基準映像フレームのデータがHRグリッド上に表示された例を、各々表わす。●は、基準映像フレームのデータを、○は、元の基準映像フレームのデータを用いて補間されたデータを、各々表わす。
【0107】
図15は、基準映像フレーム基盤PSF計算の一例を示す図である。図15の左側に示される光フィールドデータは、PSFを計算する方法を説明するために獲得される光フィールドデータの簡略化された形態を表わす。●、▲、■は、被写体の1ポイントに対する光フィールドデータを表わす。
【0108】
一実施例によれば、PSFは、次の式(5)のように定義されうる。
【0109】
【数4】
例えば、■位置XXは、基準▲の(u,v)ドメインでのポイントの位置に、x軸方向に定義されたサブピクセルシフト量を合わせた値を表わす。R_XXは、round(XX)でPSFのガウス関数のピークのセンター位置を表わす。また、■位置YYは、基準▲の(u,v)ドメインでのポイントの位置に、y軸方向に定義されたサブピクセルシフト量を合わせた値を表わす。R_YYは、round(YY)でPSFのガウス関数のピークのセンター位置を表わす。すなわち、光フィールド位置に基盤してPSFが定義されうる。PSFは、サブピクセルシフト量程度によってガウス(Gaussian)のカーブ形態が変化する。
【0110】
図16は、光フィールドデータを用いて所望のフォーカシング領域に対する高解像度映像を生成させる方法の一例を示す図である。
【0111】
光フィールドデータキャプチャー部140は、場面に対する光フィールドデータをキャプチャーする(1610)。光フィールドデータ位置決定部510は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によってアルファ値を決定し、該決定されたアルファ値を用いて、一部の光フィールドデータの位置を決定する(1620)。
【0112】
リフォーカシング映像生成部520は、位置決定された一部の光フィールドデータを用いて、リフォーカシングされた映像を生成させる(1630)。
映像合成部560は、リフォーカシングされた映像を設定された比率によって拡大する(1640)。
【0113】
高解像度映像生成部540は、場面に対する光フィールドデータを用いて、リフォーカシングされた映像に対する設定された比率の高解像度映像を生成させる(1650)。
【0114】
合成比率決定部550は、アルファ値による選択された一部の光フィールドデータの類似度を用いて、高解像度映像及び拡大されたリフォーカシングされた映像の地域的合成比率を決定する(1660)。
【0115】
映像合成部560は、地域的合成比率によって、高解像度映像及び拡大されたリフォーカシングされた映像を合成して合成映像を生成させる(1670)。
【0116】
図17は、光フィールドデータを用いて高解像度映像を生成させる方法の一例を示す図である。光フィールドデータキャプチャー部140は、場面に対する光フィールドデータをキャプチャーする(1710)。高解像度映像生成部540は、キャプチャーされた光フィールドデータを用いて1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する(1720)。高解像度映像生成部540は、基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する(1740)。
【0117】
高解像度映像生成部540は、基準映像フレームを基準映像フレームより高い解像度の高解像度基準映像フレームに補間する(1730)。高解像度映像生成部540は、生成された高解像度映像フレーム、ポイントスプレッド関数及び少なくとも1つの参照映像フレームを用いて高解像度基準映像フレームを更新することによって、高解像度映像を復元する(1750)。
【0118】
高解像度映像を復元する動作は、複数個の参照映像全部に対して行われるまで繰り返し行われる。一実施例によれば、サブピクセル単位の高解像度映像を生成させるために、POCS(projection onto convex set)方法を利用できる。
【0119】
本発明の一態様は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。前記のプログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光ディスクなどを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。
【0120】
以上の説明は、本発明の一実施例に過ぎず、当業者ならば、本発明の本質的特性から外れない範囲で変形された形態で具現することができる。したがって、本発明の範囲は、前述した実施例に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施例が含まれるように解析しなければならない。
【産業上の利用可能性】
【0121】
本発明は、光フィールドデータを利用した映像処理装置及び方法関連の技術分野に適用可能である。
【特許請求の範囲】
【請求項1】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する光フィールドデータ位置決定部と、
前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させるリフォーカシング映像生成部と、
前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる高解像度映像生成部と、
前記位置決定された一部の光フィールドデータの類似度を用いて、前記第1映像の高解像度映像及び前記リフォーカシングされた第1映像の地域的な合成比率を決定する合成比率決定部と、
前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる映像合成部と、
を含む映像処理装置。
【請求項2】
前記光フィールドデータ位置決定部は、前記所望のフォーカシング位置を含む前記場面を表わす映像の一部の領域に対応する第2映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させ、該生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する請求項1に記載の映像処理装置。
【請求項3】
前記合成比率決定部は、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように、前記地域的な合成比率を決定する請求項1に記載の映像処理装置。
【請求項4】
前記合成比率決定部は、
前記決定された位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる不均一度マップ生成部と、
前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の前記地域的な合成比率情報を含む不均一度比率マップを生成させる不均一度比率マップ生成部と、
前記不均一度比率マップを前記設定された比率で拡大する不均一度比率マップ拡大部と、
を含む請求項1に記載の映像処理装置。
【請求項5】
前記映像合成部は、前記第1映像を設定された比率によって拡大し、該拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する請求項1に記載の映像処理装置。
【請求項6】
前記高解像度映像生成部は、
前記決定されたアルファ値を用いて決定された位置の光フィールドデータを用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する映像フレーム決定部と、
前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定するポイントスプレッド関数決定部と、
前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する映像補間部と、
生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する映像復元部と、
を含む請求項2に記載の映像処理装置。
【請求項7】
前記サブピクセルシフト量は、前記基準映像フレームと前記各参照映像フレームとでそれぞれ対応する光フィールドデータの間の位置差である請求項6に記載の映像処理装置。
【請求項8】
前記映像フレーム決定部は、
前記アルファ値を用いて位置決定された光フィールドデータを用いて、1つの角度から見えるビュー映像を前記基準映像フレームとして決定し、前記基準映像フレームとして決定されたビュー映像以外の他の角度から見える少なくとも1つのビュー映像を前記少なくとも1つの参照映像フレームとして決定する請求項6に記載の映像処理装置。
【請求項9】
前記ポイントスプレッド関数決定部は、前記基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの2次元ガウス関数を前記ポイントスプレッド関数として決定する請求項6に記載の映像処理装置。
【請求項10】
前記映像復元部は、
生成された高解像度基準映像フレーム、前記参照映像フレームのうちの1つ、及び前記1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させるレジデュアル値生成部と、
前記レジデュアル値を用いて、前記高解像度基準映像フレームを更新する映像更新部と、
を含む請求項6に記載の映像処理装置。
【請求項11】
前記レジデュアル値は、前記1つの参照映像フレームから、前記高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である請求項10に記載の映像処理装置。
【請求項12】
前記レジデュアル値生成部は、前記高解像度基準映像フレームが更新された場合、前記更新された高解像度基準映像フレーム、前記参照映像フレームのうちの他の1つ、及び前記他の1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる請求項10に記載の映像処理装置。
【請求項13】
前記レジデュアル値は、前記他の1つの参照映像フレームから、前記更新された高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である請求項12に記載の映像処理装置。
【請求項14】
物体の像を結ぶための第1光学部と、
光線をキャプチャーするフォトセンサーアレイと、
前記第1光学部と前記フォトセンサーアレイとの間に位置し、光線を光線の方向に基づいて分離して、前記フォトセンサーアレイに向かわせる第2光学部を含む光フィールドデータキャプチャー部と、
をさらに含む請求項1に記載の映像処理装置。
【請求項15】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階と、
前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させる段階と、
前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる段階と、
所望のフォーカシング位置によって選択された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記第1映像の地域的な合成比率を決定する段階と、
前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる段階と、
を含む映像処理方法。
【請求項16】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階は、
前記フォーカシング位置を含む前記映像の一部の領域に対応する第2映像を設定する段階と、
撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させる段階と、
生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定する段階と、
選択されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する段階と、
を含む請求項15に記載の映像処理方法。
【請求項17】
前記合成比率を決定する段階で、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように合成比率が決定される請求項15に記載の映像処理方法。
【請求項18】
前記合成比率を決定する段階は、
前記アルファ値によって決定された光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる段階と、
前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の地域的な合成比率情報を含む不均一度比率マップを生成させる段階と、
前記不均一度比率マップを前記設定された比率で拡大する段階と、
を含む請求項15に記載の映像処理方法。
【請求項19】
前記映像を合成する段階は、
前記第1映像を設定された比率によって拡大する段階と、
前記拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する段階と、
を含む請求項15に記載の映像処理方法。
【請求項20】
前記高解像度映像を生成させる段階は、
前記決定されたアルファ値を用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する段階と、
前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する段階と、
前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する段階と、
生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する段階と、
を含む請求項15に記載の映像処理方法。
【請求項21】
獲得された4次元光フィールドを処理する方法において、
所望のフォーカシング位置を決定し、撮像面とリフォーカシング面との位置関係を表わす前記フォーカシング位置のアルファ値を決定する段階と、
前記アルファ値による角度データからリフォーカシング映像を生成させる段階と、
前記アルファ値による角度データのサブピクセル変位に基づいてリフォーカシング領域の解像度を高めて、高解像度映像を生成させる段階と、
前記アルファ値による角度データの類似度を判断して、前記フォーカシング領域とアウトフォーカシング領域とを区分する段階と、
前記リフォーカシング映像と前記高解像度映像とを合成する段階と、
を含むことを特徴とする4次元光フィールド処理方法。
【請求項22】
前記アルファ値は、最も鮮明なリフォーカシング映像が生成されるまでアルファ値を変化させて決定されることを特徴とする請求項21に記載の4次元光フィールド処理方法。
【請求項23】
請求項15の方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体。
【請求項24】
請求項21の方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体。
【請求項25】
場面に対応する光フィールドデータから前記場面を表わす映像の一部に対応し、所望のフォーカシング位置を含むリフォーカシング映像を発生させる段階と、
前記リフォーカシング映像の拡大された映像を生成させる段階と、
前記映像の一部に対応する光フィールドデータを用いて、前記拡大された映像に対応する高解像度映像を発生させる段階と、
前記高解像度映像と前記拡大された映像とに基づいて合成映像を生成させる段階と、
を含むことを特徴とする映像処理方法。
【請求項26】
前記リフォーカシング映像は、前記映像の一部に対応する複数個の映像のうちから最も鮮明な映像であることを特徴とする請求項25に記載の映像処理方法。
【請求項27】
前記合成映像は、前記高解像度映像と前記拡大された映像とを所定の比率で合成して生成されることを特徴とする請求項25に記載の映像処理方法。
【請求項1】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する光フィールドデータ位置決定部と、
前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させるリフォーカシング映像生成部と、
前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる高解像度映像生成部と、
前記位置決定された一部の光フィールドデータの類似度を用いて、前記第1映像の高解像度映像及び前記リフォーカシングされた第1映像の地域的な合成比率を決定する合成比率決定部と、
前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる映像合成部と、
を含む映像処理装置。
【請求項2】
前記光フィールドデータ位置決定部は、前記所望のフォーカシング位置を含む前記場面を表わす映像の一部の領域に対応する第2映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させ、該生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する請求項1に記載の映像処理装置。
【請求項3】
前記合成比率決定部は、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように、前記地域的な合成比率を決定する請求項1に記載の映像処理装置。
【請求項4】
前記合成比率決定部は、
前記決定された位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる不均一度マップ生成部と、
前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の前記地域的な合成比率情報を含む不均一度比率マップを生成させる不均一度比率マップ生成部と、
前記不均一度比率マップを前記設定された比率で拡大する不均一度比率マップ拡大部と、
を含む請求項1に記載の映像処理装置。
【請求項5】
前記映像合成部は、前記第1映像を設定された比率によって拡大し、該拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する請求項1に記載の映像処理装置。
【請求項6】
前記高解像度映像生成部は、
前記決定されたアルファ値を用いて決定された位置の光フィールドデータを用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する映像フレーム決定部と、
前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定するポイントスプレッド関数決定部と、
前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する映像補間部と、
生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する映像復元部と、
を含む請求項2に記載の映像処理装置。
【請求項7】
前記サブピクセルシフト量は、前記基準映像フレームと前記各参照映像フレームとでそれぞれ対応する光フィールドデータの間の位置差である請求項6に記載の映像処理装置。
【請求項8】
前記映像フレーム決定部は、
前記アルファ値を用いて位置決定された光フィールドデータを用いて、1つの角度から見えるビュー映像を前記基準映像フレームとして決定し、前記基準映像フレームとして決定されたビュー映像以外の他の角度から見える少なくとも1つのビュー映像を前記少なくとも1つの参照映像フレームとして決定する請求項6に記載の映像処理装置。
【請求項9】
前記ポイントスプレッド関数決定部は、前記基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの2次元ガウス関数を前記ポイントスプレッド関数として決定する請求項6に記載の映像処理装置。
【請求項10】
前記映像復元部は、
生成された高解像度基準映像フレーム、前記参照映像フレームのうちの1つ、及び前記1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させるレジデュアル値生成部と、
前記レジデュアル値を用いて、前記高解像度基準映像フレームを更新する映像更新部と、
を含む請求項6に記載の映像処理装置。
【請求項11】
前記レジデュアル値は、前記1つの参照映像フレームから、前記高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である請求項10に記載の映像処理装置。
【請求項12】
前記レジデュアル値生成部は、前記高解像度基準映像フレームが更新された場合、前記更新された高解像度基準映像フレーム、前記参照映像フレームのうちの他の1つ、及び前記他の1つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる請求項10に記載の映像処理装置。
【請求項13】
前記レジデュアル値は、前記他の1つの参照映像フレームから、前記更新された高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である請求項12に記載の映像処理装置。
【請求項14】
物体の像を結ぶための第1光学部と、
光線をキャプチャーするフォトセンサーアレイと、
前記第1光学部と前記フォトセンサーアレイとの間に位置し、光線を光線の方向に基づいて分離して、前記フォトセンサーアレイに向かわせる第2光学部を含む光フィールドデータキャプチャー部と、
をさらに含む請求項1に記載の映像処理装置。
【請求項15】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階と、
前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第1映像を生成させる段階と、
前記場面に対する光フィールドデータを用いて、前記第1映像に対する設定された比率の高解像度映像を生成させる段階と、
所望のフォーカシング位置によって選択された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記第1映像の地域的な合成比率を決定する段階と、
前記地域的な合成比率によって、前記高解像度映像及び前記第1映像を合成して合成映像を生成させる段階と、
を含む映像処理方法。
【請求項16】
場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階は、
前記フォーカシング位置を含む前記映像の一部の領域に対応する第2映像を設定する段階と、
撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第2映像に対する複数個のリフォーカシング映像を生成させる段階と、
生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定する段階と、
選択されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する段階と、
を含む請求項15に記載の映像処理方法。
【請求項17】
前記合成比率を決定する段階で、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように合成比率が決定される請求項15に記載の映像処理方法。
【請求項18】
前記合成比率を決定する段階は、
前記アルファ値によって決定された光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる段階と、
前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の地域的な合成比率情報を含む不均一度比率マップを生成させる段階と、
前記不均一度比率マップを前記設定された比率で拡大する段階と、
を含む請求項15に記載の映像処理方法。
【請求項19】
前記映像を合成する段階は、
前記第1映像を設定された比率によって拡大する段階と、
前記拡大された第1映像及び前記高解像度映像を前記決定された地域的合成比率で合成する段階と、
を含む請求項15に記載の映像処理方法。
【請求項20】
前記高解像度映像を生成させる段階は、
前記決定されたアルファ値を用いて、1つの基準映像フレーム及び少なくとも1つの参照映像フレームを決定する段階と、
前記基準映像フレームと少なくとも1つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する段階と、
前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する段階と、
生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも1つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する段階と、
を含む請求項15に記載の映像処理方法。
【請求項21】
獲得された4次元光フィールドを処理する方法において、
所望のフォーカシング位置を決定し、撮像面とリフォーカシング面との位置関係を表わす前記フォーカシング位置のアルファ値を決定する段階と、
前記アルファ値による角度データからリフォーカシング映像を生成させる段階と、
前記アルファ値による角度データのサブピクセル変位に基づいてリフォーカシング領域の解像度を高めて、高解像度映像を生成させる段階と、
前記アルファ値による角度データの類似度を判断して、前記フォーカシング領域とアウトフォーカシング領域とを区分する段階と、
前記リフォーカシング映像と前記高解像度映像とを合成する段階と、
を含むことを特徴とする4次元光フィールド処理方法。
【請求項22】
前記アルファ値は、最も鮮明なリフォーカシング映像が生成されるまでアルファ値を変化させて決定されることを特徴とする請求項21に記載の4次元光フィールド処理方法。
【請求項23】
請求項15の方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体。
【請求項24】
請求項21の方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体。
【請求項25】
場面に対応する光フィールドデータから前記場面を表わす映像の一部に対応し、所望のフォーカシング位置を含むリフォーカシング映像を発生させる段階と、
前記リフォーカシング映像の拡大された映像を生成させる段階と、
前記映像の一部に対応する光フィールドデータを用いて、前記拡大された映像に対応する高解像度映像を発生させる段階と、
前記高解像度映像と前記拡大された映像とに基づいて合成映像を生成させる段階と、
を含むことを特徴とする映像処理方法。
【請求項26】
前記リフォーカシング映像は、前記映像の一部に対応する複数個の映像のうちから最も鮮明な映像であることを特徴とする請求項25に記載の映像処理方法。
【請求項27】
前記合成映像は、前記高解像度映像と前記拡大された映像とを所定の比率で合成して生成されることを特徴とする請求項25に記載の映像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図6c】
【図7a】
【図7b】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図6c】
【図7a】
【図7b】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図14】
【図15】
【図16】
【図17】
【公表番号】特表2013−512612(P2013−512612A)
【公表日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2012−541014(P2012−541014)
【出願日】平成22年11月24日(2010.11.24)
【国際出願番号】PCT/KR2010/008328
【国際公開番号】WO2011/065738
【国際公開日】平成23年6月3日(2011.6.3)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
【公表日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願日】平成22年11月24日(2010.11.24)
【国際出願番号】PCT/KR2010/008328
【国際公開番号】WO2011/065738
【国際公開日】平成23年6月3日(2011.6.3)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】
[ Back to top ]