映像処理装置及び方法
【課題】 レンダリングのための遠近効果の過程において入力深度映像のホールフィリングを極めて迅速に行いながら信頼できる結果を提供する映像処理装置及び方法を提供する。
【解決手段】 入力深度映像が入力されれば、映像処理装置のアウトライアー除去部は全体ピクセルの深度値を分析して平均的な値に一定の程度以上を離れたピクセルを除去し、単独に処理する。そして、ホールをフィリングして入力深度映像を再生成する。この過程において、プッシュプル方法のホールフィリング処理が行われる。
【解決手段】 入力深度映像が入力されれば、映像処理装置のアウトライアー除去部は全体ピクセルの深度値を分析して平均的な値に一定の程度以上を離れたピクセルを除去し、単独に処理する。そして、ホールをフィリングして入力深度映像を再生成する。この過程において、プッシュプル方法のホールフィリング処理が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は映像処理装置及び方法に関し、より詳細には、深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）によって取得された深度映像を用いて逆透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｕｎｐｒｏｊｅｃｔｉｏｎ）を行う過程で適用される映像処理に関する。
【背景技術】
【０００２】
深度映像は、赤外線を用いるＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式またはパターン光（Ｐａｔｔｅｒｎｅｄ ｌｉｇｈｔ）方式の深度カメラを用いて取得される。ところが、深度カメラによって取得された深度映像には、深度カメラの視点によって遠近効果（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）が反映される。
【０００３】
例えば、低いところから直六面体のオブジェクトを見上げれば、オブジェクトの上方は遠いため小さく見え、下方は近いため大きく見えるのが遠近効果であると理解される。
【０００４】
深度映像を用いて直接３Ｄ映像レンダリングを行ったり、３Ｄ映像レンダリングのための３Ｄモデルを生成することができるが、このような過程では前述した遠近効果を除去する遠近効果が必要である。
【０００５】
このような遠近効果の過程では、映像における座標であるｕ、ｖ値が逆転したりもする。したがって、遠近効果の前に深度映像をより信頼することのできる３Ｄモデルの構築が要求されている。
【０００６】
このような３Ｄモデルの構築過程で優れた技術的な効果を期待できる部分がホールフィリングとポイントクラウドのメッシュ形態マッピングである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、レンダリングのための遠近効果の過程において入力深度映像のホールフィリングを極めて迅速に行いながら信頼できる結果を提供する映像処理装置及び方法を提供する。
【０００８】
また、本発明の目的は、遠近効果の過程においてポイントクラウド形態の３Ｄ情報が入力深度映像に関する場合、メッシュ基盤の３Ｄ幾何情報を極めて迅速且つ正確に生成する映像処理装置及び方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一実施形態によれば、入力深度映像のアウトライアーを除去するアウトライアー除去部と、アウトライアーの除去された前記入力深度映像にプッシュプル方法によってホールフィリングを行ってホールフィリング処理された深度映像を生成するホールフィリング処理部とを備える映像処理装置が提供される。
【００１０】
この場合、前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウンを適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うものである。
【００１１】
本発明の一実施形態によれば、前記アウトライアー除去部は、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去する。
【００１２】
一方、前記映像処理装置は、前記ホールフィリング処理された深度映像にガウスフィルタリングを行うフィルタ部をさらに備えてもよい。
【００１３】
また、前記映像処理装置は、前記ホールフィリング処理された深度映像で隣接のピクセルをメッシュに構成してメッシュ基盤の３Ｄ幾何モデルを生成するメッシュ生成部をさらに備えてもよい。
【００１４】
この場合、前記映像処理装置は、前記３Ｄ幾何モデルに含まれた複数のメッシュに対してそれぞれの法線を算出する法線算出部をさらに備えてもよい。また、前記映像処理装置は、前記入力深度映像に関連する入力カラー映像のカラー値を前記３Ｄ幾何モデルに含まれた複数のメッシュに関連づけるテクスチャコーディネート部をさらに備えてもよい。
【００１５】
さらに、前記映像処理装置は、前記３Ｄ幾何モデルに逆投影マトリックスを適用して前記入力深度映像に関連するカメラ視点におけるパースペクティブプロジェクションを除去する逆投影演算部をさらに備えてもよい。
【００１６】
本発明の他の一実施形態によれば、入力深度映像で互いに隣接する少なくとも３つのピクセル当たり１つずつのメッシュを生成して前記入力深度映像に関連する３Ｄ幾何モデルを生成するメッシュ生成部と、前記３Ｄ幾何モデルに含まれたメッシュそれぞれの法線を算出する法線算出部と、前記入力深度映像に関連する入力カラー映像から前記３Ｄ幾何モデルに含まれたメッシュそれぞれのテクスチャ情報を取得して前記入力深度映像及び前記入力カラー映像に対する３Ｄモデルを生成するテクスチャコーディネート部とを備える映像処理装置が提供される。
【００１７】
本発明の一実施形態によれば、前記映像処理装置は、前記３Ｄモデルに対して前記入力深度映像または前記入力カラー映像のうち少なくとも１つに関連するカメラ視点によるパースペクティブプロジェクションを除去する逆投影演算部をさらに備える。
【００１８】
この場合、前記逆投影演算部は、前記３Ｄモデルに逆投影マトリックスを適用して前記パースペクティブプロジェクションを除去してもよい。
【００１９】
本発明の他の一実施形態によれば、入力深度映像のアウトライアーを除去するステップと、アウトライアーの除去された前記入力深度映像にプッシュプル方法を用いてホールフィリングを行ってホールフィリング処理された深度映像を生成するステップとを含む映像処理方法が提供される。
【００２０】
この場合、前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウン適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うものであってもよい。
【００２１】
一方、前記アウトライアーを除去するステップは、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去してもよい。
【発明の効果】
【００２２】
本発明によると、入力深度映像のホールフィリング処理が極めて高速化され、比較的に低い費用で信頼度の高い映像を処理することができる。
【００２３】
また、本発明によると、遠近効果の過程以前にポイントクラウド形態をメッシュ基盤に変更する場合、極めて迅速に且つ正確な映像を処理することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る映像処理装置を示すブロック図である。
【図２】本発明の一実施形態に係る映像処理装置に入力されるカラー映像及び深度映像を示す概念図である。
【図３】本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【図４】本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【図５】本発明の一実施形態に係るホールフィリング処理された深度映像を説明する概念図である。
【図６】本発明の一実施形態に係るポイントクラウド形態の３Ｄ情報を用いてメッシュ基盤の３Ｄ幾何モデルを生成する過程を説明するための概念図である。
【図７】本発明の一実施形態に係る映像処理方法を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態を添付する図面を参照しながら詳細に説明する。
【００２６】
図１は、本発明の一実施形態に係る映像処理装置１００を示すブロック図である。
【００２７】
本発明の一実施形態によれば、映像処理装置は入力深度映像のノイズを除去するなど、周辺の平均深度値に比べて偏差の大きい深度値をアウトライアー（ｏｕｔｌｉｅｒ）と見なして値を除去するアウトライアー除去部１１０を備える。このような過程で深度映像にホールが発生したり、従来に存在したホールがより大きくなるなどのアーチファクトが発生することがある。
【００２８】
これによって、映像処理装置１００に含まれ得るホールフィリング処理部１２０は、このような深度映像のホールを充填する映像処理を行う。
【００２９】
本発明の一実施形態によれば、ホールフィリング処理部１２０は、深度映像内のホールをプッシュプル方法を用いて除去する。このようなプッシュプル方法は、ボトムアップ方式で深度の平均値を回帰的に上位グループに拡張算出して全体の深度映像の平均値を算出した後、これをトップダウン方式で再び下部構造に回帰的に適用して行いながら、一律的且つ迅速にホールを除去する。上記のようにプッシュプル方法については、図３〜図４を参照して詳細に後述する。
【００３０】
このようにホールフィリング処理が完了すると、選択的にフィルタ部１２１がホールフィリング処理の完了した深度映像から完全に除去されないノイズを除去する様々なフィルタリングを行う。このようなフィルタリングは、スムージングフィルタリングであると理解される。本発明の一実施形態によれば、フィルタ部１２１は、ガウスフィルタリングを行って処理された深度映像の品質を向上させることができる。
【００３１】
メッシュ生成部１３０ないしテクスチャコーディネート部１５０は、深度映像を用いて３Ｄモデルを生成する。
【００３２】
このような３Ｄモデル生成過程において、メッシュ生成部１３０は、深度映像における隣接ピクセルを１つのメッシュでグルーピングする方式により一律的且つ規則的にメッシュを生成する。このような過程によってポイントクラウドをメッシュ基盤の３Ｄ幾何情報に生成する過程が極めて高速化され、これに関する詳細な内容は図６を参照して後述する。
【００３３】
そして、映像処理装置１００の法線算出部１４０はこのようなメッシュそれぞれの法線を算出し、テクスチャコーディネート部１５０が入力カラー映像のテクスチャ情報を各幾何情報、例えば、メッシュの頂点に関連づけて３Ｄモデルを生成する。より詳細な過程は図６を参照して後述する。
【００３４】
これによって、映像処理装置１００の逆投影演算部１６０は、逆透視投影のために予め算出された逆投影マトリックスを構築された３Ｄモデルに適用し、これにより逆透視投影の実行された現実世界のオブジェクトに適する３Ｄモデルが生成される。この過程についても図６を参照して詳細に後述することにする。
【００３５】
図２は、本発明の一実施形態に係る映像処理装置に入力されるカラー映像２１０及び入力深度映像２２０を示す概念図である。
【００３６】
入力深度映像２２０は、入力カラー映像２１０に比べて解像度が低くてもよい。本明細書では、入力深度映像２２０の視点は入力カラー映像２１０の視点とマッチングされていると仮定する。
【００３７】
しかし、同一のオブジェクトを撮影しても、カラーカメラ及び深度カメラの実現形態やセンサの構造などによって撮影視点や及び／または撮影を行うカメラ視点の不整合が発生し得る。
【００３８】
このような不整合は、カメラ視点差の変換を反映したカラー深度映像マッチングのために様々な方式の映像処理により克服され得る。ただし、上記のようにカメラ視点において入力深度映像２１０と入力カラー映像がマッチングされていると仮定する。
【００３９】
一方、入力深度映像２２０は、深度カメラのセンサ性能の劣悪さ、深度折り畳み現象、防音過程などで発生するホールを有することがある。
【００４０】
本発明の一実施形態によれば、図１に示すアウトライアー除去部１１０は、入力深度映像２２０のノイズを除去するなど、周辺の平均深度値に比べて偏差の大きい深度値はアウトライアーと見なして値を除去する。
【００４１】
このような過程において、深度映像２２０にホールが発生したり、従来に存在したホールがより大きくなるなどのアーチファクトが発生することがある。
【００４２】
本発明の一実施形態によれば、このような入力深度映像２２０を用いて３Ｄ幾何モデルを形成し、かかる３Ｄ幾何モデルとカラー映像２１０のテクスチャ情報をマッチングさせて３Ｄモデルを生成する。
【００４３】
そして、このような３Ｄモデルに対して遠近効果の過程などを介してレンダリングを行うことで、３Ｄ映像、例えば、立体映像、マルチビュー映像などを生成することができる。
【００４４】
本発明の一実施形態によれば、図１に示すホールフィリング処理部１２０は、深度映像２２０内のホールをプッシュプル方法を用いて除去する。
【００４５】
プッシュプル方法は、図３から図４を参照してより詳細に後述する。
【００４６】
図３は、本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【００４７】
深度映像のピクセル３１１、３１２、３１３、３１４、３２１、３２２、３２３、３２４、３３１、３３２、３３３、３３４、３４１、３４２、３４３、３４４などが示されている。このようなピクセルは全体の深度映像の一部であってもよい。
【００４８】
ところが、陰影処理されているピクセル３３２、３４１、３４２、３４３、３４４はホールと仮定する。すなわち、このピクセル３３２、３４１、３４２、３４３、３４４はアウトライアーと判断してアウトライアー除去部１１０によって除去されたり、または、他の理由によって深度値が存在しない領域である。
【００４９】
本発明の一部他の実施形態において、深度映像に遠近効果を先に行う場合には、このような遠近効果の過程で発生するホールもピクセル３３２、３４１、３４２、３４３、３４４に分類されてもよい。
【００５０】
以下、単独に取り扱われるピクセル３３２、３４１、３４２、３４３、３４４を処理する方法について説明し、具体的なホールが生じた理由については説明しない。本発明の様々な実施形態によってホールの生成原因の差異は本発明の思想を逸脱しない限り本発明の範囲に属すると解釈される。
【００５１】
本発明の一実施形態によれば、ホールフィリング処理部１２０は、まず、ピクセルを４個の単位にグルーピングして平均値を求める。
【００５２】
ピクセル３１１、３１２、３１３、３１４が１つのグループ３１０にグルーピングされ、ピクセル３２１、３２２、３２３、３２４が他の１つのグループ３２０にグルーピングされる。このような方式によってグループ３３０及びグループ３４０が生成されていることが確認される。
【００５３】
ところが、グループ３３０には、深度値の存在しないホールに該当するピクセル３３２が存在する。そして、グループ３４０はそれに属する各ピクセル３４１、３４２、３４３、３４４が全てホールに該当する。
【００５４】
この場合、本発明の一実施形態によれば、グループ３３０の深度値平均を求めるときはホールのピクセル３３２を考慮することなく、深度値が存在するピクセル３３１、３３３、３３４の深度値平均を求め、この平均がグループ３３０全体の平均と決定する。
【００５５】
そして、グループ３４０のように深度値が存在するピクセルのないグループの場合、そのグループそのもの３４０が残り、算出された平均値はない。
【００５６】
このような方式によって他のグループに対しても回帰的な平均値を算出する。すなわち、グループ３１０、グループ３２０、グループ３３０及びグループ３４０をグルーピングして、さらに上位のグループにグルーピングする。そして、上位グループの平均深度値はそれぞれのグループ３１０、３２０、３３０及び３４０の平均に決定する。
【００５７】
図４は、本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【００５８】
しかし、このような回帰的な算出にも全体がホールであるため深度値が存在しないグループ３４０は依然として残っていることから、上位グループ４１０の平均算出においてグループ３４０は反映されず、グループ３１０、３２０、３３０の平均深度値を上位グループ４１０の深度値と決定する。
【００５９】
このような過程が他の上位グループ４２０などに行われる。そして、再び回帰的に上位グループ４１０、４２０などはより大きい上位グループの平均算出に寄与する。
【００６０】
このように回帰的に拡張すると、従来には入力された深度映像２２０の全体を代表する１つの値が生成され得る。その後、この値を再び下位グループに拡張適用してホールを満たす。
【００６１】
例えば、図３に示すグループ３３０の上位グループの値がＶ＿３３０とすれば、この値をピクセル３３１、３３３、３３４の深度値であるＶ＿３３１、Ｖ＿３３３、Ｖ＿３３４に比べて全体平均がＶ＿３３０になるピクセル３３２の深度値Ｖ＿３３２を算出する。
【００６２】
このように映像処理装置１００のホールフィリング処理部１２０は、ボトムアップ方式により平均値を回帰的に拡張算出して全体の深度映像の平均値を算出した後、これをトップダウン方式により下部構造に適用しながら一律的且つ迅速にホールを除去する。
【００６３】
このような方式を用いてホールフィリング処理が完了された映像を図５に示す通りである。
【００６４】
図５は、本発明の一実施形態に係るホールフィリング処理された深度映像を説明する概念図である。
【００６５】
入力深度映像２２０に存在したホールが除去され、より自然な深度映像が生成されたことが確認される。
【００６６】
本発明の一実施形態によれば、映像処理装置１００は、このようなホールフィリング処理が完了した深度映像から完全に除去されないノイズを除去するためにスムージングフィルタリングを行う。
【００６７】
例えば、フィルタ部１２１は、ガウスフィルタリングを行って処理された深度映像の品質を向上させることができる。
【００６８】
このように深度映像のホールフィリング及び選択的なフィルタリングが実行された後には、深度映像を用いた３Ｄモデルの生成が行われる。
【００６９】
図６は、本発明の一実施形態に係るポイントクラウド形態の３Ｄ情報を用いてメッシュ基盤の３Ｄ幾何モデルを生成する過程を説明するための概念図である。
【００７０】
深度映像によって完成された幾何情報は、ポイントクラウドの形態として理解される。すなわち、深度映像のＸ軸及びＹ軸のインデックスであるｕ、ｖに深度値ｚが加えられた３次元ベクトルと理解される。
【００７１】
ところが、映像処理やレンダリング過程でメッシュ基盤の３Ｄモデルがもっと選好されることがある。本発明の一実施形態によれば、映像処理装置１００のメッシュ生成部１３０は、前述の過程によってホールフィリングや選択的なスムージングフィルタリングが実行された深度映像のポイントクラウドを用いてメッシュ基盤３次元幾何情報を構築する。
【００７２】
通常、ポイントクラウドは、数多い３次元ベクトルと表現される点の集合である。したがって、メッシュ基盤の３Ｄ幾何情報を作るために点を関連づける過程は極めて様々である。
【００７３】
どのポイントを１つのメッシュにグルーピングするかに関する内容は様々な研究が施行されている。
【００７４】
本発明の一実施形態によれば、深度映像は連続性の保持されるオブジェクトを撮影したものであり、深度映像内で隣接するピクセルは実際オブジェクトでも隣接のポイントに関連される可能性が高いという前提をもって、深度映像で隣接のピクセルを一律的にグルーピングしてメッシュを生成する。
【００７５】
例えば、ピクセル６１１、６１２、６１３は深度映像内で互いに隣接する位置にあるが、本発明の一実施形態によれば、このような隣接するピクセル６１１、６１２、６１３を１つにグルーピングしてメッシュ６１０を生成する。
【００７６】
そして、ピクセル６１２、６１３、６１４を１つにグルーピングしてメッシュ６２０に生成する。このように一律的且つ規則的にメッシュを生成することで、本発明によれば、ポイントクラウドをメッシュ基盤の３Ｄ幾何情報で生成する過程が極めて高速化されることができる。
【００７７】
これによって、映像処理装置１００の法線算出部１４０は、ピクセル６１２、６１３、６１４それぞれに対応する３つのベクトルｕ、ｖ、ｚの外積を求めることによってメッシュ６２０の法線を簡単に算出することができる。
【００７８】
このように法線が算出されて映像処理装置１００のテクスチャコーディネート部１５０は、深度映像とカラー映像との間のテクスチャ情報、例えば、カラー情報などをマッチングしてもよい。
【００７９】
深度映像とカラー映像の解像度が異なる場合のアップスケールがこの過程で行なわれる。このような過程によって３Ｄ映像のレンダリングのための３Ｄモデルが構築される。
【００８０】
そして、映像処理装置１００の逆投影演算部１６０は、逆透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｕｎｐｒｏｊｅｃｔｉｏｎ）のために予め算出された逆投影マトリックスを前記構築された３Ｄモデルに適用し、これによって逆透視投影が実行された現実世界のオブジェクトに適する３Ｄモデルが生成される。
【００８１】
その後、高さフィールドに対するレイトレーシングなどのレンダリングによって立体映像を生成することができる。
【００８２】
図７は、本発明の一実施形態に係る映像処理方法を示すフローチャートである。
【００８３】
本発明の一実施形態によれば、映像処理方法において、入力深度映像内の周辺の平均深度値に比べて偏差の大きい深度値がアウトライアーと見なされて除去される（Ｓ７１０）。
【００８４】
そして、このような過程で発生したり大きくなったホールは、ホールフィリング過程を実行して除去される（Ｓ７２０）。
【００８５】
ここで、ホールフィリングステップは、図１に示すホールフィリング処理部１２０が深度映像内のホールをプッシュプル方法を用いて除去する。プッシュプル方法によるホール除去については図２〜図４を参照して上述した通りである。
【００８６】
このようにホールフィリング処理の後には、選択的にガウスフィルタリングが実行されて深度映像の品質を向上させる（Ｓ７３０）。
【００８７】
そして、本発明の一実施形態によれば、映像処理装置１００のメッシュ生成部１３０が深度映像における隣接ピクセルを１つのメッシュにグルーピングする方式によって一律的且つ規則的にメッシュを生成する（Ｓ７４０）。このような過程は図６を参照して上述した通りである。
【００８８】
そして、映像処理装置１００の法線算出部１４０がこのようなメッシュそれぞれの法線を算出し（Ｓ７５０）、テクスチャコーディネート部１５０が入力カラー映像のテクスチャ情報を各幾何情報、例えば、メッシュの頂点に関連づけて３Ｄモデルを生成する（Ｓ７６０）。
【００８９】
そして、映像処理装置１００の逆投影演算部１６０が逆透視投影のために予め算出された逆投影マトリックスを前記構築された３Ｄモデルに適用する（Ｓ７７０）。以上の過程は図６を参照して上述した通りである。
【００９０】
本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などの単独または組み合わせたものを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【００９１】
以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【００９２】
したがって、本発明の範囲は、開示された実施形態に限定して定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９３】
１００ 映像処理装置
１１０ アウトライアー除去部
１２０ ホールフィリング処理部
１２１ フィルタ部
１３０ メッシュ生成部
１４０ 法線算出部
１５０ テクスチャコーディネート部
１６０ 逆投影演算部
【技術分野】
【０００１】
本発明の実施形態は映像処理装置及び方法に関し、より詳細には、深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）によって取得された深度映像を用いて逆透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｕｎｐｒｏｊｅｃｔｉｏｎ）を行う過程で適用される映像処理に関する。
【背景技術】
【０００２】
深度映像は、赤外線を用いるＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式またはパターン光（Ｐａｔｔｅｒｎｅｄ ｌｉｇｈｔ）方式の深度カメラを用いて取得される。ところが、深度カメラによって取得された深度映像には、深度カメラの視点によって遠近効果（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）が反映される。
【０００３】
例えば、低いところから直六面体のオブジェクトを見上げれば、オブジェクトの上方は遠いため小さく見え、下方は近いため大きく見えるのが遠近効果であると理解される。
【０００４】
深度映像を用いて直接３Ｄ映像レンダリングを行ったり、３Ｄ映像レンダリングのための３Ｄモデルを生成することができるが、このような過程では前述した遠近効果を除去する遠近効果が必要である。
【０００５】
このような遠近効果の過程では、映像における座標であるｕ、ｖ値が逆転したりもする。したがって、遠近効果の前に深度映像をより信頼することのできる３Ｄモデルの構築が要求されている。
【０００６】
このような３Ｄモデルの構築過程で優れた技術的な効果を期待できる部分がホールフィリングとポイントクラウドのメッシュ形態マッピングである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、レンダリングのための遠近効果の過程において入力深度映像のホールフィリングを極めて迅速に行いながら信頼できる結果を提供する映像処理装置及び方法を提供する。
【０００８】
また、本発明の目的は、遠近効果の過程においてポイントクラウド形態の３Ｄ情報が入力深度映像に関する場合、メッシュ基盤の３Ｄ幾何情報を極めて迅速且つ正確に生成する映像処理装置及び方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一実施形態によれば、入力深度映像のアウトライアーを除去するアウトライアー除去部と、アウトライアーの除去された前記入力深度映像にプッシュプル方法によってホールフィリングを行ってホールフィリング処理された深度映像を生成するホールフィリング処理部とを備える映像処理装置が提供される。
【００１０】
この場合、前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウンを適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うものである。
【００１１】
本発明の一実施形態によれば、前記アウトライアー除去部は、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去する。
【００１２】
一方、前記映像処理装置は、前記ホールフィリング処理された深度映像にガウスフィルタリングを行うフィルタ部をさらに備えてもよい。
【００１３】
また、前記映像処理装置は、前記ホールフィリング処理された深度映像で隣接のピクセルをメッシュに構成してメッシュ基盤の３Ｄ幾何モデルを生成するメッシュ生成部をさらに備えてもよい。
【００１４】
この場合、前記映像処理装置は、前記３Ｄ幾何モデルに含まれた複数のメッシュに対してそれぞれの法線を算出する法線算出部をさらに備えてもよい。また、前記映像処理装置は、前記入力深度映像に関連する入力カラー映像のカラー値を前記３Ｄ幾何モデルに含まれた複数のメッシュに関連づけるテクスチャコーディネート部をさらに備えてもよい。
【００１５】
さらに、前記映像処理装置は、前記３Ｄ幾何モデルに逆投影マトリックスを適用して前記入力深度映像に関連するカメラ視点におけるパースペクティブプロジェクションを除去する逆投影演算部をさらに備えてもよい。
【００１６】
本発明の他の一実施形態によれば、入力深度映像で互いに隣接する少なくとも３つのピクセル当たり１つずつのメッシュを生成して前記入力深度映像に関連する３Ｄ幾何モデルを生成するメッシュ生成部と、前記３Ｄ幾何モデルに含まれたメッシュそれぞれの法線を算出する法線算出部と、前記入力深度映像に関連する入力カラー映像から前記３Ｄ幾何モデルに含まれたメッシュそれぞれのテクスチャ情報を取得して前記入力深度映像及び前記入力カラー映像に対する３Ｄモデルを生成するテクスチャコーディネート部とを備える映像処理装置が提供される。
【００１７】
本発明の一実施形態によれば、前記映像処理装置は、前記３Ｄモデルに対して前記入力深度映像または前記入力カラー映像のうち少なくとも１つに関連するカメラ視点によるパースペクティブプロジェクションを除去する逆投影演算部をさらに備える。
【００１８】
この場合、前記逆投影演算部は、前記３Ｄモデルに逆投影マトリックスを適用して前記パースペクティブプロジェクションを除去してもよい。
【００１９】
本発明の他の一実施形態によれば、入力深度映像のアウトライアーを除去するステップと、アウトライアーの除去された前記入力深度映像にプッシュプル方法を用いてホールフィリングを行ってホールフィリング処理された深度映像を生成するステップとを含む映像処理方法が提供される。
【００２０】
この場合、前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウン適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うものであってもよい。
【００２１】
一方、前記アウトライアーを除去するステップは、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去してもよい。
【発明の効果】
【００２２】
本発明によると、入力深度映像のホールフィリング処理が極めて高速化され、比較的に低い費用で信頼度の高い映像を処理することができる。
【００２３】
また、本発明によると、遠近効果の過程以前にポイントクラウド形態をメッシュ基盤に変更する場合、極めて迅速に且つ正確な映像を処理することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る映像処理装置を示すブロック図である。
【図２】本発明の一実施形態に係る映像処理装置に入力されるカラー映像及び深度映像を示す概念図である。
【図３】本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【図４】本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【図５】本発明の一実施形態に係るホールフィリング処理された深度映像を説明する概念図である。
【図６】本発明の一実施形態に係るポイントクラウド形態の３Ｄ情報を用いてメッシュ基盤の３Ｄ幾何モデルを生成する過程を説明するための概念図である。
【図７】本発明の一実施形態に係る映像処理方法を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態を添付する図面を参照しながら詳細に説明する。
【００２６】
図１は、本発明の一実施形態に係る映像処理装置１００を示すブロック図である。
【００２７】
本発明の一実施形態によれば、映像処理装置は入力深度映像のノイズを除去するなど、周辺の平均深度値に比べて偏差の大きい深度値をアウトライアー（ｏｕｔｌｉｅｒ）と見なして値を除去するアウトライアー除去部１１０を備える。このような過程で深度映像にホールが発生したり、従来に存在したホールがより大きくなるなどのアーチファクトが発生することがある。
【００２８】
これによって、映像処理装置１００に含まれ得るホールフィリング処理部１２０は、このような深度映像のホールを充填する映像処理を行う。
【００２９】
本発明の一実施形態によれば、ホールフィリング処理部１２０は、深度映像内のホールをプッシュプル方法を用いて除去する。このようなプッシュプル方法は、ボトムアップ方式で深度の平均値を回帰的に上位グループに拡張算出して全体の深度映像の平均値を算出した後、これをトップダウン方式で再び下部構造に回帰的に適用して行いながら、一律的且つ迅速にホールを除去する。上記のようにプッシュプル方法については、図３〜図４を参照して詳細に後述する。
【００３０】
このようにホールフィリング処理が完了すると、選択的にフィルタ部１２１がホールフィリング処理の完了した深度映像から完全に除去されないノイズを除去する様々なフィルタリングを行う。このようなフィルタリングは、スムージングフィルタリングであると理解される。本発明の一実施形態によれば、フィルタ部１２１は、ガウスフィルタリングを行って処理された深度映像の品質を向上させることができる。
【００３１】
メッシュ生成部１３０ないしテクスチャコーディネート部１５０は、深度映像を用いて３Ｄモデルを生成する。
【００３２】
このような３Ｄモデル生成過程において、メッシュ生成部１３０は、深度映像における隣接ピクセルを１つのメッシュでグルーピングする方式により一律的且つ規則的にメッシュを生成する。このような過程によってポイントクラウドをメッシュ基盤の３Ｄ幾何情報に生成する過程が極めて高速化され、これに関する詳細な内容は図６を参照して後述する。
【００３３】
そして、映像処理装置１００の法線算出部１４０はこのようなメッシュそれぞれの法線を算出し、テクスチャコーディネート部１５０が入力カラー映像のテクスチャ情報を各幾何情報、例えば、メッシュの頂点に関連づけて３Ｄモデルを生成する。より詳細な過程は図６を参照して後述する。
【００３４】
これによって、映像処理装置１００の逆投影演算部１６０は、逆透視投影のために予め算出された逆投影マトリックスを構築された３Ｄモデルに適用し、これにより逆透視投影の実行された現実世界のオブジェクトに適する３Ｄモデルが生成される。この過程についても図６を参照して詳細に後述することにする。
【００３５】
図２は、本発明の一実施形態に係る映像処理装置に入力されるカラー映像２１０及び入力深度映像２２０を示す概念図である。
【００３６】
入力深度映像２２０は、入力カラー映像２１０に比べて解像度が低くてもよい。本明細書では、入力深度映像２２０の視点は入力カラー映像２１０の視点とマッチングされていると仮定する。
【００３７】
しかし、同一のオブジェクトを撮影しても、カラーカメラ及び深度カメラの実現形態やセンサの構造などによって撮影視点や及び／または撮影を行うカメラ視点の不整合が発生し得る。
【００３８】
このような不整合は、カメラ視点差の変換を反映したカラー深度映像マッチングのために様々な方式の映像処理により克服され得る。ただし、上記のようにカメラ視点において入力深度映像２１０と入力カラー映像がマッチングされていると仮定する。
【００３９】
一方、入力深度映像２２０は、深度カメラのセンサ性能の劣悪さ、深度折り畳み現象、防音過程などで発生するホールを有することがある。
【００４０】
本発明の一実施形態によれば、図１に示すアウトライアー除去部１１０は、入力深度映像２２０のノイズを除去するなど、周辺の平均深度値に比べて偏差の大きい深度値はアウトライアーと見なして値を除去する。
【００４１】
このような過程において、深度映像２２０にホールが発生したり、従来に存在したホールがより大きくなるなどのアーチファクトが発生することがある。
【００４２】
本発明の一実施形態によれば、このような入力深度映像２２０を用いて３Ｄ幾何モデルを形成し、かかる３Ｄ幾何モデルとカラー映像２１０のテクスチャ情報をマッチングさせて３Ｄモデルを生成する。
【００４３】
そして、このような３Ｄモデルに対して遠近効果の過程などを介してレンダリングを行うことで、３Ｄ映像、例えば、立体映像、マルチビュー映像などを生成することができる。
【００４４】
本発明の一実施形態によれば、図１に示すホールフィリング処理部１２０は、深度映像２２０内のホールをプッシュプル方法を用いて除去する。
【００４５】
プッシュプル方法は、図３から図４を参照してより詳細に後述する。
【００４６】
図３は、本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【００４７】
深度映像のピクセル３１１、３１２、３１３、３１４、３２１、３２２、３２３、３２４、３３１、３３２、３３３、３３４、３４１、３４２、３４３、３４４などが示されている。このようなピクセルは全体の深度映像の一部であってもよい。
【００４８】
ところが、陰影処理されているピクセル３３２、３４１、３４２、３４３、３４４はホールと仮定する。すなわち、このピクセル３３２、３４１、３４２、３４３、３４４はアウトライアーと判断してアウトライアー除去部１１０によって除去されたり、または、他の理由によって深度値が存在しない領域である。
【００４９】
本発明の一部他の実施形態において、深度映像に遠近効果を先に行う場合には、このような遠近効果の過程で発生するホールもピクセル３３２、３４１、３４２、３４３、３４４に分類されてもよい。
【００５０】
以下、単独に取り扱われるピクセル３３２、３４１、３４２、３４３、３４４を処理する方法について説明し、具体的なホールが生じた理由については説明しない。本発明の様々な実施形態によってホールの生成原因の差異は本発明の思想を逸脱しない限り本発明の範囲に属すると解釈される。
【００５１】
本発明の一実施形態によれば、ホールフィリング処理部１２０は、まず、ピクセルを４個の単位にグルーピングして平均値を求める。
【００５２】
ピクセル３１１、３１２、３１３、３１４が１つのグループ３１０にグルーピングされ、ピクセル３２１、３２２、３２３、３２４が他の１つのグループ３２０にグルーピングされる。このような方式によってグループ３３０及びグループ３４０が生成されていることが確認される。
【００５３】
ところが、グループ３３０には、深度値の存在しないホールに該当するピクセル３３２が存在する。そして、グループ３４０はそれに属する各ピクセル３４１、３４２、３４３、３４４が全てホールに該当する。
【００５４】
この場合、本発明の一実施形態によれば、グループ３３０の深度値平均を求めるときはホールのピクセル３３２を考慮することなく、深度値が存在するピクセル３３１、３３３、３３４の深度値平均を求め、この平均がグループ３３０全体の平均と決定する。
【００５５】
そして、グループ３４０のように深度値が存在するピクセルのないグループの場合、そのグループそのもの３４０が残り、算出された平均値はない。
【００５６】
このような方式によって他のグループに対しても回帰的な平均値を算出する。すなわち、グループ３１０、グループ３２０、グループ３３０及びグループ３４０をグルーピングして、さらに上位のグループにグルーピングする。そして、上位グループの平均深度値はそれぞれのグループ３１０、３２０、３３０及び３４０の平均に決定する。
【００５７】
図４は、本発明の一実施形態に係るプッシュプル方式のホールフィリングを説明するための概念図である。
【００５８】
しかし、このような回帰的な算出にも全体がホールであるため深度値が存在しないグループ３４０は依然として残っていることから、上位グループ４１０の平均算出においてグループ３４０は反映されず、グループ３１０、３２０、３３０の平均深度値を上位グループ４１０の深度値と決定する。
【００５９】
このような過程が他の上位グループ４２０などに行われる。そして、再び回帰的に上位グループ４１０、４２０などはより大きい上位グループの平均算出に寄与する。
【００６０】
このように回帰的に拡張すると、従来には入力された深度映像２２０の全体を代表する１つの値が生成され得る。その後、この値を再び下位グループに拡張適用してホールを満たす。
【００６１】
例えば、図３に示すグループ３３０の上位グループの値がＶ＿３３０とすれば、この値をピクセル３３１、３３３、３３４の深度値であるＶ＿３３１、Ｖ＿３３３、Ｖ＿３３４に比べて全体平均がＶ＿３３０になるピクセル３３２の深度値Ｖ＿３３２を算出する。
【００６２】
このように映像処理装置１００のホールフィリング処理部１２０は、ボトムアップ方式により平均値を回帰的に拡張算出して全体の深度映像の平均値を算出した後、これをトップダウン方式により下部構造に適用しながら一律的且つ迅速にホールを除去する。
【００６３】
このような方式を用いてホールフィリング処理が完了された映像を図５に示す通りである。
【００６４】
図５は、本発明の一実施形態に係るホールフィリング処理された深度映像を説明する概念図である。
【００６５】
入力深度映像２２０に存在したホールが除去され、より自然な深度映像が生成されたことが確認される。
【００６６】
本発明の一実施形態によれば、映像処理装置１００は、このようなホールフィリング処理が完了した深度映像から完全に除去されないノイズを除去するためにスムージングフィルタリングを行う。
【００６７】
例えば、フィルタ部１２１は、ガウスフィルタリングを行って処理された深度映像の品質を向上させることができる。
【００６８】
このように深度映像のホールフィリング及び選択的なフィルタリングが実行された後には、深度映像を用いた３Ｄモデルの生成が行われる。
【００６９】
図６は、本発明の一実施形態に係るポイントクラウド形態の３Ｄ情報を用いてメッシュ基盤の３Ｄ幾何モデルを生成する過程を説明するための概念図である。
【００７０】
深度映像によって完成された幾何情報は、ポイントクラウドの形態として理解される。すなわち、深度映像のＸ軸及びＹ軸のインデックスであるｕ、ｖに深度値ｚが加えられた３次元ベクトルと理解される。
【００７１】
ところが、映像処理やレンダリング過程でメッシュ基盤の３Ｄモデルがもっと選好されることがある。本発明の一実施形態によれば、映像処理装置１００のメッシュ生成部１３０は、前述の過程によってホールフィリングや選択的なスムージングフィルタリングが実行された深度映像のポイントクラウドを用いてメッシュ基盤３次元幾何情報を構築する。
【００７２】
通常、ポイントクラウドは、数多い３次元ベクトルと表現される点の集合である。したがって、メッシュ基盤の３Ｄ幾何情報を作るために点を関連づける過程は極めて様々である。
【００７３】
どのポイントを１つのメッシュにグルーピングするかに関する内容は様々な研究が施行されている。
【００７４】
本発明の一実施形態によれば、深度映像は連続性の保持されるオブジェクトを撮影したものであり、深度映像内で隣接するピクセルは実際オブジェクトでも隣接のポイントに関連される可能性が高いという前提をもって、深度映像で隣接のピクセルを一律的にグルーピングしてメッシュを生成する。
【００７５】
例えば、ピクセル６１１、６１２、６１３は深度映像内で互いに隣接する位置にあるが、本発明の一実施形態によれば、このような隣接するピクセル６１１、６１２、６１３を１つにグルーピングしてメッシュ６１０を生成する。
【００７６】
そして、ピクセル６１２、６１３、６１４を１つにグルーピングしてメッシュ６２０に生成する。このように一律的且つ規則的にメッシュを生成することで、本発明によれば、ポイントクラウドをメッシュ基盤の３Ｄ幾何情報で生成する過程が極めて高速化されることができる。
【００７７】
これによって、映像処理装置１００の法線算出部１４０は、ピクセル６１２、６１３、６１４それぞれに対応する３つのベクトルｕ、ｖ、ｚの外積を求めることによってメッシュ６２０の法線を簡単に算出することができる。
【００７８】
このように法線が算出されて映像処理装置１００のテクスチャコーディネート部１５０は、深度映像とカラー映像との間のテクスチャ情報、例えば、カラー情報などをマッチングしてもよい。
【００７９】
深度映像とカラー映像の解像度が異なる場合のアップスケールがこの過程で行なわれる。このような過程によって３Ｄ映像のレンダリングのための３Ｄモデルが構築される。
【００８０】
そして、映像処理装置１００の逆投影演算部１６０は、逆透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｕｎｐｒｏｊｅｃｔｉｏｎ）のために予め算出された逆投影マトリックスを前記構築された３Ｄモデルに適用し、これによって逆透視投影が実行された現実世界のオブジェクトに適する３Ｄモデルが生成される。
【００８１】
その後、高さフィールドに対するレイトレーシングなどのレンダリングによって立体映像を生成することができる。
【００８２】
図７は、本発明の一実施形態に係る映像処理方法を示すフローチャートである。
【００８３】
本発明の一実施形態によれば、映像処理方法において、入力深度映像内の周辺の平均深度値に比べて偏差の大きい深度値がアウトライアーと見なされて除去される（Ｓ７１０）。
【００８４】
そして、このような過程で発生したり大きくなったホールは、ホールフィリング過程を実行して除去される（Ｓ７２０）。
【００８５】
ここで、ホールフィリングステップは、図１に示すホールフィリング処理部１２０が深度映像内のホールをプッシュプル方法を用いて除去する。プッシュプル方法によるホール除去については図２〜図４を参照して上述した通りである。
【００８６】
このようにホールフィリング処理の後には、選択的にガウスフィルタリングが実行されて深度映像の品質を向上させる（Ｓ７３０）。
【００８７】
そして、本発明の一実施形態によれば、映像処理装置１００のメッシュ生成部１３０が深度映像における隣接ピクセルを１つのメッシュにグルーピングする方式によって一律的且つ規則的にメッシュを生成する（Ｓ７４０）。このような過程は図６を参照して上述した通りである。
【００８８】
そして、映像処理装置１００の法線算出部１４０がこのようなメッシュそれぞれの法線を算出し（Ｓ７５０）、テクスチャコーディネート部１５０が入力カラー映像のテクスチャ情報を各幾何情報、例えば、メッシュの頂点に関連づけて３Ｄモデルを生成する（Ｓ７６０）。
【００８９】
そして、映像処理装置１００の逆投影演算部１６０が逆透視投影のために予め算出された逆投影マトリックスを前記構築された３Ｄモデルに適用する（Ｓ７７０）。以上の過程は図６を参照して上述した通りである。
【００９０】
本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などの単独または組み合わせたものを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【００９１】
以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【００９２】
したがって、本発明の範囲は、開示された実施形態に限定して定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９３】
１００ 映像処理装置
１１０ アウトライアー除去部
１２０ ホールフィリング処理部
１２１ フィルタ部
１３０ メッシュ生成部
１４０ 法線算出部
１５０ テクスチャコーディネート部
１６０ 逆投影演算部
【特許請求の範囲】
【請求項１】
入力深度映像のアウトライアーを除去するアウトライアー除去部と、
アウトライアーの除去された前記入力深度映像にプッシュプル方法によってホールフィリングを行ってホールフィリング処理された深度映像を生成するホールフィリング処理部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウン適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記アウトライアー除去部は、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記ホールフィリング処理された深度映像にガウスフィルタリングを行うフィルタ部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記ホールフィリング処理された深度映像で隣接のピクセルをメッシュに構成してメッシュ基盤の３Ｄ幾何モデルを生成するメッシュ生成部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記３Ｄ幾何モデルに含まれた複数のメッシュに対してそれぞれの法線を算出する法線算出部をさらに備えることを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記入力深度映像に関連する入力カラー映像のカラー値を前記３Ｄ幾何モデルに含まれた複数のメッシュに関連づけるテクスチャコーディネート部をさらに備えることを特徴とする請求項６に記載の映像処理装置。
【請求項８】
前記３Ｄ幾何モデルに逆投影マトリックスを適用して前記入力深度映像に関連するカメラ視点におけるパースペクティブプロジェクションを除去する逆投影演算部をさらに備えることを特徴とする請求項５に記載の映像処理装置。
【請求項９】
入力深度映像で互いに隣接する少なくとも３つのピクセル当たり１つずつのメッシュを生成して前記入力深度映像に関連する３Ｄ幾何モデルを生成するメッシュ生成部と、
前記３Ｄ幾何モデルに含まれたメッシュそれぞれの法線を算出する法線算出部と、
前記入力深度映像に関連する入力カラー映像から前記３Ｄ幾何モデルに含まれたメッシュそれぞれのテクスチャ情報を取得して前記入力深度映像及び前記入力カラー映像に対する３Ｄモデルを生成するテクスチャコーディネート部と、
を備えることを特徴とする映像処理装置。
【請求項１０】
前記３Ｄモデルに対して前記入力深度映像または前記入力カラー映像のうち少なくとも１つに関連するカメラ視点によるパースペクティブプロジェクションを除去する逆投影演算部をさらに備えることを特徴とする請求項９に記載の映像処理装置。
【請求項１１】
前記逆投影演算部は、前記３Ｄモデルに逆投影マトリックスを適用して前記パースペクティブプロジェクションを除去することを特徴とする請求項１０に記載の映像処理装置。
【請求項１２】
入力深度映像のアウトライアーを除去するステップと、
アウトライアーの除去された前記入力深度映像にプッシュプル方法を用いてホールフィリングを行ってホールフィリング処理された深度映像を生成するステップと、
を含むことを特徴とする映像処理方法。
【請求項１３】
前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウン適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うことを特徴とする請求項１２に記載の映像処理方法。
【請求項１４】
前記アウトライアーを除去するステップは、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去することを特徴とする請求項１２に記載の映像処理方法。
【請求項１５】
前記ホールフィリング処理された深度映像にガウスフィルタリングを行うステップをさらに含むことを特徴とする請求項１２に記載の映像処理方法。
【請求項１６】
前記ホールフィリング処理された深度映像で隣接のピクセルをメッシュに構成してメッシュ基盤の３Ｄ幾何モデルを生成するステップをさらに含むことを特徴とする請求項１２に記載の映像処理方法。
【請求項１７】
前記３Ｄ幾何モデルに含まれた複数のメッシュに対してそれぞれの法線を算出するステップをさらに含むことを特徴とする請求項１６に記載の映像処理方法。
【請求項１８】
前記入力深度映像に関連する入力カラー映像のカラー値を前記３Ｄ幾何モデルに含まれた複数のメッシュに関連づけるテクスチャコーディネートステップをさらに含むことを特徴とする請求項１７に記載の映像処理方法。
【請求項１９】
前記３Ｄ幾何モデルに逆投影マトリックスを適用して前記入力深度映像に関連するカメラ視点におけるパースペクティブプロジェクションを除去するステップをさらに含むことを特徴とする請求項１６に記載の映像処理方法。
【請求項２０】
請求項１２〜請求項１９のいずれか一項に記載の映像処理方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
【請求項１】
入力深度映像のアウトライアーを除去するアウトライアー除去部と、
アウトライアーの除去された前記入力深度映像にプッシュプル方法によってホールフィリングを行ってホールフィリング処理された深度映像を生成するホールフィリング処理部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウン適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記アウトライアー除去部は、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記ホールフィリング処理された深度映像にガウスフィルタリングを行うフィルタ部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記ホールフィリング処理された深度映像で隣接のピクセルをメッシュに構成してメッシュ基盤の３Ｄ幾何モデルを生成するメッシュ生成部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記３Ｄ幾何モデルに含まれた複数のメッシュに対してそれぞれの法線を算出する法線算出部をさらに備えることを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記入力深度映像に関連する入力カラー映像のカラー値を前記３Ｄ幾何モデルに含まれた複数のメッシュに関連づけるテクスチャコーディネート部をさらに備えることを特徴とする請求項６に記載の映像処理装置。
【請求項８】
前記３Ｄ幾何モデルに逆投影マトリックスを適用して前記入力深度映像に関連するカメラ視点におけるパースペクティブプロジェクションを除去する逆投影演算部をさらに備えることを特徴とする請求項５に記載の映像処理装置。
【請求項９】
入力深度映像で互いに隣接する少なくとも３つのピクセル当たり１つずつのメッシュを生成して前記入力深度映像に関連する３Ｄ幾何モデルを生成するメッシュ生成部と、
前記３Ｄ幾何モデルに含まれたメッシュそれぞれの法線を算出する法線算出部と、
前記入力深度映像に関連する入力カラー映像から前記３Ｄ幾何モデルに含まれたメッシュそれぞれのテクスチャ情報を取得して前記入力深度映像及び前記入力カラー映像に対する３Ｄモデルを生成するテクスチャコーディネート部と、
を備えることを特徴とする映像処理装置。
【請求項１０】
前記３Ｄモデルに対して前記入力深度映像または前記入力カラー映像のうち少なくとも１つに関連するカメラ視点によるパースペクティブプロジェクションを除去する逆投影演算部をさらに備えることを特徴とする請求項９に記載の映像処理装置。
【請求項１１】
前記逆投影演算部は、前記３Ｄモデルに逆投影マトリックスを適用して前記パースペクティブプロジェクションを除去することを特徴とする請求項１０に記載の映像処理装置。
【請求項１２】
入力深度映像のアウトライアーを除去するステップと、
アウトライアーの除去された前記入力深度映像にプッシュプル方法を用いてホールフィリングを行ってホールフィリング処理された深度映像を生成するステップと、
を含むことを特徴とする映像処理方法。
【請求項１３】
前記プッシュプル方法は、前記アウトライアーの除去された前記入力深度映像を複数のブロックに分類し、前記ブロックの深度値平均を回帰的に算出して最終平均値を算出し、前記最終平均値を再び回帰的にトップダウン適用して前記アウトライアーの除去された前記入力深度映像のホールフィリングを行うことを特徴とする請求項１２に記載の映像処理方法。
【請求項１４】
前記アウトライアーを除去するステップは、前記入力深度映像の少なくとも一部領域に対する深度値平均を求め、前記深度値平均に予め指定されたレベル以上の偏差を有する値を単独に処理して前記入力深度映像のアウトライアーを除去することを特徴とする請求項１２に記載の映像処理方法。
【請求項１５】
前記ホールフィリング処理された深度映像にガウスフィルタリングを行うステップをさらに含むことを特徴とする請求項１２に記載の映像処理方法。
【請求項１６】
前記ホールフィリング処理された深度映像で隣接のピクセルをメッシュに構成してメッシュ基盤の３Ｄ幾何モデルを生成するステップをさらに含むことを特徴とする請求項１２に記載の映像処理方法。
【請求項１７】
前記３Ｄ幾何モデルに含まれた複数のメッシュに対してそれぞれの法線を算出するステップをさらに含むことを特徴とする請求項１６に記載の映像処理方法。
【請求項１８】
前記入力深度映像に関連する入力カラー映像のカラー値を前記３Ｄ幾何モデルに含まれた複数のメッシュに関連づけるテクスチャコーディネートステップをさらに含むことを特徴とする請求項１７に記載の映像処理方法。
【請求項１９】
前記３Ｄ幾何モデルに逆投影マトリックスを適用して前記入力深度映像に関連するカメラ視点におけるパースペクティブプロジェクションを除去するステップをさらに含むことを特徴とする請求項１６に記載の映像処理方法。
【請求項２０】
請求項１２〜請求項１９のいずれか一項に記載の映像処理方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９７８０６（Ｐ２０１３−９７８０６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１２−２４０９７７（Ｐ２０１２−２４０９７７）
【出願日】平成２４年１０月３１日（２０１２．１０．３１）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２４年１０月３１日（２０１２．１０．３１）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]