眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置及び方法
高速多視点３次元立体映像の合成装置は、左側及び右側映像のピクセルデータを用いて、左側映像両眼視差マップを生成する両眼視差マップ生成モジュール（ｄｉｓｐａｒｔｉｙ ｍａｐ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と、前記左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて、中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）ピクセルデータを生成する中間視点生成モジュール（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と、前記左側及び右側映像のピクセルデータ前記中間視点ピクセルデータを用いて、多視点３次元立体映像（ｍｕｌｔｉｖｉｅｗ ３Ｄ ｉｍａｇｅ）のピクセルデータを生成する多視点３次元立体映像生成モジュール（ｍｕｌｔｉｖｉｅw ３Ｄ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高速多視点３次元立体映像の合成装置及び方法に関し、より詳しくは、両眼視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）を用いた眼鏡なし３次元立体テレビディスプレイのための高速多視点３次元立体映像の合成装置及び方法に関する。
【背景技術】
【０００２】
ステレオ映像マッチング方法は、一対の２次元映像から３次元空間情報を再生産する技術である。
【０００３】
図１は、従来技術によるステレオ映像マッチング方法を示す図である。図１を参照すれば、ステレオ映像マッチング方法は、先ず、左側映像エピポーラ（ｅｐｉｐｏｌａｒ）ライン及び右側映像エピポーラライン上の映像ライン上の３次元空間内の（Ｘ、Ｙ、Ｚ)の同じ位置に対応する左側映像ピクセル１０及び右側映像ピクセル１１を見つける。
【０００４】
次いで、一対のピクセル対、すなわち、左側そして右側ピクセルに対する両眼視差が獲得される。図１において、両眼視差「ｄ」はｄ=Ｘｒ-Ｘｌと規定される。両眼視差は距離情報を備え、両眼視差から計算された幾何学的距離は深さと称される。
【０００５】
両眼視差マップはステレオ映像マッチング方法によって求められる両眼視差の集合である。観測空間上における３次元距離情報及び形状情報は、入力映像からの両眼視差マップの計算により測定され得る。 従って、両眼視差マップは眼鏡なし３次元テレビディスプレイに必要な多数の映像の合成に用いられる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記事情に鑑みてなされたものであって、その目的は、両眼視差マップを用いた高速多視点３次元立体映像の合成装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明による眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置は、左側及び右側映像のピクセルデータを受信して、前記左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成し出力する両眼視差マップ生成モジュールと、左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを受信して、第１〜第Ｎの中間視点ピクセルデータを生成し出力する中間視点生成モジュールと、第１〜第Ｎの中間視点ピクセルデータを受信して、多視点３次元立体映像のピクセルデータを生成し、前記多視点３次元立体映像のピクセルデータを出力する多視点３次元立体映像生成モジュールとを含む。
【０００８】
好ましくは、左側及び右側映像のピクセルデータは、同一のエピポーラライン上にあることを特徴とする。
【０００９】
好ましくは、両眼視差マップ生成モジュールは、信頼性拡散基盤アルゴリズムを通じて前記左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成することを特徴とする。
【００１０】
好ましくは、中間視点生成モジュールは左側映像両眼視差マップを受信して、加工されていない右側映像両眼視差を生成し出力する右側映像両眼視差生成部と、加工されていない右側映像両眼視差を受信して、遮られている領域のない右側映像両眼視差を生成し出力する遮り領域補償部と、遮られている領域のない右側映像両眼視差を受信して、第１〜第Ｎの中間視点ピクセルデータを生成し出力する中間視点生成部とを含むことを特徴とする。
【００１１】
好ましくは、多視点３次元立体映像生成モジュールは、第１〜第Ｎの中間視点ピクセルデータを混ぜ合わせて前記多視点３次元立体映像のピクセルデータを生成することを特徴とする。
【００１２】
前記目的を達成するために、本発明による眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成方法は、左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成する段階と、左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて第１〜第Ｎの中間視点ピクセルデータを生成する段階と、第１〜第Ｎの中間視点ピクセルデータを用いて多視点３次元立体映像のピクセルデータを生成する段階とを含む。
【００１３】
好ましくは、中間視点ピクセルデータを生成する段階は、（ａ）遮られている領域の検出のために中間視点を初期化する段階と、（ｂ）前記左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた前記第１中間視点ピクセルデータ値を決定し、左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた右側映像両眼視差を決定し、右側映像両眼視差を用いて前記右側映像ピクセルデータからマッピングされた前記第２中間視点ピクセルデータ値を決定する段階と、（ｃ）前記中間視点が前記左側映像ピクセルデータの近く又は前記右側映像ピクセルデータの近くであるかを判定する段階と、（ｄ）前記左側映像ピクセルデータからの第１中間視点と前記右側映像ピクセルデータからの第２中間視点とを結合し、前記結合された中間視点ピクセル値を出力する段階とを含む。
【００１４】
好ましくは、（ｂ）段階の前記右側映像両眼視差の決定は、遮られている領域の検出のために前記右側映像両眼視差を初期化する段階と、左側映像両眼視差マップを用いて前記左側映像両眼視差からマッピングされた前記右側映像両眼視差のピクセル値を決定する段階と、決定されたピクセル値の隣接したピクセル値で前記右側映像両眼視差の前記遮られている領域を補償する段階とを含む。
【００１５】
好ましくは、遮られている領域を補償する段階は、決定されたピクセル値の前方の隣接ピクセル値で前記遮られている領域のピクセル値を満たす段階と、決定されたピクセル値の後方の隣接ピクセル値で前記遮られている領域のピクセル値を満たす段階と、前方及び後方の隣接ピクセル値を比較する段階と、前方の隣接ピクセル値が前記後方の隣接ピクセル値よりも小さければ、前記遮られている領域を補償するために前記前方の隣接ピクセル値を採択し、前記後方の隣接ピクセル値が前記前方の隣接ピクセル値よりも小さければ、前記遮られている領域を補償するために前記後方の隣接ピクセル値を採択する段階とを含む。
【００１６】
好ましくは、中間視点ピクセルデータを生成する段階は、並列処理メカニズムによって並列的に処理されることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、上記多視点３次元映像の合成装置は線形並列処理を通じて高速多視点３次元映像を合成し、かつ小型チップで実現可能である。また、眼鏡なし３次元立体テレビのためのエラー率の低い鮮明な多視点３次元立体映像を出力できるという効果を奏する。
【００１８】
また、本発明によれば、眼鏡なし３次元立体テレビ及び眼鏡なし３次元立体携帯電話ディスプレイ市場において高解像度の高速リアルタイム多視点３次元立体映像の合成を通じて既存の低い３次元解像度技術よりも市場における競争優位を獲得でき、更には眼鏡なし３次元立体医療機器ディスプレイにも適用可能である。
【図面の簡単な説明】
【００１９】
【図１】ステレオ映像マッチングを示す図である。
【図２】本発明の一実施形態による中間視点生成を示す図である。
【図３】本発明の一実施形態による両眼視差マップを用いた高速多重映像合成装置のブロックダイアグラムを示す図である。
【図４】図３に示す中間視点映像生成部の並列処理メカニズムのブロックダイアグラムを示す図である。
【図５】図３に中間視点映像生成部で行われる中間視点の映像生成方法のフローチャートを示す図である。
【図６】図３に示す中間視点生成モジュールの右側映像両眼視差マップｄＲＬの生成方法のフローチャートを示す図である。
【図７】図６に示す遮られている領域補償方法のフローチャートを示す図である。
【図８】図３に示す多視点３次元立体映像生成モジュールの多視点３次元立体映像生成方法のフローチャートを示す図である。
【図９】本発明の例示的な実施形態による図３の装置を用いる高速多視点映像合成方法の並列処理メカニズムのブロックダイアグラムを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好適な実施形態を添付の図面を参照して詳細に説明する。
【００２１】
図２は、本発明の一実施形態による中間視点生成ダイヤグラムを示す図である。中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）映像２０は、左側映像２１及び右側映像２２から再投影された映像である。
【００２２】
図３は、本発明の一実施形態による高速多視点３次元立体映像合成装置のブロックダイアグラムを示す図である。
【００２３】
図３に示すように、 本発明の高速多視点３次元立体映像の合成装置は、両眼視差マップ生成モジュール１００、中間視点生成モジュール２００及び多視点３次元立体映像生成モジュール３００を含む。両眼視差マップ生成モジュール１００は、左側及び右側映像ピクセル値を受信し、 左側映像両眼視差マップｄＬＲを出力する。中間視点生成モジュール２００は、左側映像、右側映像及び両眼視差マップ生成モジュール１００から提供された左側映像両眼視差マップ ｄＬＲ を受信し、多様な観点から中間視点の映像、すなわち、第１〜第Ｎの中間視点の映像を出力する(ここで, Ｎは整数)。多視点３次元立体映像生成モジュール３００は、中間視点生成モジュール２００から提供された第１〜第Ｎの中間視点の映像を受信し、ユーザに３次元の認知を与えるために眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を出力する。
【００２４】
図３を参照すれば、中間視点生成モジュール２００は、右側映像両眼視差マップ(ｄＲＬ)生成部２１０、遮り領域補償部２２０及び中間視点映像生成部２３０を含む。右側映像両眼視差マップ生成部２１０は、両眼視差マップ生成モジュール１００により提供される左側映像両眼視差マップｄＬＲを受信し、遮られている領域がある加工していない右側映像両眼視差マップを出力する。遮り領域補償部２２０は、右側映像両眼視差マップ生成部２１０により提供される加工していない右側映像両眼視差マップを受信し、遮られている領域がない精密な右側映像両眼視差ｄＲＬを出力する。中間視点映像生成部２３０は、遮り領域補償部２２０により提供される遮られた映像がない精密な右側映像両眼視差マップｄＲＬ、左側及び右側映像 を受信し、多様な観点からの第１〜第Ｎの中間視点の映像を出力する。
【００２５】
多視点３次元立体映像生成モジュール３００は、前記中間視点映像生成部２３０から第１〜第Ｎの中間視点の映像を受信し、多視点映像ピクセルデータを計算して、多視点映像を出力する。上記両眼視差マップ生成モジュール１００、中間視点生成モジュール２００及び多視点３次元立体映像生成モジュール３００は映像のエピポーラライン上の映像ラインに対して上記過程を繰り返し行われる。
【００２６】
図４は、図３の中間視点映像生成部２３０の並列処理メカニズムのブロックダイアグラムを示す図である。中間視点映像生成部２３０の 入力データは左側映像ＩＬの１つのラインピクセルデータ４１１、一対の映像の同一のエピポーラライン上の右側映像ＩＲの１つのラインピクセルデータ４１３及びステレオ映像対のための右側映像両眼視差ｄＲＬの１つのラインピクセルデータ４１２を含む。
【００２７】
中間視点映像生成部２３０の中間データは、左側映像ＩＬから再投影された中間映像４２１、右側映像ＩＲから再投影された中間映像４２４を含む。また、４２２は左側映像両眼視差ｄＬＲに係数α（０<α<１)をかけたものであって、左側及び右側映像間の中間映像の相対的位置を示し、４２３は右側映像両眼視差ｄＲＬに係数１-α（０<α<１)をかけたものであって、左側及び右側映像間の中間映像の相対的位置を示す。中間視点映像生成部２３０の出力データは、第Ｎの中間視点の１つのラインピクセルデータ４３０を含む。左側映像ピクセルデータ４１１から再投影された中間映像４２１は、第Ｎの中間視点の１つのラインピクセルデータ４３０を出力するために右側映像ピクセルデータ４１３から投影された中間映像４２４を組み合わせる。
【００２８】
図５は、図３に示す中間視点映像生成部２３０で行われる中間視点の映像生成方法のフローチャートを示す図である。
【００２９】
図５を参照して、左側映像及び右側映像からの再投影された中間映像の初期値ＩＩＬ（ＸＩＬ、Ｙ）及びＩＩＲ（ＸＩＲ、Ｙ）は式１により与えられる(段階Ｓ５１０)。
【００３０】
［式１］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ＩＩＬ（Ｘ、Ｙ）=０;
ＩＩＲ（Ｘ、Ｙ）=０
ここで、Ｍは映像の幅であり、Ｎは視点の数であり 、（Ｘ、Ｙ）は再投影された中間映像中の平面座標である。
【００３１】
初期値は、遮られている領域を検出するために与えられる(段階Ｓ５４１及びＳ５４２)。遮られている領域は左側から中間へ又は右側から中間へ再投影された映像が情報を有していない場合に生じる。本来の左側映像中の遮られている領域は観点が異なるため、再投影された中間映像に露出する。遮られている領域を検出するために、再投影された映像の初期値ＩＩＬ（ＸＩＬ、Ｙ）及びＩＩＲ（ＸＩＲ、Ｙ）は０に設定される。従って、遮られていない領域点及び遮られている領域点は左側映像から中間映像へ又は右側映像から中間映像へ投影された後、ピクセル値だけ異なり得る。
【００３２】
中間映像ＩＩＬ及びＩＩＲが左側映像ＩＬ及び右側映像ＩＲから投影されて強度（ｉｎｔｅｎｓｉｔｙ）値が指定されることが式２に示されている(段階Ｓ５２０)。
【００３３】
［式２］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ＩＩＬ（ＸＩ、Ｙ）=ＩＩＬ（ＸＬ＋α*ｄＬＲ（Ｘ、Ｙ）、Ｙ）=ＩＬ（ＸＬ、Ｙ）;（０<α<１)
ＩＩＲ（ＸＩ、Ｙ）=ＩＩＲ（ＸＬ＋（１-α）*ｄＲＬ（Ｘ、Ｙ）、Ｙ）=ＩＲ（ＸＲ、Ｙ）（０<α<１)
ここで、αと１-αは左側映像ＩＬ及び右側映像ＩＲから離れた所望の中間映像ＩＩＬ、ＩＩＲの相対的に正規化された距離を意味する。 ｄＬＲは左側映像ＩＬから右側映像ＩＲへの両眼視差マップである。ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。
【００３４】
α=０を左側映像の位置に、α=１を右側映像の位置にする。従って、０<α<１は中間映像の有効な位置である。中間映像を生成するために、所望の中間位置に対する両眼視差の指定が要求される。この処理はｄＬＲ及びｄＲＬ両眼視差マップを中間映像上に投影して行われる。左側映像のある位置（ＸＬ、Ｙ）に対して、中間映像の投影された位置は（ＸＬ＋α*ｄＬＲ（Ｘ、Ｙ）、Ｙ）である。右側映像のある位置（ＸＲ、Ｙ）に対して、中間映像の投影された位置は（ＸＬ＋（１-α）*ｄＲＬ（Ｘ、Ｙ）、Ｙ）である。中間映像の各位置（ＸＩ 、Ｙ）に対して、２つの対応する位置、左側映像上の（ＸＬ、Ｙ）及び右側映像上の（ＸＲ、Ｙ）は２つの両眼視差マップｄＬＲ及びｄＲＬを通じて容易に発見され得る。中間映像ＩＩＬ、ＩＩＲ上のある位置（ＸＩ、Ｙ）に対して、仮想の視点は強度値ＩＩＬ（ＸＩ、Ｙ）=ＩＩＬ（ＸＬ＋α*ｄＬＲ（Ｘ、Ｙ）、Ｙ）=ＩＬ（ＸＬ、Ｙ）及びＩＩＲ（ＸＩ、Ｙ）=ＩＩＲ（ＸＲ＋（１-α）*ｄＲＬ（Ｘ、Ｙ）、Ｙ）=ＩＲ（ＸＲ、Ｙ）の指定を通じて合成される(段階Ｓ５２０)。
【００３５】
図５を参照すれば、最終の所望の中間映像が左側映像の近くにあるかは段階Ｓ５３０で判断される。
【００３６】
段階Ｓ５３０の判断結果において, 遮られている領域の補償は式３及び式４を 用いて行われる。
【００３７】
［式３］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにＩＩＬ（ＸＩＬ、Ｙ）=０であれば、
ＩＩＬ（ＸＩＬ、Ｙ）=ＩＩＲ（ＸＩＲ、Ｙ）
ＩＩ（ＸＩ、Ｙ）=ＩＩＬ（ＸＩＬ、Ｙ）
［式４］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにＩＩＲ（ＸＩＲ、Ｙ）=０であれば、
ＩＩＲ（ＸＩＲ、Ｙ）=ＩＩＬ（ＸＩＬ、Ｙ）
ＩＩ（ＸＩ、Ｙ）=ＩＩＲ（ＸＩＲ、Ｙ）
ここで、ＩＩＬ（ＸＩＬ、Ｙ）=０であるとき、（ＸＩL、Ｙ）は中間映像ＩＩＬの遮られている領域を示し、ＩＩＬ（ＸＩＬ、Ｙ）=０であるとき、（ＸＩＲ、Ｙ）は中間映像ＩＩＲの遮られている領域を示す。
【００３８】
図５を参照して、段階Ｓ５３０で、仮りに最終の所望の中間映像ＩＩが左側映像ＩＬの近くにあれば、中間映像ＩＩＲは中間映像ＩＩＬの遮られている領域を補償するために用いられるように決定される(段階Ｓ５４１)。逆に、段階Ｓ５３０で、仮りに最終の所望の中間映像ＩＩが右側映像ＩＲの近くにあれば、中間映像ＩＩＬは中間映像ＩＩＲの遮られている領域を補償するために用いられるように決定される(段階Ｓ５４２)。補償後段階Ｓ５４１において（ＩＩＲ（ＸＩＲ、Ｙ）がＩＩＬ（ＸＩＬ、Ｙ）に設定されることとＩＩＬ（ＸＩＬ、Ｙ）が最終の所望の中間映像ＩＩに割り当てられることと、 段階Ｓ５４２においてＩＩＬ（ＸＩＬ、Ｙ）がＩＩＲ（ＸＩＲ、Ｙ）に設定されることとＩＩＲ（ＸＩＲ、Ｙ） が最終の所望の中間映像ＩＩに割り当てられることが式３及び式４に示されている。
【００３９】
図６は、中間視点生成モジュール２００で行われる右側映像両眼視差マップｄＲＬ生成方法のフローチャートを示す図である。前述の如く、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。ｄＬＲは左側映像ＩＬから右側映像ＩＲへの両眼視差マップである。両眼視差マップ生成モジュール１００から単に左側映像の両眼視差マップｄＬＲのみが生成される。しかしながら、中間視点生成モジュール２００で、両眼視差マップｄＲＬも要求される。従って、両眼視差マップｄＲＬは、中間視点生成モジュール２００内でｄＲＬからｄＬＲへのマッピング点により計算され得る。
【００４０】
両眼視差マップｄＲＬ（Ｘ、Ｙ）の初期値は、式５で与えられる(段階Ｓ６１０)。
【００４１】
［式５］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ｄＲＬ（Ｘ、Ｙ）=０
ここで、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。（Ｘ、Ｙ）は映像中の平面座標である。
【００４２】
ｄＬＲから再投影された両眼視差マップｄＲＬが情報を有していない時に遮られている領域が生じる。本来の両眼視差マップｄＬＲ中の遮られている領域は観点が異なるため、再投影された両眼視差マップｄＲＬで露出する。遮られている領域を検出するために、再投影された両眼視差マップｄＲＬの初期値は０に設定される。従って、遮られていない領域点及び遮られている領域点はｄＬＲからｄＲＬへの投影（マッピング）後にピクセル値だけ異なり得る。
【００４３】
左側映像ＩＬ及び右側映像ＩＲからの投影（マッピング）により両眼視差マップｄＲＬの初期値が割り当てられることが(段階Ｓ６２０)式６に示されている。
【００４４】
［式６］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ｄＲＬ（Ｘ＋ｄＬＲ、Ｙ）=ｄＬＲ（Ｘ、Ｙ）
ｄＬＲは左側映像ＩＬから右側映像ＩＲへの両眼視差マップである。ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。
【００４５】
両眼視差マップｄＲＬを生成するために、本来の両眼視差マップｄＬＲの位置に対する強度値の割り当てが要求される。この過程は、両眼視差マップｄＲＬ上にｄＬＲ両眼視差を投影して行われる。両眼視差マップｄＬＲ上のある位置（Ｘ、Ｙ）に対して、両眼視差マップｄＲＬ上の投影された位置は（Ｘ＋ｄＬＲ、Ｙ）である。両眼視差マップｄＲＬ上の各位置（Ｘ＋ｄＬＲ、Ｙ）に対して、両眼視差マップｄＬＲ上の対応する位置（Ｘ、Ｙ）は両眼視差マップｄＬＲを通じて容易に発見され得る。 段階Ｓ６２０で、両眼視差マップｄＲＬ上のある位置（Ｘ＋ｄＬＲ、Ｙ）に対して、強度値を割り当て、仮想の視点が合成される。
【００４６】
段階Ｓ６２０の後、両眼視差マップｄＲＬが式６により強度値が割り当てられて合成されるが、両眼視差マップｄＲＬの遮られている領域は依然として存在する。この問題を解決するために、遮られている領域は隣接ピクセル値によって補償される(段階Ｓ６３０)。両眼視差マップｄＲＬの遮られている領域が補償されるとき、両眼視差マップｄＲＬの生成が完了する。遮られている領域の補償方法は以下に説明される。
【００４７】
図７は、図６の遮られている領域（ｏｃｃｌｕｄｅｄ ｒｅｇｉｏｎ）補償方法のフローチャートを示す図である。 図６の段階Ｓ６２０で、遮られている領域がある両眼視差マップｄＲＬが合成される。ｄＲＬの遮られている領域を補償するために、遮られている領域の前方及び後方の隣接ピクセル値が遮られている領域を補償するために用いられる。仮りに、前方及び後方の隣接ピクセル値がいずれも遮られている領域に割り当てられれば、衝突が発生し得る。従って、前方及び後方のピクセル値を比較して、より小さな値が採択される。
【００４８】
図７を参照すれば、ｄＲＬの遮られている領域の強度値が前方の隣接ピクセル値により満たされることが式７に説明されている(段階Ｓ７１０)。
【００４９】
［式７］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにｄＲＬ（Ｘ、Ｙ）=０であれば、
ｄＦＲＬ（Ｘ、Ｙ）=ｄＲＬ（Ｘ-１、Ｙ-１）
ここで、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。ｄＲＬ（Ｘ、Ｙ）=０であるとき、（Ｘ、Ｙ）は両眼視差マップｄＲＬの遮られている領域を示す。（Ｘ-１、Ｙ-１）は遮られている領域の前方の隣接ピクセル値を示す。式７において、ｄＦＲＬは前方の隣接ピクセルによる補償の後、遮られている領域の強度値を格納する。
【００５０】
図７を参照すれば、ｄＦＲＬの遮られている領域の強度値が後方の隣接ピクセル値で満たされることが式８で説明される(段階Ｓ７２０)。
【００５１】
［式８］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにｄＲＬ（Ｘ、Ｙ）=０であれば、
ｄＢＲＬ（Ｘ、Ｙ）=ｄＲＬ（Ｘ＋１、Ｙ＋１）
ここで、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。ｄＲＬ（Ｘ、Ｙ）=０であるとき、（Ｘ、Ｙ）は両眼視差マップｄＲＬの遮られている領域を示す。（Ｘ＋１、Ｙ＋１）は遮られている領域の後方の隣接ピクセル値を示す。式８において、ｄＢＲＬは後方の隣接ピクセルによる補償の後、遮られている領域の強度値を格納する。
【００５２】
従って、遮られている領域の強度値ｄＦＲＬ及びｄＢＲＬが比較されることが式９に示されている(段階Ｓ７３０)。
【００５３】
［式９］
【数１】
【００５４】
ここで、仮りにｄＦＲＬ（Ｘ、Ｙ）＜ｄＢＲＬ（Ｘ、Ｙ）であれば、前方の隣接ピクセル値ｄＦＲＬがｄＲＬ（Ｘ、Ｙ）の遮られている領域を補償するために採択される。仮りにｄＦＲＬ（Ｘ、Ｙ）＞ｄＢＲＬ（Ｘ、Ｙ）であれば、後方の隣接ピクセル値ｄＢＲＬがｄＲＬ（Ｘ、Ｙ）の遮られている領域を補償するために採択される。
【００５５】
上記遮られている領域の強度値ｄＲＬ（Ｘ、Ｙ）が段階Ｓ７３０、Ｓ７４１及びＳ７４２を通じて判定される。ｄＲＬ（Ｘ、Ｙ）の遮られている領域は、ステレオ映像対において背景物体である。背景物体の両眼視差値は常に前景物体の両眼視差値よりも小さく、従って、ｄＲＬ（Ｘ、Ｙ）の遮られている領域の両眼視差値は前方及び後方の隣接ピクセル値のうち、より小さな値で与えられる。
【００５６】
図８は、図３に示す多視点３次元立体映像生成モジュール３００において行われる多視点３次元立体映像生成方法のフローチャートを示す図である。
【００５７】
ｎ視点がある眼鏡なし多視点ディスプレイは、本来の左側映像及び右側映像間の多様な観点からのｎ-２中間視点を要求する。図５を参照して、中間視点の合成を適用すれば、多様な観点からの中間視点が生成される。
【００５８】
眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像は、多様な観点のｎ視点から列（ｃｏｌｕｍｎ）を混合して製作される。この映像は、左側目が単に左側目の映像からの欠片のみを見ることができ、右側目は単に右側目の映像からの欠片のみを見ることができるように配列される。これは、観測者に３次元認識(３次元場面の深さ)を与える。
【００５９】
眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を形成するために多様な観点からの個別映像がインターリーブされることが式１０を通じて説明される。
【００６０】
［式１０］
【数２】
【００６１】
ここで、ＩＡｕｔｏｓｔｅｒｅｏＶｉｅｗは多視点３次元立体映像のピクセル値を示し、Ｉ０からＩｎ-１は眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を形成するための多様な観点からのｎサブ映像のピクセル値を示す。Ｉ０は本来の左側映像であり、Ｉｎ-１は本来の右側映像であり、Ｉ１、Ｉ２、…Ｉｎ-２は本来の左側映像及び右側映像間の多様な観点からのｎ-２中間視点を示す。（Ｘ、Ｙ）は映像中の平面座標である。 式１０で、段階Ｓ８１０、Ｓ８２１、Ｓ８２２、Ｓ８３１、Ｓ８３２、Ｓ８４０、Ｓ８５０、Ｓ８６０で、Ｘ％ｎはサブ映像ｎが水平軸Ｘにより分割された後の残りを意味する。
【００６２】
図８を参照すれば、眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を形成するために、多様な観点からのｎ視点の列ピクセルがＩ０からＩｎ-１まで順次インターリーブされる。多視点３次元立体映像コンテンツは、眼鏡なし３次元立体テレビディスプレイスクリーンに対するその位置に依存して観測者に観測される。眼鏡なし３次元立体テレビディスプレイスクリーン（レンズの形状又はパララックスバリア）のため、観測者の左側目はその右側目が得るのと異なる列ピクセルを受信する。これは、観測者に３次元立体場面の深さ認識(３次元場面の深さ)を与える。
【００６３】
図９は、本発明の一実施形態による図３の装置を用いる高速多視点映像合成方法の並列処理メカニズムのブロックダイアグラムを示す図である。 図９の両眼視差マップ生成モジュール１００は、左側映像両眼視差マップｄＬＲの１つのラインピクセル値を出力する。左側及び右側映像は、同じ時間に左側及び右側映像の１つのラインピクセル値を出力する。多様な観点からの第１〜第Ｎの視点を生成するための並列処理のために、中間視点生成モジュール２００の数は（Ｎ-２）である。左側映像、右側映像及び左側映像両眼視差マップの１つのラインピクセル値を受信した後、（Ｎ-２）中間視点生成モジュールはそれぞれ多様な観点から１つのラインピクセル値を出力する。ここで、第１中間視点は左側映像であり、第Ｎの中間視点は右側映像である。多視点３次元立体映像生成モジュール３００は、中間視点生成モジュール２００により提供された多様な観点からの第１〜第Ｎの中間視点の１つのラインピクセル値を受信し、ユーザに３次元の認識を与えるために眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を出力する。第１〜第Ｎの中間視点がそれぞれライン別に生成されるので、両眼視差マップを用いた高速多視点映像合成方法のパラレル処理が実施される。すなわち、左側映像及び右側映像はパラレル処理により眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を合成できる。
【００６４】
本発明は現在最も実用的、かつ、好適な実施形態として考慮されるものと共に説明されたが、本発明は開示された実施形態に限定されず、添付する請求範囲の精神と範疇内に含まれる多様な修正及び同等な構成を含むことを意図する。
【技術分野】
【０００１】
本発明は高速多視点３次元立体映像の合成装置及び方法に関し、より詳しくは、両眼視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）を用いた眼鏡なし３次元立体テレビディスプレイのための高速多視点３次元立体映像の合成装置及び方法に関する。
【背景技術】
【０００２】
ステレオ映像マッチング方法は、一対の２次元映像から３次元空間情報を再生産する技術である。
【０００３】
図１は、従来技術によるステレオ映像マッチング方法を示す図である。図１を参照すれば、ステレオ映像マッチング方法は、先ず、左側映像エピポーラ（ｅｐｉｐｏｌａｒ）ライン及び右側映像エピポーラライン上の映像ライン上の３次元空間内の（Ｘ、Ｙ、Ｚ)の同じ位置に対応する左側映像ピクセル１０及び右側映像ピクセル１１を見つける。
【０００４】
次いで、一対のピクセル対、すなわち、左側そして右側ピクセルに対する両眼視差が獲得される。図１において、両眼視差「ｄ」はｄ=Ｘｒ-Ｘｌと規定される。両眼視差は距離情報を備え、両眼視差から計算された幾何学的距離は深さと称される。
【０００５】
両眼視差マップはステレオ映像マッチング方法によって求められる両眼視差の集合である。観測空間上における３次元距離情報及び形状情報は、入力映像からの両眼視差マップの計算により測定され得る。 従って、両眼視差マップは眼鏡なし３次元テレビディスプレイに必要な多数の映像の合成に用いられる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記事情に鑑みてなされたものであって、その目的は、両眼視差マップを用いた高速多視点３次元立体映像の合成装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明による眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置は、左側及び右側映像のピクセルデータを受信して、前記左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成し出力する両眼視差マップ生成モジュールと、左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを受信して、第１〜第Ｎの中間視点ピクセルデータを生成し出力する中間視点生成モジュールと、第１〜第Ｎの中間視点ピクセルデータを受信して、多視点３次元立体映像のピクセルデータを生成し、前記多視点３次元立体映像のピクセルデータを出力する多視点３次元立体映像生成モジュールとを含む。
【０００８】
好ましくは、左側及び右側映像のピクセルデータは、同一のエピポーラライン上にあることを特徴とする。
【０００９】
好ましくは、両眼視差マップ生成モジュールは、信頼性拡散基盤アルゴリズムを通じて前記左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成することを特徴とする。
【００１０】
好ましくは、中間視点生成モジュールは左側映像両眼視差マップを受信して、加工されていない右側映像両眼視差を生成し出力する右側映像両眼視差生成部と、加工されていない右側映像両眼視差を受信して、遮られている領域のない右側映像両眼視差を生成し出力する遮り領域補償部と、遮られている領域のない右側映像両眼視差を受信して、第１〜第Ｎの中間視点ピクセルデータを生成し出力する中間視点生成部とを含むことを特徴とする。
【００１１】
好ましくは、多視点３次元立体映像生成モジュールは、第１〜第Ｎの中間視点ピクセルデータを混ぜ合わせて前記多視点３次元立体映像のピクセルデータを生成することを特徴とする。
【００１２】
前記目的を達成するために、本発明による眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成方法は、左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成する段階と、左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて第１〜第Ｎの中間視点ピクセルデータを生成する段階と、第１〜第Ｎの中間視点ピクセルデータを用いて多視点３次元立体映像のピクセルデータを生成する段階とを含む。
【００１３】
好ましくは、中間視点ピクセルデータを生成する段階は、（ａ）遮られている領域の検出のために中間視点を初期化する段階と、（ｂ）前記左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた前記第１中間視点ピクセルデータ値を決定し、左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた右側映像両眼視差を決定し、右側映像両眼視差を用いて前記右側映像ピクセルデータからマッピングされた前記第２中間視点ピクセルデータ値を決定する段階と、（ｃ）前記中間視点が前記左側映像ピクセルデータの近く又は前記右側映像ピクセルデータの近くであるかを判定する段階と、（ｄ）前記左側映像ピクセルデータからの第１中間視点と前記右側映像ピクセルデータからの第２中間視点とを結合し、前記結合された中間視点ピクセル値を出力する段階とを含む。
【００１４】
好ましくは、（ｂ）段階の前記右側映像両眼視差の決定は、遮られている領域の検出のために前記右側映像両眼視差を初期化する段階と、左側映像両眼視差マップを用いて前記左側映像両眼視差からマッピングされた前記右側映像両眼視差のピクセル値を決定する段階と、決定されたピクセル値の隣接したピクセル値で前記右側映像両眼視差の前記遮られている領域を補償する段階とを含む。
【００１５】
好ましくは、遮られている領域を補償する段階は、決定されたピクセル値の前方の隣接ピクセル値で前記遮られている領域のピクセル値を満たす段階と、決定されたピクセル値の後方の隣接ピクセル値で前記遮られている領域のピクセル値を満たす段階と、前方及び後方の隣接ピクセル値を比較する段階と、前方の隣接ピクセル値が前記後方の隣接ピクセル値よりも小さければ、前記遮られている領域を補償するために前記前方の隣接ピクセル値を採択し、前記後方の隣接ピクセル値が前記前方の隣接ピクセル値よりも小さければ、前記遮られている領域を補償するために前記後方の隣接ピクセル値を採択する段階とを含む。
【００１６】
好ましくは、中間視点ピクセルデータを生成する段階は、並列処理メカニズムによって並列的に処理されることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、上記多視点３次元映像の合成装置は線形並列処理を通じて高速多視点３次元映像を合成し、かつ小型チップで実現可能である。また、眼鏡なし３次元立体テレビのためのエラー率の低い鮮明な多視点３次元立体映像を出力できるという効果を奏する。
【００１８】
また、本発明によれば、眼鏡なし３次元立体テレビ及び眼鏡なし３次元立体携帯電話ディスプレイ市場において高解像度の高速リアルタイム多視点３次元立体映像の合成を通じて既存の低い３次元解像度技術よりも市場における競争優位を獲得でき、更には眼鏡なし３次元立体医療機器ディスプレイにも適用可能である。
【図面の簡単な説明】
【００１９】
【図１】ステレオ映像マッチングを示す図である。
【図２】本発明の一実施形態による中間視点生成を示す図である。
【図３】本発明の一実施形態による両眼視差マップを用いた高速多重映像合成装置のブロックダイアグラムを示す図である。
【図４】図３に示す中間視点映像生成部の並列処理メカニズムのブロックダイアグラムを示す図である。
【図５】図３に中間視点映像生成部で行われる中間視点の映像生成方法のフローチャートを示す図である。
【図６】図３に示す中間視点生成モジュールの右側映像両眼視差マップｄＲＬの生成方法のフローチャートを示す図である。
【図７】図６に示す遮られている領域補償方法のフローチャートを示す図である。
【図８】図３に示す多視点３次元立体映像生成モジュールの多視点３次元立体映像生成方法のフローチャートを示す図である。
【図９】本発明の例示的な実施形態による図３の装置を用いる高速多視点映像合成方法の並列処理メカニズムのブロックダイアグラムを示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好適な実施形態を添付の図面を参照して詳細に説明する。
【００２１】
図２は、本発明の一実施形態による中間視点生成ダイヤグラムを示す図である。中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）映像２０は、左側映像２１及び右側映像２２から再投影された映像である。
【００２２】
図３は、本発明の一実施形態による高速多視点３次元立体映像合成装置のブロックダイアグラムを示す図である。
【００２３】
図３に示すように、 本発明の高速多視点３次元立体映像の合成装置は、両眼視差マップ生成モジュール１００、中間視点生成モジュール２００及び多視点３次元立体映像生成モジュール３００を含む。両眼視差マップ生成モジュール１００は、左側及び右側映像ピクセル値を受信し、 左側映像両眼視差マップｄＬＲを出力する。中間視点生成モジュール２００は、左側映像、右側映像及び両眼視差マップ生成モジュール１００から提供された左側映像両眼視差マップ ｄＬＲ を受信し、多様な観点から中間視点の映像、すなわち、第１〜第Ｎの中間視点の映像を出力する(ここで, Ｎは整数)。多視点３次元立体映像生成モジュール３００は、中間視点生成モジュール２００から提供された第１〜第Ｎの中間視点の映像を受信し、ユーザに３次元の認知を与えるために眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を出力する。
【００２４】
図３を参照すれば、中間視点生成モジュール２００は、右側映像両眼視差マップ(ｄＲＬ)生成部２１０、遮り領域補償部２２０及び中間視点映像生成部２３０を含む。右側映像両眼視差マップ生成部２１０は、両眼視差マップ生成モジュール１００により提供される左側映像両眼視差マップｄＬＲを受信し、遮られている領域がある加工していない右側映像両眼視差マップを出力する。遮り領域補償部２２０は、右側映像両眼視差マップ生成部２１０により提供される加工していない右側映像両眼視差マップを受信し、遮られている領域がない精密な右側映像両眼視差ｄＲＬを出力する。中間視点映像生成部２３０は、遮り領域補償部２２０により提供される遮られた映像がない精密な右側映像両眼視差マップｄＲＬ、左側及び右側映像 を受信し、多様な観点からの第１〜第Ｎの中間視点の映像を出力する。
【００２５】
多視点３次元立体映像生成モジュール３００は、前記中間視点映像生成部２３０から第１〜第Ｎの中間視点の映像を受信し、多視点映像ピクセルデータを計算して、多視点映像を出力する。上記両眼視差マップ生成モジュール１００、中間視点生成モジュール２００及び多視点３次元立体映像生成モジュール３００は映像のエピポーラライン上の映像ラインに対して上記過程を繰り返し行われる。
【００２６】
図４は、図３の中間視点映像生成部２３０の並列処理メカニズムのブロックダイアグラムを示す図である。中間視点映像生成部２３０の 入力データは左側映像ＩＬの１つのラインピクセルデータ４１１、一対の映像の同一のエピポーラライン上の右側映像ＩＲの１つのラインピクセルデータ４１３及びステレオ映像対のための右側映像両眼視差ｄＲＬの１つのラインピクセルデータ４１２を含む。
【００２７】
中間視点映像生成部２３０の中間データは、左側映像ＩＬから再投影された中間映像４２１、右側映像ＩＲから再投影された中間映像４２４を含む。また、４２２は左側映像両眼視差ｄＬＲに係数α（０<α<１)をかけたものであって、左側及び右側映像間の中間映像の相対的位置を示し、４２３は右側映像両眼視差ｄＲＬに係数１-α（０<α<１)をかけたものであって、左側及び右側映像間の中間映像の相対的位置を示す。中間視点映像生成部２３０の出力データは、第Ｎの中間視点の１つのラインピクセルデータ４３０を含む。左側映像ピクセルデータ４１１から再投影された中間映像４２１は、第Ｎの中間視点の１つのラインピクセルデータ４３０を出力するために右側映像ピクセルデータ４１３から投影された中間映像４２４を組み合わせる。
【００２８】
図５は、図３に示す中間視点映像生成部２３０で行われる中間視点の映像生成方法のフローチャートを示す図である。
【００２９】
図５を参照して、左側映像及び右側映像からの再投影された中間映像の初期値ＩＩＬ（ＸＩＬ、Ｙ）及びＩＩＲ（ＸＩＲ、Ｙ）は式１により与えられる(段階Ｓ５１０)。
【００３０】
［式１］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ＩＩＬ（Ｘ、Ｙ）=０;
ＩＩＲ（Ｘ、Ｙ）=０
ここで、Ｍは映像の幅であり、Ｎは視点の数であり 、（Ｘ、Ｙ）は再投影された中間映像中の平面座標である。
【００３１】
初期値は、遮られている領域を検出するために与えられる(段階Ｓ５４１及びＳ５４２)。遮られている領域は左側から中間へ又は右側から中間へ再投影された映像が情報を有していない場合に生じる。本来の左側映像中の遮られている領域は観点が異なるため、再投影された中間映像に露出する。遮られている領域を検出するために、再投影された映像の初期値ＩＩＬ（ＸＩＬ、Ｙ）及びＩＩＲ（ＸＩＲ、Ｙ）は０に設定される。従って、遮られていない領域点及び遮られている領域点は左側映像から中間映像へ又は右側映像から中間映像へ投影された後、ピクセル値だけ異なり得る。
【００３２】
中間映像ＩＩＬ及びＩＩＲが左側映像ＩＬ及び右側映像ＩＲから投影されて強度（ｉｎｔｅｎｓｉｔｙ）値が指定されることが式２に示されている(段階Ｓ５２０)。
【００３３】
［式２］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ＩＩＬ（ＸＩ、Ｙ）=ＩＩＬ（ＸＬ＋α*ｄＬＲ（Ｘ、Ｙ）、Ｙ）=ＩＬ（ＸＬ、Ｙ）;（０<α<１)
ＩＩＲ（ＸＩ、Ｙ）=ＩＩＲ（ＸＬ＋（１-α）*ｄＲＬ（Ｘ、Ｙ）、Ｙ）=ＩＲ（ＸＲ、Ｙ）（０<α<１)
ここで、αと１-αは左側映像ＩＬ及び右側映像ＩＲから離れた所望の中間映像ＩＩＬ、ＩＩＲの相対的に正規化された距離を意味する。 ｄＬＲは左側映像ＩＬから右側映像ＩＲへの両眼視差マップである。ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。
【００３４】
α=０を左側映像の位置に、α=１を右側映像の位置にする。従って、０<α<１は中間映像の有効な位置である。中間映像を生成するために、所望の中間位置に対する両眼視差の指定が要求される。この処理はｄＬＲ及びｄＲＬ両眼視差マップを中間映像上に投影して行われる。左側映像のある位置（ＸＬ、Ｙ）に対して、中間映像の投影された位置は（ＸＬ＋α*ｄＬＲ（Ｘ、Ｙ）、Ｙ）である。右側映像のある位置（ＸＲ、Ｙ）に対して、中間映像の投影された位置は（ＸＬ＋（１-α）*ｄＲＬ（Ｘ、Ｙ）、Ｙ）である。中間映像の各位置（ＸＩ 、Ｙ）に対して、２つの対応する位置、左側映像上の（ＸＬ、Ｙ）及び右側映像上の（ＸＲ、Ｙ）は２つの両眼視差マップｄＬＲ及びｄＲＬを通じて容易に発見され得る。中間映像ＩＩＬ、ＩＩＲ上のある位置（ＸＩ、Ｙ）に対して、仮想の視点は強度値ＩＩＬ（ＸＩ、Ｙ）=ＩＩＬ（ＸＬ＋α*ｄＬＲ（Ｘ、Ｙ）、Ｙ）=ＩＬ（ＸＬ、Ｙ）及びＩＩＲ（ＸＩ、Ｙ）=ＩＩＲ（ＸＲ＋（１-α）*ｄＲＬ（Ｘ、Ｙ）、Ｙ）=ＩＲ（ＸＲ、Ｙ）の指定を通じて合成される(段階Ｓ５２０)。
【００３５】
図５を参照すれば、最終の所望の中間映像が左側映像の近くにあるかは段階Ｓ５３０で判断される。
【００３６】
段階Ｓ５３０の判断結果において, 遮られている領域の補償は式３及び式４を 用いて行われる。
【００３７】
［式３］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにＩＩＬ（ＸＩＬ、Ｙ）=０であれば、
ＩＩＬ（ＸＩＬ、Ｙ）=ＩＩＲ（ＸＩＲ、Ｙ）
ＩＩ（ＸＩ、Ｙ）=ＩＩＬ（ＸＩＬ、Ｙ）
［式４］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにＩＩＲ（ＸＩＲ、Ｙ）=０であれば、
ＩＩＲ（ＸＩＲ、Ｙ）=ＩＩＬ（ＸＩＬ、Ｙ）
ＩＩ（ＸＩ、Ｙ）=ＩＩＲ（ＸＩＲ、Ｙ）
ここで、ＩＩＬ（ＸＩＬ、Ｙ）=０であるとき、（ＸＩL、Ｙ）は中間映像ＩＩＬの遮られている領域を示し、ＩＩＬ（ＸＩＬ、Ｙ）=０であるとき、（ＸＩＲ、Ｙ）は中間映像ＩＩＲの遮られている領域を示す。
【００３８】
図５を参照して、段階Ｓ５３０で、仮りに最終の所望の中間映像ＩＩが左側映像ＩＬの近くにあれば、中間映像ＩＩＲは中間映像ＩＩＬの遮られている領域を補償するために用いられるように決定される(段階Ｓ５４１)。逆に、段階Ｓ５３０で、仮りに最終の所望の中間映像ＩＩが右側映像ＩＲの近くにあれば、中間映像ＩＩＬは中間映像ＩＩＲの遮られている領域を補償するために用いられるように決定される(段階Ｓ５４２)。補償後段階Ｓ５４１において（ＩＩＲ（ＸＩＲ、Ｙ）がＩＩＬ（ＸＩＬ、Ｙ）に設定されることとＩＩＬ（ＸＩＬ、Ｙ）が最終の所望の中間映像ＩＩに割り当てられることと、 段階Ｓ５４２においてＩＩＬ（ＸＩＬ、Ｙ）がＩＩＲ（ＸＩＲ、Ｙ）に設定されることとＩＩＲ（ＸＩＲ、Ｙ） が最終の所望の中間映像ＩＩに割り当てられることが式３及び式４に示されている。
【００３９】
図６は、中間視点生成モジュール２００で行われる右側映像両眼視差マップｄＲＬ生成方法のフローチャートを示す図である。前述の如く、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。ｄＬＲは左側映像ＩＬから右側映像ＩＲへの両眼視差マップである。両眼視差マップ生成モジュール１００から単に左側映像の両眼視差マップｄＬＲのみが生成される。しかしながら、中間視点生成モジュール２００で、両眼視差マップｄＲＬも要求される。従って、両眼視差マップｄＲＬは、中間視点生成モジュール２００内でｄＲＬからｄＬＲへのマッピング点により計算され得る。
【００４０】
両眼視差マップｄＲＬ（Ｘ、Ｙ）の初期値は、式５で与えられる(段階Ｓ６１０)。
【００４１】
［式５］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ｄＲＬ（Ｘ、Ｙ）=０
ここで、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。（Ｘ、Ｙ）は映像中の平面座標である。
【００４２】
ｄＬＲから再投影された両眼視差マップｄＲＬが情報を有していない時に遮られている領域が生じる。本来の両眼視差マップｄＬＲ中の遮られている領域は観点が異なるため、再投影された両眼視差マップｄＲＬで露出する。遮られている領域を検出するために、再投影された両眼視差マップｄＲＬの初期値は０に設定される。従って、遮られていない領域点及び遮られている領域点はｄＬＲからｄＲＬへの投影（マッピング）後にピクセル値だけ異なり得る。
【００４３】
左側映像ＩＬ及び右側映像ＩＲからの投影（マッピング）により両眼視差マップｄＲＬの初期値が割り当てられることが(段階Ｓ６２０)式６に示されている。
【００４４】
［式６］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
ｄＲＬ（Ｘ＋ｄＬＲ、Ｙ）=ｄＬＲ（Ｘ、Ｙ）
ｄＬＲは左側映像ＩＬから右側映像ＩＲへの両眼視差マップである。ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。
【００４５】
両眼視差マップｄＲＬを生成するために、本来の両眼視差マップｄＬＲの位置に対する強度値の割り当てが要求される。この過程は、両眼視差マップｄＲＬ上にｄＬＲ両眼視差を投影して行われる。両眼視差マップｄＬＲ上のある位置（Ｘ、Ｙ）に対して、両眼視差マップｄＲＬ上の投影された位置は（Ｘ＋ｄＬＲ、Ｙ）である。両眼視差マップｄＲＬ上の各位置（Ｘ＋ｄＬＲ、Ｙ）に対して、両眼視差マップｄＬＲ上の対応する位置（Ｘ、Ｙ）は両眼視差マップｄＬＲを通じて容易に発見され得る。 段階Ｓ６２０で、両眼視差マップｄＲＬ上のある位置（Ｘ＋ｄＬＲ、Ｙ）に対して、強度値を割り当て、仮想の視点が合成される。
【００４６】
段階Ｓ６２０の後、両眼視差マップｄＲＬが式６により強度値が割り当てられて合成されるが、両眼視差マップｄＲＬの遮られている領域は依然として存在する。この問題を解決するために、遮られている領域は隣接ピクセル値によって補償される(段階Ｓ６３０)。両眼視差マップｄＲＬの遮られている領域が補償されるとき、両眼視差マップｄＲＬの生成が完了する。遮られている領域の補償方法は以下に説明される。
【００４７】
図７は、図６の遮られている領域（ｏｃｃｌｕｄｅｄ ｒｅｇｉｏｎ）補償方法のフローチャートを示す図である。 図６の段階Ｓ６２０で、遮られている領域がある両眼視差マップｄＲＬが合成される。ｄＲＬの遮られている領域を補償するために、遮られている領域の前方及び後方の隣接ピクセル値が遮られている領域を補償するために用いられる。仮りに、前方及び後方の隣接ピクセル値がいずれも遮られている領域に割り当てられれば、衝突が発生し得る。従って、前方及び後方のピクセル値を比較して、より小さな値が採択される。
【００４８】
図７を参照すれば、ｄＲＬの遮られている領域の強度値が前方の隣接ピクセル値により満たされることが式７に説明されている(段階Ｓ７１０)。
【００４９】
［式７］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにｄＲＬ（Ｘ、Ｙ）=０であれば、
ｄＦＲＬ（Ｘ、Ｙ）=ｄＲＬ（Ｘ-１、Ｙ-１）
ここで、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。ｄＲＬ（Ｘ、Ｙ）=０であるとき、（Ｘ、Ｙ）は両眼視差マップｄＲＬの遮られている領域を示す。（Ｘ-１、Ｙ-１）は遮られている領域の前方の隣接ピクセル値を示す。式７において、ｄＦＲＬは前方の隣接ピクセルによる補償の後、遮られている領域の強度値を格納する。
【００５０】
図７を参照すれば、ｄＦＲＬの遮られている領域の強度値が後方の隣接ピクセル値で満たされることが式８で説明される(段階Ｓ７２０)。
【００５１】
［式８］
Ｙ=０からＮ-１までに対して、
Ｘ=０からＭ-１までに対して、
仮りにｄＲＬ（Ｘ、Ｙ）=０であれば、
ｄＢＲＬ（Ｘ、Ｙ）=ｄＲＬ（Ｘ＋１、Ｙ＋１）
ここで、ｄＲＬは右側映像ＩＲから左側映像ＩＬへの両眼視差マップである。ｄＲＬ（Ｘ、Ｙ）=０であるとき、（Ｘ、Ｙ）は両眼視差マップｄＲＬの遮られている領域を示す。（Ｘ＋１、Ｙ＋１）は遮られている領域の後方の隣接ピクセル値を示す。式８において、ｄＢＲＬは後方の隣接ピクセルによる補償の後、遮られている領域の強度値を格納する。
【００５２】
従って、遮られている領域の強度値ｄＦＲＬ及びｄＢＲＬが比較されることが式９に示されている(段階Ｓ７３０)。
【００５３】
［式９］
【数１】
【００５４】
ここで、仮りにｄＦＲＬ（Ｘ、Ｙ）＜ｄＢＲＬ（Ｘ、Ｙ）であれば、前方の隣接ピクセル値ｄＦＲＬがｄＲＬ（Ｘ、Ｙ）の遮られている領域を補償するために採択される。仮りにｄＦＲＬ（Ｘ、Ｙ）＞ｄＢＲＬ（Ｘ、Ｙ）であれば、後方の隣接ピクセル値ｄＢＲＬがｄＲＬ（Ｘ、Ｙ）の遮られている領域を補償するために採択される。
【００５５】
上記遮られている領域の強度値ｄＲＬ（Ｘ、Ｙ）が段階Ｓ７３０、Ｓ７４１及びＳ７４２を通じて判定される。ｄＲＬ（Ｘ、Ｙ）の遮られている領域は、ステレオ映像対において背景物体である。背景物体の両眼視差値は常に前景物体の両眼視差値よりも小さく、従って、ｄＲＬ（Ｘ、Ｙ）の遮られている領域の両眼視差値は前方及び後方の隣接ピクセル値のうち、より小さな値で与えられる。
【００５６】
図８は、図３に示す多視点３次元立体映像生成モジュール３００において行われる多視点３次元立体映像生成方法のフローチャートを示す図である。
【００５７】
ｎ視点がある眼鏡なし多視点ディスプレイは、本来の左側映像及び右側映像間の多様な観点からのｎ-２中間視点を要求する。図５を参照して、中間視点の合成を適用すれば、多様な観点からの中間視点が生成される。
【００５８】
眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像は、多様な観点のｎ視点から列（ｃｏｌｕｍｎ）を混合して製作される。この映像は、左側目が単に左側目の映像からの欠片のみを見ることができ、右側目は単に右側目の映像からの欠片のみを見ることができるように配列される。これは、観測者に３次元認識(３次元場面の深さ)を与える。
【００５９】
眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を形成するために多様な観点からの個別映像がインターリーブされることが式１０を通じて説明される。
【００６０】
［式１０］
【数２】
【００６１】
ここで、ＩＡｕｔｏｓｔｅｒｅｏＶｉｅｗは多視点３次元立体映像のピクセル値を示し、Ｉ０からＩｎ-１は眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を形成するための多様な観点からのｎサブ映像のピクセル値を示す。Ｉ０は本来の左側映像であり、Ｉｎ-１は本来の右側映像であり、Ｉ１、Ｉ２、…Ｉｎ-２は本来の左側映像及び右側映像間の多様な観点からのｎ-２中間視点を示す。（Ｘ、Ｙ）は映像中の平面座標である。 式１０で、段階Ｓ８１０、Ｓ８２１、Ｓ８２２、Ｓ８３１、Ｓ８３２、Ｓ８４０、Ｓ８５０、Ｓ８６０で、Ｘ％ｎはサブ映像ｎが水平軸Ｘにより分割された後の残りを意味する。
【００６２】
図８を参照すれば、眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を形成するために、多様な観点からのｎ視点の列ピクセルがＩ０からＩｎ-１まで順次インターリーブされる。多視点３次元立体映像コンテンツは、眼鏡なし３次元立体テレビディスプレイスクリーンに対するその位置に依存して観測者に観測される。眼鏡なし３次元立体テレビディスプレイスクリーン（レンズの形状又はパララックスバリア）のため、観測者の左側目はその右側目が得るのと異なる列ピクセルを受信する。これは、観測者に３次元立体場面の深さ認識(３次元場面の深さ)を与える。
【００６３】
図９は、本発明の一実施形態による図３の装置を用いる高速多視点映像合成方法の並列処理メカニズムのブロックダイアグラムを示す図である。 図９の両眼視差マップ生成モジュール１００は、左側映像両眼視差マップｄＬＲの１つのラインピクセル値を出力する。左側及び右側映像は、同じ時間に左側及び右側映像の１つのラインピクセル値を出力する。多様な観点からの第１〜第Ｎの視点を生成するための並列処理のために、中間視点生成モジュール２００の数は（Ｎ-２）である。左側映像、右側映像及び左側映像両眼視差マップの１つのラインピクセル値を受信した後、（Ｎ-２）中間視点生成モジュールはそれぞれ多様な観点から１つのラインピクセル値を出力する。ここで、第１中間視点は左側映像であり、第Ｎの中間視点は右側映像である。多視点３次元立体映像生成モジュール３００は、中間視点生成モジュール２００により提供された多様な観点からの第１〜第Ｎの中間視点の１つのラインピクセル値を受信し、ユーザに３次元の認識を与えるために眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を出力する。第１〜第Ｎの中間視点がそれぞれライン別に生成されるので、両眼視差マップを用いた高速多視点映像合成方法のパラレル処理が実施される。すなわち、左側映像及び右側映像はパラレル処理により眼鏡なし３次元立体テレビディスプレイのための多視点３次元立体映像を合成できる。
【００６４】
本発明は現在最も実用的、かつ、好適な実施形態として考慮されるものと共に説明されたが、本発明は開示された実施形態に限定されず、添付する請求範囲の精神と範疇内に含まれる多様な修正及び同等な構成を含むことを意図する。
【特許請求の範囲】
【請求項１】
左側及び右側映像のピクセルデータを用いて、左側映像両眼視差マップを生成する両眼視差マップ生成モジュール（ｄｉｓｐａｒｔｉｙ ｍａｐ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と、
前記左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて、中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）ピクセルデータを生成する中間視点生成モジュール（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と、
前記左側及び右側映像のピクセルデータ前記中間視点ピクセルデータを用いて、多視点３次元立体映像（ｍｕｌｔｉｖｉｅｗ ３Ｄ ｉｍａｇｅ）のピクセルデータを生成する多視点３次元立体映像生成モジュール（ｍｕｌｔｉｖｉｅw ３Ｄ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と
を含む高速多視点３次元立体映像の合成装置。
【請求項２】
前記左側及び右側映像のピクセルデータは、
同一のエピポーラライン上にあることを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項３】
前記両眼視差マップ生成モジュールは、
信頼性拡散（ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ）基盤アルゴリズムを通じて前記左側映像両眼視差マップを生成することを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項４】
前記中間視点生成モジュールは、
前記左側映像両眼視差マップを受信して、加工されていない右側映像両眼視差マップを生成する右側映像両眼視差マップ生成部と、
前記加工されていない右側映像両眼視差マップを受信して、遮られている領域のない右側映像両眼視差マップを生成する遮り領域補償部と、
前記遮り領域補償部によって生成された右側映像両眼視差マップを用いて、多様な観点から中間視点ピクセルデータを生成する中間視点生成部と
を含むことを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項５】
前記多視点３次元立体映像生成モジュールは、
前記多様な観点 から中間視点ピクセルデータを混ぜ合わせて前記多視点３次元立体映像のピクセルデータを生成することを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項６】
左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成する段階と、
前記左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて中間視点ピクセルデータを生成する段階と、
前記左側及び右側映像のピクセルデータと前記中間視点ピクセルデータを用いて多視点３次元立体映像のピクセルデータを生成する段階と
を含む高速多視点３次元立体映像の合成方法。
【請求項７】
前記中間視点ピクセルデータを生成する段階は、
中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）を初期化する段階と、
前記左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた前記第１中間視点ピクセルデータ値を決定し、
前記左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた右側映像両眼視差を決定し、
前記右側映像両眼視差マップを用いて前記右側映像ピクセルデータからマッピングされた前記第２中間視点ピクセルデータ値を決定する段階と、
前記中間視点が前記左側映像ピクセルデータの近く又は前記右側映像ピクセルデータの近くであるかを判定する段階と、
前記第１中間視点ピクセルデータと前記第２中間視点ピクセルデータとを結合して、前記中間視点ピクセル値を生成する段階とを含むことを特徴とする請求項６に記載の眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成方法。
【請求項８】
前記右側映像両眼視差マップの決定は、
前記右側映像両眼視差マップを初期化する段階と、
前記左側映像両眼視差マップを用いて前記左側映像両眼視差マップからマッピングされた前記右側映像両眼視差マップのピクセル値を決定する段階と、
前記決定されたピクセル値の隣接したピクセル値で前記右側映像両眼視差の前記遮られている領域を補償する段階と
を含むことを特徴とする請求項７に記載の高速多視点３次元立体映像の合成方法。
【請求項９】
前記遮られている領域を補償する段階は、
前記ピクセル値が決定されたピクセルの前方へ隣接するピクセルの前方隣接ピクセル値を格納する段階と、
前記ピクセル値が決定されたピクセルの後方へ隣接するピクセルの後方隣接ピクセル値を格納する段階と、
前記前方及び後方の隣接ピクセル値を比較する段階と、
前記前方の隣接ピクセル値と前記後方の隣接ピクセル値のうち小さい値を採択する段階と、
採択したピクセル値で前記遮られている領域のピクセル値を満たす段階と
を含むことを特徴とする請求項８に記載の高速多視点３次元立体映像の合成方法。
【請求項１０】
前記中間視点ピクセルデータを生成する段階は、
並列的に処理されることを特徴とする請求項６に記載の高速多視点３次元立体映像の合成方法。
【請求項１】
左側及び右側映像のピクセルデータを用いて、左側映像両眼視差マップを生成する両眼視差マップ生成モジュール（ｄｉｓｐａｒｔｉｙ ｍａｐ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と、
前記左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて、中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）ピクセルデータを生成する中間視点生成モジュール（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と、
前記左側及び右側映像のピクセルデータ前記中間視点ピクセルデータを用いて、多視点３次元立体映像（ｍｕｌｔｉｖｉｅｗ ３Ｄ ｉｍａｇｅ）のピクセルデータを生成する多視点３次元立体映像生成モジュール（ｍｕｌｔｉｖｉｅw ３Ｄ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）と
を含む高速多視点３次元立体映像の合成装置。
【請求項２】
前記左側及び右側映像のピクセルデータは、
同一のエピポーラライン上にあることを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項３】
前記両眼視差マップ生成モジュールは、
信頼性拡散（ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ）基盤アルゴリズムを通じて前記左側映像両眼視差マップを生成することを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項４】
前記中間視点生成モジュールは、
前記左側映像両眼視差マップを受信して、加工されていない右側映像両眼視差マップを生成する右側映像両眼視差マップ生成部と、
前記加工されていない右側映像両眼視差マップを受信して、遮られている領域のない右側映像両眼視差マップを生成する遮り領域補償部と、
前記遮り領域補償部によって生成された右側映像両眼視差マップを用いて、多様な観点から中間視点ピクセルデータを生成する中間視点生成部と
を含むことを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項５】
前記多視点３次元立体映像生成モジュールは、
前記多様な観点 から中間視点ピクセルデータを混ぜ合わせて前記多視点３次元立体映像のピクセルデータを生成することを特徴とする請求項１に記載の高速多視点３次元立体映像の合成装置。
【請求項６】
左側及び右側映像のピクセルデータから左側映像両眼視差マップを生成する段階と、
前記左側及び右側映像のピクセルデータと前記左側映像両眼視差マップを用いて中間視点ピクセルデータを生成する段階と、
前記左側及び右側映像のピクセルデータと前記中間視点ピクセルデータを用いて多視点３次元立体映像のピクセルデータを生成する段階と
を含む高速多視点３次元立体映像の合成方法。
【請求項７】
前記中間視点ピクセルデータを生成する段階は、
中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）を初期化する段階と、
前記左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた前記第１中間視点ピクセルデータ値を決定し、
前記左側映像両眼視差マップを用いて前記左側映像ピクセルデータからマッピングされた右側映像両眼視差を決定し、
前記右側映像両眼視差マップを用いて前記右側映像ピクセルデータからマッピングされた前記第２中間視点ピクセルデータ値を決定する段階と、
前記中間視点が前記左側映像ピクセルデータの近く又は前記右側映像ピクセルデータの近くであるかを判定する段階と、
前記第１中間視点ピクセルデータと前記第２中間視点ピクセルデータとを結合して、前記中間視点ピクセル値を生成する段階とを含むことを特徴とする請求項６に記載の眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成方法。
【請求項８】
前記右側映像両眼視差マップの決定は、
前記右側映像両眼視差マップを初期化する段階と、
前記左側映像両眼視差マップを用いて前記左側映像両眼視差マップからマッピングされた前記右側映像両眼視差マップのピクセル値を決定する段階と、
前記決定されたピクセル値の隣接したピクセル値で前記右側映像両眼視差の前記遮られている領域を補償する段階と
を含むことを特徴とする請求項７に記載の高速多視点３次元立体映像の合成方法。
【請求項９】
前記遮られている領域を補償する段階は、
前記ピクセル値が決定されたピクセルの前方へ隣接するピクセルの前方隣接ピクセル値を格納する段階と、
前記ピクセル値が決定されたピクセルの後方へ隣接するピクセルの後方隣接ピクセル値を格納する段階と、
前記前方及び後方の隣接ピクセル値を比較する段階と、
前記前方の隣接ピクセル値と前記後方の隣接ピクセル値のうち小さい値を採択する段階と、
採択したピクセル値で前記遮られている領域のピクセル値を満たす段階と
を含むことを特徴とする請求項８に記載の高速多視点３次元立体映像の合成方法。
【請求項１０】
前記中間視点ピクセルデータを生成する段階は、
並列的に処理されることを特徴とする請求項６に記載の高速多視点３次元立体映像の合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１１−５１９２０９（Ｐ２０１１−５１９２０９Ａ）
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１１−５０３９１０（Ｐ２０１１−５０３９１０）
【出願日】平成２１年４月９日（２００９．４．９）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００１８３４
【国際公開番号】ＷＯ２００９／１２５９８８
【国際公開日】平成２１年１０月１５日（２００９．１０．１５）
【出願人】（５０５２８２０４２）ポステック・アカデミー‐インダストリー・ファウンデーション (34)
【Ｆターム（参考）】
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年４月９日（２００９．４．９）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００１８３４
【国際公開番号】ＷＯ２００９／１２５９８８
【国際公開日】平成２１年１０月１５日（２００９．１０．１５）
【出願人】（５０５２８２０４２）ポステック・アカデミー‐インダストリー・ファウンデーション (34)
【Ｆターム（参考）】
[ Back to top ]