３Ｄ映像変換装置、その具現方法及びその保存媒体
【課題】 ３Ｄ映像変換装置、その具現方法及びその保存媒体を開示する。
【解決手段】 本発明による３Ｄ映像変換装置は、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる映像変換部と；前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する制御部と；前記映像変換部によって変換された立体映像と、前記制御部によって遂行されたエラーチェック結果に従って前記複数のフレームの中で前記一部フレームに対するエラー情報を表示するディスプレイ部と；を含む。
【解決手段】 本発明による３Ｄ映像変換装置は、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる映像変換部と；前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する制御部と；前記映像変換部によって変換された立体映像と、前記制御部によって遂行されたエラーチェック結果に従って前記複数のフレームの中で前記一部フレームに対するエラー情報を表示するディスプレイ部と；を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ映像変換装置、その具現方法及びその保存媒体に係り、さらに詳しくは、２Ｄ入力映像を３Ｄ映像に変換する３Ｄ映像変換装置、その具現方法及びその保存媒体に関する。
【背景技術】
【０００２】
複数のフレームを含む２Ｄ映像を３Ｄ映像に変換できる従来の映像変換装置は、前記複数のフレームの一部が３Ｄ映像に変換される過程中には、変換エラーが発生されたか否かを確認することができなかった。従って、前記複数のフレーム全体が３Ｄ映像に変換された後に、エラーをチェックしなければならないので不便があった。
【０００３】
従って、２Ｄ映像を３Ｄ映像に変換する時、前記複数のフレームの中で一部のフレームに対応して生成された３Ｄ映像に対して、変換時のエラー発生可否をチェックする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、複数のフレームを含む２Ｄ映像を３Ｄ映像に変換する時に、前記複数のフレームの中で一部のフレームに対応して生成された３Ｄ映像に対して、エラーをチェックし修正できる３Ｄ映像変換装置、その具現方法及びその保存媒体を提供することである。
【課題を解決するための手段】
【０００５】
前記目的は、本発明により、３Ｄ映像変換装置において、ディスプレイ部と；複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる映像変換部と；前記複数のフレームの中で立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行する制御部と；前記映像変換部によって変換された立体映像と、前記制御部によって遂行されたエラーチェック結果に従って前記複数のフレームの中で前記一部フレームに対するエラー情報を表示するディスプレイ部と；を含むことを特徴とする３Ｄ映像変換装置によって達成されることができる。
【０００６】
前記映像変換部は、前記複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、前記立体映像変換情報を生成することができる。
【０００７】
前記制御部は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断することができる。
【０００８】
前記制御部は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断することができる。
【０００９】
前記制御部は、前記非−キーフレームに対して、オブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断することができる。
【００１０】
前記制御部は、前記エラーに対する情報として前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示することができる。
【００１１】
前記３Ｄ映像変換装置は、エラー修正のための第１ＵＩを生成するＵＩ生成部をさらに含み、前記制御部は、前記エラーが発見された前記複数のフレームの中で前記一部フレームに前記生成された第１ＵＩを生成及び表示するように前記ＵＩ生成部を制御することができる。
【００１２】
前記３Ｄ映像変換装置は、ユーザ入力部をさらに含み、前記制御部は、前記第１ＵＩを通じて入力された選択に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に基づいて前記入力映像をレンダリングするように前記映像変換部を制御することができる。
【００１３】
前記３Ｄ映像変換装置は、エラー発生可能レベルを表示するための第２ＵＩを生成するＵＩ生成部をさらに含み、前記制御部は、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断されたエラー発生レベルを表示するための第２ＵＩを生成及び表示するように前記ＵＩ生成部を制御することができる。
【００１４】
前記制御部は、前記複数のフレームに含まれたオブジェクトの複雑性又はオブジェクトの動き量に基づいて前記エラー発生可能レベルを判断することができる。
【００１５】
前記３Ｄ映像変換装置は、ユーザ入力部をさらに含み、前記制御部は、前記ユーザ入力部を通じてエラーチェックモード選択が入力されれば、前記複数のフレームの中で前記入力時点まで立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行することができる。
【００１６】
また、前記目的は、本発明により、３Ｄ映像変換装置によって具現される方法において、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる段階と；前記複数のフレームの中で立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行する段階と；前記エラーチェック結果によるエラーに対する情報と前記立体映像を表示する段階と；を含むことを特徴とする方法によって達成されることができる。
【００１７】
前記立体映像変換情報生成段階は、前記複数のフレームの中でキーフレームを選定する段階と；前記選定されたキーフレームに含まれたオブジェクトを抽出する段階と；前記抽出されたオブジェクトに対する深さ情報を割り当てる段階と；前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行する段階と；を含むことができる。
【００１８】
前記エラーチェック遂行段階は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断する段階を含むことができる。
【００１９】
前記エラーチェック遂行段階は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断する段階を含むことができる。
【００２０】
前記エラーチェック遂行段階は、前記非−キーフレームに対してオブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断する段階を含むことができる。
【００２１】
前記エラー情報表示段階は、前記エラーに対する情報として前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示する段階を含むことができる。
【００２２】
前記方法は、前記エラーが発見された前記複数のフレームの中で前記一部フレームにエラー修正のための第１ＵＩを生成及び表示する段階をさらに含むことができる。
【００２３】
前記方法は、前記第１ＵＩを通じて入力された選択に基づいて前記立体映像変換情報を修正する段階と；前記修正された立体映像変換情報に基づいて前記入力映像をレンダリングする段階と；をさらに含むことができる。
【００２４】
前記方法は、前記複数のフレームに対するエラー発生可能レベルを判断する段階と；前記判断されたエラー発生可能レベルを表示するための第２ＵＩを生成及び表示する段階と；をさらに含むことができる。
【００２５】
前記判断段階は、前記複数のフレームに含まれたオブジェクトの複雑性又は前記オブジェクトの動き量に基づいて前記エラー発生可能レベルを判断する段階である。
【００２６】
前記エラーチェック遂行段階は、エラーチェックモード選択が入力されれば、前記複数のフレームの中で前記入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する段階である。
【００２７】
また、前記目的は、本発明により、前記方法をコンピュータで実行させるためのプログラムを記録した記録媒体によって達成される。
【発明の効果】
【００２８】
以上、説明した通り、本発明によれば、複数のフレームを含む２Ｄ映像を３Ｄ映像に変換する時に、前記複数のフレームの中で一部のフレームに対応して生成された３Ｄ映像に対して、エラーをチェックし修正できる３Ｄ映像変換装置、その具現方法及びその保存媒体が提供される。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。
【図２】本発明の一実施形態による３Ｄ映像変換装置の制御部の動作を示す一実施形態である。
【図３】本発明の一実施形態による３Ｄ映像変換装置の制御部の他の動作を示す一実施形態である。
【図４】本発明の一実施形態による３Ｄ映像変換装置の制御部のまた他の動作を示す一実施形態である。
【図５】本発明の３Ｄ映像変換装置の具現方法を示すフローチャートである。
【図６】本発明の３Ｄ映像変換装置の具現方法を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、添付図面を参考して、本発明の実施形態に対して本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。本発明は、多様な形態で具現されることができるし、ここで説明する実施形態に限定されない。本発明を明確に説明するために説明に係らない部分は省略し、明細書において、同一又は類似な構成要素に対しては同じ参照符号を付けるようにする。
【００３１】
図１は、本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）又は保存媒体（図示せず）から提供される単眼映像の入力映像を両眼映像に変換することができる。前記単眼映像は、２次元映像を含むことで、二つの用語は互いに混用されて使用されることができる。前記両眼映像は、３次元映像（３Ｄ映像又は立体映像）を含むことで、これら用語は互いに混用されて使用されることができる。３Ｄ映像変換装置１００は、入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行することによって３次元映像に変換させる。
【００３２】
３Ｄ映像変換装置１００が複数のフレームを含む入力映像を３次元映像に変換を遂行する中間に、ユーザからエラーチェックモード選択入力が受信されれば、前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行することができる。３Ｄ映像変換装置１００は、前記エラーチェック遂行結果、エラーが発生されたと確認されれば、前記エラーが発生されたフレーム上にエラーに対する情報を表示することができる。また、３Ｄ映像変換装置１００を通じて前記エラーを修正するために前記生成された立体映像変換情報を修正することができるし、修正された立体映像変換情報に基づいて前記入力映像に対してレンダリングを遂行して立体映像に変換することができる。
【００３３】
図面に示すように、３Ｄ映像変換装置１００は、受信部１１０、映像変換部１２０、ディスプレイ部１３０、ユーザ入力部１４０、ＵＩ生成部１５０及びこれらを制御する制御部１６０を含む。
【００３４】
３Ｄ映像変換装置１００は、単眼映像である入力映像を両眼映像に変換できるいかなるタイプの電子装置も含むことができる。または、３Ｄ映像変換装置１００は、単眼映像を両眼映像に変換するプログラムを含むいかなる電子装置を含むことができる。このような電子装置は、ディスプレイ装置、例えば、ＰＣ等を含むことができる。
【００３５】
３Ｄ映像変換装置１００は、受信部１１０を通じて外部のソース提供装置（図示せず）から複数のフレームを含む入力映像を受信することができる。３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）と所定の有線又は無線ネットワークを通じてデータ通信が可能である。または、３Ｄ映像変換装置１００は、ＵＳＢ、ＣＤ、ＢＤ等のような外部保存媒体（図示せず）から複数のフレームを含む入力映像を受信することができる。
【００３６】
３Ｄ映像変換装置１００によって入力映像から変換された立体映像は、シャッターメガネ方式による立体映像又は偏光メガネ方式による立体映像であることができる。前記シャッターメガネ方式は、シャッターメガネを使用して３Ｄ映像を具現する方式として、ディスプレイ装置が左右の映像を別に表示し、左側映像は左側メガネが、右側映像は右側メガネが開かれて左右映像を分離することによって立体感を提供する方式である。前記偏光メガネ方式は、偏光メガネを使用して３Ｄ映像を具現する方式として、ディスプレイ装置１００は、偏光フィルターが含まれていて、偏光フィルターと同じ偏光方式の偏光メガネで見ることによって、左側目には左側映像だけ、右側目には右側映像だけが入力されて、立体感を認知するようにする。３Ｄ映像変換装置１００の映像変換部１１０は、入力映像に対する立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行し、前記シャッターメガネ方式及び偏光メガネ方式の中で何れか一つに対応されるフォーマットでフォーマット変更を遂行することによって、シャッターメガネ方式による立体映像又は偏光メガネ方式による立体映像を生成することができる。
【００３７】
映像変換部１２０は、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる。
【００３８】
前記立体映像変換情報は、キーフレーム情報、オブジェクト抽出情報及び深さ情報の中で少なくとも何れか一つを含む。前記キーフレーム情報は、前記入力映像を構成する複数のフレームの中でシーン変化フレーム、重要オブジェクトが最初に現れるフレーム、オブジェクトの動きが大きいフレーム等を含む。前記オブジェクト抽出情報は、変換しようとするフレームに含まれた少なくとも一つのオブジェクトに対して立体感を表示するための深さ値が割り当てられるオブジェクトの選択情報を含む。前記深さ情報は、立体感を表示するための深さ値を含む。従って、映像変換部１２０は、前記複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、前記立体映像変換情報を生成する。前記非−キーフレームは、前記複数のフレームの中でキーフレームではない残りのフレームを含むことである。例えて説明すれば、シーンが変化されるフレームをキーフレームとして選定すれば、非−キーフレームは、前記キーフレームすぐ次のフレームから前記シーンの次のシーンが変化されるフレーム直前までのフレームを意味する。従って、非−キーフレームは、前記キーフレームと類似な背景及び類似なオブジェクトを含むと推定することができるし、前記キーフレームに対するオブジェクト抽出情報及び深さ情報割当情報を利用して、前記非−キーフレームに対するオブジェクト抽出及び深さ情報割当を遂行することができるし、このような過程をトラッキング過程という。
【００３９】
映像変換部１２０は、前記映像変換部の機能を実質的に機能できる所定の映像変換プログラムの形態で具現されることができる。映像変換部１２０が所定の映像変換プログラムの形態で具現される場合、前記映像変換プログラムは、保存部（図示せず）に保存されていて、制御部１６０の制御下で保存部（図示せず）に保存された映像変換プログラムがＲＡＭ（図示せず）にローディングされて実行されることができる。
【００４０】
ディスプレイ部１３０は、映像変換部１２０によって変換された立体映像を３次元的に表示することができる。ディスプレイ部１３０は、制御部１６０の制御によって、エラーチェック遂行結果によるエラーに対する情報を該当フレーム上に表示することができる。また、ディスプレイ部１３０は、後述するＵＩ生成部１５０によって生成されたＵＩを表示する。ディスプレイ部１３０の具現方式は、限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）等の多様なディスプレイ方式で具現されることができる。
【００４１】
ユーザ入力部１４０は、ユーザの入力を受信するユーザインターフェースとして、３Ｄ映像変換装置１００の機能又は作動に関するユーザの選択が入力される。従って、３Ｄ映像変換装置１００は、ユーザ入力部１３０を通じてエラーチェックモード選択の入力を受信したりディスプレイ部１３０に表示されるＵＩの選択入力を受信することができる。ユーザ入力部１４０は、少なくとも一つのキーボタンを備えることができるし、３Ｄ映像変換装置１００に設けられる操作パネル又はタッチパネルで具現されることができる。または、３Ｄ映像変換装置１００に有線又は無線で連結されるリモートコントローラー、キーボード、マウス等のようなポインティン装置等の形態で具現されることができる。
【００４２】
ＵＩ生成部１５０は、制御部１６０の制御によってエラー修正のための第１ＵＩを生成する。また、ＵＩ生成部１５０は、制御部１６０の制御によってエラー発生可能レベルを表示するための第２ＵＩを生成する。ＵＩ生成部１４０によって生成されるすべてのＵＩはＧＵＩの形態で生成されて、ディスプレイ部１３０に表示されることができる。
【００４３】
制御部１６０は、入力映像を構成する複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行し、その結果によるエラーに対する情報を該当フレーム上に表示されるようにディスプレイ部１３０を制御することができる。制御部１６０は、ユーザ入力部１４０を通じてユーザからエラーチェックモード選択が入力されれば、前記複数のフレームの中で前記エラーチェックモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行することができる。制御部１６０は、前記入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックのためのレンダリングを遂行するように映像変換部１２０を制御し、レンダリングされた立体映像に対してエラーチェックを遂行する。以下、図２乃至図４を参照して、制御部１６０の動作に対してさらに詳しく説明する。
【００４４】
図２は、本発明の一実施形態による３Ｄ映像変換装置の制御部の動作を示す一実施形態である。
【００４５】
前述のように、映像変換部１２０は、入力映像を構成する複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、入力映像に対する立体映像変換情報を生成する。
【００４６】
制御部１６０は、ユーザ入力部１４０を通じてエラーチェックモード選択が入力されれば、前記映像変換部１２０の動作遂行結果に対してエラーチェックを遂行することになる。
【００４７】
前記エラーチェック遂行の一実施形態として、制御部１６０は、エラーチェックを遂行したフレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断することができる。
【００４８】
図２の（Ａ）は、前記複数のフレームの中で特定フレームの原本イメージを示している。図２の（Ｂ）は、前記原本イメージAに対応される立体映像変換情報が生成されたフレームに対して、ブロック基盤モーションベクター推定を遂行した結果である。即ち、制御部は、オブジェクト抽出のエラー可否を判断するために、エラーチェックを遂行するフレームに対してブロック基盤モーションベクターを推定することになる。その結果、図２の（Ｂ）のように、制御部１６０は、特定領域（第１領域）１６１のモーションベクターが、他の領域のモーションベクターとその方向が異なると判断されれば、前記第１領域１６１のオブジェクトの抽出にエラーが発生されたと判断する。この場合、制御部１６０は、ユーザ識別のために、該当フレームの前記エラーが発生された第１領域１６１のモーションベクターを他の領域のモーションベクターよりボールド又はハイライトで表示したり、異なる色で表示したりすることができる。
【００４９】
前記エラーチェック遂行の他の一実施形態として、制御部１６０は、エラーチェックを遂行したフレームの深さマップに基づいて、前記深さ情報割当のエラー可否を判断することができる。
【００５０】
図２の（Ｃ）は、前記原本イメージ（Ａ）に対応される立体映像変換情報が生成されたフレームに対する深さマップを示している。前記深さマップは、該当フレームに適用された深さ値をマップで表現したことで、深さ値に従ってブラック及びホワイトで表示される。（−）深さ値を有するほどホワイトで、（＋）深さ値を有するほどブラックで表示すれば、深さ値の大きさは、その濃度で表示されることである。
【００５１】
原本イメージＡと比べる時、図２の（Ｃ）の深さマップで、第２領域１６３は（−）深さ値が割り当てられなければならないのに（＋）深さ値が割り当てられ、第３領域１６５は（＋）深さ値が割り当てられなければならないのに（−）深さ値が割り当てられた。このように、制御部１６０は、深さマップに基づいて深さ情報割当のエラー可否を判断できて、前記エラーが発生された領域をユーザが識別できる表示（領域指定、指定された領域の色又はハイライト表示）を遂行することができる。
【００５２】
エラーチェック遂行のまた他の実施形態で、制御部１６０は、前記複数のフレームの中で非−キーフレームに対してオブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて、前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断することができる。映像変換部１２０で、前述のように、少なくとも一つの非−キーフレームは、キーフレームに対してトラッキング過程を遂行してオブジェクト抽出及び深さ情報が割り当てられる。従って、制御部１６０は、オブジェクト抽出又は深さ情報の割当に対するエラーが発生されたフレームが前記非−キーフレームであり、エラーが発生された非−キーフレームの個数が所定の個数以上になれば、前記非−キーフレームに対応するキーフレームの選定にエラーがあると判断することができる。この場合、制御部１６０は、エラーが発生された少なくとも一つの非−キーフレーム上にキーフレーム選定のエラーが発生されたことを、ユーザが識別することができるように表示することができる。
【００５３】
図３は、本発明の一実施形態による３Ｄ映像変換装置の制御部の他の動作を示す一実施形態である。
【００５４】
前記エラーチェックを遂行した結果、エラーが発生されたと確認されれば、制御部１６０は、ＵＩ生成部１５０を制御してエラー修正のための第１ＵＩを生成及び表示されるようにする。制御部１６０は、前記エラーが表示されたフレームに対してユーザ入力部１４０を通じてエラー修正モード選択が入力されれば、ＵＩ生成部１５０を制御して第１ＵＩを生成及び表示されるようにする。前記第１ＵＩは、オブジェクト抽出を修正するための第１サブＵＩ、深さ情報再割当のための第２サブ及びＵＩキーフレーム再選定のための第３サブＵＩの中で少なくともいずれか一つを含む。
【００５５】
図面に示すように、制御部１６０は、エラーが発生された領域１６１、１６３、１６５を含むフレーム上にエラー修正のための第１ＵＩを生成して表示する。
【００５６】
図３の（Ａ）の場合、制御部１６０の制御によって、第１サブＵＩが生成された一実施形態を示している。前記図２の（Ｂ）で制御部１６０は、オブジェクト抽出のエラーが発生されたと確認された第１領域１６１に対して、前記オブジェクト抽出の修正のための第１サブＵＩ１５１を生成及び表示するように、ＵＩ生成部１５０を制御することができる。前記第１サブＵＩ１５１は、ポインティン装置のようなユーザ入力部１４０を通じてオブジェクト抽出のための境界線１５２を修正できるインターフェースである。従って、前記第１サブＵＩ１５１を通じてユーザは、オブジェクト抽出のための境界線１５２を適切に修正することができる。
【００５７】
図３の（Ｂ）の場合、制御部１６０の制御によって、第２サブＵＩが生成された一実施形態を示している。前記図２の（Ｃ）で制御部１６０は、深さ情報割当のエラーが発生されたと確認された第２領域１６３及び第３領域１６５に対して、前記深さ情報の再割当のための第２ＵＩを生成及び表示するように、ＵＩ生成部１５０を制御することができる。例えば、ユーザがユーザ入力部１４０を通じて前記第３領域１６５を選択する場合、前記第２サブＵＩ１５３が生成及び表示され、前記第２サブＵＩ１５３は、深さ値を調整できるスライドバーの形態で具現されて、ユーザが希望する所定の深さ値になるように調整することができる。たとえ、本実施形態ではスライドバーの形態で具現されたが、特定数値を入力できるＵＩの形態で具現されることもできる。従って、ユーザの選択を受けることができるいかなる形態のＵＩも含まれることができる。
【００５８】
制御部１６０は、前記第１ＵＩを通じてユーザ選択が入力されれば、前記ユーザ選択に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に基づいて前記入力映像をレンダリングするように映像変換部１２０を制御することができる。従って、本発明は、入力映像の立体映像への変換する過程中にエラーチェック遂行モードを通じてユーザは立体映像変換情報生成の妥当性を中間に検討できて、また修正モードを通じて立体映像変換情報を修正し、前記修正が反映された立体映像に変化されるようにすることができる利点を有する。
【００５９】
図４は、本発明の一実施形態による３Ｄ映像変換装置の制御部のまた他の動作を示す一実施形態である。
【００６０】
制御部１６０は、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断されたレベルを表示するための第２ＵＩを生成及び表示するようにＵＩ生成部１５０を制御することができる。これは、ユーザが前記複数のフレームに対してエラー発生の可能性がどの程度であるかを予め確認できるようにする。また、前記エラー発生可能性が高いと判断されたフレームに対してだけエラーチェックを遂行するようにすることもできる。
【００６１】
制御部１６０は、前記複数のフレーム各々に含まれたオブジェクトの複雑性又はオブジェクトの動き量に基づいて前記エラー発生可能レベルを判断することができる。オブジェクトが複雑だったり、オブジェクトの動き量が大きい場合には、前記オブジェクト抽出にエラーが発生する確率が高くて、またオブジェクト抽出がエラーが発生する確率が高ければ前記抽出されたオブジェクトに深さ値の割当にもエラーが発生する確率が高いためである。従って、制御部１６０は、ユーザ入力部１４０を通じて特定キー入力が受信されれば、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断結果を表示するための第２ＵＩを生成及び表示するようにＵＩ生成部１５０を制御する。
【００６２】
前記第２ＵＩの具現形態の一実施形態は、図４に示す通りである。所定大きさのバー１６７は、複数のフレームの区間を示すこととして、複数のフレームを構成する第１フレームから第Ｎフレームを表示することで、矢印１６８はバー１６７上を前後に自由に移動可能に具現されたこととして、前記矢印１６８の移動で前記複数のフレームをナビゲーションすることができる。前記矢印１６８の移動でいずれか一つのフレームが選択されれば、該当フレームのサムネイルイメージ１６８ａが表示される。グラフ１６９は、制御部１６０によるエラー発生可能レベルの判断結果を示す。前記グラフ１６９を通じて、ユーザは、どのフレームにエラー発生の可能性が高いかをひと目で確認することができる。
【００６３】
また、制御部１６０は、前記エラー発生可能レベルが所定レベル以上だと確認された少なくとも一つのフレームに対してだけエラーチェックを遂行することもできる。
【００６４】
図５及び図６は、本発明の３Ｄ映像変換装置の具現方法を示すフローチャートである。図５に示すように、複数のフレームを含む入力映像の立体映像に変換が開始される段階（Ｓ２０１）と、エラーチェックモード選択の入力が受信される段階（Ｓ２０２）、前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する段階（Ｓ２０３）と、前記遂行結果に他のエラーに対する情報を表示する段階（Ｓ２０４）を含む。
【００６５】
図６は、前記具現方法をさらに詳しく示すフローチャートで、図面に示すように、入力映像に対して映像変換部１２０は、複数のフレームの中でキーフレームを選定し（Ｓ３０１）、前記キーフレームに対するオブジェクトを抽出し（Ｓ３０２）、前記抽出されたオブジェクトに対して深さ情報を割り当て（Ｓ３０３）、前記キーフレームではない残りのフレーム（非−キーフレーム）に対してトラッキングを遂行し（Ｓ３０４）、エラーチェックモード選択の入力が受信されれば、前記入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する（Ｓ３０５）。前記エラーチェックの遂行結果（Ｓ３０６）、エラーが発見されなければ、前記生成された立体映像変換情報に基づいてレンダリングを遂行して立体映像に変換を完了し（Ｓ３０７）、前記エラーが発見されれば、エラーに対する情報を該当フレームに表示する（Ｓ３０８）。エラー修正モードの入力が受信されれば、前記エラー修正のためのＵＩを生成及び表示し（Ｓ３０９）、前記ＵＩを通じて立体映像変換情報が修正されれば（Ｓ３１０）、前記修正された立体映像変換情報に基づいてレンダリングを遂行して立体映像への変換を完了する（Ｓ３１１）。
【００６６】
本発明による３Ｄ映像変換装置によって具現される方法は、多様なコンピュータ手段を通じて行なわれることができるプログラム命令形態で具現されてコンピュータ判読可能な保存媒体に記録されることができる。前記コンピュータ判読可能な保存媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記保存媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたことや、コンピュータソフトウェア当業者に公知されて使用可能なことでありうる。コンピュータ判読可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ-ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令は、例えば、コンパイラーによって作られるような機械語コードだけでなく、インタープリターなどを使ってコンピュータによって実行されることができる高級言語コードを含む。前記ハードウェア装置は、本発明の動作を遂行するために、一つ以上のソフトウェアモジュールとして作動するように構成され、その反対も同じである。
【００６７】
以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人なら本発明の原則や精神に外れなく本発明の一実施形態を変形し得ることを分かることができる。発明の範囲は、特許請求の範囲とその均等物によって定まれる。
【符号の説明】
【００６８】
１００ ３Ｄ映像変換装置
１１０ 受信部
１２０ 映像変換部
１３０ ディスプレイ部
１４０ ユーザ入力部
１５０ ＵＩ生成部
１６０ 制御部
【技術分野】
【０００１】
本発明は、３Ｄ映像変換装置、その具現方法及びその保存媒体に係り、さらに詳しくは、２Ｄ入力映像を３Ｄ映像に変換する３Ｄ映像変換装置、その具現方法及びその保存媒体に関する。
【背景技術】
【０００２】
複数のフレームを含む２Ｄ映像を３Ｄ映像に変換できる従来の映像変換装置は、前記複数のフレームの一部が３Ｄ映像に変換される過程中には、変換エラーが発生されたか否かを確認することができなかった。従って、前記複数のフレーム全体が３Ｄ映像に変換された後に、エラーをチェックしなければならないので不便があった。
【０００３】
従って、２Ｄ映像を３Ｄ映像に変換する時、前記複数のフレームの中で一部のフレームに対応して生成された３Ｄ映像に対して、変換時のエラー発生可否をチェックする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従って、本発明の目的は、複数のフレームを含む２Ｄ映像を３Ｄ映像に変換する時に、前記複数のフレームの中で一部のフレームに対応して生成された３Ｄ映像に対して、エラーをチェックし修正できる３Ｄ映像変換装置、その具現方法及びその保存媒体を提供することである。
【課題を解決するための手段】
【０００５】
前記目的は、本発明により、３Ｄ映像変換装置において、ディスプレイ部と；複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる映像変換部と；前記複数のフレームの中で立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行する制御部と；前記映像変換部によって変換された立体映像と、前記制御部によって遂行されたエラーチェック結果に従って前記複数のフレームの中で前記一部フレームに対するエラー情報を表示するディスプレイ部と；を含むことを特徴とする３Ｄ映像変換装置によって達成されることができる。
【０００６】
前記映像変換部は、前記複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、前記立体映像変換情報を生成することができる。
【０００７】
前記制御部は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断することができる。
【０００８】
前記制御部は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断することができる。
【０００９】
前記制御部は、前記非−キーフレームに対して、オブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断することができる。
【００１０】
前記制御部は、前記エラーに対する情報として前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示することができる。
【００１１】
前記３Ｄ映像変換装置は、エラー修正のための第１ＵＩを生成するＵＩ生成部をさらに含み、前記制御部は、前記エラーが発見された前記複数のフレームの中で前記一部フレームに前記生成された第１ＵＩを生成及び表示するように前記ＵＩ生成部を制御することができる。
【００１２】
前記３Ｄ映像変換装置は、ユーザ入力部をさらに含み、前記制御部は、前記第１ＵＩを通じて入力された選択に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に基づいて前記入力映像をレンダリングするように前記映像変換部を制御することができる。
【００１３】
前記３Ｄ映像変換装置は、エラー発生可能レベルを表示するための第２ＵＩを生成するＵＩ生成部をさらに含み、前記制御部は、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断されたエラー発生レベルを表示するための第２ＵＩを生成及び表示するように前記ＵＩ生成部を制御することができる。
【００１４】
前記制御部は、前記複数のフレームに含まれたオブジェクトの複雑性又はオブジェクトの動き量に基づいて前記エラー発生可能レベルを判断することができる。
【００１５】
前記３Ｄ映像変換装置は、ユーザ入力部をさらに含み、前記制御部は、前記ユーザ入力部を通じてエラーチェックモード選択が入力されれば、前記複数のフレームの中で前記入力時点まで立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行することができる。
【００１６】
また、前記目的は、本発明により、３Ｄ映像変換装置によって具現される方法において、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる段階と；前記複数のフレームの中で立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行する段階と；前記エラーチェック結果によるエラーに対する情報と前記立体映像を表示する段階と；を含むことを特徴とする方法によって達成されることができる。
【００１７】
前記立体映像変換情報生成段階は、前記複数のフレームの中でキーフレームを選定する段階と；前記選定されたキーフレームに含まれたオブジェクトを抽出する段階と；前記抽出されたオブジェクトに対する深さ情報を割り当てる段階と；前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行する段階と；を含むことができる。
【００１８】
前記エラーチェック遂行段階は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断する段階を含むことができる。
【００１９】
前記エラーチェック遂行段階は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断する段階を含むことができる。
【００２０】
前記エラーチェック遂行段階は、前記非−キーフレームに対してオブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断する段階を含むことができる。
【００２１】
前記エラー情報表示段階は、前記エラーに対する情報として前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示する段階を含むことができる。
【００２２】
前記方法は、前記エラーが発見された前記複数のフレームの中で前記一部フレームにエラー修正のための第１ＵＩを生成及び表示する段階をさらに含むことができる。
【００２３】
前記方法は、前記第１ＵＩを通じて入力された選択に基づいて前記立体映像変換情報を修正する段階と；前記修正された立体映像変換情報に基づいて前記入力映像をレンダリングする段階と；をさらに含むことができる。
【００２４】
前記方法は、前記複数のフレームに対するエラー発生可能レベルを判断する段階と；前記判断されたエラー発生可能レベルを表示するための第２ＵＩを生成及び表示する段階と；をさらに含むことができる。
【００２５】
前記判断段階は、前記複数のフレームに含まれたオブジェクトの複雑性又は前記オブジェクトの動き量に基づいて前記エラー発生可能レベルを判断する段階である。
【００２６】
前記エラーチェック遂行段階は、エラーチェックモード選択が入力されれば、前記複数のフレームの中で前記入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する段階である。
【００２７】
また、前記目的は、本発明により、前記方法をコンピュータで実行させるためのプログラムを記録した記録媒体によって達成される。
【発明の効果】
【００２８】
以上、説明した通り、本発明によれば、複数のフレームを含む２Ｄ映像を３Ｄ映像に変換する時に、前記複数のフレームの中で一部のフレームに対応して生成された３Ｄ映像に対して、エラーをチェックし修正できる３Ｄ映像変換装置、その具現方法及びその保存媒体が提供される。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。
【図２】本発明の一実施形態による３Ｄ映像変換装置の制御部の動作を示す一実施形態である。
【図３】本発明の一実施形態による３Ｄ映像変換装置の制御部の他の動作を示す一実施形態である。
【図４】本発明の一実施形態による３Ｄ映像変換装置の制御部のまた他の動作を示す一実施形態である。
【図５】本発明の３Ｄ映像変換装置の具現方法を示すフローチャートである。
【図６】本発明の３Ｄ映像変換装置の具現方法を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、添付図面を参考して、本発明の実施形態に対して本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。本発明は、多様な形態で具現されることができるし、ここで説明する実施形態に限定されない。本発明を明確に説明するために説明に係らない部分は省略し、明細書において、同一又は類似な構成要素に対しては同じ参照符号を付けるようにする。
【００３１】
図１は、本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）又は保存媒体（図示せず）から提供される単眼映像の入力映像を両眼映像に変換することができる。前記単眼映像は、２次元映像を含むことで、二つの用語は互いに混用されて使用されることができる。前記両眼映像は、３次元映像（３Ｄ映像又は立体映像）を含むことで、これら用語は互いに混用されて使用されることができる。３Ｄ映像変換装置１００は、入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行することによって３次元映像に変換させる。
【００３２】
３Ｄ映像変換装置１００が複数のフレームを含む入力映像を３次元映像に変換を遂行する中間に、ユーザからエラーチェックモード選択入力が受信されれば、前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行することができる。３Ｄ映像変換装置１００は、前記エラーチェック遂行結果、エラーが発生されたと確認されれば、前記エラーが発生されたフレーム上にエラーに対する情報を表示することができる。また、３Ｄ映像変換装置１００を通じて前記エラーを修正するために前記生成された立体映像変換情報を修正することができるし、修正された立体映像変換情報に基づいて前記入力映像に対してレンダリングを遂行して立体映像に変換することができる。
【００３３】
図面に示すように、３Ｄ映像変換装置１００は、受信部１１０、映像変換部１２０、ディスプレイ部１３０、ユーザ入力部１４０、ＵＩ生成部１５０及びこれらを制御する制御部１６０を含む。
【００３４】
３Ｄ映像変換装置１００は、単眼映像である入力映像を両眼映像に変換できるいかなるタイプの電子装置も含むことができる。または、３Ｄ映像変換装置１００は、単眼映像を両眼映像に変換するプログラムを含むいかなる電子装置を含むことができる。このような電子装置は、ディスプレイ装置、例えば、ＰＣ等を含むことができる。
【００３５】
３Ｄ映像変換装置１００は、受信部１１０を通じて外部のソース提供装置（図示せず）から複数のフレームを含む入力映像を受信することができる。３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）と所定の有線又は無線ネットワークを通じてデータ通信が可能である。または、３Ｄ映像変換装置１００は、ＵＳＢ、ＣＤ、ＢＤ等のような外部保存媒体（図示せず）から複数のフレームを含む入力映像を受信することができる。
【００３６】
３Ｄ映像変換装置１００によって入力映像から変換された立体映像は、シャッターメガネ方式による立体映像又は偏光メガネ方式による立体映像であることができる。前記シャッターメガネ方式は、シャッターメガネを使用して３Ｄ映像を具現する方式として、ディスプレイ装置が左右の映像を別に表示し、左側映像は左側メガネが、右側映像は右側メガネが開かれて左右映像を分離することによって立体感を提供する方式である。前記偏光メガネ方式は、偏光メガネを使用して３Ｄ映像を具現する方式として、ディスプレイ装置１００は、偏光フィルターが含まれていて、偏光フィルターと同じ偏光方式の偏光メガネで見ることによって、左側目には左側映像だけ、右側目には右側映像だけが入力されて、立体感を認知するようにする。３Ｄ映像変換装置１００の映像変換部１１０は、入力映像に対する立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行し、前記シャッターメガネ方式及び偏光メガネ方式の中で何れか一つに対応されるフォーマットでフォーマット変更を遂行することによって、シャッターメガネ方式による立体映像又は偏光メガネ方式による立体映像を生成することができる。
【００３７】
映像変換部１２０は、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる。
【００３８】
前記立体映像変換情報は、キーフレーム情報、オブジェクト抽出情報及び深さ情報の中で少なくとも何れか一つを含む。前記キーフレーム情報は、前記入力映像を構成する複数のフレームの中でシーン変化フレーム、重要オブジェクトが最初に現れるフレーム、オブジェクトの動きが大きいフレーム等を含む。前記オブジェクト抽出情報は、変換しようとするフレームに含まれた少なくとも一つのオブジェクトに対して立体感を表示するための深さ値が割り当てられるオブジェクトの選択情報を含む。前記深さ情報は、立体感を表示するための深さ値を含む。従って、映像変換部１２０は、前記複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、前記立体映像変換情報を生成する。前記非−キーフレームは、前記複数のフレームの中でキーフレームではない残りのフレームを含むことである。例えて説明すれば、シーンが変化されるフレームをキーフレームとして選定すれば、非−キーフレームは、前記キーフレームすぐ次のフレームから前記シーンの次のシーンが変化されるフレーム直前までのフレームを意味する。従って、非−キーフレームは、前記キーフレームと類似な背景及び類似なオブジェクトを含むと推定することができるし、前記キーフレームに対するオブジェクト抽出情報及び深さ情報割当情報を利用して、前記非−キーフレームに対するオブジェクト抽出及び深さ情報割当を遂行することができるし、このような過程をトラッキング過程という。
【００３９】
映像変換部１２０は、前記映像変換部の機能を実質的に機能できる所定の映像変換プログラムの形態で具現されることができる。映像変換部１２０が所定の映像変換プログラムの形態で具現される場合、前記映像変換プログラムは、保存部（図示せず）に保存されていて、制御部１６０の制御下で保存部（図示せず）に保存された映像変換プログラムがＲＡＭ（図示せず）にローディングされて実行されることができる。
【００４０】
ディスプレイ部１３０は、映像変換部１２０によって変換された立体映像を３次元的に表示することができる。ディスプレイ部１３０は、制御部１６０の制御によって、エラーチェック遂行結果によるエラーに対する情報を該当フレーム上に表示することができる。また、ディスプレイ部１３０は、後述するＵＩ生成部１５０によって生成されたＵＩを表示する。ディスプレイ部１３０の具現方式は、限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）等の多様なディスプレイ方式で具現されることができる。
【００４１】
ユーザ入力部１４０は、ユーザの入力を受信するユーザインターフェースとして、３Ｄ映像変換装置１００の機能又は作動に関するユーザの選択が入力される。従って、３Ｄ映像変換装置１００は、ユーザ入力部１３０を通じてエラーチェックモード選択の入力を受信したりディスプレイ部１３０に表示されるＵＩの選択入力を受信することができる。ユーザ入力部１４０は、少なくとも一つのキーボタンを備えることができるし、３Ｄ映像変換装置１００に設けられる操作パネル又はタッチパネルで具現されることができる。または、３Ｄ映像変換装置１００に有線又は無線で連結されるリモートコントローラー、キーボード、マウス等のようなポインティン装置等の形態で具現されることができる。
【００４２】
ＵＩ生成部１５０は、制御部１６０の制御によってエラー修正のための第１ＵＩを生成する。また、ＵＩ生成部１５０は、制御部１６０の制御によってエラー発生可能レベルを表示するための第２ＵＩを生成する。ＵＩ生成部１４０によって生成されるすべてのＵＩはＧＵＩの形態で生成されて、ディスプレイ部１３０に表示されることができる。
【００４３】
制御部１６０は、入力映像を構成する複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行し、その結果によるエラーに対する情報を該当フレーム上に表示されるようにディスプレイ部１３０を制御することができる。制御部１６０は、ユーザ入力部１４０を通じてユーザからエラーチェックモード選択が入力されれば、前記複数のフレームの中で前記エラーチェックモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行することができる。制御部１６０は、前記入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックのためのレンダリングを遂行するように映像変換部１２０を制御し、レンダリングされた立体映像に対してエラーチェックを遂行する。以下、図２乃至図４を参照して、制御部１６０の動作に対してさらに詳しく説明する。
【００４４】
図２は、本発明の一実施形態による３Ｄ映像変換装置の制御部の動作を示す一実施形態である。
【００４５】
前述のように、映像変換部１２０は、入力映像を構成する複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、入力映像に対する立体映像変換情報を生成する。
【００４６】
制御部１６０は、ユーザ入力部１４０を通じてエラーチェックモード選択が入力されれば、前記映像変換部１２０の動作遂行結果に対してエラーチェックを遂行することになる。
【００４７】
前記エラーチェック遂行の一実施形態として、制御部１６０は、エラーチェックを遂行したフレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断することができる。
【００４８】
図２の（Ａ）は、前記複数のフレームの中で特定フレームの原本イメージを示している。図２の（Ｂ）は、前記原本イメージAに対応される立体映像変換情報が生成されたフレームに対して、ブロック基盤モーションベクター推定を遂行した結果である。即ち、制御部は、オブジェクト抽出のエラー可否を判断するために、エラーチェックを遂行するフレームに対してブロック基盤モーションベクターを推定することになる。その結果、図２の（Ｂ）のように、制御部１６０は、特定領域（第１領域）１６１のモーションベクターが、他の領域のモーションベクターとその方向が異なると判断されれば、前記第１領域１６１のオブジェクトの抽出にエラーが発生されたと判断する。この場合、制御部１６０は、ユーザ識別のために、該当フレームの前記エラーが発生された第１領域１６１のモーションベクターを他の領域のモーションベクターよりボールド又はハイライトで表示したり、異なる色で表示したりすることができる。
【００４９】
前記エラーチェック遂行の他の一実施形態として、制御部１６０は、エラーチェックを遂行したフレームの深さマップに基づいて、前記深さ情報割当のエラー可否を判断することができる。
【００５０】
図２の（Ｃ）は、前記原本イメージ（Ａ）に対応される立体映像変換情報が生成されたフレームに対する深さマップを示している。前記深さマップは、該当フレームに適用された深さ値をマップで表現したことで、深さ値に従ってブラック及びホワイトで表示される。（−）深さ値を有するほどホワイトで、（＋）深さ値を有するほどブラックで表示すれば、深さ値の大きさは、その濃度で表示されることである。
【００５１】
原本イメージＡと比べる時、図２の（Ｃ）の深さマップで、第２領域１６３は（−）深さ値が割り当てられなければならないのに（＋）深さ値が割り当てられ、第３領域１６５は（＋）深さ値が割り当てられなければならないのに（−）深さ値が割り当てられた。このように、制御部１６０は、深さマップに基づいて深さ情報割当のエラー可否を判断できて、前記エラーが発生された領域をユーザが識別できる表示（領域指定、指定された領域の色又はハイライト表示）を遂行することができる。
【００５２】
エラーチェック遂行のまた他の実施形態で、制御部１６０は、前記複数のフレームの中で非−キーフレームに対してオブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて、前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断することができる。映像変換部１２０で、前述のように、少なくとも一つの非−キーフレームは、キーフレームに対してトラッキング過程を遂行してオブジェクト抽出及び深さ情報が割り当てられる。従って、制御部１６０は、オブジェクト抽出又は深さ情報の割当に対するエラーが発生されたフレームが前記非−キーフレームであり、エラーが発生された非−キーフレームの個数が所定の個数以上になれば、前記非−キーフレームに対応するキーフレームの選定にエラーがあると判断することができる。この場合、制御部１６０は、エラーが発生された少なくとも一つの非−キーフレーム上にキーフレーム選定のエラーが発生されたことを、ユーザが識別することができるように表示することができる。
【００５３】
図３は、本発明の一実施形態による３Ｄ映像変換装置の制御部の他の動作を示す一実施形態である。
【００５４】
前記エラーチェックを遂行した結果、エラーが発生されたと確認されれば、制御部１６０は、ＵＩ生成部１５０を制御してエラー修正のための第１ＵＩを生成及び表示されるようにする。制御部１６０は、前記エラーが表示されたフレームに対してユーザ入力部１４０を通じてエラー修正モード選択が入力されれば、ＵＩ生成部１５０を制御して第１ＵＩを生成及び表示されるようにする。前記第１ＵＩは、オブジェクト抽出を修正するための第１サブＵＩ、深さ情報再割当のための第２サブ及びＵＩキーフレーム再選定のための第３サブＵＩの中で少なくともいずれか一つを含む。
【００５５】
図面に示すように、制御部１６０は、エラーが発生された領域１６１、１６３、１６５を含むフレーム上にエラー修正のための第１ＵＩを生成して表示する。
【００５６】
図３の（Ａ）の場合、制御部１６０の制御によって、第１サブＵＩが生成された一実施形態を示している。前記図２の（Ｂ）で制御部１６０は、オブジェクト抽出のエラーが発生されたと確認された第１領域１６１に対して、前記オブジェクト抽出の修正のための第１サブＵＩ１５１を生成及び表示するように、ＵＩ生成部１５０を制御することができる。前記第１サブＵＩ１５１は、ポインティン装置のようなユーザ入力部１４０を通じてオブジェクト抽出のための境界線１５２を修正できるインターフェースである。従って、前記第１サブＵＩ１５１を通じてユーザは、オブジェクト抽出のための境界線１５２を適切に修正することができる。
【００５７】
図３の（Ｂ）の場合、制御部１６０の制御によって、第２サブＵＩが生成された一実施形態を示している。前記図２の（Ｃ）で制御部１６０は、深さ情報割当のエラーが発生されたと確認された第２領域１６３及び第３領域１６５に対して、前記深さ情報の再割当のための第２ＵＩを生成及び表示するように、ＵＩ生成部１５０を制御することができる。例えば、ユーザがユーザ入力部１４０を通じて前記第３領域１６５を選択する場合、前記第２サブＵＩ１５３が生成及び表示され、前記第２サブＵＩ１５３は、深さ値を調整できるスライドバーの形態で具現されて、ユーザが希望する所定の深さ値になるように調整することができる。たとえ、本実施形態ではスライドバーの形態で具現されたが、特定数値を入力できるＵＩの形態で具現されることもできる。従って、ユーザの選択を受けることができるいかなる形態のＵＩも含まれることができる。
【００５８】
制御部１６０は、前記第１ＵＩを通じてユーザ選択が入力されれば、前記ユーザ選択に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に基づいて前記入力映像をレンダリングするように映像変換部１２０を制御することができる。従って、本発明は、入力映像の立体映像への変換する過程中にエラーチェック遂行モードを通じてユーザは立体映像変換情報生成の妥当性を中間に検討できて、また修正モードを通じて立体映像変換情報を修正し、前記修正が反映された立体映像に変化されるようにすることができる利点を有する。
【００５９】
図４は、本発明の一実施形態による３Ｄ映像変換装置の制御部のまた他の動作を示す一実施形態である。
【００６０】
制御部１６０は、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断されたレベルを表示するための第２ＵＩを生成及び表示するようにＵＩ生成部１５０を制御することができる。これは、ユーザが前記複数のフレームに対してエラー発生の可能性がどの程度であるかを予め確認できるようにする。また、前記エラー発生可能性が高いと判断されたフレームに対してだけエラーチェックを遂行するようにすることもできる。
【００６１】
制御部１６０は、前記複数のフレーム各々に含まれたオブジェクトの複雑性又はオブジェクトの動き量に基づいて前記エラー発生可能レベルを判断することができる。オブジェクトが複雑だったり、オブジェクトの動き量が大きい場合には、前記オブジェクト抽出にエラーが発生する確率が高くて、またオブジェクト抽出がエラーが発生する確率が高ければ前記抽出されたオブジェクトに深さ値の割当にもエラーが発生する確率が高いためである。従って、制御部１６０は、ユーザ入力部１４０を通じて特定キー入力が受信されれば、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断結果を表示するための第２ＵＩを生成及び表示するようにＵＩ生成部１５０を制御する。
【００６２】
前記第２ＵＩの具現形態の一実施形態は、図４に示す通りである。所定大きさのバー１６７は、複数のフレームの区間を示すこととして、複数のフレームを構成する第１フレームから第Ｎフレームを表示することで、矢印１６８はバー１６７上を前後に自由に移動可能に具現されたこととして、前記矢印１６８の移動で前記複数のフレームをナビゲーションすることができる。前記矢印１６８の移動でいずれか一つのフレームが選択されれば、該当フレームのサムネイルイメージ１６８ａが表示される。グラフ１６９は、制御部１６０によるエラー発生可能レベルの判断結果を示す。前記グラフ１６９を通じて、ユーザは、どのフレームにエラー発生の可能性が高いかをひと目で確認することができる。
【００６３】
また、制御部１６０は、前記エラー発生可能レベルが所定レベル以上だと確認された少なくとも一つのフレームに対してだけエラーチェックを遂行することもできる。
【００６４】
図５及び図６は、本発明の３Ｄ映像変換装置の具現方法を示すフローチャートである。図５に示すように、複数のフレームを含む入力映像の立体映像に変換が開始される段階（Ｓ２０１）と、エラーチェックモード選択の入力が受信される段階（Ｓ２０２）、前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する段階（Ｓ２０３）と、前記遂行結果に他のエラーに対する情報を表示する段階（Ｓ２０４）を含む。
【００６５】
図６は、前記具現方法をさらに詳しく示すフローチャートで、図面に示すように、入力映像に対して映像変換部１２０は、複数のフレームの中でキーフレームを選定し（Ｓ３０１）、前記キーフレームに対するオブジェクトを抽出し（Ｓ３０２）、前記抽出されたオブジェクトに対して深さ情報を割り当て（Ｓ３０３）、前記キーフレームではない残りのフレーム（非−キーフレーム）に対してトラッキングを遂行し（Ｓ３０４）、エラーチェックモード選択の入力が受信されれば、前記入力時点まで立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する（Ｓ３０５）。前記エラーチェックの遂行結果（Ｓ３０６）、エラーが発見されなければ、前記生成された立体映像変換情報に基づいてレンダリングを遂行して立体映像に変換を完了し（Ｓ３０７）、前記エラーが発見されれば、エラーに対する情報を該当フレームに表示する（Ｓ３０８）。エラー修正モードの入力が受信されれば、前記エラー修正のためのＵＩを生成及び表示し（Ｓ３０９）、前記ＵＩを通じて立体映像変換情報が修正されれば（Ｓ３１０）、前記修正された立体映像変換情報に基づいてレンダリングを遂行して立体映像への変換を完了する（Ｓ３１１）。
【００６６】
本発明による３Ｄ映像変換装置によって具現される方法は、多様なコンピュータ手段を通じて行なわれることができるプログラム命令形態で具現されてコンピュータ判読可能な保存媒体に記録されることができる。前記コンピュータ判読可能な保存媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記保存媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたことや、コンピュータソフトウェア当業者に公知されて使用可能なことでありうる。コンピュータ判読可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ-ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令は、例えば、コンパイラーによって作られるような機械語コードだけでなく、インタープリターなどを使ってコンピュータによって実行されることができる高級言語コードを含む。前記ハードウェア装置は、本発明の動作を遂行するために、一つ以上のソフトウェアモジュールとして作動するように構成され、その反対も同じである。
【００６７】
以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人なら本発明の原則や精神に外れなく本発明の一実施形態を変形し得ることを分かることができる。発明の範囲は、特許請求の範囲とその均等物によって定まれる。
【符号の説明】
【００６８】
１００ ３Ｄ映像変換装置
１１０ 受信部
１２０ 映像変換部
１３０ ディスプレイ部
１４０ ユーザ入力部
１５０ ＵＩ生成部
１６０ 制御部
【特許請求の範囲】
【請求項１】
３Ｄ映像変換装置において、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる映像変換部と；
前記複数のフレームの中で立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行する制御部と；
前記映像変換部によって変換された立体映像と、前記制御部によって遂行されたエラーチェック結果に従って前記複数のフレームの中で前記一部フレームに対するエラー情報を表示するディスプレイ部と；
を含むことを特徴とする３Ｄ映像変換装置。
【請求項２】
前記映像変換部は、前記複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、前記立体映像変換情報を生成することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項３】
前記制御部は、
前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項４】
前記制御部は、
前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項５】
前記制御部は、
前記非−キーフレームに対してオブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項６】
前記制御部は、
前記エラーに対する情報として前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項７】
エラー修正のためのＵＩを生成するＵＩ生成部をさらに含み、
前記制御部は、前記エラーが発見された前記複数のフレームの中で前記一部フレームに前記生成されたＵＩを生成及び表示するように前記ＵＩ生成部を制御することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項８】
ユーザ入力部をさらに含み、
前記制御部は、前記ＵＩを通じて入力された選択に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に基づいて前記入力映像をレンダリングするように前記映像変換部を制御することを特徴とする請求項７に記載の３Ｄ映像変換装置。
【請求項９】
エラー発生可能レベルを表示するためのＵＩを生成するＵＩ生成部をさらに含み、
前記制御部は、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断されたエラー発生可能レベルを表示するための前記ＵＩを生成及び表示するように前記ＵＩ生成部を制御することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項１０】
前記制御部は、
前記複数のフレームに含まれたオブジェクトの複雑性又は前記オブジェクトの動き量に基づいて前記エラー発生可能レベルを判断することを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１１】
ユーザ入力部をさらに含み、
前記制御部は、前記ユーザ入力部を通じてエラーチェックモード選択が入力されれば、前記複数のフレームの中で前記入力時点まで前記立体映像変換情報が生成された前記一部フレームに対して前記エラーチェックを遂行することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項１２】
３Ｄ映像変換装置によって具現される方法において、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる段階と；
前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する段階と；
前記エラーチェック遂行結果によるエラーに対する情報と前記立体映像を表示する段階を含むことを特徴とする方法。
【請求項１３】
前記立体映像変換情報生成段階は、
前記複数のフレームの中でキーフレームを選定する段階と；
前記選定されたキーフレームに含まれたオブジェクトを抽出する段階と；
前記抽出されたオブジェクトに対する深さ情報を割り当てる段階と；
前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行する段階と；
を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記エラーチェック遂行段階は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断するか、又は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断する段階を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記エラー情報表示段階は、
前記エラーに対する情報として、前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示する段階を含むことを特徴とする請求項１２に記載の方法。
【請求項１】
３Ｄ映像変換装置において、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる映像変換部と；
前記複数のフレームの中で立体映像変換情報が生成された一部のフレームに対してエラーチェックを遂行する制御部と；
前記映像変換部によって変換された立体映像と、前記制御部によって遂行されたエラーチェック結果に従って前記複数のフレームの中で前記一部フレームに対するエラー情報を表示するディスプレイ部と；
を含むことを特徴とする３Ｄ映像変換装置。
【請求項２】
前記映像変換部は、前記複数のフレームの中でキーフレームを選定し、前記選定されたキーフレームに含まれたオブジェクトを抽出し、前記抽出されたオブジェクトに対する深さ情報を割り当て、前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行することによって、前記立体映像変換情報を生成することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項３】
前記制御部は、
前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項４】
前記制御部は、
前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項５】
前記制御部は、
前記非−キーフレームに対してオブジェクト抽出又は深さ情報割当のエラー発生頻度に基づいて前記非−キーフレームに対応するキーフレームの選定のエラー可否を判断することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項６】
前記制御部は、
前記エラーに対する情報として前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示することを特徴とする請求項２に記載の３Ｄ映像変換装置。
【請求項７】
エラー修正のためのＵＩを生成するＵＩ生成部をさらに含み、
前記制御部は、前記エラーが発見された前記複数のフレームの中で前記一部フレームに前記生成されたＵＩを生成及び表示するように前記ＵＩ生成部を制御することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項８】
ユーザ入力部をさらに含み、
前記制御部は、前記ＵＩを通じて入力された選択に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に基づいて前記入力映像をレンダリングするように前記映像変換部を制御することを特徴とする請求項７に記載の３Ｄ映像変換装置。
【請求項９】
エラー発生可能レベルを表示するためのＵＩを生成するＵＩ生成部をさらに含み、
前記制御部は、前記複数のフレームに対するエラー発生可能レベルを判断し、前記判断されたエラー発生可能レベルを表示するための前記ＵＩを生成及び表示するように前記ＵＩ生成部を制御することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項１０】
前記制御部は、
前記複数のフレームに含まれたオブジェクトの複雑性又は前記オブジェクトの動き量に基づいて前記エラー発生可能レベルを判断することを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１１】
ユーザ入力部をさらに含み、
前記制御部は、前記ユーザ入力部を通じてエラーチェックモード選択が入力されれば、前記複数のフレームの中で前記入力時点まで前記立体映像変換情報が生成された前記一部フレームに対して前記エラーチェックを遂行することを特徴とする請求項１に記載の３Ｄ映像変換装置。
【請求項１２】
３Ｄ映像変換装置によって具現される方法において、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを遂行して前記入力映像を立体映像に変換させる段階と；
前記複数のフレームの中で立体映像変換情報が生成された一部フレームに対してエラーチェックを遂行する段階と；
前記エラーチェック遂行結果によるエラーに対する情報と前記立体映像を表示する段階を含むことを特徴とする方法。
【請求項１３】
前記立体映像変換情報生成段階は、
前記複数のフレームの中でキーフレームを選定する段階と；
前記選定されたキーフレームに含まれたオブジェクトを抽出する段階と；
前記抽出されたオブジェクトに対する深さ情報を割り当てる段階と；
前記複数のフレームの中でキーフレームでない非−キーフレームに対してトラッキングを遂行する段階と；
を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記エラーチェック遂行段階は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームのモーションベクターに基づいて前記オブジェクト抽出のエラー可否を判断するか、又は、前記エラーチェックが遂行された前記複数のフレームの中で前記一部フレームの深さマップに基づいて前記深さ情報割当のエラー可否を判断する段階を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記エラー情報表示段階は、
前記エラーに対する情報として、前記複数のフレームの中で前記一部フレーム上にエラーが発生された所定の領域をボールド、ハイライト及びモーションベクターを他の色で表示することの中で少なくとも何れか一つを利用して表示する段階を含むことを特徴とする請求項１２に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−２１６９５（Ｐ２０１３−２１６９５Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１２−１５６６９８（Ｐ２０１２−１５６６９８）
【出願日】平成２４年７月１２日（２０１２．７．１２）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２４年７月１２日（２０１２．７．１２）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]