３Ｄ映像変換装置、その具現方法及びその保存媒体
【課題】 ２次元入力映像を３次元映像に変換する３Ｄ映像変換装置、その具現方法及びその保存媒体に関する。
【解決手段】 本発明による３Ｄ映像変換装置によって具現される方法は、複数のフレームを含む入力映像を受信する段階と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；を含む。
【解決手段】 本発明による３Ｄ映像変換装置によって具現される方法は、複数のフレームを含む入力映像を受信する段階と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ映像変換装置、その具現方法及びその保存媒体に係り、さらに詳しくは、２次元入力映像を３次元映像に変換する３Ｄ映像変換装置、その具現方法及びその非一時的保存媒体に関する。
【背景技術】
【０００２】
最近、３次元映像を再生するディスプレイ装置がたくさん開発されている。しかし、３次元映像コンテンツの生産は、３次元映像再生装置の発展速度に合わせることができない。３次元映像の製作は、通常的に莫大な規模の装置と開発人材など費用と時間がたくさん必要とされる。従って、既存の２次元映像を３次元映像に変換することによって、３次元映像コンテンツを製作しようと思うが、３次元映像の品質及び経済性を取り揃えた３次元映像変換装置及び方法の開発が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従って、本発明の目的は、３次元映像の品質と経済性を考慮した３次元映像変換装置、その具現方法及びその非一時的保存媒体を提供しようとする。
【課題を解決するための手段】
【０００４】
前記目的は、本発明により、３Ｄ映像変換装置によって具現される方法において、複数のフレームを含む入力映像を受信する段階と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；を含むことを特徴とする３Ｄ映像変換装置によって具現される方法によって達成されることができる。
【０００５】
前記第１フレームの選択段階は、前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と；前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択する段階と；を含むことができる。
【０００６】
前記第１フレームの選択段階は、前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択する段階を含むことができる。
【０００７】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることができる。
【０００８】
前記方法は、前記選択されたキーフレームの中で第２オブジェクトを抽出する段階と；前記第２オブジェクトに対して第２深さ情報を生成する段階と；をさらに含むことができる。
【０００９】
前記設定モード選択入力段階は、前記複数の深さ情報設定モードを表示するＵＩを生成及び表示する段階と；前記表示されたＵＩから前記複数の深さ情報設定モードの中でいずれか一つの設定モードを選択するユーザの選択が入力される段階；を含むことができる。
【００１０】
前記複数の深さ情報設定モードは、前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；を含むことができる。
【００１１】
また、前記目的は、本発明により、コンピュータで実行可能な命令でインコーディングされたコンピュータで判読可能な非一時的保存媒体において、プロセッサーによって前記命令が行なわれる時、前記命令は入力映像をレンダリングするための方法を行い、前記方法は複数のフレームを含む入力映像を受信する段階と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；を含むコンピュータ判読可能な非一時的保存媒体によって達成されることができる。
【００１２】
前記第１フレームの選択段階は、前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と；前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択する段階と；を含むことができる。
【００１３】
前記第１フレームの選択段階は、前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択する段階を含むことができる。
【００１４】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることができる。
【００１５】
前記選択されたキーフレームの中で第２オブジェクトを抽出する段階と；前記第２オブジェクトに対して第２深さ情報を生成する段階と；をさらに含むことができる。
【００１６】
前記設定モード選択入力段階は、前記複数の深さ情報設定モードを表示するＵＩを生成及び表示する段階と；前記表示されたＵＩから前記複数の深さ情報設定モードの中でいずれか一つの設定モードを選択するユーザの選択が入力される段階と；を含むことができる。
【００１７】
前記複数の深さ情報設定モードは、前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；を含むことができる。
【００１８】
また、前記目的は、本発明により、３Ｄ映像変換装置において、複数のフレームを含む入力映像を受信する受信部と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択し、前記選択された第１フレームの中で第１オブジェクトを抽出し、前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択に対応する第１深さ情報を生成し、前記生成された第１深さ情報を利用して前記入力映像をレンダリングする映像変換部と；を含むことを特徴とする３Ｄ映像変換装置によって達成されることができる。
【００１９】
前記映像変換部は、前記複数のフレームの中で少なくとも一つのキーフレームを選択し、前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択することができる。
【００２０】
前記映像変換部は、前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択することができる。
【００２１】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることができる。
【００２２】
前記映像変換部は、前記選択されたキーフレームの中で第２オブジェクトを抽出し、前記第２オブジェクトに対して第２深さ情報を生成することができる。
【００２３】
前記装置は、ユーザ入力部と；前記複数の深さ情報設定モードを表示するＵＩを生成するＵＩ生成部をさらに含み、前記映像変換部は、前記ＵＩを通じて前記複数の深さ情報設定モードの中でユーザ選択によって選択されたいずれか一つの設定モードに対応する第１深さ情報を生成することができる。
【００２４】
前記複数の深さ情報設定モードは、前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；を含むことができる。
【発明の効果】
【００２５】
前述のように、本発明によれば、映像の品質及び経済性を共に考慮して、２次元映像を３次元映像に変換することができる３Ｄ映像変換装置、その具現方法及びその保存媒体が提供される。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。
【図２】図１に示す３Ｄ映像変換装置の第１フレーム選定を示す図である。
【図３Ａ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図３Ｂ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図３Ｃ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図３Ｄ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図４】図１に示す３Ｄ映像変換装置のＵＩ生成及び表示の一例を示す図である。
【図５】図１に示す３Ｄ映像変換装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、添付図面を参考して、本発明の実施形態に対して本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。本発明は、多様な形態で具現されることができるし、ここで説明する実施形態に限定されない。本発明を明確に説明するために説明に係らない部分は省略し、明細書において、同一または類似の構成要素に対しては同じ参照符号を付けるようにする。
【００２８】
図１は、本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。
【００２９】
本発明の一実施形態による３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）から２次元映像または単眼映像を受信して、３次元映像または両眼映像に変換できる電子装置として、例えばディスプレイ装置、特に一般ＰＣなどを含むことができる。本発明の一実施形態による３Ｄ映像変換装置１００は、受信された入力映像を所定のプロセッサーによってユーザの選択が反映された深さ情報を生成し、前記生成された深さ情報を利用して３次元映像を生成する。
【００３０】
３Ｄ映像変換装置１００は、ソース提供装置（図示せず）から提供された２次元映像を３次元映像に変換を行なった後、３Ｄ映像変換装置１００で前記変換した３次元映像を立体的に表示したり、外部の３次元映像を再生できるコンテンツ再生装置（図示せず）、例えばＴＶ、ＰＣ、スマートフォン、スマートパッド、ＰＭＰ、ＭＰ３プレーヤーなどに前記変換した３次元映像を伝達することができる。
【００３１】
本実施形態によるネットワークにおいて、２次元映像及び/または３次元映像の送信のためのデータ通信は、有線及び/または無線通信方式などネットワークの通信方式には何の制限がなくて、知られた通信方式を全部含む。
【００３２】
図１に示すように、３Ｄ映像変換装置１００は、受信部１０、映像変換部２０、ディスプレイ部３０、ＵＩ生成部４０、及びユーザ入力部５０を含む。
【００３３】
受信部１０は、外部のソース提供装置（図示せず）から複数のフレームを含む入力映像を受信する。入力映像は、２次元映像または単眼映像を含む。３次元映像は、視聴者の両眼視差を利用することとして、複数の左眼フレーム及び複数の右眼フレームを含むことができる。複数の左眼フレーム及び複数の右眼フレームの中で、一組の左眼フレームと右眼フレームは、入力映像の複数のフレームの中で対応する少なくともいずれか一つから各々変換されることができる。
【００３４】
受信部１０は、所定のネットワーク（図示せず）を通じて、外部のソース提供装置（図示せず）から２次元映像が提供されることができる。前記ソース提供装置は、例えばネットワークサーバーとして、２次元映像を保存し３Ｄ映像変換装置１００の要請に従って２次元映像を３Ｄ映像変換装置１００に送信することができる。
【００３５】
他の実施形態として、受信部１０は、ネットワークでない他のデータ送信手段を通じてソース提供装置（図示せず）から２次元映像を受信することができる。例えば、ソース提供装置（図示せず）は、２次元映像を保存するハードディスク、フラッシュメモリーなどのような保存手段を備える装置であり、３Ｄ映像変換装置１００にローカル装置として連結されて３Ｄ映像変換装置１００の要請に従って２次元映像を３Ｄ映像変換装置１００に送信することができる。この場合、２次元映像のデータ送信のためには、受信部１０とソース提供装置（図示せず）との間のローカル連結方式に制限がなく、例えばＵＳＢなどを含む。
【００３６】
映像変換部２０は、受信部１０に受信された入力映像を３次元映像に変換を行なう。映像変換部２０は、ＣＰＵ２１、ＲＡＭ２３及び保存部２５を含むことができる。保存部２５は、単眼映像を両眼映像に変換するための変換プログラム２６、変換する単眼映像または入力映像２７、及び単眼映像から変換が完了された両眼映像または３次元映像２８を保存することができる。保存部２５は、ハードディスク、フラッシュメモリーなどの非揮発性メモリーで具現されることができる。ＲＡＭ２３には、変換処理部２０の動作時に変換プログラム２６の少なくとも一部がローディングされ、ＣＰＵ２１は、ＲＡＭ２３にローディングされた変換プログラム２６を実行する。変換プログラム２６は、ＣＰＵ２１によって実行可能な命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を有する。保存部２５は、コンピュータで判読可能な保存媒体の一例である。変換処理部２０の動作に対しては、図２乃至図４を参照してさらに詳しく説明する。
【００３７】
ディスプレイ部３０は、後述するＵＩ生成部４０によって生成されるＵＩを表示する。また、変換処理部２０によって変換が進行中である入力映像を前記ＵＩと共に表示することができる。また、変換処理部２０によって変換が完了された３次元映像を表示することができる。ディスプレイ部３０の具現方式は、限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノ クリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）等の多様なディスプレイ方式で具現されることができる。
【００３８】
ＵＩ生成部４０は、前記複数の深さ情報設定モードを表示するＵＩを生成することができる。前記生成されたＵＩは、ＧＵＩの形態で具現されることができる。前記ＵＩは、入力映像を３次元に変換する過程で生成されることが望ましいので、ＵＩ生成部４０は変換処理部２０のＣＰＵ２１の制御によってその機能を行なうことができる。
【００３９】
ユーザ入力部５０は、ユーザの入力を受信するユーザーインターフェースとして、３Ｄ映像変換装置１００の機能または作動に関するユーザの選択が入力される。ユーザ入力部５０は、少なくとも一つのキーボタンを備えることができるし、３Ｄ映像変換装置１００に設けられる操作パネルまたはタッチパネルで具現されることができる。また、３Ｄ映像変換装置１００に有無線で連結されるリモートコントロール、キーボード、マウスなどの形態で具現されることができる。
【００４０】
図２乃至図４を参照して、映像変換部２０をさらに詳しく説明する。
【００４１】
図２は、図１に示す３Ｄ映像変換装置の第１フレーム選定を示している。
【００４２】
複数のフレーム１１０を含む入力映像が受信部１０を通じて受信されれば、映像変換部２０は、前記複数のフレーム１１０の中で既設定された条件に対応する第１フレームを選択する。前記既設定された条件に対応する第１フレームは、前記複数のフレームの中でキーフレーム１１１、１１３、１１５を除いた他のフレームに対応する少なくともいずれか一つのフレーム１１２、１１４を含む。例えば、二つのキーフレーム１１１、１１３の間に位置する少なくともいずれか一つのフレーム１１２を含む。
【００４３】
この時、映像変換部２０は、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて少なくとも一つのキーフレームを選択する。映像変換部２０は、少なくとも一つのキーフレームが選択されれば、前記キーフレームで少なくとも一つのオブジェクトを抽出し、前記抽出された少なくとも一つのオブジェクトに対して第２深さ情報を生成する。この時、キーフレームのオブジェクトに適用される第２深さ情報は、一般的に知られた深さ推定アルゴリズムを利用して生成することができる。また他の実施形態で、所定のＵＩを通じてユーザの選択入力に基づいて前記キーフレームのオブジェクトに適用される第２深さ情報を生成することもできる。映像変換部２０は、前記入力映像の最初キーフレームから最終キーフレームに至るまで複数のキーフレームの中のオブジェクトに適用される第２深さ情報の変化をグラフ化することができるし、この一実施形態を図３Ａに示す。図３Ａに示すように、最初キーフレームから最終キーフレームに至るまでの深さ情報の変化曲線を確認することができるし、これは第１フレームの第１深さ情報の生成に利用することができる。
【００４４】
映像変換部２０は、前記既設定条件に対応する第１フレームが選択されれば、前記第１フレームの中の第１オブジェクトを抽出する。この時、第１オブジェクトは、前記第１フレームに含まれる少なくとも一つのオブジェクトを意味することとして、複数のオブジェクトが含まれることもできる。
【００４５】
映像変換部２０は、前記第１フレームの第１オブジェクトの第１深さ情報を生成するために複数の深さ情報設定モードを表示するＵＩを生成及び表示するようにＵＩ生成部４０を制御することができるし、前記生成されたＵＩの例を図４に示す。図４に示すように、ＵＩは、ユーザが選択できる複数の深さ情報設定モード、例えば、第１モード乃至第４モードを選択できるアイコンを含んでいる。ユーザ入力部５０を通じてユーザが、前記例示した第１モード乃至第４モードの中でいずれか一つのモードを選択すれば、映像変換部２０は、前記ユーザ選択によるモードに対応する深さ情報を生成する。映像変換部２０は、前記ユーザ選択による深さモードに対応して生成された深さ情報を利用して入力映像をレンダリングして結果的に３次元映像を生成する。
【００４６】
図３Ｂは第１モード及び第２モードを、図３Ｃは第３モードを、図３Ｄは第４モードを示す。図３Ｂに示すように、第１モードは第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する深さ情報を生成するモードである。従って、予め設定された特定大きさの深さ情報を第１フレームの第１オブジェクトに適用するモードである。第２モードは、前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成するモードである。従って、第２モードによると、時間が流れることによって深さ情報が徐々に増加するモードである。
【００４７】
図３Ｃに示すように、第３モードは、前記キーフレームのオブジェクトに適用される第２深さ情報に対応する第１深さ情報を生成するモードである。例えば、図３ＡのＭ番目のキーフレームとＭ＋１番目のキーフレームとの間の深さ情報の変化曲線がａ区間のように深さ情報が減少すれば、前記Ｍ番目のキーフレームとＭ＋１番目のキーフレームとの間に位置する少なくとも一つの第１フレームの深さ情報は、ａ区間と同一または類似に変るｂ区間のような深さ情報が生成されるようにする（図３Ａ及び図３Ｃ参照）。
【００４８】
図３Ｄに示すように、第４モードは、前記キーフレームのオブジェクトに適用される第２深さ情報に基づいて所定の範囲増減される第１深さ情報を生成するモードである。例えば、図３ＡのＭ番目のキーフレームとＭ＋１番目のキーフレームとの間の深さ情報の変化曲線がａ区間のように深さ情報が減少すれば、前記Ｍ番目のキーフレームとＭ＋１番目のキーフレームのと間に位置する少なくとも一つの第１フレームの深さ情報は、ａ区間の深さ情報より特定範囲増減する大きさの第１深さ情報を生成することによって、ｂ区間のような深さ情報が生成される（図３Ａ及び図３Ｄ参照）。従って、第４モードによれば、深さ情報の増減が激しいので視聴者はさらに劇的な立体感を楽しむことができる。
【００４９】
前述のように、本発明の一実施形態による３Ｄ映像変換装置１００の長所は、入力映像を形成する複数のフレームの中でキーフレームに対して深さ情報を生成し、キーフレームではない他のすべてのフレームに対してはユーザの選択によるモードによる深さ情報を一括的に適用することができる。従って、すべてのフレームに対して一括的に深さ情報を生成して適用することよりも時間及び費用的な側面でとても大きい経済的な効果がある。
【００５０】
図５は、図１に示す３Ｄ映像変換装置の動作を示すフローチャートである。
【００５１】
複数のフレームを含む入力映像を受信し（Ｓ２１０）、前記複数のフレームの中で既に設定された条件に対応する第１フレームを選択する（Ｓ２２０）。前記第１フレームは、複数のフレームの中でキーフレームではない他のフレームの中で選択される少なくともいずれか一つのフレームである。前記選択された第１フレームの中で第１オブジェクトを抽出する段階をさらに含むことができる（Ｓ２２０）。また、前記第１フレームの選択段階は、前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と、前記キーフレームの中の第２オブジェクトを選択し、第２オブジェクトに対する第２深さ情報を生成する段階と、をさらに含むことができる。
【００５２】
前記第１オブジェクトに対して複数の深さ情報設定モードを表示するＵＩを生成及び表示して（Ｓ２３０）、前記表示されたＵＩを通じて前記複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される（Ｓ２４０）。
【００５３】
前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成し（Ｓ２５０）、前記生成された第１深さ情報を利用して前記入力映像をレンダリングして３次元映像を生成する段階（Ｓ２６０）を含む。
【００５４】
前記生成された３次元映像を３Ｄ映像変換装置１００で表示する段階をさらに含むことができる。
【００５５】
または、前記生成された３次元映像を外部のコンテンツ再生装置（図示せず）に送信する段階をさらに含むことができる。
【００５６】
本発明による３Ｄ映像変換装置１００によって具現される方法は、多様なコンピュータ手段を通じて行なわれることができるプログラム命令形態で具現されてコンピュータ判読可能な非一時的保存媒体に記録されることができる。前記コンピュータ判読可能な非一時的保存媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一時的保存媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたことや、コンピュータソフトウェア当業者に公知されて使用可能なことでありうる。コンピュータ判読可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、プルロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令は、例えば、コンパイラーによって作られるような機械語コードだけでなく、インタープリターなどを使ってコンピュータによって実行されることができる高級言語コードを含む。前記ハードウェア装置は、本発明の動作を行うるために、一つ以上のソフトウェアモジュールとして作動するように構成され、その反対も同じである。
【００５７】
以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人なら本発明の原則や精神に外れなく本発明の一実施形態を変形し得ることを分かることができる。発明の範囲は、特許請求の範囲とその均等物によって定められる。
【技術分野】
【０００１】
本発明は、３Ｄ映像変換装置、その具現方法及びその保存媒体に係り、さらに詳しくは、２次元入力映像を３次元映像に変換する３Ｄ映像変換装置、その具現方法及びその非一時的保存媒体に関する。
【背景技術】
【０００２】
最近、３次元映像を再生するディスプレイ装置がたくさん開発されている。しかし、３次元映像コンテンツの生産は、３次元映像再生装置の発展速度に合わせることができない。３次元映像の製作は、通常的に莫大な規模の装置と開発人材など費用と時間がたくさん必要とされる。従って、既存の２次元映像を３次元映像に変換することによって、３次元映像コンテンツを製作しようと思うが、３次元映像の品質及び経済性を取り揃えた３次元映像変換装置及び方法の開発が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従って、本発明の目的は、３次元映像の品質と経済性を考慮した３次元映像変換装置、その具現方法及びその非一時的保存媒体を提供しようとする。
【課題を解決するための手段】
【０００４】
前記目的は、本発明により、３Ｄ映像変換装置によって具現される方法において、複数のフレームを含む入力映像を受信する段階と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；を含むことを特徴とする３Ｄ映像変換装置によって具現される方法によって達成されることができる。
【０００５】
前記第１フレームの選択段階は、前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と；前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択する段階と；を含むことができる。
【０００６】
前記第１フレームの選択段階は、前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択する段階を含むことができる。
【０００７】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることができる。
【０００８】
前記方法は、前記選択されたキーフレームの中で第２オブジェクトを抽出する段階と；前記第２オブジェクトに対して第２深さ情報を生成する段階と；をさらに含むことができる。
【０００９】
前記設定モード選択入力段階は、前記複数の深さ情報設定モードを表示するＵＩを生成及び表示する段階と；前記表示されたＵＩから前記複数の深さ情報設定モードの中でいずれか一つの設定モードを選択するユーザの選択が入力される段階；を含むことができる。
【００１０】
前記複数の深さ情報設定モードは、前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；を含むことができる。
【００１１】
また、前記目的は、本発明により、コンピュータで実行可能な命令でインコーディングされたコンピュータで判読可能な非一時的保存媒体において、プロセッサーによって前記命令が行なわれる時、前記命令は入力映像をレンダリングするための方法を行い、前記方法は複数のフレームを含む入力映像を受信する段階と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；を含むコンピュータ判読可能な非一時的保存媒体によって達成されることができる。
【００１２】
前記第１フレームの選択段階は、前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と；前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択する段階と；を含むことができる。
【００１３】
前記第１フレームの選択段階は、前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択する段階を含むことができる。
【００１４】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることができる。
【００１５】
前記選択されたキーフレームの中で第２オブジェクトを抽出する段階と；前記第２オブジェクトに対して第２深さ情報を生成する段階と；をさらに含むことができる。
【００１６】
前記設定モード選択入力段階は、前記複数の深さ情報設定モードを表示するＵＩを生成及び表示する段階と；前記表示されたＵＩから前記複数の深さ情報設定モードの中でいずれか一つの設定モードを選択するユーザの選択が入力される段階と；を含むことができる。
【００１７】
前記複数の深さ情報設定モードは、前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；を含むことができる。
【００１８】
また、前記目的は、本発明により、３Ｄ映像変換装置において、複数のフレームを含む入力映像を受信する受信部と；前記複数のフレームの中で既設定された条件に対応する第１フレームを選択し、前記選択された第１フレームの中で第１オブジェクトを抽出し、前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択に対応する第１深さ情報を生成し、前記生成された第１深さ情報を利用して前記入力映像をレンダリングする映像変換部と；を含むことを特徴とする３Ｄ映像変換装置によって達成されることができる。
【００１９】
前記映像変換部は、前記複数のフレームの中で少なくとも一つのキーフレームを選択し、前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択することができる。
【００２０】
前記映像変換部は、前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択することができる。
【００２１】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることができる。
【００２２】
前記映像変換部は、前記選択されたキーフレームの中で第２オブジェクトを抽出し、前記第２オブジェクトに対して第２深さ情報を生成することができる。
【００２３】
前記装置は、ユーザ入力部と；前記複数の深さ情報設定モードを表示するＵＩを生成するＵＩ生成部をさらに含み、前記映像変換部は、前記ＵＩを通じて前記複数の深さ情報設定モードの中でユーザ選択によって選択されたいずれか一つの設定モードに対応する第１深さ情報を生成することができる。
【００２４】
前記複数の深さ情報設定モードは、前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；を含むことができる。
【発明の効果】
【００２５】
前述のように、本発明によれば、映像の品質及び経済性を共に考慮して、２次元映像を３次元映像に変換することができる３Ｄ映像変換装置、その具現方法及びその保存媒体が提供される。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。
【図２】図１に示す３Ｄ映像変換装置の第１フレーム選定を示す図である。
【図３Ａ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図３Ｂ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図３Ｃ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図３Ｄ】図１に示す３Ｄ映像変換装置の変換処理部の深さ設定モードによる深さ情報生成方法を示す図である。
【図４】図１に示す３Ｄ映像変換装置のＵＩ生成及び表示の一例を示す図である。
【図５】図１に示す３Ｄ映像変換装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、添付図面を参考して、本発明の実施形態に対して本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。本発明は、多様な形態で具現されることができるし、ここで説明する実施形態に限定されない。本発明を明確に説明するために説明に係らない部分は省略し、明細書において、同一または類似の構成要素に対しては同じ参照符号を付けるようにする。
【００２８】
図１は、本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。
【００２９】
本発明の一実施形態による３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）から２次元映像または単眼映像を受信して、３次元映像または両眼映像に変換できる電子装置として、例えばディスプレイ装置、特に一般ＰＣなどを含むことができる。本発明の一実施形態による３Ｄ映像変換装置１００は、受信された入力映像を所定のプロセッサーによってユーザの選択が反映された深さ情報を生成し、前記生成された深さ情報を利用して３次元映像を生成する。
【００３０】
３Ｄ映像変換装置１００は、ソース提供装置（図示せず）から提供された２次元映像を３次元映像に変換を行なった後、３Ｄ映像変換装置１００で前記変換した３次元映像を立体的に表示したり、外部の３次元映像を再生できるコンテンツ再生装置（図示せず）、例えばＴＶ、ＰＣ、スマートフォン、スマートパッド、ＰＭＰ、ＭＰ３プレーヤーなどに前記変換した３次元映像を伝達することができる。
【００３１】
本実施形態によるネットワークにおいて、２次元映像及び/または３次元映像の送信のためのデータ通信は、有線及び/または無線通信方式などネットワークの通信方式には何の制限がなくて、知られた通信方式を全部含む。
【００３２】
図１に示すように、３Ｄ映像変換装置１００は、受信部１０、映像変換部２０、ディスプレイ部３０、ＵＩ生成部４０、及びユーザ入力部５０を含む。
【００３３】
受信部１０は、外部のソース提供装置（図示せず）から複数のフレームを含む入力映像を受信する。入力映像は、２次元映像または単眼映像を含む。３次元映像は、視聴者の両眼視差を利用することとして、複数の左眼フレーム及び複数の右眼フレームを含むことができる。複数の左眼フレーム及び複数の右眼フレームの中で、一組の左眼フレームと右眼フレームは、入力映像の複数のフレームの中で対応する少なくともいずれか一つから各々変換されることができる。
【００３４】
受信部１０は、所定のネットワーク（図示せず）を通じて、外部のソース提供装置（図示せず）から２次元映像が提供されることができる。前記ソース提供装置は、例えばネットワークサーバーとして、２次元映像を保存し３Ｄ映像変換装置１００の要請に従って２次元映像を３Ｄ映像変換装置１００に送信することができる。
【００３５】
他の実施形態として、受信部１０は、ネットワークでない他のデータ送信手段を通じてソース提供装置（図示せず）から２次元映像を受信することができる。例えば、ソース提供装置（図示せず）は、２次元映像を保存するハードディスク、フラッシュメモリーなどのような保存手段を備える装置であり、３Ｄ映像変換装置１００にローカル装置として連結されて３Ｄ映像変換装置１００の要請に従って２次元映像を３Ｄ映像変換装置１００に送信することができる。この場合、２次元映像のデータ送信のためには、受信部１０とソース提供装置（図示せず）との間のローカル連結方式に制限がなく、例えばＵＳＢなどを含む。
【００３６】
映像変換部２０は、受信部１０に受信された入力映像を３次元映像に変換を行なう。映像変換部２０は、ＣＰＵ２１、ＲＡＭ２３及び保存部２５を含むことができる。保存部２５は、単眼映像を両眼映像に変換するための変換プログラム２６、変換する単眼映像または入力映像２７、及び単眼映像から変換が完了された両眼映像または３次元映像２８を保存することができる。保存部２５は、ハードディスク、フラッシュメモリーなどの非揮発性メモリーで具現されることができる。ＲＡＭ２３には、変換処理部２０の動作時に変換プログラム２６の少なくとも一部がローディングされ、ＣＰＵ２１は、ＲＡＭ２３にローディングされた変換プログラム２６を実行する。変換プログラム２６は、ＣＰＵ２１によって実行可能な命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を有する。保存部２５は、コンピュータで判読可能な保存媒体の一例である。変換処理部２０の動作に対しては、図２乃至図４を参照してさらに詳しく説明する。
【００３７】
ディスプレイ部３０は、後述するＵＩ生成部４０によって生成されるＵＩを表示する。また、変換処理部２０によって変換が進行中である入力映像を前記ＵＩと共に表示することができる。また、変換処理部２０によって変換が完了された３次元映像を表示することができる。ディスプレイ部３０の具現方式は、限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノ クリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）等の多様なディスプレイ方式で具現されることができる。
【００３８】
ＵＩ生成部４０は、前記複数の深さ情報設定モードを表示するＵＩを生成することができる。前記生成されたＵＩは、ＧＵＩの形態で具現されることができる。前記ＵＩは、入力映像を３次元に変換する過程で生成されることが望ましいので、ＵＩ生成部４０は変換処理部２０のＣＰＵ２１の制御によってその機能を行なうことができる。
【００３９】
ユーザ入力部５０は、ユーザの入力を受信するユーザーインターフェースとして、３Ｄ映像変換装置１００の機能または作動に関するユーザの選択が入力される。ユーザ入力部５０は、少なくとも一つのキーボタンを備えることができるし、３Ｄ映像変換装置１００に設けられる操作パネルまたはタッチパネルで具現されることができる。また、３Ｄ映像変換装置１００に有無線で連結されるリモートコントロール、キーボード、マウスなどの形態で具現されることができる。
【００４０】
図２乃至図４を参照して、映像変換部２０をさらに詳しく説明する。
【００４１】
図２は、図１に示す３Ｄ映像変換装置の第１フレーム選定を示している。
【００４２】
複数のフレーム１１０を含む入力映像が受信部１０を通じて受信されれば、映像変換部２０は、前記複数のフレーム１１０の中で既設定された条件に対応する第１フレームを選択する。前記既設定された条件に対応する第１フレームは、前記複数のフレームの中でキーフレーム１１１、１１３、１１５を除いた他のフレームに対応する少なくともいずれか一つのフレーム１１２、１１４を含む。例えば、二つのキーフレーム１１１、１１３の間に位置する少なくともいずれか一つのフレーム１１２を含む。
【００４３】
この時、映像変換部２０は、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて少なくとも一つのキーフレームを選択する。映像変換部２０は、少なくとも一つのキーフレームが選択されれば、前記キーフレームで少なくとも一つのオブジェクトを抽出し、前記抽出された少なくとも一つのオブジェクトに対して第２深さ情報を生成する。この時、キーフレームのオブジェクトに適用される第２深さ情報は、一般的に知られた深さ推定アルゴリズムを利用して生成することができる。また他の実施形態で、所定のＵＩを通じてユーザの選択入力に基づいて前記キーフレームのオブジェクトに適用される第２深さ情報を生成することもできる。映像変換部２０は、前記入力映像の最初キーフレームから最終キーフレームに至るまで複数のキーフレームの中のオブジェクトに適用される第２深さ情報の変化をグラフ化することができるし、この一実施形態を図３Ａに示す。図３Ａに示すように、最初キーフレームから最終キーフレームに至るまでの深さ情報の変化曲線を確認することができるし、これは第１フレームの第１深さ情報の生成に利用することができる。
【００４４】
映像変換部２０は、前記既設定条件に対応する第１フレームが選択されれば、前記第１フレームの中の第１オブジェクトを抽出する。この時、第１オブジェクトは、前記第１フレームに含まれる少なくとも一つのオブジェクトを意味することとして、複数のオブジェクトが含まれることもできる。
【００４５】
映像変換部２０は、前記第１フレームの第１オブジェクトの第１深さ情報を生成するために複数の深さ情報設定モードを表示するＵＩを生成及び表示するようにＵＩ生成部４０を制御することができるし、前記生成されたＵＩの例を図４に示す。図４に示すように、ＵＩは、ユーザが選択できる複数の深さ情報設定モード、例えば、第１モード乃至第４モードを選択できるアイコンを含んでいる。ユーザ入力部５０を通じてユーザが、前記例示した第１モード乃至第４モードの中でいずれか一つのモードを選択すれば、映像変換部２０は、前記ユーザ選択によるモードに対応する深さ情報を生成する。映像変換部２０は、前記ユーザ選択による深さモードに対応して生成された深さ情報を利用して入力映像をレンダリングして結果的に３次元映像を生成する。
【００４６】
図３Ｂは第１モード及び第２モードを、図３Ｃは第３モードを、図３Ｄは第４モードを示す。図３Ｂに示すように、第１モードは第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する深さ情報を生成するモードである。従って、予め設定された特定大きさの深さ情報を第１フレームの第１オブジェクトに適用するモードである。第２モードは、前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成するモードである。従って、第２モードによると、時間が流れることによって深さ情報が徐々に増加するモードである。
【００４７】
図３Ｃに示すように、第３モードは、前記キーフレームのオブジェクトに適用される第２深さ情報に対応する第１深さ情報を生成するモードである。例えば、図３ＡのＭ番目のキーフレームとＭ＋１番目のキーフレームとの間の深さ情報の変化曲線がａ区間のように深さ情報が減少すれば、前記Ｍ番目のキーフレームとＭ＋１番目のキーフレームとの間に位置する少なくとも一つの第１フレームの深さ情報は、ａ区間と同一または類似に変るｂ区間のような深さ情報が生成されるようにする（図３Ａ及び図３Ｃ参照）。
【００４８】
図３Ｄに示すように、第４モードは、前記キーフレームのオブジェクトに適用される第２深さ情報に基づいて所定の範囲増減される第１深さ情報を生成するモードである。例えば、図３ＡのＭ番目のキーフレームとＭ＋１番目のキーフレームとの間の深さ情報の変化曲線がａ区間のように深さ情報が減少すれば、前記Ｍ番目のキーフレームとＭ＋１番目のキーフレームのと間に位置する少なくとも一つの第１フレームの深さ情報は、ａ区間の深さ情報より特定範囲増減する大きさの第１深さ情報を生成することによって、ｂ区間のような深さ情報が生成される（図３Ａ及び図３Ｄ参照）。従って、第４モードによれば、深さ情報の増減が激しいので視聴者はさらに劇的な立体感を楽しむことができる。
【００４９】
前述のように、本発明の一実施形態による３Ｄ映像変換装置１００の長所は、入力映像を形成する複数のフレームの中でキーフレームに対して深さ情報を生成し、キーフレームではない他のすべてのフレームに対してはユーザの選択によるモードによる深さ情報を一括的に適用することができる。従って、すべてのフレームに対して一括的に深さ情報を生成して適用することよりも時間及び費用的な側面でとても大きい経済的な効果がある。
【００５０】
図５は、図１に示す３Ｄ映像変換装置の動作を示すフローチャートである。
【００５１】
複数のフレームを含む入力映像を受信し（Ｓ２１０）、前記複数のフレームの中で既に設定された条件に対応する第１フレームを選択する（Ｓ２２０）。前記第１フレームは、複数のフレームの中でキーフレームではない他のフレームの中で選択される少なくともいずれか一つのフレームである。前記選択された第１フレームの中で第１オブジェクトを抽出する段階をさらに含むことができる（Ｓ２２０）。また、前記第１フレームの選択段階は、前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と、前記キーフレームの中の第２オブジェクトを選択し、第２オブジェクトに対する第２深さ情報を生成する段階と、をさらに含むことができる。
【００５２】
前記第１オブジェクトに対して複数の深さ情報設定モードを表示するＵＩを生成及び表示して（Ｓ２３０）、前記表示されたＵＩを通じて前記複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される（Ｓ２４０）。
【００５３】
前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成し（Ｓ２５０）、前記生成された第１深さ情報を利用して前記入力映像をレンダリングして３次元映像を生成する段階（Ｓ２６０）を含む。
【００５４】
前記生成された３次元映像を３Ｄ映像変換装置１００で表示する段階をさらに含むことができる。
【００５５】
または、前記生成された３次元映像を外部のコンテンツ再生装置（図示せず）に送信する段階をさらに含むことができる。
【００５６】
本発明による３Ｄ映像変換装置１００によって具現される方法は、多様なコンピュータ手段を通じて行なわれることができるプログラム命令形態で具現されてコンピュータ判読可能な非一時的保存媒体に記録されることができる。前記コンピュータ判読可能な非一時的保存媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一時的保存媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたことや、コンピュータソフトウェア当業者に公知されて使用可能なことでありうる。コンピュータ判読可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、プルロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令は、例えば、コンパイラーによって作られるような機械語コードだけでなく、インタープリターなどを使ってコンピュータによって実行されることができる高級言語コードを含む。前記ハードウェア装置は、本発明の動作を行うるために、一つ以上のソフトウェアモジュールとして作動するように構成され、その反対も同じである。
【００５７】
以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人なら本発明の原則や精神に外れなく本発明の一実施形態を変形し得ることを分かることができる。発明の範囲は、特許請求の範囲とその均等物によって定められる。
【特許請求の範囲】
【請求項１】
３Ｄ映像変換装置によって具現される方法において、
複数のフレームを含む入力映像を受信する段階と；
前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；
前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；
前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；
前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；
前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；
を含むことを特徴とする３Ｄ映像変換装置によって具現される方法。
【請求項２】
前記第１フレームの選択段階は、
前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と；
前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択する段階と；
を含むことを特徴とする請求項１に記載の３Ｄ映像変換装置によって具現される方法。
【請求項３】
前記第１フレームの選択段階は、
前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択する段階を含むことを特徴とする請求項２に記載の３Ｄ映像変換装置によって具現される方法。
【請求項４】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることを特徴とする請求項２に記載の３Ｄ映像変換装置によって具現される方法。
【請求項５】
前記選択されたキーフレームの中で第２オブジェクトを抽出する段階と；
前記第２オブジェクトに対して第２深さ情報を生成する段階と；
をさらに含むことを特徴とする請求項２に記載の３Ｄ映像変換装置によって具現される方法。
【請求項６】
前記設定モード選択入力段階は、
前記複数の深さ情報設定モードを表示するＵＩを生成及び表示する段階と；
前記表示されたＵＩから前記複数の深さ情報設定モードの中でいずれか一つの設定モードを選択するユーザの選択が入力される段階と；を含むことを特徴とする請求項１に記載の３Ｄ映像変換装置によって具現される方法。
【請求項７】
前記複数の深さ情報設定モードは、
前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；
前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；
前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；
前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；
を含むことを特徴とする請求項１に記載の３Ｄ映像変換装置によって具現される方法。
【請求項８】
３Ｄ映像変換装置において、
複数のフレームを含む入力映像を受信する受信部と；
前記複数のフレームの中で既設定された条件に対応する第１フレームを選択し、前記選択された第１フレームの中で第１オブジェクトを抽出し、前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択に対応する第１深さ情報を生成し、前記生成された第１深さ情報を利用して前記入力映像をレンダリングする映像変換部と；
を含むことを特徴とする３Ｄ映像変換装置。
【請求項９】
前記映像変換部は、
前記複数のフレームの中で少なくとも一つのキーフレームを選択して、
前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択することを特徴とする請求項８に記載の３Ｄ映像変換装置。
【請求項１０】
前記映像変換部は、
前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択することを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１１】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１２】
前記映像変換部は、
前記選択されたキーフレームの中で第２オブジェクトを抽出し、
前記第２オブジェクトに対して第２深さ情報を生成することを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１３】
ユーザ入力部と；
前記複数の深さ情報設定モードを表示するＵＩを生成するＵＩ生成部と；
をさらに含み、
前記映像変換部は、前記ＵＩを通じて前記複数の深さ情報設定モードの中でユーザ選択によって選択されたいずれか一つの設定モードに対応する第１深さ情報を生成することを特徴とする請求項８に記載の３Ｄ映像変換装置。
【請求項１４】
前記複数の深さ情報設定モードは、
前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；
前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；
前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；
前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；
を含むことを特徴とする請求項８に記載の３Ｄ映像変換装置。
【請求項１５】
請求項１による方法を遂行するコンピュータ上で実行させるためのプログラムを記録した非一時的な記録媒体。
【請求項１】
３Ｄ映像変換装置によって具現される方法において、
複数のフレームを含む入力映像を受信する段階と；
前記複数のフレームの中で既設定された条件に対応する第１フレームを選択する段階と；
前記選択された第１フレームの中で第１オブジェクトを抽出する段階と；
前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択が入力される段階と；
前記第１オブジェクトに対して前記選択された設定モードに対応する第１深さ情報を生成する段階と；
前記生成された第１深さ情報を利用して前記入力映像をレンダリングする段階と；
を含むことを特徴とする３Ｄ映像変換装置によって具現される方法。
【請求項２】
前記第１フレームの選択段階は、
前記複数のフレームの中で少なくとも一つのキーフレームを選択する段階と；
前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択する段階と；
を含むことを特徴とする請求項１に記載の３Ｄ映像変換装置によって具現される方法。
【請求項３】
前記第１フレームの選択段階は、
前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択する段階を含むことを特徴とする請求項２に記載の３Ｄ映像変換装置によって具現される方法。
【請求項４】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることを特徴とする請求項２に記載の３Ｄ映像変換装置によって具現される方法。
【請求項５】
前記選択されたキーフレームの中で第２オブジェクトを抽出する段階と；
前記第２オブジェクトに対して第２深さ情報を生成する段階と；
をさらに含むことを特徴とする請求項２に記載の３Ｄ映像変換装置によって具現される方法。
【請求項６】
前記設定モード選択入力段階は、
前記複数の深さ情報設定モードを表示するＵＩを生成及び表示する段階と；
前記表示されたＵＩから前記複数の深さ情報設定モードの中でいずれか一つの設定モードを選択するユーザの選択が入力される段階と；を含むことを特徴とする請求項１に記載の３Ｄ映像変換装置によって具現される方法。
【請求項７】
前記複数の深さ情報設定モードは、
前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；
前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；
前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；
前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；
を含むことを特徴とする請求項１に記載の３Ｄ映像変換装置によって具現される方法。
【請求項８】
３Ｄ映像変換装置において、
複数のフレームを含む入力映像を受信する受信部と；
前記複数のフレームの中で既設定された条件に対応する第１フレームを選択し、前記選択された第１フレームの中で第１オブジェクトを抽出し、前記第１オブジェクトに対して複数の深さ情報設定モードの中でいずれか一つの設定モードの選択に対応する第１深さ情報を生成し、前記生成された第１深さ情報を利用して前記入力映像をレンダリングする映像変換部と；
を含むことを特徴とする３Ｄ映像変換装置。
【請求項９】
前記映像変換部は、
前記複数のフレームの中で少なくとも一つのキーフレームを選択して、
前記複数のフレームの中でキーフレームではない他のフレームの中で少なくともいずれか一つのフレームを第１フレームと選択することを特徴とする請求項８に記載の３Ｄ映像変換装置。
【請求項１０】
前記映像変換部は、
前記選択された二つのキーフレームの間に位置する少なくともいずれか一つのフレームを第１フレームと選択することを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１１】
前記キーフレームは、前記複数のフレームの中でシーン変化、重要オブジェクトの出現、オブジェクトの動き変化量の中で少なくともいずれか一つに基づいて選択されることを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１２】
前記映像変換部は、
前記選択されたキーフレームの中で第２オブジェクトを抽出し、
前記第２オブジェクトに対して第２深さ情報を生成することを特徴とする請求項９に記載の３Ｄ映像変換装置。
【請求項１３】
ユーザ入力部と；
前記複数の深さ情報設定モードを表示するＵＩを生成するＵＩ生成部と；
をさらに含み、
前記映像変換部は、前記ＵＩを通じて前記複数の深さ情報設定モードの中でユーザ選択によって選択されたいずれか一つの設定モードに対応する第１深さ情報を生成することを特徴とする請求項８に記載の３Ｄ映像変換装置。
【請求項１４】
前記複数の深さ情報設定モードは、
前記第１フレームの以前フレームに適用された深さ情報と同じ大きさを有する第１深さ情報を生成する第１モードと；
前記第１フレームの以前フレームに適用された深さ情報より所定の範囲さらに大きい第１深さ情報を生成する第２モードと；
前記第２深さ情報に対応する第１深さ情報を生成する第３モードと；
前記第２深さ情報に基づいて所定の範囲増減する第１深さ情報を生成する第４モードと；
を含むことを特徴とする請求項８に記載の３Ｄ映像変換装置。
【請求項１５】
請求項１による方法を遂行するコンピュータ上で実行させるためのプログラムを記録した非一時的な記録媒体。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【公開番号】特開２０１２−２５３７６７（Ｐ２０１２−２５３７６７Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１２−１２３５２８（Ｐ２０１２−１２３５２８）
【出願日】平成２４年５月３０日（２０１２．５．３０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２４年５月３０日（２０１２．５．３０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]