３Ｄ映像変換装置、その具現方法及びその記憶媒体
【課題】３Ｄ映像変換装置、その具現方法及びその記憶媒体を提供する。
【解決手段】３Ｄ映像変換装置は、ディスプレイ部と、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる映像変換部と、前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御し、前記プレビューのためのレンダリングによって生成された立体映像を前記ディスプレイ部に表示させる制御部と、を備える。
【解決手段】３Ｄ映像変換装置は、ディスプレイ部と、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる映像変換部と、前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御し、前記プレビューのためのレンダリングによって生成された立体映像を前記ディスプレイ部に表示させる制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ映像変換装置、その具現方法及びその記憶媒体に関し、特に、２Ｄ入力映像を３Ｄ映像に変換する３Ｄ映像変換装置、その具現方法及びその記憶媒体に関する。
【背景技術】
【０００２】
複数のフレームを含む２Ｄ映像を３Ｄ映像に変換できる従来の映像変換装置では、複数のフレーム全体に対して３Ｄ映像への変換過程を完了してこそ、該変換の完了した３Ｄ映像をディスプレイ部を介して立体映像として確認することが可能だった。しかし、２Ｄ映像を３Ｄ映像に変換する時に、複数のフレームのうちの一部フレームに対応して生成された３Ｄ映像を立体映像として確認することによって、正しく３Ｄ映像に変換されたか否かを確認する必要があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の目的は、複数のフレームを含む２Ｄ映像を３Ｄ映像に変換する時に、これらの複数のフレームのうちの一部フレームに対応して生成された３Ｄ映像を立体映像として確認することができる３Ｄ映像変換装置、その具現方法及びその記憶媒体を提供することにある。
【課題を解決するための手段】
【０００４】
上記の本発明の目的は、ディスプレイ部と、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる映像変換部と、前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御し、前記プレビューのためのレンダリングによって生成された立体映像を前記ディスプレイ部に表示させる制御部と、を備えることを特徴とする３Ｄ映像変換装置によって達成することができる。
【０００５】
前記３Ｄ映像変換装置は、ユーザー入力部をさらに備え、前記制御部は、前記ユーザー入力部を介して前記プレビューモード選択が入力されると、前記複数のフレームのうち、前記入力時点まで立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御することができる。
【０００６】
前記３Ｄ映像変換装置は、プレビュー表示状態の選択のための第１のＵＩを生成するＵＩ生成部をさらに備え、前記制御部は、前記プレビューモード選択が入力されると、前記第１のＵＩを介して入力されたユーザーの選択に対応するプレビュー表示状態が表示されるようにすることができる。
【０００７】
前記プレビュー表示状態の選択のための第１のＵＩは、前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第２のサブＵＩ、及び前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくとも一つを含むことができる。
【０００８】
前記３Ｄ映像変換装置は、外部ディスプレイ装置が接続する接続部をさらに備え、前記制御部は、前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、前記受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送することができる。
【０００９】
前記３Ｄ映像変換装置は、前記表示される立体映像の所定の領域指定のための第２のＵＩを生成するＵＩ生成部と、記憶部と、をさらに備え、前記制御部は、前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を前記記憶部に記憶するように制御することができる。
【００１０】
前記制御部は、前記立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示するように前記ＵＩ生成部を制御することができる。
【００１１】
前記制御部は、前記第３のＵＩを介して立体映像変換情報が修正されると、前記修正された立体映像変換情報に基づいて前記入力映像を変換させるように前記変換部を制御することができる。
【００１２】
前記立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含むことができる。
【００１３】
また、上記の本発明の目的は、３Ｄ映像変換装置によって具現される方法において、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる段階と、前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行う段階と、前記プレビューのためのレンダリングによって生成された立体映像を表示する段階と、を含むことを特徴とする方法によって達成することができる。
【００１４】
前記レンダリングを行う段階は、前記複数のフレームのうち、前記プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対してレンダリングを行う段階でよい。
【００１５】
前記方法は、プレビュー表示状態選択のための第１のＵＩを生成する段階をさらに含み、前記表示段階は、前記第１のＵＩを介して入力されたユーザーの選択に対応するプレビュー表示状態を表示する段階でよい。
【００１６】
前記プレビュー表示状態の選択のための第１のＵＩは、前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示選択のための第２のサブＵＩ、及び前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくともどれ一つを含むことができる。
【００１７】
前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送する段階をさらに含むことができる。
【００１８】
前記方法は、前記表示される立体映像の所定の領域指定のための第２のＵＩを生成及び表示する段階と、前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を記憶する段階と、をさらに含むことができる。
【００１９】
立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示する段階をさらに含むことができる。
【００２０】
前記変換段階は、前記第３のＵＩを介して立体映像変換情報が修正されると、該修正された立体映像変換情報に基づいて前記入力映像を変換させる段階でよい。
【００２１】
前記立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含むことができる。
【００２２】
また、上記の目的は、上記の方法をコンピュータで実行させるためのプログラムを記録した記憶媒体によって達成することができる。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、２Ｄ映像を３Ｄ映像に変換する過程中に、立体映像変換情報が生成された一部フレームに対して立体映像としてプレビューができ、プレビューの結果に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に対応する３Ｄ映像に変換させることができる３Ｄ映像変換装置、その具現方法及びその記憶媒体を提供することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施例に係る３Ｄ映像変換装置を含むシステム概略図である。
【図２】本発明の一実施例に係る３Ｄ映像変換装置の制御ブロック図である。
【図３】本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの一実施例を示す図である。
【図４】本発明の一実施例に係る３Ｄ映像変換装置１００のプレビュー映像表示の一実施例を示す図である。
【図５】本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの他の実施例を示す図である。
【図６】本発明の一実施例に係る３Ｄ映像変換装置１００の制御動作を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、添付の図面を参照しつつ、本発明の実施例について、本発明の属する技術の分野における通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は、ここで説明する実施例に限定されず、様々な形態の変形実施が可能である。本発明を明確に説明するために、説明と関連していない部分は省略し、かつ明細書全体を通じて同一または類似の構成要素には同一の参照符号を付する。
【００２６】
図１は、本発明の一実施例に係る３Ｄ映像変換装置を含むシステム概略図である。
【００２７】
３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）または記憶媒体（図示せず）から提供される単眼映像である入力映像を両眼映像に変換することができる。ここで、単眼映像は２次元映像を含むもので、両用語は混用されてもよく、両眼映像は３次元映像（３Ｄ映像または立体映像）を含むもので、これらの用語は混用されてもよい。３Ｄ映像変換装置１００は、入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行うことによって３次元映像に変換させる。
【００２８】
３Ｄ映像変換装置１００が複数のフレームを含む入力映像を３次元映像へと変換を行う途中で、ユーザーからプレビューモード選択入力が受信されると、これらの複数のフレームのうち、立体映像変換情報が生成された一部のフレームに対してレンダリングを行って３次元映像に変換し、ディスプレイ部１２０に表示することができる。ここで、ディスプレイ部１２０は、３次元映像を表示できるディスプレイを含む。または、３Ｄ映像変換装置１００は、上記レンダリングによって変換された３次元映像を外部ディスプレイ装置２００に伝送することもできる。外部ディスプレイ装置２００としては、例えば、大型ディスプレイを有する３Ｄ ＴＶ ２００−１、大型スクリーンを有する、３Ｄ映像を表示できるプロジェクタ２００−２などを含むことができる。そのため、ユーザーは、変換の完了した一部の３次元映像を大型ディスプレイから見ながら、３次元映像の変換過程で起こり得るエラー、誤りなどを発見し、発見したエラー、誤りを訂正するために、３Ｄ映像変換装置１００によって生成された立体映像変換情報を修正することができる。したがって、３Ｄ映像変換装置１００は、修正された立体映像変換情報に基づいて入力映像を立体映像に変換させることができる。
【００２９】
ここで、ユーザーは、３Ｄ映像変換装置１００を用いて入力映像を３次元映像に変換させるアーティストでよい。
【００３０】
以下、図２を参照して３Ｄ映像変換装置をさらに詳細に説明する。図２は、本発明の一実施例に係る３Ｄ映像変換装置の制御ブロック図である。
【００３１】
図２に示すように、３Ｄ映像変換装置１００は、映像変換部１１０、ディスプレイ部１２０、ユーザー入力部１３０、ＵＩ生成部１４０、記憶部１５０、接続部１６０、及びこれらを制御する制御部１７０を備えている。
【００３２】
３Ｄ映像変換装置１００は、単眼映像である入力映像を両眼映像に変換できるいかなるタイプの電子装置でもよい。または、３Ｄ映像変換装置１００は、単眼映像を両眼映像に変換するプログラムを含むいかなる電子装置でもよい。かかる電子装置としては、ディスプレイ装置、例えば、ＰＣなどを含むことができる。
【００３３】
３Ｄ映像変換装置１００は、複数のフレームを含む入力映像を、受信部（図示せず）を介して外部のソース提供装置（図示せず）から受信することができる。３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）と所定の有線または無線ネットワークを介してデータ通信することができる。または、３Ｄ映像変換装置１００は、ＵＳＢ、ＣＤ、ＢＤなどのような外部記憶媒体（図示せず）から、複数のフレームを含む入力映像を受信することもできる。
【００３４】
３Ｄ映像変換装置１００によって入力映像から変換された立体映像は、シャッターメガネ方式による立体映像、または偏光メガネ方式による立体映像でよい。ここで、シャッターメガネ方式は、シャッターメガネを用いて３Ｄ映像を具現する方式のことを指し、ディスプレイ装置が左右の映像を別々に表示し、左側映像に対しては左側メガネが、右側映像に対しては右側メガネが開くことで、左右映像を分離して立体感を提供する方式である。また、偏光メガネ方式とは、偏光メガネを用いて３Ｄ映像を具現する方式のことを指す。すなわち、ディスプレイ装置１００は偏光フィルタを有しており、フィルタと同じ偏光方式の偏光メガネで見ると、左眼には左側映像のみが、右眼には右側映像のみが入力されることで、立体感を感じさせる方式である。３Ｄ映像変換装置１００の映像変換部１１０は、入力映像に関する立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行い、上記のシャッターメガネ方式または偏光メガネ方式のいずれかに対応するフォーマットにフォーマット変更を行うことによって、シャッターメガネ方式による立体映像または偏光メガネ方式による立体映像を生成することができる。
【００３５】
映像変換部１１０は、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行って当該入力映像を立体映像に変換させる。
【００３６】
立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含む。映像属性情報は、映像の輝度、カラー、コントラスト、当該映像に含まれる所定のオブジェクトに対応するピクセルの位置情報などを含む。キーフレーム情報は、入力映像を構成する複数のフレームのうち、シーン変化フレーム、重要オブジェクトが最初に現れるフレーム、オブジェクトの動きが大きいフレームなどを含む。オブジェクト抽出情報は、変換しようとするフレームに含まれた少なくとも一つのオブジェクトに対して立体感を表現するための深さ値が割り当てられるオブジェクトの選択情報を含む。深さ情報は、立体感を表現するための深さ値を含む。
【００３７】
映像変換部１１０は、ユーザー入力部１３０を介してプレビューモード選択の入力を受信すると、制御部１７０の制御下に、複数のフレームのうち、立体映像変換情報の生成された一部フレームに対してプレビューのためのレンダリングを行う。好ましくは、映像変換部１１０は、プレビューモード選択が入力されると、複数のフレームのうち、このモード選択入力時点まで立体映像変換情報の生成された一部フレームに対してプレビューのためのレンダリングを行う。このレンダリングにより、一部の入力映像に対応する実質的な左眼映像及び右眼映像が生成される。
【００３８】
映像変換部１１０は、上述した映像変換部の機能を実質的に果たしうる所定の映像変換プログラムの形態とすることもできる。映像変換部１１０を所定の映像変換プログラムの形態とする場合に、該映像変換プログラムは、後述する記憶部１５０に記憶されており、制御部１７０の制御下に、記憶部１５０に記憶されている映像変換プログラムが、所定のＲＡＭ（図示せず）にローディングされて実行されるとよい。
【００３９】
ディスプレイ部１２０は、映像変換部１１０によってレンダリングの完了した、一部フレームに対応する３次元映像を表示する。ディスプレイ部１２０は、制御部１７０の制御下に、ユーザー入力部１３０によってプレビューモード選択の入力が選択されると、映像変換部１１０でレンダリングの完了した、一部フレームに対応する３次元映像（以下、「プレビュー映像」とも称する。）を立体的に表示したり、左眼映像と右眼映像とを分離して２次元的に表示したりできる。
【００４０】
また、後述するＵＩ生成部１４０によって生成されたＵＩを表示する。ディスプレイ部１２０の具現方式は、特に限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）などの様々なディスプレイ方式とすることができる。
【００４１】
ユーザー入力部１３０は、ユーザーの入力を受信するユーザーインターフェースで、３Ｄ映像変換装置１００の機能または作動に関連したユーザーの選択が入力される。そのため、３Ｄ映像変換装置１００は、ユーザー入力部１３０を介してプレビューモード選択の入力を受信したり、ディスプレイ部１２０に表示されるＵＩの選択入力を受信したりできる。ユーザー入力部１３０は、少なくとも一つのキーボタンを備えることができ、３Ｄ映像変換装置１００に設けられる操作パネルまたはタッチパネルとすることができる。または、３Ｄ映像変換装置１００に有線または無線で接続するリモートコントローラ、キーボード、マウスなどのようなポインティング装置などの形態とすることもできる。
【００４２】
ＵＩ生成部１４０は、制御部１７０の制御下に、ユーザー入力部１３０を介してプレビューモード選択の入力が受信されると、プレビュー表示状態の選択のための第１のＵＩを生成してディスプレイ部１２０に表示する。該プレビュー表示状態の選択のための第１のＵＩとしては、生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第２のサブＵＩ、及び、生成された立体映像のディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第３のサブＵＩのうち、少なくとも一つを含む。
【００４３】
また、ＵＩ生成部１４０は、制御部１７０の制御下に、プレビューモード選択によってプレビュー映像がディスプレイ部１２０に表示されると、該表示されるプレビュー映像の所定の領域指定のための第２のＵＩを生成し、これをディスプレイ部１２０に表示する。
【００４４】
また、ＵＩ生成部１４０は、ユーザー入力部１３０を介して立体映像変換情報の修正モード選択の入力を受信すると、制御部１７０の制御下に、第２のＵＩを介して指定された領域に関する情報に基づき、当該入力映像にユーザー識別及び立体映像変換情報の修正のための第３のＵＩを生成し、これをディスプレイ部１２０に表示する。
【００４５】
ＵＩ生成部１４０によって生成されるＵＩはいずれもＧＵＩの形態とし、ディスプレイ部１２０に表示することができる。
【００４６】
記憶部１５０は、ＵＩ生成部１４０によって生成された第２のＵＩを介して指定されたプレビュー映像の所定の領域に関する情報を記憶する。指定された領域に関する情報としては、例えば、該指定された領域に対応する、該当のフレームにおけるピクセル位置情報を含むことができる。記憶部１５０は、映像変換部１１０を映像変換プログラムの形態とする場合に、該映像変換プログラムを記憶することもできる。
【００４７】
３Ｄ映像変換装置１００は、接続部１６０を介して外部ディスプレイ装置２００に接続する。そのため、３Ｄ映像変換装置１００と外部ディスプレイ装置２００とは所定の有線または無線ネットワークを通じて接続したり、ローカル接続したりする。接続部１６０を介して３Ｄ映像変換装置１００が外部ディスプレイ装置２００に接続すると、制御部１７０の制御下に、３Ｄ映像変換装置１００は、外部ディスプレイ装置２００のディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して当該生成された立体映像（またはプレビュー映像）を処理して外部ディスプレイ装置２００に伝送する。
【００４８】
３Ｄ映像変換装置１００は、接続部１６０を介して複数の外部ディスプレイ装置２００−１，２００−２，…に接続することが可能である。
【００４９】
制御部１７０は、上述の構成要素を制御できるもので、３Ｄ映像変換装置１００内でＣＰＵの形態で具現可能である。上述した構成要素及び制御部１７０の具体的な動作の詳細については後述する。
【００５０】
図３には、本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの一実施例を示す。
【００５１】
入力映像を３次元映像に変換を行う過程中に、ユーザー入力部１３０を介してプレビューモード選択が入力されると、制御部１７０は、ＵＩ生成部１４０を制御してプレビュー表示状態の選択のための第１のＵＩ １４１を生成し、ディスプレイ部１２０に表示する。
【００５２】
プレビュー表示状態の選択のための第１のＵＩ １４１は、生成された立体映像（またはプレビュー映像）の２次元または３次元表示の選択のための第１のサブＵＩ １４２、生成された立体映像のディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第２のサブＵＩ １４３、及び生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ １４４のうちの少なくとも一つを含むことができる。
【００５３】
第１のサブＵＩ １４２でユーザー（またはアーティスト）がユーザー入力部１３０を介して２次元表示または３次元表示を選択することができる。図４を参照して説明すると、次の通りである。図４には、本発明の一実施例に係る３Ｄ映像変換装置１００のプレビュー映像表示の一実施例を示す。
【００５４】
第１のサブＵＩ １４２でユーザーが２次元表示を選択すると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）を、左眼映像と右眼映像とに分離して表示することができる（図４の（Ａ）参照）。
【００５５】
プレビュー映像の２次元表示の利点は、映像変換部１１０により生成された立体映像変換情報のエラーをユーザーが発見しやすいことにある。この立体映像変換情報のエラーとしては、例えば、左眼映像と右眼映像とのミスマッチを挙げることができる。ミスマッチの一例としては、左眼映像と右眼映像との、所定領域におけるカラー、コントラスト、輝度などの映像属性情報のミスマッチを含むことができる。このような映像属性情報のミスマッチとしては、左眼映像の一領域とそれに対応する右眼映像の一領域とが、異なるカラー、異なるコントラスト、または異なる輝度を示すことを含むことができる。
【００５６】
ミスマッチの他の例としては、左眼映像の一領域とそれに対応する右眼映像の一領域で所定のピクセルがずれるミスマッチを含むことができる。このようにピクセルの位置がずれてしまう場合は、映像変換部１１０がオブジェクトを抽出する過程でオブジェクト抽出のエラーとして生じうる。
【００５７】
ミスマッチのさらに他の例としては、左眼映像の一領域とそれに対応する右眼映像の一領域との深さ情報が互いに異なるミスマッチを含むことができる。深さ情報のミスマッチを確認するために、ユーザーがユーザー入力部１３０を介して所定キーを入力すると、制御部１７０の制御の下に、映像変換部１１０で生成された該当のフレームの深さマップがディスプレイ部１２０に表示される。この深さマップも同様、左眼映像用の深さマップと右眼映像用の深さマップとに分離して表示され、この深さマップは、深さ値によってブラック・アンド・ホワイトの濃度で表示されるので、深さ値がミスマッチされる一領域を容易に確認することが可能である。
【００５８】
第１のサブＵＩ １４２でユーザーが３次元表示を選択すると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）を３次元で表示することができる（図４の（Ｂ）参照）。
【００５９】
プレビュー映像の３次元表示の利点は、映像変換部１１０により生成された立体映像変換情報のうち深さ情報が適切に割り当てられたか否かを、ユーザーが容易に確認することができることにある。映像変換部１１０は、深さを割り当てるオブジェクトを抽出し、抽出したオブジェクトに深さ値を割り当てる。これで、３次元映像で表示されるプレビュー映像から、オブジェクトに適切な深さ値が割り当てられたか否かを確認することができる。
【００６０】
図３に示すプレビュー表示状態の選択のための第１のＵＩ １４１に含まれた第２のサブＵＩ１４３を介して、ユーザーは、プレビュー映像の内部ディスプレイ部１２０での表示または外部ディスプレイ装置２００での表示のいずれか一方を選択することができる。
【００６１】
第２のサブＵＩ １４３でユーザー入力部１３０を介して内部ディスプレイ部での表示が選択されると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）をディスプレイ部１２０に表示させることができる。
【００６２】
また、第２のサブＵＩ １４３でユーザー入力部１３０を介して外部ディスプレイ装置での表示が選択されると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）が、接続部１６０に接続している外部ディスプレイ装置２００に表示されるように当該プレビュー映像を伝達することができる。このように第２のサブＵＩで外部ディスプレイ装置での表示が選択されると、制御部１７０は、接続部１６０に接続している外部ディスプレイ装置２００からディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して当該プレビュー映像を処理して外部ディスプレイ装置２００に伝送することができる。ここで、ディスプレイ認識情報としては、例えば、外部ディスプレイ装置２００のＥＤＩＤなどのようなディスプレイ情報を含む。
【００６３】
もし、接続部１６０を介して複数の外部ディスプレイ装置が接続していると、制御部１７０は、ＵＩ生成部１４０を制御して、複数の外部ディスプレイ装置の接続のための所定のＵＩ（図示せず）を生成し、ユーザー入力部１３０を介してユーザーにより選択されたディスプレイ装置に、プレビュー映像を伝達することができる。
【００６４】
または、接続部１６０を介して複数の外部ディスプレイ装置が接続しており、プレビュー映像の２次元表示が選択されると、ユーザー選択によって、制御部１７０は、プレビュー映像に対応する左眼映像と右眼映像を各々それぞれ異なる外部ディスプレイ装置に伝送することもできる（図４の（Ｃ）参照）。例えば、制御部１７０は、ユーザー選択によって、接続部１６０を介して接続している外部ディスプレイ装置１２００−１に左眼映像を、外部ディスプレイ装置２２００−２に右眼映像をそれぞれ伝送することができる。そのため、外部ディスプレイ装置１２００−１のディスプレイ２０１に左眼映像が表示され、外部ディスプレイ装置２２００−２のディスプレイ２０２に右眼映像が表示されることとなる。
【００６５】
外部ディスプレイ装置２００に伝送されるプレビュー映像には、制御部１７０の制御下でＵＩ生成部１３０で生成される全てのＵＩが含まれる。すなわち、内部ディスプレイ部１２０で表示されうるプレビュー映像、ＵＩを含む映像が外部ディスプレイ装置２００に伝送される。これにより、ユーザーは、外部ディスプレイ装置２００に表示される、ユーザーが選択できる項目を含むＵＩを用いることができる。この時には、外部ディスプレイ装置２００に接続しているポインティング装置またはリモートコントローラなどの、ユーザーの選択を入力できる装置を用いて、当該ＵＩを介してユーザーの選択を入力することができる。
【００６６】
図３に示すプレビュー表示状態選択のための第１のＵＩ １４１に含まれた第３のサブＵＩ
１４４を介して、プレビュー映像に対応するフレームのうち、ディスプレイ部１２０または外部ディスプレイ装置２００で表示する少なくとも一つのフレームを選択することができる。第３のサブＵＩ １４４を介して、ユーザーは、プレビュー映像に対応する複数のフレームのうち、所定区間に対応する少なくとも一つのフレームを選択することができる。例えば、ユーザーは、第３のサブＵＩ １４４を介して一つのシーンに対応する少なくとも一つのフレームを選択することができる。
【００６７】
図５には、本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの他の実施例を示す。
【００６８】
第１のＵＩ １４１を介したユーザーの選択によって、制御部１７０は、プレビュー映像をディスプレイ部１２０または外部ディスプレイ装置２００に表示し、かつＵＩ生成部１４０を制御して、この表示されるプレビュー映像の所定の一領域の指定のための第２のＵＩを生成して当該プレビュー映像上に表示させる。
【００６９】
第２のＵＩ １４５を介してユーザーは、立体映像変換情報のエラーが生じた一領域を指定したり、または深さ情報を変更しようとする一領域を指定したりできる。この一領域は、自由な曲線形態で指定することができ、かつ、第２のＵＩ １４５は、定められていない形態を持つ一領域を、マウスなどのようなポインティング装置を用いて指定するのに有用なように具現されるとよい（図５の（Ａ）参照）。
【００７０】
制御部１７０は、第２のＵＩ １４５を介してプレビュー映像上で所定の一領域が指定されると、該指定された一領域に関する情報を記憶部１５０に記憶させる。そのため、制御部１７０は、当該指定された一領域に対応するピクセル位置情報の形態として記憶部１５０に記憶させる。
【００７１】
一方、ユーザー入力部１３０を介して立体映像変換情報の修正モードの選択が入力されると、制御部１７０は、３Ｄ映像変換装置１００のディスプレイ部１２０に、入力映像に対応する立体映像変換情報を生成させることができる作業映像を表示させる（図５の（Ｂ）参照）。立体映像変換情報の修正モードにおいて、ディスプレイ部１２０の一領域には、２次元映像である入力映像が表示され、残りの領域には、立体映像変換情報を生成させることができる作業映像が表示される。
【００７２】
制御部１７０は、記憶部１５０にユーザーが記憶させた所定の領域に関する情報を用いて、作業映像上で指定領域に対応する領域にユーザー識別１４５ａ及び立体映像変換情報修正のための第３のＵＩ １４６を生成及び表示するようにＵＩ生成部１４０を制御する。ユーザーは、例えば、ユーザー入力部１３０に設けられたホイールまたは左右ボタンを用いてフレームを移動させながら、ユーザー識別用ＵＩ １４５ａの表示されているフレームを選択することができる。
【００７３】
図５の（Ｂ）は、一例として、深さ情報を変更可能にする第３のＵＩの一例を示している。ユーザー識別用ＵＩ １４５ａをユーザー入力部１３０を介して選択すると、深さ情報を変更可能にする第３のＵＩ １４６が表示され、ユーザーは、第３のＵＩを介して当該領域に対する深さ値の割当を変更することができる。同図における第３のＵＩは矢印の移動によって深さ値を修正する例を示しているが、深さ値を直接入力できるようにしてもよい。そのため、第３のＵＩは、ユーザーの選択が可能ないかなる形態のＵＩにしてもよい。
【００７４】
図５の（Ｂ）には、深さ情報の変更についてのみ示しているが、第３のＵＩは、上述した立体映像変換情報のエラーを修正できる項目を変更させうるいかなるサブＵＩも含むことができる。例えば、第３のＵＩはとして、指定領域のカラー修正、コントラスト修正、輝度修正、ピクセル位置補正などが行えるサブＵＩを含んでもよい。
【００７５】
制御部１７０は、第３のＵＩを介して立体映像変換情報が修正されると、該修正された立体映像変換情報に基づいて入力映像が変換されるように映像変換部１１０を制御する。したがって、本発明によれば、入力映像を立体映像へと変換する過程中に、ユーザーは、プレビューモードで入力映像が最適の立体映像に変換されたか否かを確認でき、かつ修正モードで立体映像変換情報を修正し、該修正の反映された立体映像に変換させることができる。
【００７６】
図６は、本発明の一実施例に係る３Ｄ映像変換装置１００の制御動作を示すフローチャートである。
【００７７】
複数のフレームを含む入力映像に対応する立体映像への変換が開始され（Ｓ３０１）、全体入力映像の変換完了前にプレビューモード選択が入力されると（Ｓ３０２）、これらの複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行い（Ｓ３０３）、該プレビューのためのレンダリングによって生成された立体映像を表示する（Ｓ３０４）。
【００７８】
本発明に係る３Ｄ映像変換装置で具現される方法は、様々なコンピュータ手段で実行可能なプログラム命令の形態とし、コンピュータ読み取り可能記憶媒体に記録することができる。このコンピュータ読み取り可能記憶媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを記憶することができる。この記憶媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア当業者には公知のものでもよい。コンピュータ読み取り可能記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリーなどのようなプログラム命令を記憶して実行するように特別に構成されたハードウェア装置を挙げることができる。プログラム命令の例としては、コンパイラで作られたような機械語コードの他、インタープリターなどを用いてコンピュータで実行可能な高級言語コードを含む。上記ハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成することもでき、その逆も可能である。
【００７９】
たとえ本発明のいくつかの実施例が図示及び説明されたが、本発明の属する技術の分野における通常の知識を有するた当業者には、本発明の原則や精神から逸脱することなく本実施例を変形できるということがわかる。したがって、発明の範囲は、添付の請求項とその均等物により定められるべきであろう。
【符号の説明】
【００８０】
１００ ３Ｄ映像変換装置
１１０ 映像変換部
１２０ ディスプレイ部
１３０ ユーザー入力部
１４０ ＵＩ生成部
１５０ 記憶部
１６０ 接続部
１７０ 制御部
２００ 外部ディスプレイ装置
【技術分野】
【０００１】
本発明は、３Ｄ映像変換装置、その具現方法及びその記憶媒体に関し、特に、２Ｄ入力映像を３Ｄ映像に変換する３Ｄ映像変換装置、その具現方法及びその記憶媒体に関する。
【背景技術】
【０００２】
複数のフレームを含む２Ｄ映像を３Ｄ映像に変換できる従来の映像変換装置では、複数のフレーム全体に対して３Ｄ映像への変換過程を完了してこそ、該変換の完了した３Ｄ映像をディスプレイ部を介して立体映像として確認することが可能だった。しかし、２Ｄ映像を３Ｄ映像に変換する時に、複数のフレームのうちの一部フレームに対応して生成された３Ｄ映像を立体映像として確認することによって、正しく３Ｄ映像に変換されたか否かを確認する必要があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の目的は、複数のフレームを含む２Ｄ映像を３Ｄ映像に変換する時に、これらの複数のフレームのうちの一部フレームに対応して生成された３Ｄ映像を立体映像として確認することができる３Ｄ映像変換装置、その具現方法及びその記憶媒体を提供することにある。
【課題を解決するための手段】
【０００４】
上記の本発明の目的は、ディスプレイ部と、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる映像変換部と、前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御し、前記プレビューのためのレンダリングによって生成された立体映像を前記ディスプレイ部に表示させる制御部と、を備えることを特徴とする３Ｄ映像変換装置によって達成することができる。
【０００５】
前記３Ｄ映像変換装置は、ユーザー入力部をさらに備え、前記制御部は、前記ユーザー入力部を介して前記プレビューモード選択が入力されると、前記複数のフレームのうち、前記入力時点まで立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御することができる。
【０００６】
前記３Ｄ映像変換装置は、プレビュー表示状態の選択のための第１のＵＩを生成するＵＩ生成部をさらに備え、前記制御部は、前記プレビューモード選択が入力されると、前記第１のＵＩを介して入力されたユーザーの選択に対応するプレビュー表示状態が表示されるようにすることができる。
【０００７】
前記プレビュー表示状態の選択のための第１のＵＩは、前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第２のサブＵＩ、及び前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくとも一つを含むことができる。
【０００８】
前記３Ｄ映像変換装置は、外部ディスプレイ装置が接続する接続部をさらに備え、前記制御部は、前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、前記受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送することができる。
【０００９】
前記３Ｄ映像変換装置は、前記表示される立体映像の所定の領域指定のための第２のＵＩを生成するＵＩ生成部と、記憶部と、をさらに備え、前記制御部は、前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を前記記憶部に記憶するように制御することができる。
【００１０】
前記制御部は、前記立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示するように前記ＵＩ生成部を制御することができる。
【００１１】
前記制御部は、前記第３のＵＩを介して立体映像変換情報が修正されると、前記修正された立体映像変換情報に基づいて前記入力映像を変換させるように前記変換部を制御することができる。
【００１２】
前記立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含むことができる。
【００１３】
また、上記の本発明の目的は、３Ｄ映像変換装置によって具現される方法において、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる段階と、前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行う段階と、前記プレビューのためのレンダリングによって生成された立体映像を表示する段階と、を含むことを特徴とする方法によって達成することができる。
【００１４】
前記レンダリングを行う段階は、前記複数のフレームのうち、前記プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対してレンダリングを行う段階でよい。
【００１５】
前記方法は、プレビュー表示状態選択のための第１のＵＩを生成する段階をさらに含み、前記表示段階は、前記第１のＵＩを介して入力されたユーザーの選択に対応するプレビュー表示状態を表示する段階でよい。
【００１６】
前記プレビュー表示状態の選択のための第１のＵＩは、前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示選択のための第２のサブＵＩ、及び前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくともどれ一つを含むことができる。
【００１７】
前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送する段階をさらに含むことができる。
【００１８】
前記方法は、前記表示される立体映像の所定の領域指定のための第２のＵＩを生成及び表示する段階と、前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を記憶する段階と、をさらに含むことができる。
【００１９】
立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示する段階をさらに含むことができる。
【００２０】
前記変換段階は、前記第３のＵＩを介して立体映像変換情報が修正されると、該修正された立体映像変換情報に基づいて前記入力映像を変換させる段階でよい。
【００２１】
前記立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含むことができる。
【００２２】
また、上記の目的は、上記の方法をコンピュータで実行させるためのプログラムを記録した記憶媒体によって達成することができる。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、２Ｄ映像を３Ｄ映像に変換する過程中に、立体映像変換情報が生成された一部フレームに対して立体映像としてプレビューができ、プレビューの結果に基づいて前記立体映像変換情報を修正し、修正された立体映像変換情報に対応する３Ｄ映像に変換させることができる３Ｄ映像変換装置、その具現方法及びその記憶媒体を提供することが可能になる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施例に係る３Ｄ映像変換装置を含むシステム概略図である。
【図２】本発明の一実施例に係る３Ｄ映像変換装置の制御ブロック図である。
【図３】本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの一実施例を示す図である。
【図４】本発明の一実施例に係る３Ｄ映像変換装置１００のプレビュー映像表示の一実施例を示す図である。
【図５】本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの他の実施例を示す図である。
【図６】本発明の一実施例に係る３Ｄ映像変換装置１００の制御動作を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、添付の図面を参照しつつ、本発明の実施例について、本発明の属する技術の分野における通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は、ここで説明する実施例に限定されず、様々な形態の変形実施が可能である。本発明を明確に説明するために、説明と関連していない部分は省略し、かつ明細書全体を通じて同一または類似の構成要素には同一の参照符号を付する。
【００２６】
図１は、本発明の一実施例に係る３Ｄ映像変換装置を含むシステム概略図である。
【００２７】
３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）または記憶媒体（図示せず）から提供される単眼映像である入力映像を両眼映像に変換することができる。ここで、単眼映像は２次元映像を含むもので、両用語は混用されてもよく、両眼映像は３次元映像（３Ｄ映像または立体映像）を含むもので、これらの用語は混用されてもよい。３Ｄ映像変換装置１００は、入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行うことによって３次元映像に変換させる。
【００２８】
３Ｄ映像変換装置１００が複数のフレームを含む入力映像を３次元映像へと変換を行う途中で、ユーザーからプレビューモード選択入力が受信されると、これらの複数のフレームのうち、立体映像変換情報が生成された一部のフレームに対してレンダリングを行って３次元映像に変換し、ディスプレイ部１２０に表示することができる。ここで、ディスプレイ部１２０は、３次元映像を表示できるディスプレイを含む。または、３Ｄ映像変換装置１００は、上記レンダリングによって変換された３次元映像を外部ディスプレイ装置２００に伝送することもできる。外部ディスプレイ装置２００としては、例えば、大型ディスプレイを有する３Ｄ ＴＶ ２００−１、大型スクリーンを有する、３Ｄ映像を表示できるプロジェクタ２００−２などを含むことができる。そのため、ユーザーは、変換の完了した一部の３次元映像を大型ディスプレイから見ながら、３次元映像の変換過程で起こり得るエラー、誤りなどを発見し、発見したエラー、誤りを訂正するために、３Ｄ映像変換装置１００によって生成された立体映像変換情報を修正することができる。したがって、３Ｄ映像変換装置１００は、修正された立体映像変換情報に基づいて入力映像を立体映像に変換させることができる。
【００２９】
ここで、ユーザーは、３Ｄ映像変換装置１００を用いて入力映像を３次元映像に変換させるアーティストでよい。
【００３０】
以下、図２を参照して３Ｄ映像変換装置をさらに詳細に説明する。図２は、本発明の一実施例に係る３Ｄ映像変換装置の制御ブロック図である。
【００３１】
図２に示すように、３Ｄ映像変換装置１００は、映像変換部１１０、ディスプレイ部１２０、ユーザー入力部１３０、ＵＩ生成部１４０、記憶部１５０、接続部１６０、及びこれらを制御する制御部１７０を備えている。
【００３２】
３Ｄ映像変換装置１００は、単眼映像である入力映像を両眼映像に変換できるいかなるタイプの電子装置でもよい。または、３Ｄ映像変換装置１００は、単眼映像を両眼映像に変換するプログラムを含むいかなる電子装置でもよい。かかる電子装置としては、ディスプレイ装置、例えば、ＰＣなどを含むことができる。
【００３３】
３Ｄ映像変換装置１００は、複数のフレームを含む入力映像を、受信部（図示せず）を介して外部のソース提供装置（図示せず）から受信することができる。３Ｄ映像変換装置１００は、外部のソース提供装置（図示せず）と所定の有線または無線ネットワークを介してデータ通信することができる。または、３Ｄ映像変換装置１００は、ＵＳＢ、ＣＤ、ＢＤなどのような外部記憶媒体（図示せず）から、複数のフレームを含む入力映像を受信することもできる。
【００３４】
３Ｄ映像変換装置１００によって入力映像から変換された立体映像は、シャッターメガネ方式による立体映像、または偏光メガネ方式による立体映像でよい。ここで、シャッターメガネ方式は、シャッターメガネを用いて３Ｄ映像を具現する方式のことを指し、ディスプレイ装置が左右の映像を別々に表示し、左側映像に対しては左側メガネが、右側映像に対しては右側メガネが開くことで、左右映像を分離して立体感を提供する方式である。また、偏光メガネ方式とは、偏光メガネを用いて３Ｄ映像を具現する方式のことを指す。すなわち、ディスプレイ装置１００は偏光フィルタを有しており、フィルタと同じ偏光方式の偏光メガネで見ると、左眼には左側映像のみが、右眼には右側映像のみが入力されることで、立体感を感じさせる方式である。３Ｄ映像変換装置１００の映像変換部１１０は、入力映像に関する立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行い、上記のシャッターメガネ方式または偏光メガネ方式のいずれかに対応するフォーマットにフォーマット変更を行うことによって、シャッターメガネ方式による立体映像または偏光メガネ方式による立体映像を生成することができる。
【００３５】
映像変換部１１０は、複数のフレームを含む入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行って当該入力映像を立体映像に変換させる。
【００３６】
立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含む。映像属性情報は、映像の輝度、カラー、コントラスト、当該映像に含まれる所定のオブジェクトに対応するピクセルの位置情報などを含む。キーフレーム情報は、入力映像を構成する複数のフレームのうち、シーン変化フレーム、重要オブジェクトが最初に現れるフレーム、オブジェクトの動きが大きいフレームなどを含む。オブジェクト抽出情報は、変換しようとするフレームに含まれた少なくとも一つのオブジェクトに対して立体感を表現するための深さ値が割り当てられるオブジェクトの選択情報を含む。深さ情報は、立体感を表現するための深さ値を含む。
【００３７】
映像変換部１１０は、ユーザー入力部１３０を介してプレビューモード選択の入力を受信すると、制御部１７０の制御下に、複数のフレームのうち、立体映像変換情報の生成された一部フレームに対してプレビューのためのレンダリングを行う。好ましくは、映像変換部１１０は、プレビューモード選択が入力されると、複数のフレームのうち、このモード選択入力時点まで立体映像変換情報の生成された一部フレームに対してプレビューのためのレンダリングを行う。このレンダリングにより、一部の入力映像に対応する実質的な左眼映像及び右眼映像が生成される。
【００３８】
映像変換部１１０は、上述した映像変換部の機能を実質的に果たしうる所定の映像変換プログラムの形態とすることもできる。映像変換部１１０を所定の映像変換プログラムの形態とする場合に、該映像変換プログラムは、後述する記憶部１５０に記憶されており、制御部１７０の制御下に、記憶部１５０に記憶されている映像変換プログラムが、所定のＲＡＭ（図示せず）にローディングされて実行されるとよい。
【００３９】
ディスプレイ部１２０は、映像変換部１１０によってレンダリングの完了した、一部フレームに対応する３次元映像を表示する。ディスプレイ部１２０は、制御部１７０の制御下に、ユーザー入力部１３０によってプレビューモード選択の入力が選択されると、映像変換部１１０でレンダリングの完了した、一部フレームに対応する３次元映像（以下、「プレビュー映像」とも称する。）を立体的に表示したり、左眼映像と右眼映像とを分離して２次元的に表示したりできる。
【００４０】
また、後述するＵＩ生成部１４０によって生成されたＵＩを表示する。ディスプレイ部１２０の具現方式は、特に限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）などの様々なディスプレイ方式とすることができる。
【００４１】
ユーザー入力部１３０は、ユーザーの入力を受信するユーザーインターフェースで、３Ｄ映像変換装置１００の機能または作動に関連したユーザーの選択が入力される。そのため、３Ｄ映像変換装置１００は、ユーザー入力部１３０を介してプレビューモード選択の入力を受信したり、ディスプレイ部１２０に表示されるＵＩの選択入力を受信したりできる。ユーザー入力部１３０は、少なくとも一つのキーボタンを備えることができ、３Ｄ映像変換装置１００に設けられる操作パネルまたはタッチパネルとすることができる。または、３Ｄ映像変換装置１００に有線または無線で接続するリモートコントローラ、キーボード、マウスなどのようなポインティング装置などの形態とすることもできる。
【００４２】
ＵＩ生成部１４０は、制御部１７０の制御下に、ユーザー入力部１３０を介してプレビューモード選択の入力が受信されると、プレビュー表示状態の選択のための第１のＵＩを生成してディスプレイ部１２０に表示する。該プレビュー表示状態の選択のための第１のＵＩとしては、生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第２のサブＵＩ、及び、生成された立体映像のディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第３のサブＵＩのうち、少なくとも一つを含む。
【００４３】
また、ＵＩ生成部１４０は、制御部１７０の制御下に、プレビューモード選択によってプレビュー映像がディスプレイ部１２０に表示されると、該表示されるプレビュー映像の所定の領域指定のための第２のＵＩを生成し、これをディスプレイ部１２０に表示する。
【００４４】
また、ＵＩ生成部１４０は、ユーザー入力部１３０を介して立体映像変換情報の修正モード選択の入力を受信すると、制御部１７０の制御下に、第２のＵＩを介して指定された領域に関する情報に基づき、当該入力映像にユーザー識別及び立体映像変換情報の修正のための第３のＵＩを生成し、これをディスプレイ部１２０に表示する。
【００４５】
ＵＩ生成部１４０によって生成されるＵＩはいずれもＧＵＩの形態とし、ディスプレイ部１２０に表示することができる。
【００４６】
記憶部１５０は、ＵＩ生成部１４０によって生成された第２のＵＩを介して指定されたプレビュー映像の所定の領域に関する情報を記憶する。指定された領域に関する情報としては、例えば、該指定された領域に対応する、該当のフレームにおけるピクセル位置情報を含むことができる。記憶部１５０は、映像変換部１１０を映像変換プログラムの形態とする場合に、該映像変換プログラムを記憶することもできる。
【００４７】
３Ｄ映像変換装置１００は、接続部１６０を介して外部ディスプレイ装置２００に接続する。そのため、３Ｄ映像変換装置１００と外部ディスプレイ装置２００とは所定の有線または無線ネットワークを通じて接続したり、ローカル接続したりする。接続部１６０を介して３Ｄ映像変換装置１００が外部ディスプレイ装置２００に接続すると、制御部１７０の制御下に、３Ｄ映像変換装置１００は、外部ディスプレイ装置２００のディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して当該生成された立体映像（またはプレビュー映像）を処理して外部ディスプレイ装置２００に伝送する。
【００４８】
３Ｄ映像変換装置１００は、接続部１６０を介して複数の外部ディスプレイ装置２００−１，２００−２，…に接続することが可能である。
【００４９】
制御部１７０は、上述の構成要素を制御できるもので、３Ｄ映像変換装置１００内でＣＰＵの形態で具現可能である。上述した構成要素及び制御部１７０の具体的な動作の詳細については後述する。
【００５０】
図３には、本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの一実施例を示す。
【００５１】
入力映像を３次元映像に変換を行う過程中に、ユーザー入力部１３０を介してプレビューモード選択が入力されると、制御部１７０は、ＵＩ生成部１４０を制御してプレビュー表示状態の選択のための第１のＵＩ １４１を生成し、ディスプレイ部１２０に表示する。
【００５２】
プレビュー表示状態の選択のための第１のＵＩ １４１は、生成された立体映像（またはプレビュー映像）の２次元または３次元表示の選択のための第１のサブＵＩ １４２、生成された立体映像のディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第２のサブＵＩ １４３、及び生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ １４４のうちの少なくとも一つを含むことができる。
【００５３】
第１のサブＵＩ １４２でユーザー（またはアーティスト）がユーザー入力部１３０を介して２次元表示または３次元表示を選択することができる。図４を参照して説明すると、次の通りである。図４には、本発明の一実施例に係る３Ｄ映像変換装置１００のプレビュー映像表示の一実施例を示す。
【００５４】
第１のサブＵＩ １４２でユーザーが２次元表示を選択すると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）を、左眼映像と右眼映像とに分離して表示することができる（図４の（Ａ）参照）。
【００５５】
プレビュー映像の２次元表示の利点は、映像変換部１１０により生成された立体映像変換情報のエラーをユーザーが発見しやすいことにある。この立体映像変換情報のエラーとしては、例えば、左眼映像と右眼映像とのミスマッチを挙げることができる。ミスマッチの一例としては、左眼映像と右眼映像との、所定領域におけるカラー、コントラスト、輝度などの映像属性情報のミスマッチを含むことができる。このような映像属性情報のミスマッチとしては、左眼映像の一領域とそれに対応する右眼映像の一領域とが、異なるカラー、異なるコントラスト、または異なる輝度を示すことを含むことができる。
【００５６】
ミスマッチの他の例としては、左眼映像の一領域とそれに対応する右眼映像の一領域で所定のピクセルがずれるミスマッチを含むことができる。このようにピクセルの位置がずれてしまう場合は、映像変換部１１０がオブジェクトを抽出する過程でオブジェクト抽出のエラーとして生じうる。
【００５７】
ミスマッチのさらに他の例としては、左眼映像の一領域とそれに対応する右眼映像の一領域との深さ情報が互いに異なるミスマッチを含むことができる。深さ情報のミスマッチを確認するために、ユーザーがユーザー入力部１３０を介して所定キーを入力すると、制御部１７０の制御の下に、映像変換部１１０で生成された該当のフレームの深さマップがディスプレイ部１２０に表示される。この深さマップも同様、左眼映像用の深さマップと右眼映像用の深さマップとに分離して表示され、この深さマップは、深さ値によってブラック・アンド・ホワイトの濃度で表示されるので、深さ値がミスマッチされる一領域を容易に確認することが可能である。
【００５８】
第１のサブＵＩ １４２でユーザーが３次元表示を選択すると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）を３次元で表示することができる（図４の（Ｂ）参照）。
【００５９】
プレビュー映像の３次元表示の利点は、映像変換部１１０により生成された立体映像変換情報のうち深さ情報が適切に割り当てられたか否かを、ユーザーが容易に確認することができることにある。映像変換部１１０は、深さを割り当てるオブジェクトを抽出し、抽出したオブジェクトに深さ値を割り当てる。これで、３次元映像で表示されるプレビュー映像から、オブジェクトに適切な深さ値が割り当てられたか否かを確認することができる。
【００６０】
図３に示すプレビュー表示状態の選択のための第１のＵＩ １４１に含まれた第２のサブＵＩ１４３を介して、ユーザーは、プレビュー映像の内部ディスプレイ部１２０での表示または外部ディスプレイ装置２００での表示のいずれか一方を選択することができる。
【００６１】
第２のサブＵＩ １４３でユーザー入力部１３０を介して内部ディスプレイ部での表示が選択されると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）をディスプレイ部１２０に表示させることができる。
【００６２】
また、第２のサブＵＩ １４３でユーザー入力部１３０を介して外部ディスプレイ装置での表示が選択されると、制御部１７０は、プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対応する立体映像（またはプレビュー映像）が、接続部１６０に接続している外部ディスプレイ装置２００に表示されるように当該プレビュー映像を伝達することができる。このように第２のサブＵＩで外部ディスプレイ装置での表示が選択されると、制御部１７０は、接続部１６０に接続している外部ディスプレイ装置２００からディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して当該プレビュー映像を処理して外部ディスプレイ装置２００に伝送することができる。ここで、ディスプレイ認識情報としては、例えば、外部ディスプレイ装置２００のＥＤＩＤなどのようなディスプレイ情報を含む。
【００６３】
もし、接続部１６０を介して複数の外部ディスプレイ装置が接続していると、制御部１７０は、ＵＩ生成部１４０を制御して、複数の外部ディスプレイ装置の接続のための所定のＵＩ（図示せず）を生成し、ユーザー入力部１３０を介してユーザーにより選択されたディスプレイ装置に、プレビュー映像を伝達することができる。
【００６４】
または、接続部１６０を介して複数の外部ディスプレイ装置が接続しており、プレビュー映像の２次元表示が選択されると、ユーザー選択によって、制御部１７０は、プレビュー映像に対応する左眼映像と右眼映像を各々それぞれ異なる外部ディスプレイ装置に伝送することもできる（図４の（Ｃ）参照）。例えば、制御部１７０は、ユーザー選択によって、接続部１６０を介して接続している外部ディスプレイ装置１２００−１に左眼映像を、外部ディスプレイ装置２２００−２に右眼映像をそれぞれ伝送することができる。そのため、外部ディスプレイ装置１２００−１のディスプレイ２０１に左眼映像が表示され、外部ディスプレイ装置２２００−２のディスプレイ２０２に右眼映像が表示されることとなる。
【００６５】
外部ディスプレイ装置２００に伝送されるプレビュー映像には、制御部１７０の制御下でＵＩ生成部１３０で生成される全てのＵＩが含まれる。すなわち、内部ディスプレイ部１２０で表示されうるプレビュー映像、ＵＩを含む映像が外部ディスプレイ装置２００に伝送される。これにより、ユーザーは、外部ディスプレイ装置２００に表示される、ユーザーが選択できる項目を含むＵＩを用いることができる。この時には、外部ディスプレイ装置２００に接続しているポインティング装置またはリモートコントローラなどの、ユーザーの選択を入力できる装置を用いて、当該ＵＩを介してユーザーの選択を入力することができる。
【００６６】
図３に示すプレビュー表示状態選択のための第１のＵＩ １４１に含まれた第３のサブＵＩ
１４４を介して、プレビュー映像に対応するフレームのうち、ディスプレイ部１２０または外部ディスプレイ装置２００で表示する少なくとも一つのフレームを選択することができる。第３のサブＵＩ １４４を介して、ユーザーは、プレビュー映像に対応する複数のフレームのうち、所定区間に対応する少なくとも一つのフレームを選択することができる。例えば、ユーザーは、第３のサブＵＩ １４４を介して一つのシーンに対応する少なくとも一つのフレームを選択することができる。
【００６７】
図５には、本発明の一実施例に係る３Ｄ映像変換装置１００のＵＩ生成部１４０によって生成されるＵＩの他の実施例を示す。
【００６８】
第１のＵＩ １４１を介したユーザーの選択によって、制御部１７０は、プレビュー映像をディスプレイ部１２０または外部ディスプレイ装置２００に表示し、かつＵＩ生成部１４０を制御して、この表示されるプレビュー映像の所定の一領域の指定のための第２のＵＩを生成して当該プレビュー映像上に表示させる。
【００６９】
第２のＵＩ １４５を介してユーザーは、立体映像変換情報のエラーが生じた一領域を指定したり、または深さ情報を変更しようとする一領域を指定したりできる。この一領域は、自由な曲線形態で指定することができ、かつ、第２のＵＩ １４５は、定められていない形態を持つ一領域を、マウスなどのようなポインティング装置を用いて指定するのに有用なように具現されるとよい（図５の（Ａ）参照）。
【００７０】
制御部１７０は、第２のＵＩ １４５を介してプレビュー映像上で所定の一領域が指定されると、該指定された一領域に関する情報を記憶部１５０に記憶させる。そのため、制御部１７０は、当該指定された一領域に対応するピクセル位置情報の形態として記憶部１５０に記憶させる。
【００７１】
一方、ユーザー入力部１３０を介して立体映像変換情報の修正モードの選択が入力されると、制御部１７０は、３Ｄ映像変換装置１００のディスプレイ部１２０に、入力映像に対応する立体映像変換情報を生成させることができる作業映像を表示させる（図５の（Ｂ）参照）。立体映像変換情報の修正モードにおいて、ディスプレイ部１２０の一領域には、２次元映像である入力映像が表示され、残りの領域には、立体映像変換情報を生成させることができる作業映像が表示される。
【００７２】
制御部１７０は、記憶部１５０にユーザーが記憶させた所定の領域に関する情報を用いて、作業映像上で指定領域に対応する領域にユーザー識別１４５ａ及び立体映像変換情報修正のための第３のＵＩ １４６を生成及び表示するようにＵＩ生成部１４０を制御する。ユーザーは、例えば、ユーザー入力部１３０に設けられたホイールまたは左右ボタンを用いてフレームを移動させながら、ユーザー識別用ＵＩ １４５ａの表示されているフレームを選択することができる。
【００７３】
図５の（Ｂ）は、一例として、深さ情報を変更可能にする第３のＵＩの一例を示している。ユーザー識別用ＵＩ １４５ａをユーザー入力部１３０を介して選択すると、深さ情報を変更可能にする第３のＵＩ １４６が表示され、ユーザーは、第３のＵＩを介して当該領域に対する深さ値の割当を変更することができる。同図における第３のＵＩは矢印の移動によって深さ値を修正する例を示しているが、深さ値を直接入力できるようにしてもよい。そのため、第３のＵＩは、ユーザーの選択が可能ないかなる形態のＵＩにしてもよい。
【００７４】
図５の（Ｂ）には、深さ情報の変更についてのみ示しているが、第３のＵＩは、上述した立体映像変換情報のエラーを修正できる項目を変更させうるいかなるサブＵＩも含むことができる。例えば、第３のＵＩはとして、指定領域のカラー修正、コントラスト修正、輝度修正、ピクセル位置補正などが行えるサブＵＩを含んでもよい。
【００７５】
制御部１７０は、第３のＵＩを介して立体映像変換情報が修正されると、該修正された立体映像変換情報に基づいて入力映像が変換されるように映像変換部１１０を制御する。したがって、本発明によれば、入力映像を立体映像へと変換する過程中に、ユーザーは、プレビューモードで入力映像が最適の立体映像に変換されたか否かを確認でき、かつ修正モードで立体映像変換情報を修正し、該修正の反映された立体映像に変換させることができる。
【００７６】
図６は、本発明の一実施例に係る３Ｄ映像変換装置１００の制御動作を示すフローチャートである。
【００７７】
複数のフレームを含む入力映像に対応する立体映像への変換が開始され（Ｓ３０１）、全体入力映像の変換完了前にプレビューモード選択が入力されると（Ｓ３０２）、これらの複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行い（Ｓ３０３）、該プレビューのためのレンダリングによって生成された立体映像を表示する（Ｓ３０４）。
【００７８】
本発明に係る３Ｄ映像変換装置で具現される方法は、様々なコンピュータ手段で実行可能なプログラム命令の形態とし、コンピュータ読み取り可能記憶媒体に記録することができる。このコンピュータ読み取り可能記憶媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを記憶することができる。この記憶媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア当業者には公知のものでもよい。コンピュータ読み取り可能記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリーなどのようなプログラム命令を記憶して実行するように特別に構成されたハードウェア装置を挙げることができる。プログラム命令の例としては、コンパイラで作られたような機械語コードの他、インタープリターなどを用いてコンピュータで実行可能な高級言語コードを含む。上記ハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成することもでき、その逆も可能である。
【００７９】
たとえ本発明のいくつかの実施例が図示及び説明されたが、本発明の属する技術の分野における通常の知識を有するた当業者には、本発明の原則や精神から逸脱することなく本実施例を変形できるということがわかる。したがって、発明の範囲は、添付の請求項とその均等物により定められるべきであろう。
【符号の説明】
【００８０】
１００ ３Ｄ映像変換装置
１１０ 映像変換部
１２０ ディスプレイ部
１３０ ユーザー入力部
１４０ ＵＩ生成部
１５０ 記憶部
１６０ 接続部
１７０ 制御部
２００ 外部ディスプレイ装置
【特許請求の範囲】
【請求項１】
ディスプレイ部と、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる映像変換部と、
前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御し、前記プレビューのためのレンダリングによって生成された立体映像を前記ディスプレイ部に表示させる制御部と、
を備えることを特徴とする、３Ｄ映像変換装置。
【請求項２】
ユーザー入力部をさらに備え、
前記制御部は、前記ユーザー入力部を介して前記プレビューモード選択が入力されると、前記複数のフレームのうち、前記入力時点まで立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御することを特徴とする、請求項１に記載の３Ｄ映像変換装置。
【請求項３】
プレビュー表示状態の選択のための第１のＵＩを生成するＵＩ生成部をさらに備え、
前記制御部は、前記プレビューモード選択が入力されると、前記第１のＵＩを介して入力されたユーザーの選択に対応するプレビュー表示状態が表示されるようにすることを特徴とする、請求項２に記載の３Ｄ映像変換装置。
【請求項４】
前記プレビュー表示状態の選択のための第１のＵＩは、
前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、
前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第２のサブＵＩ、及び
前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくとも一つを含むことを特徴とする、請求項３に記載の３Ｄ映像変換装置。
【請求項５】
外部ディスプレイ装置が接続する接続部をさらに備え、
前記制御部は、前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、前記受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送することを特徴とする、請求項４に記載の３Ｄ映像変換装置。
【請求項６】
前記表示される立体映像の所定の領域指定のための第２のＵＩを生成するＵＩ生成部と、
記憶部と、をさらに備え、
前記制御部は、前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を前記記憶部に記憶するように制御することを特徴とする、請求項１に記載の３Ｄ映像変換装置。
【請求項７】
前記制御部は、前記立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示するように前記ＵＩ生成部を制御することを特徴とする、請求項６に記載の３Ｄ映像変換装置。
【請求項８】
前記制御部は、前記第３のＵＩを介して立体映像変換情報が修正されると、前記修正された立体映像変換情報に基づいて前記入力映像を変換させるように前記変換部を制御することを特徴とする、請求項７に記載の３Ｄ映像変換装置。
【請求項９】
前記立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含むことを特徴とする、請求項８に記載の３Ｄ映像変換装置。
【請求項１０】
３Ｄ映像変換装置によって具現される方法であって、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる段階と、
前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行う段階と、
前記プレビューのためのレンダリングによって生成された立体映像を表示する段階と、
を含むことを特徴とする、方法。
【請求項１１】
前記レンダリングを行う段階は、
前記複数のフレームのうち、前記プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対してレンダリングを行う段階であることを特徴とする、請求項１０に記載の方法。
【請求項１２】
前記プレビュー表示状態の選択のための第１のＵＩは、
前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、
前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示選択のための第２のサブＵＩ、及び
前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくともどれ一つを含むことを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送する段階をさらに含むことを特徴とする、請求項１２に記載の方法。
【請求項１４】
前記表示される立体映像の所定の領域指定のための第２のＵＩを生成及び表示する段階と、
前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を記憶する段階と、
をさらに含むことを特徴とする、請求項１０に記載の方法。
【請求項１５】
立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示する段階をさらに含むことを特徴とする、請求項１４に記載の方法。
【請求項１】
ディスプレイ部と、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、該生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる映像変換部と、
前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御し、前記プレビューのためのレンダリングによって生成された立体映像を前記ディスプレイ部に表示させる制御部と、
を備えることを特徴とする、３Ｄ映像変換装置。
【請求項２】
ユーザー入力部をさらに備え、
前記制御部は、前記ユーザー入力部を介して前記プレビューモード選択が入力されると、前記複数のフレームのうち、前記入力時点まで立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行うように前記映像変換部を制御することを特徴とする、請求項１に記載の３Ｄ映像変換装置。
【請求項３】
プレビュー表示状態の選択のための第１のＵＩを生成するＵＩ生成部をさらに備え、
前記制御部は、前記プレビューモード選択が入力されると、前記第１のＵＩを介して入力されたユーザーの選択に対応するプレビュー表示状態が表示されるようにすることを特徴とする、請求項２に記載の３Ｄ映像変換装置。
【請求項４】
前記プレビュー表示状態の選択のための第１のＵＩは、
前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、
前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示の選択のための第２のサブＵＩ、及び
前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくとも一つを含むことを特徴とする、請求項３に記載の３Ｄ映像変換装置。
【請求項５】
外部ディスプレイ装置が接続する接続部をさらに備え、
前記制御部は、前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、前記受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送することを特徴とする、請求項４に記載の３Ｄ映像変換装置。
【請求項６】
前記表示される立体映像の所定の領域指定のための第２のＵＩを生成するＵＩ生成部と、
記憶部と、をさらに備え、
前記制御部は、前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を前記記憶部に記憶するように制御することを特徴とする、請求項１に記載の３Ｄ映像変換装置。
【請求項７】
前記制御部は、前記立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示するように前記ＵＩ生成部を制御することを特徴とする、請求項６に記載の３Ｄ映像変換装置。
【請求項８】
前記制御部は、前記第３のＵＩを介して立体映像変換情報が修正されると、前記修正された立体映像変換情報に基づいて前記入力映像を変換させるように前記変換部を制御することを特徴とする、請求項７に記載の３Ｄ映像変換装置。
【請求項９】
前記立体映像変換情報は、映像属性情報、キーフレーム情報、オブジェクト抽出情報及び深さ情報のうちの少なくとも一つを含むことを特徴とする、請求項８に記載の３Ｄ映像変換装置。
【請求項１０】
３Ｄ映像変換装置によって具現される方法であって、
複数のフレームを含む入力映像に対して立体映像変換情報を生成し、前記生成された立体映像変換情報に基づいてレンダリングを行って前記入力映像を立体映像に変換させる段階と、
前記複数のフレームのうち、立体映像変換情報が生成された一部フレームに対してプレビューのためのレンダリングを行う段階と、
前記プレビューのためのレンダリングによって生成された立体映像を表示する段階と、
を含むことを特徴とする、方法。
【請求項１１】
前記レンダリングを行う段階は、
前記複数のフレームのうち、前記プレビューモード選択の入力時点まで立体映像変換情報が生成された一部フレームに対してレンダリングを行う段階であることを特徴とする、請求項１０に記載の方法。
【請求項１２】
前記プレビュー表示状態の選択のための第１のＵＩは、
前記生成された立体映像の２次元または３次元表示の選択のための第１のサブＵＩ、
前記生成された立体映像の前記ディスプレイ部での表示または外部ディスプレイ装置での表示選択のための第２のサブＵＩ、及び
前記生成された立体映像に対応するフレームのうち、表示する少なくとも一つのフレームの選択のための第３のサブＵＩ、のうち少なくともどれ一つを含むことを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記第２のサブＵＩを介して外部ディスプレイ装置が選択されると、前記外部ディスプレイ装置のディスプレイ認識情報を受信し、該受信したディスプレイ認識情報に対応して前記生成された立体映像を処理して前記外部ディスプレイ装置に伝送する段階をさらに含むことを特徴とする、請求項１２に記載の方法。
【請求項１４】
前記表示される立体映像の所定の領域指定のための第２のＵＩを生成及び表示する段階と、
前記第２のＵＩを介して指定された前記立体映像の領域に関する情報を記憶する段階と、
をさらに含むことを特徴とする、請求項１０に記載の方法。
【請求項１５】
立体映像変換情報の修正モード選択が入力されると、前記記憶された指定領域に関する情報に基づき、前記入力映像にユーザー識別及び前記立体映像変換情報の修正のための第３のＵＩを生成及び表示する段階をさらに含むことを特徴とする、請求項１４に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１７１８２（Ｐ２０１３−１７１８２Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１２−１５０４８０（Ｐ２０１２−１５０４８０）
【出願日】平成２４年７月４日（２０１２．７．４）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２４年７月４日（２０１２．７．４）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]