映像処理装置および映像処理方法
【課題】簡易な手法でフレームレート変換後の各フレーム映像データとデプスデータとを正しく同期させる。
【解決手段】二次元または三次元の入力映像データの画像処理を行う画像処理手段２と、画像処理後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うフレームレート変換手段３と、第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、フレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するデプスデータ生成手段４と、フレームレート変換後の各フレーム映像データと、各フレーム映像データに対応するデプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段５と、を備える。
【解決手段】二次元または三次元の入力映像データの画像処理を行う画像処理手段２と、画像処理後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うフレームレート変換手段３と、第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、フレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するデプスデータ生成手段４と、フレームレート変換後の各フレーム映像データと、各フレーム映像データに対応するデプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、フレームレートの変換を行う映像処理装置に関する。
【背景技術】
【０００２】
映画コンテンツやアニメーションなどの映像データは２４ｆｐｓ（フレーム数／秒）であるのが一般的であるのに対して、日本のＴＶ放送データは約６０ｆｐｓである。この他、３０ｆｐｓの映像データも存在する。このため、２４ｆｐｓや３０ｆｐｓの映像データをＴＶ受信機で再生するには、フレームレートを変換する必要がある。
【０００３】
３０ｆｐｓの映像データを６０ｆｐｓの映像データに変換するには、各フレーム映像を二重に設けることで簡易に対処できるが、２４ｆｐｓの映像データを６０ｆｐｓの映像データに変換する、いわゆる２−３プルダウンを行うには、１つのフレーム映像を２フレーム分繰り返す処理と３フレーム分繰り返す処理とを交互に切り替える必要があり、各フレーム映像の繰り返し数は均等にならない。
【０００４】
最近、三次元映像を表示する、いわゆる３ＤＴＶが急速に普及している。三次元映像データを作成するには、専用のビデオカメラが必要であり、コストがかかるという問題がある。また、二次元映像データに比べてデータ量が格段に増えるため、通常の放送電波で送信するのにも種々の制限がある。
【０００５】
このように、３ＤＴＶを購入しても、三次元映像のコンテンツがそれほど普及しておらず、値段も高価であることから、立体映像表示を存分に楽しめないという問題があり、それが３ＤＴＶの普及の妨げになることが懸念されている。そこで、二次元映像データに奥行き情報（以下、デプス情報）を付加することで、擬似的な三次元映像データを生成して、３ＤＴＶで視聴できるようにする技術が提案されている。
【０００６】
また、裸眼で立体映像を視認可能な３ＤＴＶでは、多視差データを必要としており、入力映像データに多視差データが含まれていない場合は、二次元映像データや二視差の三次元映像データに対応するデプス情報を生成して、このデプス情報に基づいて多視差データを生成している。
【０００７】
二次元映像データや二視差の三次元映像データにデプス情報を付加する場合、各フレーム映像ごとにデプス情報を設ける必要がある。上述した２−３プルダウンによるフレームレートの変換を行う場合、映像データを２フレーム分繰り返す処理と３フレーム分繰り返す処理とを交互に行う必要がある。
【０００８】
従来は、２−３プルダウンの処理とデプス情報生成処理とを非同期で行っていたため、デプス情報生成処理では、あるフレーム映像のデプス情報を２フレーム分繰り返すべきか、あるいは３フレーム分繰り返すべきかを正しく判別できず、２−３プルダウン処理で生成したフレーム映像に対応するデプス情報を正しく生成できないおそれがあった。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−６８２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、簡易な手法でフレームレート変換後の各フレーム映像データとデプスデータとを正しく同期させることができる映像処理装置、映像処理装置および映像処理方法を提供するものである。
【課題を解決するための手段】
【００１１】
本実施形態に係る映像処理装置は、二次元または三次元の入力映像データの画像処理を行う画像処理手段と、
前記画像処理手段で画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うフレームレート変換手段と、
前記第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、前記フレームレート変換手段でフレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するデプスデータ生成手段と、
前記フレームレート変換手段でフレームレート変換を行った後の各フレーム映像データと、各フレーム映像データに対応するデプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段と、を備える。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る映像処理装置の概略構成を示すブロック図。
【図２】図１の映像処理装置の処理動作の一例を示すフローチャート。
【図３】図２のステップＳ３の詳細な処理手順の一例を示すフローチャート。
【図４】図２のステップＳ４の詳細な処理手順の一例を示すフローチャート。
【図５】図１の映像処理装置内の各部の動作タイミング図。
【図６】三次元映像データフォーマットの一つである１９２０×１０８０＠２３．９７６Ｈｚフレームパッキングが入力された場合の図１の映像処理装置内の各部の動作タイミング図。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【００１４】
図１は本発明の一実施形態に係る映像処理装置の概略構成を示すブロック図である。図１の映像処理装置１は、映像処理モジュール２と、フレームレート変換モジュール３と、デプスデータ生成モジュール４と、三次元データ生成モジュール５と、を備えている。
【００１５】
映像処理モジュール２は、映像ソース１０から提供される二次元映像データまたは三次元映像データに対して種々の画像処理を行う。画像処理とは、復号処理やノイズ除去などであり、画像処理の具体的な内容は問わない。映像ソース１０は、インターネット等のネットワークを介して提供されるいわゆるネットコンテンツでもよいし、ＤＶＤやＢＤ（ブルーレイディスク）に記録された映像コンテンツでもよいし、デジタル放送波で提供される放送コンテンツでもよい。映像処理モジュール２は、これらのコンテンツに含まれる二次元映像データまたは三次元映像データに対して種々の画像処理を行う。
【００１６】
フレームレート変換モジュール３は、種々のフレームレートの変換を行うものであるが、以下では、一例として、２４ｆｐｓから６０ｆｐｓへの２−３プルダウンを行う場合について詳述する。
【００１７】
デプスデータ生成モジュール４は、フレームレート変換モジュール３でフレームレートを変換した後に得られる各フレームごとにデプスデータを生成する。
【００１８】
フレームレート変換モジュール３とデプスデータ生成モジュール４を合わせたものが、三次元情報生成準備手段に対応する。
【００１９】
三次元データ生成モジュール５は、フレームレート変換モジュール３でフレームレートを変換した後の各フレームのフレーム映像データと、対応するデプスデータとに基づいて、三次元映像データを生成する。
【００２０】
生成された三次元映像データは、図１に示す平面表示装置６に送られて、三次元（立体）映像が表示される。
【００２１】
平面表示装置６は、マトリクス状に配列された画素を有する表示パネル７と、この表示パネル７に対向するように配置されて表示パネル７の各画素からの光線を制御する複数の射出瞳を有する光線制御素子８とを有する。表示パネル７としては、例えば液晶パネルや、プラズマディスプレイパネル、ＥＬ（ElectroLuminescence）パネル等を用いることができる。光線制御素子８は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子８の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【００２２】
なお、本実施形態に係る平面表示装置６は、複数の射出瞳を有する光線制御素子８を備えているが、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する平面表示装置６を用いてもよい。すなわち、三次元データ生成モジュール５で生成した三次元映像データに基づいて立体映像を表示可能な表示装置であれば、平面表示装置６の具体的な構造や方式は問わない。
【００２３】
本実施形態は、フレームレート変換モジュール３とデプスデータ生成モジュール４とを同期して動作させる。より具体的には、フレームレート変換モジュール３が、あるフレーム映像を２フレーム分繰り返している出力する間は、デプスデータ生成モジュール４がこのフレーム映像に対応するデプスデータを２フレーム分繰り返して出力するようにし、あるフレーム映像を３フレーム分繰り返して出力する間は、デプスデータ生成モジュール４がデプスデータを３フレーム分繰り返して出力するようにする。
【００２４】
フレームレート変換モジュール３とデプスデータ生成モジュール４とを同期して動作させるために、フレームレート変換モジュール３からデプスデータ生成モジュール４にフレームレート変換制御信号Ｓｉｇ１が送られる。このフレームレート変換制御信号Ｓｉｇ１は、フレームレート変換モジュール３があるフレームのフレーム映像データを３フレーム分繰り返す処理を開始する直前にハイレベルに変化し、３フレーム分繰り返している最中にロウレベルに変化する。フレームレート変換制御信号Ｓｉｇ１は、フレームレート変換モジュール３があるフレームのフレーム映像データを２フレーム分繰り返す間はロウレベルのままである。
【００２５】
このように、フレームレート変換制御信号Ｓｉｇ１は、これからフレーム映像データを３フレーム分繰り返す処理を開始することをデプスデータ生成モジュール４に通知する役割を行う。
【００２６】
上述したフレームレート変換制御信号Ｓｉｇ１は、必ずしもフレームレート変換モジュール３で生成する必要はなく、映像処理装置１の外部から供給されてもよいし、映像処理装置１に含まれる別の制御信号生成部から供給されてもよい。外部から供給される場合も、フレームレート変換制御信号Ｓｉｇ１は、フレームレート変換モジュール３があるフレームのフレーム映像データを３フレーム分繰り返す処理を開始する直前にハイレベルに変化し、３フレーム分繰り返している最中にロウレベルに変化するタイミングを持つ。
【００２７】
デプスデータ生成モジュール４は、フレームレート変換制御信号Ｓｉｇ１がハイレベルであれば、次のフレーム切替タイミングから３フレーム分、同じデプスデータを繰り返し出力する。一方、フレームレート変換制御信号Ｓｉｇ１がロウレベルであれば、次のフレーム切替タイミングから２フレーム分、同じデプスデータを繰り返し出力する。
【００２８】
このように、デプスデータ生成モジュール４は、フレームレート変換モジュール３で生成したフレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを２フレーム分繰り返すか、３フレーム分繰り返すかを決定するため、フレームレート変換モジュール３でフレーム映像を繰り返す数分のデプスデータを繰り返すことになり、フレームレート変換モジュール３とデプスデータ生成モジュール４の動作を完全に同期させることができる。
【００２９】
図２は図１の映像処理装置１の処理動作の一例を示すフローチャートである。このフローチャートは、２４ｆｐｓの二次元映像データまたは三次元映像データ（以下、単に映像データと呼ぶ）が映像ソース１０から映像処理モジュール２に入力される例を示している。
【００３０】
映像データが映像処理モジュール２に入力されると、映像処理モジュール２は、画像処理を行う（ステップＳ１）。画像処理としては、例えば復号化処理を行った後にノイズ除去処理を行う。映像処理モジュール２で画像処理を行った映像データは、フレームレート変換モジュール３とデプスデータ生成モジュール４の双方に入力される（ステップＳ２）。
【００３１】
フレームレート変換モジュール３は、上述した２−３プルダウン処理を行って、６０ｆｐｓの映像データを生成するとともに、上述したフレームレート変換制御信号Ｓｉｇ１を生成してデプスデータ生成モジュール４に供給する（ステップＳ３）。このステップＳ３の処理の詳細については後述する。
【００３２】
デプスデータ生成モジュール４は、フレームレート変換モジュール３から送信されたフレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを２フレーム分繰り返すか、３フレーム分繰り返すかを決定する（ステップＳ４）。
【００３３】
次に、三次元データ生成モジュール５は、フレームレート変換モジュール３でフレームレートを変換した後のフレーム映像と、それに同期してデプスデータ生成モジュール４で生成されたデプスデータとに基づいて、三次元映像データを生成する（ステップＳ５）。
【００３４】
ここで、三次元映像データは、右目用視差データと左目用視差データを含んでいる。また、３視差以上の多視差データを三次元映像データとして生成してもよい。多視差データを生成する場合、各視差に応じたデプスデータをデプスデータ生成モジュール４で生成する必要がある。より具体的には、デプスデータ生成モジュール４は、二つのフレーム映像から動き検出を行って奥行き情報を復元する処理と、フレーム映像に映っている構図を自動識別して奥行き情報を復元する処理と、フレーム映像に映っている人間の顔を検出して顔部分の奥行き情報を復元する処理とを行って、多視差データを生成する。
【００３５】
三次元データ生成モジュール５で生成された三次元映像データは、平面表示装置６に送られて立体映像が表示される（ステップＳ６）。より具体的には、平面表示装置６の表示パネル７には、視差データに応じた画素表示がなされる。これにより、視域内にいる人間の目に立体映像が視認されることになる。ここで、視域とは、表示パネル７に表示された三次元（立体）映像を人間が観察可能な範囲を示す。視域の具体的な場所は、平面表示装置６の表示パラメータの組み合わせによって定まる。表示パラメータとしては、表示パネル７内の各表示素子と対応する光線制御素子８との相対位置、表示素子と対応する光線制御素子８との距離、表示パネル７の角度、表示パネル７の各画素ピッチなどが考えられる。
【００３６】
図３は図２のステップＳ３の詳細な処理手順の一例を示すフローチャートである。初期化動作の後に、映像処理モジュール２で画像処理を行った映像データがフレームレート変換モジュール３に入力されると、まずはフレームレート変換制御信号Ｓｉｇ１をハイレベルにする（ステップＳ１１）。引き続いて、映像データに含まれる１フレーム分のフレーム映像データを３フレーム分繰り返して出力する（ステップＳ１２）。３フレーム分を繰り返し出力している最中に、フレームレート変換制御信号Ｓｉｇ１をロウレベルにする（ステップＳ１３）。
【００３７】
このように、フレームレート変換モジュール３は、図１の映像処理装置１が初期化動作を行った直後に、フレームレート変換制御信号Ｓｉｇ１をハイレベルにして、１フレーム分のフレーム映像データを２フレーム分繰り返して出力するようにしている。これは一例であり、初期化動作を行った直後に、フレームレート変換制御信号Ｓｉｇ１をロウレベルにして、１フレーム分のフレーム映像データを２フレーム分繰り返して出力するようにしてもよい。
【００３８】
上述したステップＳ１２における３フレーム分の繰り返し出力が終了したら、次のフレームのフレーム映像データを２フレーム分繰り返し出力する（ステップＳ１４）。２フレーム分を繰り返し出力している最中に、フレームレート変換制御信号Ｓｉｇ１をハイレベルにする（ステップＳ１５）。
【００３９】
その後は、ステップＳ１２に戻って、ステップＳ１２〜Ｓ１５の処理が繰り返し行われる。
【００４０】
図４は図２のステップＳ４の詳細な処理手順の一例を示すフローチャートである。映像処理モジュール２で画像処理を行った映像データがデプスデータ生成モジュール４に入力されると、同モジュール４は、この映像データに対応するデプスデータを生成する（ステップＳ２１）。
【００４１】
デプスデータの具体的な生成方法は問わない。二視差データの場合は、必ずしもデプスデータは必要とされないが、本実施形態では、デプスデータを生成することを前提としている。デプスデータは、映像ソース１０に予めデプスデータが含まれている場合は、それを利用してもよいし、上述したように、動き検出、構図識別および顔検出を行って、デプスデータを生成してもよい。
【００４２】
次に、フレームレート変換モジュール３から送られてくるフレームレート変換制御信号Ｓｉｇ１がハイレベルか否かを判定する（ステップＳ２２）。ハイレベルであれば、ステップＳ２１で生成したデプスデータを３フレーム分繰り返し出力する（ステップＳ２３）。一方、ロウレベルであれば、ステップＳ２１で生成したデプスデータを２フレーム分繰り返し出力する（ステップＳ２４）。
【００４３】
ステップＳ２２またはステップＳ２３の処理が終わると、ステップＳ２１に戻って、ステップＳ２１〜Ｓ２４の処理が繰り返し行われる。
【００４４】
このように、デプスデータ生成モジュール４は、フレームレート変換モジュール３から送られてくるフレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを３フレーム分繰り返し出力するか、２フレーム分繰り返し出力するかを決定する。フレームレート変換モジュール３とデプス生成モジュールは、垂直同期信号に同期して、フレーム周期でそれぞれの処理を行うため、結果として、フレームレート変換モジュール３が生成するフレーム映像データと、デプス生成モジュールが生成するデプスデータとは、完全に同期が取れた状態になる。以下、このことをタイミング図を用いて説明する。
【００４５】
図５は図１の映像処理装置１内の各部の動作タイミング図である。図５には、垂直同期信号（Ｖ同期信号）と、映像処理モジュール２の出力信号と、フレームレート変換モジュール３の出力信号と、フレームレート変換制御信号Ｓｉｇ１と、デプスデータとのタイミング図が図示されている。
【００４６】
垂直同期信号は、フレームごとに１回出力されるパルス信号である。映像処理モジュール２の出力信号は、垂直同期信号にほぼ同期して出力される。フレームレート変換モジュール３の出力信号は、映像処理モジュール２の出力信号よりも、少し遅れたタイミングで出力される。
【００４７】
フレームレート変換制御信号Ｓｉｇ１は、初期化状態のときには必ずハイレベルになる。その後は、２フレームに１回の割合で、ハイレベルになる。ロウレベルからハイレベルになるタイミングは、垂直同期信号のパルスが出力される前である。図５からわかるように、フレームレート変換制御信号Ｓｉｇ１がハイレベルになると、次のフレーム映像データと対応するデプスデータは３フレーム分繰り返し出力される。
【００４８】
このように、フレームレート変換モジュール３がフレーム映像データを３フレーム分繰り返し出力することを、フレームレート変換制御信号Ｓｉｇ１をハイレベルにして事前にデプスデータ生成モジュール４に通知するため、フレーム映像データが３フレーム分繰り返し出力する際には、必ず対応するデプスデータも３フレーム分繰り返し出力される。これにより、フレーム映像データとデプスデータは完全に同期が取られる。
【００４９】
図５は映像ソース１０から二次元映像データが映像処理モジュール２に入力される場合の動作タイミングを示しているが、上述したように、映像ソース１０から提供される映像データは、三次元映像データの場合もありうる。１９２０×１０８０＠２３．９７６Ｈｚフレームパッキングがその具体例である。この場合の動作タイミング図は図６のようになる。
【００５０】
図６には、垂直同期信号（Ｖ同期信号）と、映像処理モジュール２の出力信号と、フレームレート変換モジュール３の出力信号と、フレームレート変換制御信号Ｓｉｇ１と、デプスデータ生成モジュール４の入力信号と、デプスデータ生成モジュール４の出力信号との動作タイミング図が示されている。
【００５１】
映像処理モジュール２の出力信号には、左目用視差データと右目用視差データがフレームごとに交互に含まれている。フレームレート変換モジュール３は、左目用視差データのみを用いて、フレームレート変換を行い、左目用視差データからなるフレーム映像データを３フレーム分繰り返し出力する場合と、２フレーム分繰り返し出力する場合とを交互に切り替える。
【００５２】
フレームレート変換制御信号Ｓｉｇ１は、図５のフレームレート変換制御信号Ｓｉｇ１と同様に、初期化状態でいったんハイレベルになった後は、フレームレート変換モジュール３の出力信号に同期して、ハイレベルとロウレベルを交互に切り替える。
【００５３】
一方、デプスデータ生成モジュール４には、左目用視差データと右目用視差データの双方が入力され、これらのデータを利用してデプスデータが生成される。そして、デプスデータ生成モジュール４は、フレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを３フレーム分繰り返し出力する場合と、２フレーム分繰り返し出力する場合とを交互に切り替える。
【００５４】
このように、本実施形態では、２４ｆｐｓから６０ｆｐｓへの２−３プルダウン処理を行う際に、フレームレート変換モジュール３がフレーム映像データを３フレーム分繰り返し出力する処理を開始する前に、フレームレート変換制御信号Ｓｉｇ１をハイレベルにしてデプスデータ生成モジュール４に通知するため、デプスデータ生成モジュール４はデプスデータを３フレーム分繰り返し出力するタイミングを正確に把握できる。したがって、フレーム映像データとデプスデータとの対応づけを正しく行うことができ、フレーム映像データに対して、誤ったデプスデータを対応づけるおそれがなくなり、フレーム映像データとデプスデータとを正しく同期させることができ、三次元映像の表示品質を向上できる。
【００５５】
ところで、２−３プルダウン処理を行う際の変換後のフレーム周波数はジャスト６０ｆｐｓではなく、６０ｆｐｓの近似値である。このため、数百フレームに１回は、２フレーム分繰り返し出力する処理を２回連続して行ったり、３フレーム分繰り返し出力する処理を２回連続して行う必要がある。すなわち、２４ｆｐｓを６０ｆｐｓに変換する場合であっても、常に２−３プルダウン処理を行うわけではない。例えば、フレームレート変換モジュール３とデプスデータ生成モジュール４が２フレーム分繰り返し出力する処理を行う場合は、その間は、フレームレート変換制御信号Ｓｉｇ１はハイレベルにならず、ロウレベル固定にすればよい。逆に、フレームレート変換モジュール３とデプスデータ生成モジュール４が３フレーム分繰り返し出力する処理を行う場合は、その間は、フレームレート変換制御信号Ｓｉｇ１はハイレベル固定にすればよい。
【００５６】
また、上述した説明では、２−３プルダウン処理を行う例を説明したが、フレームレート変換は、２４ｆｐｓから６０ｆｐｓへの変換に限定されない。３０ｆｐｓから６０ｆｐｓのように、整数倍あるいは整数分の１へのフレームレート変換の場合は、フレーム映像データの繰り返し回数は常に一定であるため、上述したフレームレート変換制御信号Ｓｉｇ１を設ける必要はない。ところが、フレーム映像データの繰り返し回数が変化する場合は、上述したフレームレート変換制御信号Ｓｉｇ１の論理を切り替えることで、次に出力するフレーム映像データの繰り返し回数をフレームレート変換モジュール３からデプスデータ生成モジュール４に通知でき、両モジュールの動作を完全に同期させることができる。
【００５７】
このように、本願発明は、２−３プルダウン処理を行わない場合であっても、フレーム映像データの繰り返し回数が変化する場合に、広く適用可能である。
【００５８】
図１の映像処理装置１は、三次元データ生成モジュール５で生成した三次元映像データを平面表示装置６に供給する例、すなわち映像表示装置として実現する例を示したが、本実施形態に係る映像処理装置１は、三次元データ生成モジュール５で生成した三次元映像データを、ＤＶＤやＢＤ、ＨＤＤなどに記録する記録装置として適用してもよい。あるいは、本実施形態に係る映像処理装置１は、ＤＶＤやＢＤ等の光ディスクの映像ソース１０を用いて三次元映像データを生成して再生する光ディスク再生装置として適用してもよい。あるいは、インターネットを介してダウンロードから取得したデジタル映像コンテンツを用いて三次元映像データを生成して再生するデジタルＡＶ再生装置やＰＣとして適用してもよい。さらには、本実施形態は、スマートフォンや携帯電話、携帯型ゲーム機にも適用可能である。
【００５９】
上述した実施形態で説明した映像処理装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６０】
また、映像処理装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６１】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６２】
１ 映像処理装置
２ 映像処理モジュール
３ フレームレート変換モジュール
４ デプスデータ生成モジュール
５ 三次元データ生成モジュール
１０ 映像ソース
【技術分野】
【０００１】
本発明の実施形態は、フレームレートの変換を行う映像処理装置に関する。
【背景技術】
【０００２】
映画コンテンツやアニメーションなどの映像データは２４ｆｐｓ（フレーム数／秒）であるのが一般的であるのに対して、日本のＴＶ放送データは約６０ｆｐｓである。この他、３０ｆｐｓの映像データも存在する。このため、２４ｆｐｓや３０ｆｐｓの映像データをＴＶ受信機で再生するには、フレームレートを変換する必要がある。
【０００３】
３０ｆｐｓの映像データを６０ｆｐｓの映像データに変換するには、各フレーム映像を二重に設けることで簡易に対処できるが、２４ｆｐｓの映像データを６０ｆｐｓの映像データに変換する、いわゆる２−３プルダウンを行うには、１つのフレーム映像を２フレーム分繰り返す処理と３フレーム分繰り返す処理とを交互に切り替える必要があり、各フレーム映像の繰り返し数は均等にならない。
【０００４】
最近、三次元映像を表示する、いわゆる３ＤＴＶが急速に普及している。三次元映像データを作成するには、専用のビデオカメラが必要であり、コストがかかるという問題がある。また、二次元映像データに比べてデータ量が格段に増えるため、通常の放送電波で送信するのにも種々の制限がある。
【０００５】
このように、３ＤＴＶを購入しても、三次元映像のコンテンツがそれほど普及しておらず、値段も高価であることから、立体映像表示を存分に楽しめないという問題があり、それが３ＤＴＶの普及の妨げになることが懸念されている。そこで、二次元映像データに奥行き情報（以下、デプス情報）を付加することで、擬似的な三次元映像データを生成して、３ＤＴＶで視聴できるようにする技術が提案されている。
【０００６】
また、裸眼で立体映像を視認可能な３ＤＴＶでは、多視差データを必要としており、入力映像データに多視差データが含まれていない場合は、二次元映像データや二視差の三次元映像データに対応するデプス情報を生成して、このデプス情報に基づいて多視差データを生成している。
【０００７】
二次元映像データや二視差の三次元映像データにデプス情報を付加する場合、各フレーム映像ごとにデプス情報を設ける必要がある。上述した２−３プルダウンによるフレームレートの変換を行う場合、映像データを２フレーム分繰り返す処理と３フレーム分繰り返す処理とを交互に行う必要がある。
【０００８】
従来は、２−３プルダウンの処理とデプス情報生成処理とを非同期で行っていたため、デプス情報生成処理では、あるフレーム映像のデプス情報を２フレーム分繰り返すべきか、あるいは３フレーム分繰り返すべきかを正しく判別できず、２−３プルダウン処理で生成したフレーム映像に対応するデプス情報を正しく生成できないおそれがあった。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平５−６８２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、簡易な手法でフレームレート変換後の各フレーム映像データとデプスデータとを正しく同期させることができる映像処理装置、映像処理装置および映像処理方法を提供するものである。
【課題を解決するための手段】
【００１１】
本実施形態に係る映像処理装置は、二次元または三次元の入力映像データの画像処理を行う画像処理手段と、
前記画像処理手段で画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うフレームレート変換手段と、
前記第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、前記フレームレート変換手段でフレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するデプスデータ生成手段と、
前記フレームレート変換手段でフレームレート変換を行った後の各フレーム映像データと、各フレーム映像データに対応するデプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段と、を備える。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る映像処理装置の概略構成を示すブロック図。
【図２】図１の映像処理装置の処理動作の一例を示すフローチャート。
【図３】図２のステップＳ３の詳細な処理手順の一例を示すフローチャート。
【図４】図２のステップＳ４の詳細な処理手順の一例を示すフローチャート。
【図５】図１の映像処理装置内の各部の動作タイミング図。
【図６】三次元映像データフォーマットの一つである１９２０×１０８０＠２３．９７６Ｈｚフレームパッキングが入力された場合の図１の映像処理装置内の各部の動作タイミング図。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【００１４】
図１は本発明の一実施形態に係る映像処理装置の概略構成を示すブロック図である。図１の映像処理装置１は、映像処理モジュール２と、フレームレート変換モジュール３と、デプスデータ生成モジュール４と、三次元データ生成モジュール５と、を備えている。
【００１５】
映像処理モジュール２は、映像ソース１０から提供される二次元映像データまたは三次元映像データに対して種々の画像処理を行う。画像処理とは、復号処理やノイズ除去などであり、画像処理の具体的な内容は問わない。映像ソース１０は、インターネット等のネットワークを介して提供されるいわゆるネットコンテンツでもよいし、ＤＶＤやＢＤ（ブルーレイディスク）に記録された映像コンテンツでもよいし、デジタル放送波で提供される放送コンテンツでもよい。映像処理モジュール２は、これらのコンテンツに含まれる二次元映像データまたは三次元映像データに対して種々の画像処理を行う。
【００１６】
フレームレート変換モジュール３は、種々のフレームレートの変換を行うものであるが、以下では、一例として、２４ｆｐｓから６０ｆｐｓへの２−３プルダウンを行う場合について詳述する。
【００１７】
デプスデータ生成モジュール４は、フレームレート変換モジュール３でフレームレートを変換した後に得られる各フレームごとにデプスデータを生成する。
【００１８】
フレームレート変換モジュール３とデプスデータ生成モジュール４を合わせたものが、三次元情報生成準備手段に対応する。
【００１９】
三次元データ生成モジュール５は、フレームレート変換モジュール３でフレームレートを変換した後の各フレームのフレーム映像データと、対応するデプスデータとに基づいて、三次元映像データを生成する。
【００２０】
生成された三次元映像データは、図１に示す平面表示装置６に送られて、三次元（立体）映像が表示される。
【００２１】
平面表示装置６は、マトリクス状に配列された画素を有する表示パネル７と、この表示パネル７に対向するように配置されて表示パネル７の各画素からの光線を制御する複数の射出瞳を有する光線制御素子８とを有する。表示パネル７としては、例えば液晶パネルや、プラズマディスプレイパネル、ＥＬ（ElectroLuminescence）パネル等を用いることができる。光線制御素子８は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子８の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【００２２】
なお、本実施形態に係る平面表示装置６は、複数の射出瞳を有する光線制御素子８を備えているが、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する平面表示装置６を用いてもよい。すなわち、三次元データ生成モジュール５で生成した三次元映像データに基づいて立体映像を表示可能な表示装置であれば、平面表示装置６の具体的な構造や方式は問わない。
【００２３】
本実施形態は、フレームレート変換モジュール３とデプスデータ生成モジュール４とを同期して動作させる。より具体的には、フレームレート変換モジュール３が、あるフレーム映像を２フレーム分繰り返している出力する間は、デプスデータ生成モジュール４がこのフレーム映像に対応するデプスデータを２フレーム分繰り返して出力するようにし、あるフレーム映像を３フレーム分繰り返して出力する間は、デプスデータ生成モジュール４がデプスデータを３フレーム分繰り返して出力するようにする。
【００２４】
フレームレート変換モジュール３とデプスデータ生成モジュール４とを同期して動作させるために、フレームレート変換モジュール３からデプスデータ生成モジュール４にフレームレート変換制御信号Ｓｉｇ１が送られる。このフレームレート変換制御信号Ｓｉｇ１は、フレームレート変換モジュール３があるフレームのフレーム映像データを３フレーム分繰り返す処理を開始する直前にハイレベルに変化し、３フレーム分繰り返している最中にロウレベルに変化する。フレームレート変換制御信号Ｓｉｇ１は、フレームレート変換モジュール３があるフレームのフレーム映像データを２フレーム分繰り返す間はロウレベルのままである。
【００２５】
このように、フレームレート変換制御信号Ｓｉｇ１は、これからフレーム映像データを３フレーム分繰り返す処理を開始することをデプスデータ生成モジュール４に通知する役割を行う。
【００２６】
上述したフレームレート変換制御信号Ｓｉｇ１は、必ずしもフレームレート変換モジュール３で生成する必要はなく、映像処理装置１の外部から供給されてもよいし、映像処理装置１に含まれる別の制御信号生成部から供給されてもよい。外部から供給される場合も、フレームレート変換制御信号Ｓｉｇ１は、フレームレート変換モジュール３があるフレームのフレーム映像データを３フレーム分繰り返す処理を開始する直前にハイレベルに変化し、３フレーム分繰り返している最中にロウレベルに変化するタイミングを持つ。
【００２７】
デプスデータ生成モジュール４は、フレームレート変換制御信号Ｓｉｇ１がハイレベルであれば、次のフレーム切替タイミングから３フレーム分、同じデプスデータを繰り返し出力する。一方、フレームレート変換制御信号Ｓｉｇ１がロウレベルであれば、次のフレーム切替タイミングから２フレーム分、同じデプスデータを繰り返し出力する。
【００２８】
このように、デプスデータ生成モジュール４は、フレームレート変換モジュール３で生成したフレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを２フレーム分繰り返すか、３フレーム分繰り返すかを決定するため、フレームレート変換モジュール３でフレーム映像を繰り返す数分のデプスデータを繰り返すことになり、フレームレート変換モジュール３とデプスデータ生成モジュール４の動作を完全に同期させることができる。
【００２９】
図２は図１の映像処理装置１の処理動作の一例を示すフローチャートである。このフローチャートは、２４ｆｐｓの二次元映像データまたは三次元映像データ（以下、単に映像データと呼ぶ）が映像ソース１０から映像処理モジュール２に入力される例を示している。
【００３０】
映像データが映像処理モジュール２に入力されると、映像処理モジュール２は、画像処理を行う（ステップＳ１）。画像処理としては、例えば復号化処理を行った後にノイズ除去処理を行う。映像処理モジュール２で画像処理を行った映像データは、フレームレート変換モジュール３とデプスデータ生成モジュール４の双方に入力される（ステップＳ２）。
【００３１】
フレームレート変換モジュール３は、上述した２−３プルダウン処理を行って、６０ｆｐｓの映像データを生成するとともに、上述したフレームレート変換制御信号Ｓｉｇ１を生成してデプスデータ生成モジュール４に供給する（ステップＳ３）。このステップＳ３の処理の詳細については後述する。
【００３２】
デプスデータ生成モジュール４は、フレームレート変換モジュール３から送信されたフレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを２フレーム分繰り返すか、３フレーム分繰り返すかを決定する（ステップＳ４）。
【００３３】
次に、三次元データ生成モジュール５は、フレームレート変換モジュール３でフレームレートを変換した後のフレーム映像と、それに同期してデプスデータ生成モジュール４で生成されたデプスデータとに基づいて、三次元映像データを生成する（ステップＳ５）。
【００３４】
ここで、三次元映像データは、右目用視差データと左目用視差データを含んでいる。また、３視差以上の多視差データを三次元映像データとして生成してもよい。多視差データを生成する場合、各視差に応じたデプスデータをデプスデータ生成モジュール４で生成する必要がある。より具体的には、デプスデータ生成モジュール４は、二つのフレーム映像から動き検出を行って奥行き情報を復元する処理と、フレーム映像に映っている構図を自動識別して奥行き情報を復元する処理と、フレーム映像に映っている人間の顔を検出して顔部分の奥行き情報を復元する処理とを行って、多視差データを生成する。
【００３５】
三次元データ生成モジュール５で生成された三次元映像データは、平面表示装置６に送られて立体映像が表示される（ステップＳ６）。より具体的には、平面表示装置６の表示パネル７には、視差データに応じた画素表示がなされる。これにより、視域内にいる人間の目に立体映像が視認されることになる。ここで、視域とは、表示パネル７に表示された三次元（立体）映像を人間が観察可能な範囲を示す。視域の具体的な場所は、平面表示装置６の表示パラメータの組み合わせによって定まる。表示パラメータとしては、表示パネル７内の各表示素子と対応する光線制御素子８との相対位置、表示素子と対応する光線制御素子８との距離、表示パネル７の角度、表示パネル７の各画素ピッチなどが考えられる。
【００３６】
図３は図２のステップＳ３の詳細な処理手順の一例を示すフローチャートである。初期化動作の後に、映像処理モジュール２で画像処理を行った映像データがフレームレート変換モジュール３に入力されると、まずはフレームレート変換制御信号Ｓｉｇ１をハイレベルにする（ステップＳ１１）。引き続いて、映像データに含まれる１フレーム分のフレーム映像データを３フレーム分繰り返して出力する（ステップＳ１２）。３フレーム分を繰り返し出力している最中に、フレームレート変換制御信号Ｓｉｇ１をロウレベルにする（ステップＳ１３）。
【００３７】
このように、フレームレート変換モジュール３は、図１の映像処理装置１が初期化動作を行った直後に、フレームレート変換制御信号Ｓｉｇ１をハイレベルにして、１フレーム分のフレーム映像データを２フレーム分繰り返して出力するようにしている。これは一例であり、初期化動作を行った直後に、フレームレート変換制御信号Ｓｉｇ１をロウレベルにして、１フレーム分のフレーム映像データを２フレーム分繰り返して出力するようにしてもよい。
【００３８】
上述したステップＳ１２における３フレーム分の繰り返し出力が終了したら、次のフレームのフレーム映像データを２フレーム分繰り返し出力する（ステップＳ１４）。２フレーム分を繰り返し出力している最中に、フレームレート変換制御信号Ｓｉｇ１をハイレベルにする（ステップＳ１５）。
【００３９】
その後は、ステップＳ１２に戻って、ステップＳ１２〜Ｓ１５の処理が繰り返し行われる。
【００４０】
図４は図２のステップＳ４の詳細な処理手順の一例を示すフローチャートである。映像処理モジュール２で画像処理を行った映像データがデプスデータ生成モジュール４に入力されると、同モジュール４は、この映像データに対応するデプスデータを生成する（ステップＳ２１）。
【００４１】
デプスデータの具体的な生成方法は問わない。二視差データの場合は、必ずしもデプスデータは必要とされないが、本実施形態では、デプスデータを生成することを前提としている。デプスデータは、映像ソース１０に予めデプスデータが含まれている場合は、それを利用してもよいし、上述したように、動き検出、構図識別および顔検出を行って、デプスデータを生成してもよい。
【００４２】
次に、フレームレート変換モジュール３から送られてくるフレームレート変換制御信号Ｓｉｇ１がハイレベルか否かを判定する（ステップＳ２２）。ハイレベルであれば、ステップＳ２１で生成したデプスデータを３フレーム分繰り返し出力する（ステップＳ２３）。一方、ロウレベルであれば、ステップＳ２１で生成したデプスデータを２フレーム分繰り返し出力する（ステップＳ２４）。
【００４３】
ステップＳ２２またはステップＳ２３の処理が終わると、ステップＳ２１に戻って、ステップＳ２１〜Ｓ２４の処理が繰り返し行われる。
【００４４】
このように、デプスデータ生成モジュール４は、フレームレート変換モジュール３から送られてくるフレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを３フレーム分繰り返し出力するか、２フレーム分繰り返し出力するかを決定する。フレームレート変換モジュール３とデプス生成モジュールは、垂直同期信号に同期して、フレーム周期でそれぞれの処理を行うため、結果として、フレームレート変換モジュール３が生成するフレーム映像データと、デプス生成モジュールが生成するデプスデータとは、完全に同期が取れた状態になる。以下、このことをタイミング図を用いて説明する。
【００４５】
図５は図１の映像処理装置１内の各部の動作タイミング図である。図５には、垂直同期信号（Ｖ同期信号）と、映像処理モジュール２の出力信号と、フレームレート変換モジュール３の出力信号と、フレームレート変換制御信号Ｓｉｇ１と、デプスデータとのタイミング図が図示されている。
【００４６】
垂直同期信号は、フレームごとに１回出力されるパルス信号である。映像処理モジュール２の出力信号は、垂直同期信号にほぼ同期して出力される。フレームレート変換モジュール３の出力信号は、映像処理モジュール２の出力信号よりも、少し遅れたタイミングで出力される。
【００４７】
フレームレート変換制御信号Ｓｉｇ１は、初期化状態のときには必ずハイレベルになる。その後は、２フレームに１回の割合で、ハイレベルになる。ロウレベルからハイレベルになるタイミングは、垂直同期信号のパルスが出力される前である。図５からわかるように、フレームレート変換制御信号Ｓｉｇ１がハイレベルになると、次のフレーム映像データと対応するデプスデータは３フレーム分繰り返し出力される。
【００４８】
このように、フレームレート変換モジュール３がフレーム映像データを３フレーム分繰り返し出力することを、フレームレート変換制御信号Ｓｉｇ１をハイレベルにして事前にデプスデータ生成モジュール４に通知するため、フレーム映像データが３フレーム分繰り返し出力する際には、必ず対応するデプスデータも３フレーム分繰り返し出力される。これにより、フレーム映像データとデプスデータは完全に同期が取られる。
【００４９】
図５は映像ソース１０から二次元映像データが映像処理モジュール２に入力される場合の動作タイミングを示しているが、上述したように、映像ソース１０から提供される映像データは、三次元映像データの場合もありうる。１９２０×１０８０＠２３．９７６Ｈｚフレームパッキングがその具体例である。この場合の動作タイミング図は図６のようになる。
【００５０】
図６には、垂直同期信号（Ｖ同期信号）と、映像処理モジュール２の出力信号と、フレームレート変換モジュール３の出力信号と、フレームレート変換制御信号Ｓｉｇ１と、デプスデータ生成モジュール４の入力信号と、デプスデータ生成モジュール４の出力信号との動作タイミング図が示されている。
【００５１】
映像処理モジュール２の出力信号には、左目用視差データと右目用視差データがフレームごとに交互に含まれている。フレームレート変換モジュール３は、左目用視差データのみを用いて、フレームレート変換を行い、左目用視差データからなるフレーム映像データを３フレーム分繰り返し出力する場合と、２フレーム分繰り返し出力する場合とを交互に切り替える。
【００５２】
フレームレート変換制御信号Ｓｉｇ１は、図５のフレームレート変換制御信号Ｓｉｇ１と同様に、初期化状態でいったんハイレベルになった後は、フレームレート変換モジュール３の出力信号に同期して、ハイレベルとロウレベルを交互に切り替える。
【００５３】
一方、デプスデータ生成モジュール４には、左目用視差データと右目用視差データの双方が入力され、これらのデータを利用してデプスデータが生成される。そして、デプスデータ生成モジュール４は、フレームレート変換制御信号Ｓｉｇ１の論理に応じて、デプスデータを３フレーム分繰り返し出力する場合と、２フレーム分繰り返し出力する場合とを交互に切り替える。
【００５４】
このように、本実施形態では、２４ｆｐｓから６０ｆｐｓへの２−３プルダウン処理を行う際に、フレームレート変換モジュール３がフレーム映像データを３フレーム分繰り返し出力する処理を開始する前に、フレームレート変換制御信号Ｓｉｇ１をハイレベルにしてデプスデータ生成モジュール４に通知するため、デプスデータ生成モジュール４はデプスデータを３フレーム分繰り返し出力するタイミングを正確に把握できる。したがって、フレーム映像データとデプスデータとの対応づけを正しく行うことができ、フレーム映像データに対して、誤ったデプスデータを対応づけるおそれがなくなり、フレーム映像データとデプスデータとを正しく同期させることができ、三次元映像の表示品質を向上できる。
【００５５】
ところで、２−３プルダウン処理を行う際の変換後のフレーム周波数はジャスト６０ｆｐｓではなく、６０ｆｐｓの近似値である。このため、数百フレームに１回は、２フレーム分繰り返し出力する処理を２回連続して行ったり、３フレーム分繰り返し出力する処理を２回連続して行う必要がある。すなわち、２４ｆｐｓを６０ｆｐｓに変換する場合であっても、常に２−３プルダウン処理を行うわけではない。例えば、フレームレート変換モジュール３とデプスデータ生成モジュール４が２フレーム分繰り返し出力する処理を行う場合は、その間は、フレームレート変換制御信号Ｓｉｇ１はハイレベルにならず、ロウレベル固定にすればよい。逆に、フレームレート変換モジュール３とデプスデータ生成モジュール４が３フレーム分繰り返し出力する処理を行う場合は、その間は、フレームレート変換制御信号Ｓｉｇ１はハイレベル固定にすればよい。
【００５６】
また、上述した説明では、２−３プルダウン処理を行う例を説明したが、フレームレート変換は、２４ｆｐｓから６０ｆｐｓへの変換に限定されない。３０ｆｐｓから６０ｆｐｓのように、整数倍あるいは整数分の１へのフレームレート変換の場合は、フレーム映像データの繰り返し回数は常に一定であるため、上述したフレームレート変換制御信号Ｓｉｇ１を設ける必要はない。ところが、フレーム映像データの繰り返し回数が変化する場合は、上述したフレームレート変換制御信号Ｓｉｇ１の論理を切り替えることで、次に出力するフレーム映像データの繰り返し回数をフレームレート変換モジュール３からデプスデータ生成モジュール４に通知でき、両モジュールの動作を完全に同期させることができる。
【００５７】
このように、本願発明は、２−３プルダウン処理を行わない場合であっても、フレーム映像データの繰り返し回数が変化する場合に、広く適用可能である。
【００５８】
図１の映像処理装置１は、三次元データ生成モジュール５で生成した三次元映像データを平面表示装置６に供給する例、すなわち映像表示装置として実現する例を示したが、本実施形態に係る映像処理装置１は、三次元データ生成モジュール５で生成した三次元映像データを、ＤＶＤやＢＤ、ＨＤＤなどに記録する記録装置として適用してもよい。あるいは、本実施形態に係る映像処理装置１は、ＤＶＤやＢＤ等の光ディスクの映像ソース１０を用いて三次元映像データを生成して再生する光ディスク再生装置として適用してもよい。あるいは、インターネットを介してダウンロードから取得したデジタル映像コンテンツを用いて三次元映像データを生成して再生するデジタルＡＶ再生装置やＰＣとして適用してもよい。さらには、本実施形態は、スマートフォンや携帯電話、携帯型ゲーム機にも適用可能である。
【００５９】
上述した実施形態で説明した映像処理装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００６０】
また、映像処理装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００６１】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００６２】
１ 映像処理装置
２ 映像処理モジュール
３ フレームレート変換モジュール
４ デプスデータ生成モジュール
５ 三次元データ生成モジュール
１０ 映像ソース
【特許請求の範囲】
【請求項１】
二次元または三次元の入力映像データの画像処理を行う画像処理手段と、
前記画像処理手段で画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うフレームレート変換手段と、
前記第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、前記フレームレート変換手段でフレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するデプスデータ生成手段と、
前記フレームレート変換手段でフレームレート変換を行った後の各フレーム映像データと、各フレーム映像データに対応するデプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段と、を備えることを特徴とする映像処理装置。
【請求項２】
前記フレームレート変換手段は、前記フレームレート変換を行うとともに、前記制御信号を生成することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記デプスデータ生成手段は、前記制御信号が前記第２の論理値のときに新たに生成するデプスデータを前記第１のフレーム数分繰り返して出力し、前記制御信号が前記第１の論理値のときに新たに生成するデプスデータを前記第２のフレーム数分繰り返して出力することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記入力映像データは、右目用映像データと左目用映像データとを含んでおり、
前記フレームレート変換手段は、右目用映像データと左目用映像データとのいずれか一方を用いてフレームレート変換を行い、
前記デプスデータ生成手段は、右目用映像データと左目用映像データとを用いてデプスデータを生成することを特徴とする請求項１乃至３のいずれかに記載の映像処理装置。
【請求項５】
前記フレームレート変換手段は、前記制御信号を前記第１の論理値から前記第２の論理値に変化させた後、前記一方のフレームの映像データを第１のフレーム数だけ繰り返して出力する間に前記制御信号を前記第２の論理値から前記第１の論理値に変化させることを特徴とする請求項１乃至４のいずれかに記載の映像処理装置。
【請求項６】
前記入力映像データが２４フレーム／秒で、前記三次元データ生成手段で生成される三次元映像データが６０フレーム／秒の場合は、前記第１のフレーム数は３であり、前記第２のフレーム数は２であることを特徴とする請求項１乃至５のいずれかに記載の映像処理装置。
【請求項７】
前記フレームレート変換手段でフレームレート変換を行った後の通常のフレームでは、前記第１のフレーム数は前記第２のフレーム数より多く、所定のフレーム数に１回の割合で、前記第１のフレーム数と前記第２のフレーム数とは等しくなることを特徴とする請求項１乃至６のいずれかに記載の映像処理装置。
【請求項８】
放送波を受信して復調処理を行って前記入力映像データを生成する受信モジュールを備えることを特徴とする請求項１乃至７のいずれかに記載の映像処理装置。
【請求項９】
光ディスクから読み出した前記入力映像データに対応する三次元映像データを前記三次元データ生成手段で生成して再生する請求項１乃至８のいずれかに記載の映像処理装置。
【請求項１０】
前記三次元データ生成手段で生成した三次元映像データを記録する記録手段を備えた請求項１乃至９のいずれかに記載の映像処理装置。
【請求項１１】
二次元または三次元の入力映像データの画像処理を行う画像処理手段と、
前記画像処理手段で画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して他方のフレームの映像データを第２のフレーム数だけ繰り返すフレームレート変換を行うタイミングに同期させて、前記フレームレート変換で生成された各フレームごとに各映像データに対応するデプスデータを生成する三次元情報生成準備手段と、
フレームレート変換を行った後の映像データと、各映像データに対応する前記デプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段と、を備えることを特徴とする映像処理装置。
【請求項１２】
二次元または三次元の入力映像データの画像処理を行うステップと、
画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うステップと、
前記第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、フレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するステップと、
フレームレート変換を行った後の映像データと、各映像データに対応する前記デプスデータと、に基づいて、三次元映像データを生成するステップと、を備えることを特徴とする映像処理方法。
【請求項１】
二次元または三次元の入力映像データの画像処理を行う画像処理手段と、
前記画像処理手段で画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うフレームレート変換手段と、
前記第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、前記フレームレート変換手段でフレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するデプスデータ生成手段と、
前記フレームレート変換手段でフレームレート変換を行った後の各フレーム映像データと、各フレーム映像データに対応するデプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段と、を備えることを特徴とする映像処理装置。
【請求項２】
前記フレームレート変換手段は、前記フレームレート変換を行うとともに、前記制御信号を生成することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記デプスデータ生成手段は、前記制御信号が前記第２の論理値のときに新たに生成するデプスデータを前記第１のフレーム数分繰り返して出力し、前記制御信号が前記第１の論理値のときに新たに生成するデプスデータを前記第２のフレーム数分繰り返して出力することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記入力映像データは、右目用映像データと左目用映像データとを含んでおり、
前記フレームレート変換手段は、右目用映像データと左目用映像データとのいずれか一方を用いてフレームレート変換を行い、
前記デプスデータ生成手段は、右目用映像データと左目用映像データとを用いてデプスデータを生成することを特徴とする請求項１乃至３のいずれかに記載の映像処理装置。
【請求項５】
前記フレームレート変換手段は、前記制御信号を前記第１の論理値から前記第２の論理値に変化させた後、前記一方のフレームの映像データを第１のフレーム数だけ繰り返して出力する間に前記制御信号を前記第２の論理値から前記第１の論理値に変化させることを特徴とする請求項１乃至４のいずれかに記載の映像処理装置。
【請求項６】
前記入力映像データが２４フレーム／秒で、前記三次元データ生成手段で生成される三次元映像データが６０フレーム／秒の場合は、前記第１のフレーム数は３であり、前記第２のフレーム数は２であることを特徴とする請求項１乃至５のいずれかに記載の映像処理装置。
【請求項７】
前記フレームレート変換手段でフレームレート変換を行った後の通常のフレームでは、前記第１のフレーム数は前記第２のフレーム数より多く、所定のフレーム数に１回の割合で、前記第１のフレーム数と前記第２のフレーム数とは等しくなることを特徴とする請求項１乃至６のいずれかに記載の映像処理装置。
【請求項８】
放送波を受信して復調処理を行って前記入力映像データを生成する受信モジュールを備えることを特徴とする請求項１乃至７のいずれかに記載の映像処理装置。
【請求項９】
光ディスクから読み出した前記入力映像データに対応する三次元映像データを前記三次元データ生成手段で生成して再生する請求項１乃至８のいずれかに記載の映像処理装置。
【請求項１０】
前記三次元データ生成手段で生成した三次元映像データを記録する記録手段を備えた請求項１乃至９のいずれかに記載の映像処理装置。
【請求項１１】
二次元または三次元の入力映像データの画像処理を行う画像処理手段と、
前記画像処理手段で画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して他方のフレームの映像データを第２のフレーム数だけ繰り返すフレームレート変換を行うタイミングに同期させて、前記フレームレート変換で生成された各フレームごとに各映像データに対応するデプスデータを生成する三次元情報生成準備手段と、
フレームレート変換を行った後の映像データと、各映像データに対応する前記デプスデータと、に基づいて、三次元映像データを生成する三次元データ生成手段と、を備えることを特徴とする映像処理装置。
【請求項１２】
二次元または三次元の入力映像データの画像処理を行うステップと、
画像処理した後の映像データの連続する二フレームのうち一方のフレームの映像データを第１のフレーム数だけ繰り返して出力し他方のフレームの映像データを第２のフレーム数だけ繰り返して出力するようにフレームレート変換を行うステップと、
前記第１のフレーム数が前記第２のフレーム数よりも大きい場合に前記第１のフレーム数分の映像データを出力する前に第１の論理値から第２の論理値に変化する制御信号の論理値に応じて、フレームレート変換を行う各フレームの映像データに対応づけて、デプスデータを生成するステップと、
フレームレート変換を行った後の映像データと、各映像データに対応する前記デプスデータと、に基づいて、三次元映像データを生成するステップと、を備えることを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−５１６２０（Ｐ２０１３−５１６２０Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９５１８（Ｐ２０１１−１８９５１８）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５１００８７４号（Ｐ５１００８７４）
【特許公報発行日】平成２４年１２月１９日（２０１２．１２．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【特許番号】特許第５１００８７４号（Ｐ５１００８７４）
【特許公報発行日】平成２４年１２月１９日（２０１２．１２．１９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]