ビデオ変換システムのためのデプスマップを生成する方法およびそのシステム
【課題】２次元（２Ｄ）画像を３次元（３Ｄ）画像に変換するためのデプスマップを生成するためのプロセスを提供する。
【解決手段】プロセスは、２Ｄ画像からデプスグラディエントマップ１４０を生成することを含み、上記デプスグラディエントマップ１４０が、１以上のエッジカウントを１以上のデプス値に対応づけるよう構成されている。さらに、上記２Ｄ画像から画像成分を抽出すことを含み、上記画像成分が、色空間の色成分に対応している。さらに、上記画像成分に基づいて上記デプスグラディエントマップ１４０を調節するための一組のゲインを決定し、上記デプスグラディエントマップ１４０と上記一組のゲインとに基づいてデプス融合を実行することによって上記デプスマップ１４０を生成することを含む。
【解決手段】プロセスは、２Ｄ画像からデプスグラディエントマップ１４０を生成することを含み、上記デプスグラディエントマップ１４０が、１以上のエッジカウントを１以上のデプス値に対応づけるよう構成されている。さらに、上記２Ｄ画像から画像成分を抽出すことを含み、上記画像成分が、色空間の色成分に対応している。さらに、上記画像成分に基づいて上記デプスグラディエントマップ１４０を調節するための一組のゲインを決定し、上記デプスグラディエントマップ１４０と上記一組のゲインとに基づいてデプス融合を実行することによって上記デプスマップ１４０を生成することを含む。
【発明の詳細な説明】
【クロスリファレンス】
【０００１】
本出願は、２００９年１２月１５日に共同出願された現在係属中の米国仮出願Ｎｏ，６１２８６３９７（代理人整理番号Ｎｏ，ＨＩＭＸ−００１１−ＵＳ−ＰＲＯ）「ビデオ変換システム」の優先権の利益を主張する。本出願は仮出願ではない。この記述により先の出願の記載は、すべての目的に対して、付属書あるいは付属物を含む先の出願全体を参照することによって組み込まれる。
【技術分野】
【０００２】
本発明の実施形態は、一般的に、ディスプレイテクノロジーに関し、さらに具体的に言えば、デプスマップ生成方法とビデオ変換方法とビデオ変換システムとに関する。
【背景技術】
【０００３】
本明細書中に別段の記載がない限り、この背景技術の欄に記載されたアプローチは、本願請求項に係る発明の先行技術ではなく、また、この背景技術の欄に包含することによって先行技術であると認めるものでもない。
【０００４】
３次元（３Ｄ）画像あるいは３Ｄビデオは、深度（depth）知覚の錯覚をもたらすことがある。従来の３Ｄテクノロジーは、立体写真を基にしており、２つのレンズから画像を捉えるための特別なカメラを要求する。従来の３Ｄ立体画像やビデオを再生するため、人間の目の遠近感を模倣する２つの画像を同時に表示することにより見る人に対して深度錯覚をもたらすために、特別なハードウェアおよび／または特別なメガネが要求される。３Ｄディスプレイは、目を見張るような視覚体験を提示し、ブロードキャスト、映画、ゲームや写真といった多くのアプリケーションに利益をもたらすが、３Ｄコンテンツを生成するための効果的なアプローチに乏しいのが現状である。
【０００５】
さらに、従来の２次元（２Ｄ）ハードウェアを用いて撮られてきた２Ｄ画像や２Ｄビデオに関して、従来の３Ｄディスプレイハードウェアおよび／または３Ｄメガネは、これらの２Ｄコンテンツから３Ｄ効果を表示するための能力が欠けている。したがって、３Ｄディスプレイハードウェアを用いて３Ｄ効果を表現する前に、２Ｄ画像を３Ｄ画像に変換する必要があり、同様に２Ｄビデオを３Ｄビデオに変換する必要がある。しかし、２Ｄ画像／ビデオを３Ｄ画像／ビデオに変換するための従来の技術は、実行するためにかなりのコンピューティングリソースを必要とする、オブジェクトベースのセグメンテーションおよび動作補正の技術に、頻繁に依存する。
【発明の概要】
【０００６】
本願開示の１以上の実施形態によれば、２次元（２Ｄ）画像を３次元（３Ｄ）画像に変換するためのデプスマップを生成するためのプロセスを示すことができる。この画像変換のプロセスは、２Ｄ画像からデプスグラディエントマップを生成するために実装され、このデプスグラディエントマップは、１以上のエッジカウントを１以上のデプス値（depth values）に対応づけるよう構成される。上記画像変換のプロセスは、２Ｄ画像から画像成分を抽出することができ、この画像成分は、色空間の色成分に対応する。上記画像変換のプロセスは、画像成分に基づいて、デプスグラディエントマップを調整するための一組のゲインを決定することができる。そして、上記画像変換のプロセスは、上記デプスグラディエントマップと上記一組のゲインとに基づくデプス融合（depth fusion）を実行することによって、さらにデプスマップを生成することができる。
【０００７】
本願が開示するその他の実施形態によれば、２次元（２Ｄ）ビデオを３次元（３Ｄ）ビデオに変換するためのプロセスを示すことができる。このビデオ変換のプロセスは、２Ｄビデオから第１の２Ｄ画像を選択して、この第１の２Ｄ画像に対応する第１デプスグラディエントマップを生成するために実装される。上記ビデオ変換のプロセスは、２Ｄビデオから第２の２Ｄ画像を選択することができ、この第２の２Ｄ画像は、第１の２Ｄ画像の後に続く。上記ビデオ変換のプロセスは、第１デプスグラディエントマップと第２の２Ｄ画像とを用いることでデプス融合を実行することによって、第１デプスマップを生成することができる。そして、上記ビデオ変換のプロセスは、第１デプスマップを用いることによって、３Ｄビデオのために第２の２Ｄ画像を第１の３Ｄ画像に変換することができる。
【０００８】
本願が開示するさらなる実施形態によれば、ビデオ変換のためにデプスマップを生成するよう、システムを構成することができる。上記システムは、２Ｄ画像に基づいてデプスグラディエントマップを生成するためのデプスグラディエントマップジェネレータを備えることができる。上記システムは、２Ｄ画像から１以上の画像成分を抽出するための、および１以上の画像成分に基づいて一組以上のゲインをそれぞれ決定するためのデプスリファインメントエンジンを備えることができる。そして、上記システムは、デプスグラディエントマップと一組以上のゲインとに基づいてデプス融合を実行することによって、デプスマップを生成するためのデプスグラディエントマップジェネレータとデプスリファインメントエンジンとが結合されたデプス融合エンジンをさらに備えることができる。
【０００９】
上述の発明の概要は、実例となるだけであり、どのような限定も意図していない。上述の実例となるアスペクト、実施形態、特徴に加えて、さらなるアスペクト、実施形態、特徴が、図面および後述の詳細な説明への言及によって明らかになるだろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、３Ｄ変換を実行するためのビデオ変換システムの実例となる実施形態を含むブロック図を示す。
【図２】図２は、３Ｄ変換のためのデプスマップを生成するために実装されているデプス生成モジュールの実例となる実施形態を示す。
【図３】図３は、デプスマップを生成する間に、実例となる実施形態によって生成された中間結果のシナリオを示す。
【図４】図４は、２Ｄ画像からデプスマップを生成するためのプロセスの実例となる実施形態のフローチャートを示す。
【図５】図５は、３Ｄビデオ変換プロセスを最適化するためのプロセスの実例となる実施形態のフローチャートを示す。
【発明を実施するための形態】
【００１１】
後述の詳細な説明において、言及は、本発明の一部を形成する添付図面について成される。この添付図面において、文脈が違うことを指示しない限り、同じ記号は、通常、同じ構成を特定する。詳細な説明、図面、請求項において記載された実例となる実施形態は、限定することを意味していない。ここに示された対象の意図あるいは範囲から離れることなしに、他の実施形態を利用し、別の変化を生じることも可能である。本願に一般に記載され、図面において説明されている本発明のアスペクトを、本願に明確に予期されている多種多様の異なった形態のすべてにおいて、アレンジし、置き換え、結合し、設計することができると簡単に理解されるであろう。
【００１２】
本願の開示は、ビデオ変換のためのデプスマップの生成に関して、方法、装置、コンピュータプログラムおよびシステムについて、「inter alia」を引用する。本実施形態において、デプス生成モジュールは、デプスマップを生成するために２Ｄ画像を処理する。３Ｄ変換エンジンは、２Ｄ画像を３Ｄ画像へ変換するためにデプスマップを用いる。デプスマップを生成するために、デプス生成モジュールのデプスグラディエントマップジェネレータは、２Ｄ画像からデプスグラディエントマップを生成する。デプス生成モジュールのデプスリファインメントモジュールは、２Ｄ画像から１以上の画像成分を抽出し、これらの１以上の画像成分の深度特性を強化するためのデプスグラディエントマップを調整するために、一組のゲインを決定する。デプス生成モジュールのデプス融合モジュールは、デプスグラディエントマップとデプスマップを生成するための一組のゲインとに基づいてデプス融合を実行する。
【００１３】
本願開示の全体にわたって、「デプスマップ」は、広く、３Ｄ画像やビデオに関したデプス値（depth values）を保存するためのデータ構造を言う。２Ｄ画像内のそれぞれのピクセルが、対応するデプス値を与えられれば、２Ｄ画像は、３Ｄテクノロジーを用いて表示することができる。上記デプス値は、対象のピクセルから視点までの距離に関連している。例えば、対象のピクセルが視点からさらに離れれば離れるほど、対象と視点との間の距離はより大きくなり、したがって、対象と視点との間のデプス値は、より大きくなる。２Ｄ画像におけるすべてのピクセルに対するデプス値は、デプスマップに保存される。例えば、２Ｄ画像が１０２４×７６８の解像度を有する場合、デプスマップも同様に、２Ｄ画像におけるピクセルに対するデプス値に対応する１０２４×７６８を有する。
【００１４】
本願開示の全体にわたって、「グラディエント（gradient）」は、特定値に対する変化の「険しさ」を表わす。本実施形態において、グラディエント値がより高ければ、特定値に対する変化率がより大きくなる。例えば、グラディエント値は、画像線のピクセルに対するデプス値の変化率を保存するために用いられる。したがって、グラディエント値が高ければ高いほど、画像線における一のピクセルのデプス値とその次のピクセルのデプス値との間の差は、より大きくなる。「デプスグラディエントマップ」は、広く、画像におけるピクセルのデプス値に関連しているデプスグラディエント値を保存するためのデータ構造を言う。本実施形態において、デプスグラディエントマップは、画像の画像線から引き出された、正規化されて蓄積されたエッジカウントを有する。
【００１５】
本願開示の全体にわたって、「色空間」は、広く、２Ｄまたは３Ｄカラー画像を保存するために用いられるカラーコーディングスキームを言う。色空間は、それぞれのピクセルの色を複数の色成分に分けるために用いられる。例えば、ＲＧＢ色空間は、ピクセルの色を保存するために、赤（Ｒ）色成分と、緑（Ｇ）色成分と、青（Ｂ）色成分とを用いる。ＹＣｂＣｒ色空間は、ピクセルの輝度を保存するためにＹ色成分を用い、ピクセルの青色の違い（blue-difference）を保存するためにＣｒ色成分を用い、ピクセルの赤色の違い（red-difference）を保存するためにＣｂ色成分を用いる。色空間の色成分は、カラーピクセルの色彩値（color value）と同義である。そのため、ＹＣｂＣｒ色空間を用いて符号化（encode）された色は、３つの「色彩値」、すなわち、Ｙ色彩値、Ｃｂ色彩値、Ｃｒ色彩値を有する。また、異なった色成分を用いている他の色空間は、ピクセルの色を保存するために、同様の、または異なった色彩値の数を有する。さらに、「画像成分」は、広く、すべての画像のピクセルに対する特定の色成分の色彩値を言う。そのため、画像のＹ画像成分は、画像におけるすべてのピクセルのＹ色彩値を保存する。
【００１６】
本願開示の全体にわたって、「単調増加リファインメント」は、３Ｄ環境において、ピクセルが精緻化（refine）されたデプス値で表示される場合に、ピクセルが表現する対象の深度特性を強化するために、ピクセルの色彩値に基づいたデプス値を精緻化することを言う。本実施形態において、上記単調増加リファインメントは、ピクセルの色彩値に対応するゲインを用いてデプス値を調整することによって、成し遂げられる。本願開示の全体にわたって、「デプス融合（depth fusion）」は、広く、デプスグラディエント値とゲインとに基づいた特定のタイプの演算を言う。本実施形態において、デプスグラディエント値は、ピクセルに対する基本デプス値として用いられ、ピクセルの色彩値は、一組のゲインを決定するために用いられる。一組のゲインは、基本デプス値を調整するために用いられる。
【００１７】
図１は、３Ｄ変換を実行するためのビデオ変換システムの実例となる実施形態を含むブロック図を示す。図１において、デプス生成モジュール１３０と１以上の３Ｄ変換エンジン１５０は、２Ｄビデオ１１０をディスプレイ１７０，１８０，１９０に表示するための３Ｄビデオに変換するために構成されている。フレームバッファ１２０は、２Ｄビデオ１１０から取ってきた１以上の２Ｄ画像を保存するために用いられる。デプス生成モジュール１３０は、これに限定されるものではないが、デプスグラディエントマップジェネレータ１３１、デプスリファインメントエンジン１３２、デプス融合モジュール１３３、コンピューティングプロセッサ１３５、および／またはメモリー１３６を有するように構成される。上記３Ｄ変換エンジン１５０は、デプスアウェア（depth-aware）２Ｄビデオ強化エンジン１５１、サイドバイサイド（side-by-side）２Ｄ＋Ｚフォーマットエンジン１５２、マルチビューＤＩＢＲ（Depth Image-based Rendering）エンジン１５３である。さらに、３Ｄ画像を表示することができる上記ディスプレイは、これに限定されるものではないが、２Ｄディスプレイ１７０、３Ｄディスプレイ１８０、３Ｄマルチビューステレオスコープディスプレイ１９０である。
【００１８】
本実施形態において、２Ｄビデオ１１０は、カムコーダーのような２Ｄビデオ撮影装置によって生成されたビデオストリーム、あるいは、２Ｄ映画から変換されたビデオストリームである。上記２Ｄビデオ１１０は、２Ｄカラー静止画像をそれぞれ保存する複数の画像フレームを含む。それぞれの２Ｄ画像は、個別の解像度に基づいて構成された複数のカラーピクセルを有する。例えば、ある２Ｄ画像が、１０２４×７６８の解像度を有する場合、これは、この２Ｄ画像が、７６８の水平な画像線を有していて、この画像線のそれぞれが、カラーインフォメーションであるピクセルを１０２４有していることを意味している。その他の一般的な画像解像度は、これに限定されるものではないが、６４０×４８０、１２８０×１０２４、１９２０×１２００を含む。本実施形態において、上記２Ｄビデオ１１０は、フレームバッファ１２０に送り込まれる。上記フレームバッファ１２０は、上記２Ｄビデオ１１０から２Ｄ画像を高速ロードするための記憶装置である。本実施形態において、デプス生成モジュール１３０と３Ｄ変換エンジン１５０は、上記フレームバッファ１２０に保存された２Ｄ画像にすばやくアクセスするように構成されている。
【００１９】
本実施形態において、デプスグラディエントマップジェネレータ１３１は、フレームバッファ１２０から２Ｄ画像を抽出して、この２Ｄ画像に基づいてデプスグラディエントマップを生成する。デプスリファインメントエンジン１３２は、上記デプスグラディエントマップジェネレータ１３１と同様の２Ｄ画像をフレームバッファ１２０から抽出し、２Ｄ画像に基づいて一組のゲインを生成するように構成される。本実施形態において、一組のゲインは、単調に増加するシーケンスの範囲内にある。デプスグラディエントマップと一組のゲインとに基づいて、デプス融合モジュール１３３は、デプスマップ１４０を生成するためにデプス融合を実行する。デプスマップ１４０とフレームバッファ１２０における２Ｄ画像は、２Ｄ画像を３Ｄ画像に変換するための３Ｄ変換エンジン１５０に送られる。デプスグラディエントマップジェネレータ１３１、デプスリファインメントエンジン１３２、デプス融合モジュール１３３の詳細は、さらに後に説明されている。
【００２０】
本実施形態において、デプス生成モジュール１３０は、デプスマップ１４０を生成するためのコンピューティングプロセッサ１３５を利用する。上記コンピューティングプロセッサ１３５は、マイクロプロセッサ、または、プログラムで制御できるインストラクションに基づくコマンドを実行する一般的な、あるいは特定のコンピューティングデバイスである。本実施形態において、コンピューティングプロセッサ１３５は、プログラムで制御できるインストラクションを実行するために、そして、この実行における中間の処理結果を保存するために、メモリー１３６を利用する。メモリー１３６は、ランダムアクセスメモリー（ＲＡＭ）、リードオンリーメモリー（ＲＯＭ）、フラッシュメモリー、従来型の磁気あるいは光学ディスク、テープドライブ、またはこれらのデバイスの結合のどのような形式でもよい。
【００２１】
本実施形態において、３Ｄ変換エンジン１５０は、フレームバッファ１２０から２Ｄ画像を抽出し２Ｄ画像を３Ｄ画像に変換するために、デプスマップ１４０を用いる。本実施形態において、デプスアウェア（depth-aware）２Ｄビデオ強化エンジン１５１は、デプスマップ１４０に基づいて、２Ｄ画像の深度特性を強化する。特に、デプスアウェア２Ｄビデオ強化エンジン１５１は、２Ｄ画像のエッジ、コントラスト、彩度（saturation）を向上させる。例えば、２Ｄ画像における対象は、それぞれのデプス値が既定の閾値の上か下かによって決まる、上記対象に対応するコントラスト（あるいは彩度（saturation）等）を増加、減少することによって強化される。言い換えれば、デプス値が閾値よりも小さければ、すでに閾値よりも大きい別のデプス値以上に強化される。デプスアウェア２Ｄビデオ強化エンジン１５１は、米国特許出願Ｎｏ，12／242,672、「Depth-Based Image Enhancement」などにおいて記載されている技術のような適当な従来型技術によって実行される。
【００２２】
本実施形態において、サイドバイサイド（side-by-side）２Ｄ＋Ｚフォーマットエンジン１５２は、それぞれの画像のピクセルが、スクリーンのある面の前に表示されるべきか、あるいは後ろに表示されるべきかを示すための特定のデプスマップを有する３Ｄ画像（例えば、シーケンシャルレフト／ライト、アナグリフ、偏光画像）を生成する。マルチビューＤＩＢＲ（Depth Image-based Rendering）エンジン１５３は、異なる視点の２Ｄ画像を生成する。この２Ｄ画像は、多数の視点から画像を同時に捕まえるマルチプルカメラによって生成されたものと同様である。
【００２３】
本実施形態において、３Ｄ変換エンジン１５０によって生成された３Ｄ画像は、様々な２Ｄまたは３Ｄディスプレイ装置によって表示される。例えば、２Ｄディスプレイ１７０は、デプスマップ１４０に基づいて２Ｄ画像を処理することができ、２Ｄの範疇に入る画像を表示することができる。３Ｄディスプレイ１８０は、異なった視点角度に基づく異なった色と彩度（intensity）のピクセルを表示するための自動ステレオスコープ技術を利用する。３Ｄディスプレイ１８０のために、この３Ｄディスプレイ１８０を見る人は、シーケンスレフト／ライト画像のためのシャッターメガネ、アナグラフ画像のためのレッド／シアンメガネ、偏光画像のための偏光めがねを身につける。そして、３Ｄマルチビューステレオスコープディスプレイ１９０は、異なった視点の２Ｄ画像に基づいて生成された３Ｄ画像を表示する。上記３Ｄマルチビューステレオスコープディスプレイ１９０は、この３Ｄマルチビューステレオスコープディスプレイ１９０を見る人が、裸眼で３Ｄイリュージョンの眺めを直接楽しむことができるように、バリアあるいはレンズ状のパネルを有する。
【００２４】
本実施形態において、デプス生成モジュール１３０は、デプスグラディエントマップジェネレータ１３１とデプスリファインメントエンジン１３２をそれぞれの操作を同時に実行するために制御する。最適化された性能のために、デプスリファインメントエンジン１３２は、第１の２Ｄ画像から、第１の２Ｄ画像と関連してはいるが異なっている、第２の２Ｄ画像を精緻化するために生成されたデプスグラディエントマップを利用する。最適化されたプロセス、および／または、パラレルのプロセスについての詳細は、さらに後に説明されている。
【００２５】
図２は、３Ｄ変換のためのデプスマップを生成するために実装されているデプス生成モジュールの実例となる実施形態を示す。図２において、図１のデプス生成モジュール１３０と同様のデプス生成モジュールは、デプスグラディエントマップジェネレータ２２０（図１のデプスグラディエントマップジェネレータ１３１と同様）と、デプスリファインメントエンジン２３０（図１のデプスリファインメントエンジン１３２と同様）と、デプス融合モジュール２５０（図１のデプス融合モジュール１３３と同様）とを有する。図２のデプス生成モジュールは、フレームバッファ（図２においては図示せず）から抽出される２Ｄ画像２１０に基づいてデプスマップ２６０を生成する。デプスグラディエントマップ２２０は、特に、エッジフィルタ２２１と、エッジアキュムレータ２２３と、シーンデプスアサインメントモジュール２２５とを包含する。デプスリファインメントエンジン２３０は、特に、色空間エクストラクタ２３１と、１以上の画像成分リファインメントモジュール２３３，２３５，そして／または、２３７とを包含する。
【００２６】
本実施形態において、エッジフィルタ２２１は、２Ｄ画像２１０の一の画像線を規則的な方法で１度に処理することによって、エッジの数を検出する。例えば、エッジフィルタ２２１は、２Ｄ画像２１０において、トップダウンの、またはボトムアップの、インターレースの、またはノンインターレースの命令で画像線を読み込む。それぞれの画像に対して、エッジフィルタ２２１は、規則正しく画像線のなかのピクセルを評価して、隣同士のピクセルが、ある既定の閾値を上回る特定の変化を持つとき、エッジを検出する。この変化は、色彩と明るさに基づく。例えば、エッジフィルタ２２１は、２つの隣り合うピクセル間の色彩変化が色彩変動閾値よりも大きければ、その時、現在の画像線でのエッジでもよいと決定する。さらに、エッジフィルタ２２１は、それぞれのピクセルの明度／輝度のレベルに基づいて画像線をフィルターにかける。あるピクセルがその次のピクセルよりも高いまたは低い輝度レベルであり（言い換えれば、あるピクセルがその次のピクセルよりも明るいまたは薄暗い場合）、輝度レベル変化が既定の輝度閾値を超える場合、その時、エッジフィルタ２２１は、エッジを現在の画像線に検出することができると判断を下す。
【００２７】
画像線のすべてのピクセルが、それぞれ隣接するピクセルと評価され、比較されたあとで、エッジフィルタ２２１は、検出されたエッジの数をエッジカウントとして合計して、このエッジカウントを画像線に対応づける。その後、エッジフィルタ２２１は、２Ｄ画像からその他の画像線を順番に選び、２Ｄ画像のそれぞれの画像線が対応するエッジカウントを有するまでこのプロセスを続ける。この最終結果は、図３のテーブル３１０に類似するテーブルと共通点がある。このテーブルにおいて、それぞれの画像線は、対応するエッジカウント値を有する。この最終結果はまた、さらなる処理のためにエッジアキュムレータ２２３に移される。
【００２８】
本実施形態において、エッジアキュムレータ２２３は、２Ｄ画像２１０のそれぞれの画像線に対する蓄積されたエッジカウントを算出する。一般に、人間の視覚は、２Ｄ画像２１０の上半分を視点からより離れていると解釈し、２Ｄ画像２１０の下半分を視点からより近いと解釈する傾向がある。これは、通常真実であり、いくつかの２Ｄ画像２１０において、空が上端部分を占有する傾向があり、地面が下端部分を占有する傾向があるためである。したがって、上記仮定の下、デプスグラディエントマップジェネレータ２２０は、より高いデプスグラディエントを２Ｄ画像のより底の方にある画像線に与えることによって、２Ｄ画像に対する最初のデプスマップを組み上げる。言い換えれば、２Ｄ画像２１０における第１の画像線の下方にある第２の画像線は、第１の画像線よりも視点により近いと仮定できる。この仮定と、エッジは深度に対応しているという仮定とに基づいて、エッジアキュムレータ２２３は、第１の画像線のエッジカウントを第２の画像線のエッジカウントに加え、その結果、第１の画像線よりもエッジカウントを有する第２の画像線を確保している。上記アプローチは、３Ｄディスプレイにおいて、第２画像線を、第１画像線よりもより近い視点で表示することができるようにする。生成された３Ｄ効果は、第１の画像線と第２の画像線とがお互いに隣接しているときでも有効である。
【００２９】
本実施形態において、２Ｄ画像２１０の特定の画像線について、エッジアキュムレータ２２３は、この特定の画像線よりも「さらに遠く離れている（farther away）」、すべての「距離がある（distant）」画像線のエッジカウントを上記特定の画像線のエッジカウントへ蓄積し、上記特定の画像線が、どのような「距離がある」画像線よりもエッジカウントをより有することができるようにする。２Ｄ画像が、上端部が視点から遠く、底部が視点から近いという仮定の下にある場合、「さらに遠く離れている」どのような画像線も、２Ｄ画像２１０における上記特定の画像線の「上側（above）」にある画像線である。２Ｄ画像２１０の「最底部（most-bottom）」の画像線に対して、エッジアキュムレータ２３３は、２Ｄ画像２１０におけるすべての画像線のエッジカウントをトータルエッジカウントに加え、最底部の画像線に対する蓄積されたエッジカウントとして、このトータルエッジカウントを与える。
【００３０】
上記アプローチは、図３のテーブル３２０と同様のアウトプットを生成し、それぞれ特定の画像線は、蓄積されたエッジカウントに対応する。それぞれ蓄積されたエッジカウントは、特定の画像線の「上側」にある画像線のすべてのエッジカウントの小計である。本実施形態において、デプスグラディエントマップジェネレータ２２０は、２Ｄ画像２１０の上半分が、下半分よりも視点により近くなるように表示されることを決定することもできる。この場合、エッジアキュムレータ２２３は、異なった命令でエッジカウントを蓄積する。例えば、「底（bottom）」の画像線のエッジカウントを「上（top）」の画像線のエッジカウントに加えることによって、エッジカウントを蓄積する。したがって、エッジアキュムレータ２２３は、どの映像線も、他のどんな「近い（closer）」画像線よりも蓄積されたエッジカウントを有さないアウトプットテーブルを提供することもできる。エッジアキュムレーションの詳細はさらに後ほど説明される。
【００３１】
本実施形態において、シーンデプスアサインメントモジュール２２５は、２Ｄ画像２１０のそれぞれの画像線に対する蓄積されたエッジカウントの正規化を実行する。多くの色空間に対する色彩値は、０から２５５までの範囲（すなわち、上記色彩値は８ビット値である）を有するので、デプスマップのデプス値は、０から２５５までの同様範囲に正規化される。このとき、０が最も遠いことを意味しており、２５５が最も近いことを意味している。エッジアキュムレータ２２３により生成されたデプスグラディエントマップにおいて、（デプスグラディエント値と判断されうるであろう）蓄積されたエッジカウントは、０から２５５より高い数値、またはより低い数値までの範囲を有する。シーンデプスアサインメントモジュール２２５は、２Ｄ画像２１０の最も近い視点と判断された画像線が、２５５の正規化されたエッジカウントを有することができるように、上記蓄積されたエッジカウントを正規化するための正規化率を決定する。その他の上記蓄積されたエッジカウントは、同じ正規化率に基づいて、比例的に拡大または縮小される。このオペレーションが終了した後、シーンデプスアサインメントモジュール２２５は、アウトプットとしてデプスグラディエントマップ２４１を生成する。本実施形態において、シーンデプスアサインメントモジュール２２５は、デプスグラディエントマップジェネレータ２２０から除外されてもよいし、また、デプス融合モジュール２５０によって生成されたデプスマップ２６０の正規化を実行してもよい。
【００３２】
本実施形態において、デプスグラディエントマップ２４１は、２Ｄ画像２１０の解像度によって定められる２Ｄ画像２１０の画像線の数と同じ数のデプスグラディエント値を有する。例えば、２Ｄ画像２１０が１０２４×７６８の解像度を有するならば、このときデプスグラディエントマップ２４１は、７６８のエントリーを有する。デプスグラディエントマップ２４１の最後のエントリーは、２５５に正規化される。さらに、デプスグラディエントマップ２４１におけるそれぞれのエントリーは、２Ｄ画像２１０の対応する画像線に対応しており、同じ画像線におけるすべてのピクセルに対する最初のデプス値として判断されたデプスグラディエント値を表わしている。言い換えれば、デプスグラディエントマップ２４１は、２Ｄ画像２１０の画像線に対する最初のデプス値をもたらす。
【００３３】
本実施形態において、色空間エクストラクタ２３１は、２Ｄ画像２１０を処理し、２Ｄ画像２１０から１以上の画像成分を抽出する。上記色空間エクストラクタ２３１は、２Ｄ画像２１０が符号化された色空間を決定し、色空間の色成分に対応する画像成分を抽出する。例えば、ＹＣｂＣｒ色空間を用いて２Ｄ画像２１０を符号化することを決定するときに、色空間エクストラクタ２３１は、２Ｄ画像２１０から３つの画像成分（Ｙ画像成分、Ｃｂ画像成分、およびＣｒ画像成分）を抽出する。２Ｄ画像２１０から抽出された時点で、Ｙ画像成分は、２Ｄ画像２１０におけるすべてのピクセルのＹ色彩値を有し、Ｃｂ画像成分は、２Ｄ画像２１０におけるすべてのピクセルのＣｂ色彩値を有し、そしてＣｒ画像成分は、２Ｄ画像２１０におけるすべてのピクセルのＣｒ色彩値を有する。
【００３４】
本実施形態において、色空間エクストラクタ２３１によって抽出されたＹ画像成分は、Ｙリファインメントモジュール２３３に送られ、Ｃｂ画像成分は、Ｃｂリファインメントモジュール２３５に送られ、Ｃｒ画像成分は、Ｃｒリファインメントモジュール２３７に送られる。別の色空間（例えば、ＲＧＢ色空間）が、２Ｄ画像２１０を符号化するために用いられる場合、デプスリファインメントエンジン２３０は、色空間エクストラクタ２３１によって抽出されたＲ、Ｇ、そして／またはＢ画像成分を処理するための追加の画像成分リファインメントモジュール（例えば、Ｒリファインメントモジュール、Ｇリファインメントモジュール、そして／またはＢリファインメントモジュール）を有する。
【００３５】
本実施形態において、２Ｄ画像２１０におけるピクセルの色彩と明度は、明白な深度特性を有する。とくに、人の視覚は、２Ｄ画像２１０における対象の特定の色あるいは明度を、対象と２Ｄ画像２１０の視点との間の距離に対応づける。例えば、暖色（例えば、赤色）は、近いように感じさせ、寒色（例えば、青）は、遠いように感じさせる。また、高い輝度を有する対象は、２Ｄ画像における低い輝度を有する別の対象よりも近く感じさせる。ＹＣｂＣｒ色空間において、Ｙ色成分は、ピクセルの輝度情報を保存する。Ｃｒ色成分は、赤色の違い（red-difference）を保存するための彩度（chroma）成分であり、Ｃｂ色成分も同様に、ピクセルのための青色の違い（blue-difference）を保存するための彩度（chroma）成分である。それ故に、ＹＣｂＣｒ色空間の深度特性を強化するために、画像成分リファインメントモジュール２３３，２３５，２３７は、より近く見える明るい色のピクセルを作るために、より遠く見えるくすんだ色のピクセルを作るために、より近く見える暖かい色のピクセルを作るために、そして、より遠く見える冷たい色のピクセルを作るために、一組のゲインを生成する。
【００３６】
本実施形態において、Ｙリファインメントモジュール２３３は、Ｙ画像成分におけるそれぞれのＹ色彩値に対応する第１ゲインを決定する。一組の上記第１ゲインは、広く、Ｙbase−ＹthからＹbase＋Ｙthに及び、Ｙbaseが調節可能である直線状に増加するシーケンスの範囲にある。例えば、上記直線状に増加するシーケンスは、１−Ｙthから１＋Ｙthに変動する。上記Ｙthは、直線状に増加するシーケンスを調節するための変数である。言い換えれば、０から２５５の範囲にある特定のＹ色彩値について、この特定のＹ色彩値に対応する第１ゲインは、１−Ｙthから１＋Ｙthの範囲内に収まる。例えば、Ｙ色彩値が０であるとき、Ｙに対する第１ゲインは、１−Ｙthである。Ｙ色彩値が１２８であるとき、Ｙに対する第１ゲインは、１である。Ｙ色彩値が２５５であるとき、Ｙに対する第１ゲインは、１＋Ｙthである。本実施形態において、変数Ｙth は、異なった状況（あるいは適用）に基づいて決定される変数である。
【００３７】
本実施形態において、Ｙ画像成分におけるすべてのＹ色彩値に対する第１ゲインは、Ｙの一組のゲイン２４３に保存される。Ｙの一組のゲイン２４３におけるそれぞれの第１ゲインは、２Ｄ画像２１０のピクセルに対応する。したがって、Ｙの一組のゲイン２４３も、特定のピクセルの位置（例えば、画像線の位置や画像線上での場所）を有する。このように、第１ゲインは、特定のピクセルから抽出されたＹ色彩値に基づいて決定されるので、Ｙの一組のゲイン２４３は、Ｙ画像成分におけるＹ色彩値の数値と同等の数のエントリーを有し、また、２Ｄ画像２１０におけるピクセルの数と同等の数のエントリーを有する。
【００３８】
本実施形態において、Ｃｂリファインメントモジュール２３５は、Ｃｂ画像成分におけるそれぞれのＣｂ色彩値に対応する第２ゲインを決定する。直線状の第２ゲインの範囲を、広く、Ｃｂbase＋ＣｂthからＣｂbase−Ｃｂthまで表現することができ、Ｃｂbaseは調節可能な値である。一組の上記第２ゲインは、例えば、０から２５５に及ぶＣｂ色彩値に対して、１＋Ｃｂthから１−Ｃｂthの範囲にある。上記Ｃｂthは、異なった状況（あるいは適用）に基づいて決定される変数である。Ｃｂリファインメントモジュール２３５は、Ｃｂの一組のゲイン２４５におけるすべての第２ゲインを取り付ける。Ｃｂの一組のゲイン２４５において、それぞれの第２ゲインは、２Ｄ画像２１０におけるピクセルに対応する。
【００３９】
本実施形態において、Ｃｒリファインメントモジュール２３７は、Ｃｒ画像成分にＹリファインメントモジュール２３３と同様のオペレーションを実行する。特に、Ｃｒリファインメントモジュール２３７は、Ｃｒ画像成分におけるそれぞれのＣｒ色彩値に対応する第３ゲインを決定する。直線状の第３ゲインの範囲を、広く、Ｃｒbase＋ＣｒthからＣｒbase−Ｃｒthまで表現することができ、Ｃｒbaseは調節可能な値である。一組の上記第３ゲインは、例えば、０から２５５までに及ぶＣｒ色彩値に対して、１−Ｃｒthから１＋Ｃｒthの範囲にある。上記Ｃｒthは異なった状況（あるいは適用）に基づいて決定される変数である。Ｃｒリファインメントモジュール２３７は、Ｃｒの一組のゲイン２４７のすべての第３ゲインを取り付ける。Ｃｒの一組のゲイン２４７において、それぞれの第３ゲインは、２Ｄ画像２１０におけるピクセルに対応する。
【００４０】
本実施形態において、デプスグラディエントマップ２４１と、Ｙの一組のゲイン２４３と、Ｃｂの一組のゲイン２４５と、Ｃｒの一組のゲイン２４７とは、さらなるオペレーションのためにデプス融合モジュール２５０に送られる。上記デプス融合モジュール２５０は、正規化されたエッジカウントを、第１出力を生成するためのＹの一組のゲインに適用する。上記第１出力は、このとき、第２出力を生成するためのＣｂの一組のゲイン２４５に適用される。第２出力は、さらに、Ｃｒの一組のゲイン２４７に適用される。上記デプス融合オペレーション後に、デプス融合モジュール２５０は、その後の３Ｄ変換オペレーションのためにデプスマップ２６０を出力する。
【００４１】
特に、デプス融合モジュール２５０は、デプスグラディエントマップ２４１から特定のデプスグラディエント値を最初に選択し、正規化されたデプスグラディエント値が計算されたものから画像線を決定する。デプス融合モジュール２５０は、そのとき、Ｙの一組のゲイン２４３から特定の第１ゲインを選択し、Ｃｂの一組のゲイン２４５から特定の第２ゲインを選択し、そして、Ｃｒの一組のゲイン２４７から特定の第３ゲインを選択する。第１、第２および第３ゲインは、あらかじめ決められた画像線に位置づけられた特定のピクセルに対応する。このとき、デプス融合モジュール２５０は、上述の第１、第２および第３ゲインと、特定の正規化されたデプスグラディエント値とに基づいてデプス融合を実行する。上記デプス融合の出力は、デプスマップ２６０の特定のピクセルに対するデプス値に対応する。デプス融合モジュール２５０は、２Ｄ画像２１０のそれぞれのピクセルが、デプスマップ２６０の対応するデプス値を有するまで上述のデプス融合オペレーションを続ける。デプス融合オペレーションの詳細は、さらに後に説明される。
【００４２】
図３は、デプスマップを生成する間に、実例となる実施形態によって生成された中間結果のシナリオを示す。図３において、テーブル３１０は、図２のエッジフィルタ２２１によって２Ｄ画像が処理された後の出力シナリオ例である。テーブル３２０は、図２のエッジアキュムレータ２２３が、テーブル３１０を処理した後の出力シナリオ例である。テーブル３３０は、図２のシーンデプスアサインメントモジュール２２５がテーブル３２０を処理した後の出力シナリオ例である。テーブル３４０は、図２のデプス融合モジュール２５０がテーブル３３０と、画像成分から生成されたゲイン例とを処理した後の出力シナリオ例である。テーブル３５０は、図２のデプス融合モジュール２５０がテーブル３４０のデプス値を正規化した後の出力シナリオ例である。
【００４３】
テーブル３１０において、１０の画像線を有する２Ｄ画像は、フレームバッファに取り込まれている。エッジフィルタは、走査線によって２Ｄ画像線を処理し、それぞれの画像線に対するエッジの数を数える。テーブル３１０と、図３における他の後に続くテーブルにおいて、画像線１は、２Ｄ画像の一番上の画像線を表わし、画像線２は、２Ｄ画像の上から２番目の画像線を表わし、そして、画像線１０は２Ｄ画像の最後の線（または最下部の線）を表わす。テーブル３１０において、エッジフィルタは、画像線１において２０エッジ、画像線２において５０エッジ等を検出している。
【００４４】
テーブル３１０に基づいて、エッジアキュムレータは、すべての以前の画像線のエッジカウントの小計で特定の画像線のエッジカウントを蓄積し、テーブル３２０における蓄積されたエッジカウントを保存する。テーブル３２０の例において、特定の画像線に対する蓄積されたエッジカウントは、すべての「上の」画像線のエッジカウントを（エッジカウントの小計として）加え、特定の画像線自身のエッジカウントを加えることによってすばやく計算される。例えば、画像線５について、画像線１，画像線２，画像線３，画像線４が、２Ｄ画像における画像線５のすべての「上の」画像線であると仮定すれば、蓄積されたエッジカウントは、画像線１，画像線２，画像線３，画像線４のエッジカウントの小計に画像線５自身のエッジカウントを加えたものに等しい。したがって、蓄積されたエッジカウントは、（２０＋５０＋７０＋１２０）＋４０＝３００となるはずである。すべての画像線がエッジアキュムレータにより処理された後、テーブル３２０は、すべての画像線について、蓄積されたエッジカウントを保存するために用いられる。テーブル３２０において、最初の画像線（画像線１）は、最小のエッジ数であり、視点から最も離れていると判断される。最もエッジ数の多い最後の画像線（画像線１０）は、視点に最も近いと判断される。
【００４５】
本実施形態において、シーンデプスアサインメントモジュールは、正規化され蓄積されたエッジカウントテーブル３３０を生成するためにテーブル３２０を処理する。上記シーンデプスアサインメントモジュールは、視点から最も離れていることを意味する値０と、視点から最も近いことを意味する値２５５とを与える。最後の画像線（画像線１０）が最も近いと判断されてから、その画像線（画像線１０）の正規化され蓄積されたエッジカウントは、値２５５を与えられる。最後の画像線に基づいて、その前の画像線は、２５５／（最後の画像線について蓄積されたエッジカウント）に等しい割合で正規化される。テーブル３２０のシナリオにおいて、画像線１０について蓄積されたエッジカウントは６７０であり、このときテーブル３２０におけるすべての蓄積されたエッジカウントは、２５５／６７０の割合で正規化される。
【００４６】
例えば、画像線１について、正規化され蓄積されたエッジカウントは、２０×２５５／６７０＝８である。画像線５について、正規化され蓄積されたエッジカウントは、３００×２５５／６７０＝１１４である。テーブル３３０は、上記正規化率をテーブル３２０における蓄積されたエッジカウントに適用した後で、画像線に対する「正規化され蓄積されたエッジカウント」（例えば、デプスグラディエント値）を保存し、デプスグラディエントマップと判断される。画像線において、複雑なエッジを持てばもつほど、より大きいデプスグラディエントを有する。したがって、出力３Ｄ画像は、対象と雲ひとつない青空との間ではっきりした深度変化を有し、焦点をぼかした背景の上方境界と焦点のあった対象との間でのはっきりした深度変化を有するので、このアプローチは有利である。
【００４７】
本実施形態において、色空間エクストラクタは、２Ｄ画像をＹ、Ｃｂ、Ｃｒ画像成分として抽出する。上記画像成分におけるそれぞれの色彩値に対して、対応するゲインは、精緻目的のために決定される。テーブル３４０に示すように、ピクセル１は画像線１のものであり、１のＹ色彩値と、２５５のＣｂ色彩値と、３０のＣｒ色彩値を有する。上記色彩値に基づいて、第１ゲイン（例、Ｆ（Ｙ））と、第２ゲイン（例、Ｆ（Ｃｂ））と、第３ゲイン（例、Ｆ（Ｃｒ））とは、リファインメントモジュールによって決定される。さらに、それぞれの画像線に対するデプスグラディエント値（Ｇ）もまた、テーブル３３０からコピーされる。同じ画像線におけるすべてのピクセルは、画像線に対応する同じデプスグラディエント値を用いることに気づかされるはずである。
【００４８】
本実施形態において、式Ｆ（Ｙ）は、０から２５５の範囲のＹ色彩値に対して、１−Ｙthから１＋Ｙthの範囲の直線状のゲインを提供する。言い換えれば、ピクセルが０のＹ色彩値を有するならば、１−Ｙthゲインを与えられる。２５５のＹ色彩値に対して、１＋Ｙthゲインを与えられる。したがって、
Ｆ（Ｙ）＝（１−Ｙth）＋（２×Ｙth×Ｙ）／２５５（０≦Ｙ≦２５５）
さらに、式Ｆ（Ｃｂ）と式Ｆ（Ｃｒ）が、同様に決定される。
Ｆ（Ｃｂ）＝（１−Ｃｂth）＋（２×Ｃｂth×Ｃｂ）／２５５（０≦Ｃｂ≦２５５）
Ｆ（Ｃｒ）＝（１−Ｃｒth）＋（２×Ｃｒth×Ｃｒ）／２５５（０≦Ｃｒ≦２５５）
示されているテーブル３４０において、Ｙ、Ｃｂ、Ｃｒ色彩値に対する個々のゲインの計算に対して、Ｙthは０．２にセットされ、Ｃｂthは０．１にセットされ、Ｃｒthは０．３にセットされる。
【００４９】
本実施形態において、デプス融合モジュールは、デプスグラディエントマップ（例えば、テーブル３４０のＧの値）と、１以上の第１ゲイン、第２ゲイン、および第３ゲイン（例えば、テーブル３４０に示されたＦ（Ｙ）、Ｆ（Ｃｂ）、Ｆ（Ｃｒ）の値）とを用いてデプス融合を実行する。上記デプス融合は、それぞれのピクセルに対するデプス値を計算するために、Ｇ×Ｆ（Ｙ）×Ｆ（Ｃｂ）×Ｆ（Ｃｒ）の式を利用する。すべてのピクセルに対するデプス値がデプス融合式に基づいて計算された後、出力デプス値は、３Ｄ変換のためのデプスマップと判断される。テーブル３４０の例によれば、ピクセル３に対するデプス値は、５３×０．８６×０．９３×１．１９＝５１である。
【００５０】
本実施形態において、正規化された値が、８ビットデプス値の０から２５５の範囲内にあるように、デプス融合モジュールはピクセル値についてデプス値を正規化する。上記正規化プロセスは、テーブル３４０から最大デプス値を選択し、それに従ってすべてのデプス値を調節する。テーブル３４０に示すように、正規化前の最大デプス値はピクセル８の３１８である。したがって、ピクセル３について正規化されたデプス値は、５１×２５５／３１８＝４１である。テーブル３４０のデプス値が正規化された後、その結果はテーブル３５０に示され、テーブル３５０において、それぞれのピクセルは、０から２５５の範囲内にある対応する正規化されたデプス値を有する。言い換えれば、テーブル３５０は、９つの２Ｄ画像のピクセルに対するデプスマップと判断される。
【００５１】
図４は、２Ｄ画像からデプスマップを生成するためのプロセスの実例となる実施形態のフローチャートを示す。このプロセス４０１は、様々な機能的ブロックまたはアクションを表記する。この機能的ブロックまたはアクションは、処理ステップとして、機能的オペレーションとして、イベントとして、そして／または動作として記載され、ハードウェア、ソフトウェア、そして／またはファームウェアにより実行される。本開示についての当業者は、図４に示された機能的ブロックの多数の代替手段が、様々な実施において実行される可能性があることを認識するだろう。本実施形態において、プロセス４０１について機械が実行可能なインストラクションは、メモリーに保存され、処理ユニットによって実行され、そして／または図１のデプス生成モジュール１３０のような携帯装置に実装される。
【００５２】
当業者は、本願において開示されているあらゆるプロセスと方法について、上記プロセスと上記方法において実行された機能は、異なる命令により実行される可能性があることを十分理解するだろう。さらに、概要が述べられたステップおよびオペレーションは、実例として提供されただけであり、ステップおよびオペレーションのいくつかは任意で、より少ないステップとオペレーションを組み合わせたり、あるいは、本願開示の実施形態の本質を損なうことなしに追加のステップおよびオペレーションを拡張したりすることもできる。さらに、概要が述べられたステップおよびオペレーションの１以上は、同時に実行されてもよい。
【００５３】
ブロック４１０において、デプス生成モジュールは、フレームバッファから２Ｄ画像を抽出することによって、３Ｄ変換のために２Ｄ画像を処理する。本実施形態において、デプス生成モジュールのデプスグラディエントマップジェネレータは、ブロック４２１，４２３，４２５，４２７，４２９を通して２Ｄ画像を処理する。そして、デプス生成モジュールのデプスリファインメントモジュールはブロック４３１，４３３，４３５，４３７を通して２Ｄ画像を処理する。本実施形態において、ブロック４２１，４２３，４２５，４２７，４２９を通るルートは、ブロック４３１，４３３，４３５，４３７を通るルートと同時に処理される。言い換えれば、デプスグラディエントマップジェネレータとデプスリファインメントモジュールとは、独立して、同時にそれぞれのオペレーションを実行し、それぞれの出力は、さらなる処理のため、ブロック４５０に送られる。
【００５４】
ブロック４２１において、デプスグラディエントマップのエッジフィルタは、規則正しく各線ごとに２Ｄ画像を処理する。本実施形態において、上記エッジフィルタは、２Ｄ画像から横または縦の画像線を抽出する。エッジフィルタはまた、上から下、下から上、左から右、右から左の順序で２Ｄ画像を処理する。さらに、エッジフィルタは、インターレース方式（飛び越し走査）またはノンインターレース方式（順次走査）の処理命令を用いる。
【００５５】
ブロック４２３において、それぞれの画像線を処理するために、エッジフィルタは画像線におけるエッジの数を検出する。この検出されたエッジの数は、画像線に対するエッジカウントと判断される。
【００５６】
ブロック４２５において、エッジフィルタは、２Ｄ画像のすべての画像線が処理されたかどうかを決定する。答えが「ＮＯ」ならば、プロセス４０１はブロック４２１に戻り、その他の画像線が処理するための２Ｄ画像から抽出される。ブロック４２５における答えが「ＹＥＳ」ならば、プロセス４０１は、ブロック４２７に進む。
【００５７】
ブロック４２７において、エッジアキュムレータは、２Ｄ画像のそれぞれの画像線に対する「上の」画像線のエッジカウントを蓄積する。対応する蓄積されたエッジカウントはそれぞれの画像線に与えられる。
【００５８】
ブロック４２９において、シーンデプスアサインメントモジュールは、２Ｄ画像のすべての画像線に対する蓄積されたエッジカウントを正規化し、ブロック４５０によりさらに処理するためにデプスグラディエントマップを生成する。
【００５９】
ブロック４３１において、色空間エクストラクタは、２Ｄ画像から１以上の画像成分を抽出する。それぞれの画像成分は、色空間の色成分に対応する。例えば、Ｙ画像成分は、ＹＣｂＣｒ色空間のＹ色成分に対応する。Ｒ画像成分は、ＲＧＢ色空間のレッド（Ｒ）色成分に対応する。
【００６０】
ブロック４３３において、画像成分は、ゲインを決めるために対応する画像成分リファインメントモジュールに送られる。本実施形態において、上記画像成分におけるそれぞれの色彩値に対して、上記リファインメントモジュールは、対応するゲインを決定する。それぞれの色彩値が、例えば、０から２５５の範囲にある値を有してからあとに、上記対応するゲインは、それに応じて変化している。例えば、Ｙ色彩値に対して、対応するゲインは１−Ｙthから１＋Ｙthの範囲にある。
【００６１】
ブロック４３５において、画像成分におけるそれぞれの色彩値について、上記対応するリファインメントモジュールは、上記ゲインをあるゲイン一組に加え、上記ゲインを２Ｄ画像のピクセルに対応づける。したがって、上記ゲイン一組は、対応するゲインが決定されるピクセルが提供するピクセルの位置を含む。
【００６２】
ブロック４３７において、デプスリファインメントエンジンは、すべての画像成分が調節されているかどうかを測定する。答えが「ＮＯ」ならば、プロセス４０１はブロック４３１に進み、その他の画像成分が、さらに処理するための２Ｄ画像から抽出される。ブロック４３７における答えが「ＹＥＳ」ならば、プロセス４０１は、ブロック４５０に進む。
【００６３】
ブロック４５０において、デプス生成モジュールは、ブロック４２９で生成されたデプスグラディエントマップと、ブロック４３１−４３３−４３５−４３７のルートを通って生成された一組のゲインとに基づいてデプス融合を実行することによって、デプスマップを生成する。本実施形態において、デプス融合は、乗法公式に基づいて実行される。上記生成されたデプスマップは、２Ｄ画像のそれぞれのピクセルに対する対応するデプス値を有する。
【００６４】
ブロック４６０において、３Ｄ変換エンジンは、上記デプスマップに基づいて２Ｄ画像を３Ｄ画像に変換する。
【００６５】
図５は、３Ｄビデオ変換プロセスを最適化するためのプロセスの実例となる実施形態のフローチャートを示す。プロセス５０１は、様々な機能的ブロックまたはアクションを表記する。この機能的ブロックまたはアクションは、処理ステップとして、機能的オペレーションとして、イベントとして、そして／または動作として記載されていて、ハードウェア、ソフトウェア、そして／またはファームウェアにより実行される。本願開示を踏まえた当業者は、図５に示された機能的ブロックの多数の代替手段が、様々な実施において実行される可能性があることを認識するだろう。本実施形態において、プロセス５０１について機械が実行可能なインストラクションは、メモリーに保存され、処理ユニットによって実行され、そして／または図１のデプス生成モジュール１３０に実装される。
【００６６】
ブロック５１０において、デプス生成モジュールは、３Ｄ変換のために２Ｄビデオから第１の２Ｄ画像を選択する。上記２Ｄビデオは、デプス生成モジュールがすばやく１以上の２Ｄ画像を抽出することができるように、フレームバッファに読み込まれる。
【００６７】
ブロック５２０において、デプス生成モジュールのデプスグラディエントマップジェネレータは、第１の２Ｄ画像を処理し、第１の２Ｄ画像に対応する第１デプスグラディエントマップを生成する。
【００６８】
ブロック５３０において、デプス生成モジュールは、３Ｄ変換のために２Ｄビデオから第２の２Ｄ画像を選択する。本実施形態において、第２の２Ｄ画像は、２Ｄビデオにおいて、第１の２Ｄ画像のその後に続く画像である。上記第２の２Ｄ画像もまた、第１の２Ｄ画像と第２の２Ｄ画像との間に著しい差異がない限りは、上記２Ｄビデオのその他の２Ｄ画像である。
【００６９】
ブロック５４０において、デプス生成モジュールのデプス融合モジュールは、第１デプスグラディエントマップと第２の２Ｄ画像とを用いてデプス融合を実行することにより、第１デプスマップを生成する。特に、デプス生成モジュールのデプスリファインメントエンジンは、最初に第２の２Ｄ画像の画像成分を処理して、複数の画像成分のゲイン一組を生成する。デプス融合モジュールは、そのとき、第１デプスマップを生成するために画像成分のゲイン一組とデプスグラディエントマップを用いる。言い換えれば、デプス生成モジュールは、第１の２Ｄ画像に基づいて、第１の２Ｄ画像そして／または第２の２Ｄ画像に対するデプスマップを生成するために生成されたデプスグラディエントマップを用いる。このようなアプローチは、ビデオの連続した画像が、一の画像から他の画像まで大きく変化しないため、有利である。したがって、第１の２Ｄ画像と第２の２Ｄ画像との両方を処理するために、第１の２Ｄ画像から生成されたデプスグラディエントマップを用いることで、デプス生成モジュールの能力は、非常に強化される。
【００７０】
ブロック５５０において、３Ｄ変換エンジンは、ブロック５４０で生成された第１デプスマップを用いて、第２の２Ｄ画像を第１の３Ｄ画像に変換する。上記３Ｄ変換エンジンは、第１の２Ｄ画像と第２の２Ｄ画像との間に著しい変化がなければ、第１デプスマップを用いて第１の２Ｄ画像を別の３Ｄ画像に変換することもできる。ブロック５６０において、デプス生成モジュールは、２Ｄビデオから第３の２Ｄ画像を選択する。ブロック５７０において、ブロック５２０と同様に、デプス生成モジュールは、第２の２Ｄ画像に対応する第２デプスグラディエントマップを生成する。
【００７１】
ブロック５８０において、ブロック５４０と同様に、デプス生成モジュールのデプス融合モジュールは、第２デプスグラディエントマップと第３の２Ｄ画像とを用いてデプス融合を実行することで、第２デプスマップを生成する。本実施形態において、ブロック５４０そして／またはブロック５５０は、ブロック５７０が実行中に同時に実行される。このとき、デプス生成モジュールのデプスグラディエントマップジェネレータは、第２の２Ｄ画像から第２デプスグラディエントマップを生成する（ブロック５７０）。上記第２デプスグラディエントマップの生成は、デプス生成モジュールのデプスリファインメントエンジンとデプス融合モジュールとが、第２の２Ｄ画像に対する第１デプスマップを生成するとき（ブロック５４０）、そして／または、３Ｄ変換エンジンが第２の２Ｄ画像を第１の３Ｄ画像に変換するとき（ブロック５５０）と、実質上同時に実行される。このようなアプローチは、２ステップ（デプスグラディエントマップ生成ステップとデプス融合ステップ）の順次オペレーションを同時処理される２つのシングルステップオペレーションへ転換するので、有利である。シングルステップオペレーションのそれぞれは、２ステップの順次オペレーションの長さの半分であり、その結果、３Ｄ変換プロセスの性能が大きく向上する。
【００７２】
ブロック５９０において、３Ｄ変換エンジンは、ブロック５５０で生成された第２デプスマップを用いて、第３の２Ｄ画像を第２の３Ｄ画像に変換する。したがって、一の２Ｄ画像から生成されるデプスグラディエントマップは、３Ｄビデオにおいて、その次の２Ｄ画像を変換するために用いられる。本実施形態において、デプス生成モジュールは、２つの隣接した２Ｄ画像が互いに似ているかどうかを決定するために比較オペレーションを用いる。上記比較オペレーションが２つの隣接する２Ｄ画像が類似であると決定する場合、そのとき、デプス生成モジュールは、最適化された処理のためにプロセス５０１を利用する。そうでなければ、デプス生成モジュールは、選択された２Ｄ画像から生成されたデプスグラディエントマップだけを用いて選択された２Ｄ画像を変換する。
【００７３】
上述のとおり、デプスマップ生成のための方法とシステムとを記述してきた。上述の記載を取り入れた技術は、特殊用途のハード・ワイヤード回路に、プログラム可能な回路と連動するソフトウェアそして／またはファームウェアに、あるいはこれらの結合に実装されうる。特殊目的のハード・ワイヤード回路は、例えば、１以上の、特定用途向け集積回路（ＡＳＩＣｓ）、プログラム可能論理回路（ＰＬＤｓ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡｓ）等の形式であってもよい。
【００７４】
上述の詳細な説明は、ブロック図、フローチャート、実例の使用を通して、本発明の装置そして／またはプロセスの様々な実施形態を説明してきた。上記ブロック図、フローチャート、そして／または実例が、１以上の機能そして／またはオペレーションを含む限りにおいて、上記ブロック図、フローチャート、そして／または実例の中でそれぞれの機能そして／またはオペレーションは、ハードウェア、ソフトウェア、ファームウェア、あるいはコンピュータ上のこれらの組み合わせの広い範囲で、個別にそして／またはまとめて実施されうることが、当該技術分野の範囲内でのブロック図、フローチャート、実例の使用により理解されるであろう。全体的にあるいは一部分において、本願に記載されている実施形態のあらゆる状況は、１以上のコンピュータ上で走る１以上のコンピュータプログラムとして（例えば、１以上のコンピュータシステム上で走る１以上のプログラムとして）、１以上のプロセッサ上で走る１以上のプログラムとして（例えば、１以上のマイクロプロセッサ上で走る１以上のプログラムとして）、ファームウェアとして、あるいはコンピュータ上のこれらの組み合わせとして同等に集積回路に実施されうることを当業者は認識するであろう。そして、回路の設計、そして／またはソフトウェアそして／またはファームウェアのコードを書くことは、本願の開示を考慮すると、本願発明の属する技術分野の１つの技術の範囲内であろうことを当業者は認識するであろう。
【００７５】
本願記載で導入された技術を実施するためのソフトウェアそして／またはファームウェアは、一時的ではないコンピュータが解読できる記録媒体に保存され、汎用のあるいは特殊目的のプログラムで制御できる１以上のマイクロプロセッサによって実行される。ここで用いられている「コンピュータが解読できる記録媒体」は、マシン（例えば、コンピュータ、ネットワークデバイス、携帯端末（ＰＤＡ）、モバイルデバイス、製造ツール、１以上のプロセッサのセットを有するデバイス等）によって、アクセス可能な形式で情報を提供する（例えば、保存そして／または送信）あらゆるメカニズムを含む。例えば、マシンにアクセス可能な記録媒体は、書き込み可能な／書き込み不可能な媒体（例えば、リードオンリーメモリー（ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ）、磁気ディスク記録媒体、光学記録媒体、フラッシュメモリーデバイス等）を含む。
【００７６】
本願開示は、特定の例となる実施形態を参照して記載されているけれども、本願開示は、記載された実施形態に限定されないが、しかし、添付の請求項の精神と範囲の中で修正、変更して実施されることが可能であることが認識されるであろう。それに応じて、本願明細書および図面は、限定的な意味というよりはむしろ説明的な意味に考えられるべきである。
【クロスリファレンス】
【０００１】
本出願は、２００９年１２月１５日に共同出願された現在係属中の米国仮出願Ｎｏ，６１２８６３９７（代理人整理番号Ｎｏ，ＨＩＭＸ−００１１−ＵＳ−ＰＲＯ）「ビデオ変換システム」の優先権の利益を主張する。本出願は仮出願ではない。この記述により先の出願の記載は、すべての目的に対して、付属書あるいは付属物を含む先の出願全体を参照することによって組み込まれる。
【技術分野】
【０００２】
本発明の実施形態は、一般的に、ディスプレイテクノロジーに関し、さらに具体的に言えば、デプスマップ生成方法とビデオ変換方法とビデオ変換システムとに関する。
【背景技術】
【０００３】
本明細書中に別段の記載がない限り、この背景技術の欄に記載されたアプローチは、本願請求項に係る発明の先行技術ではなく、また、この背景技術の欄に包含することによって先行技術であると認めるものでもない。
【０００４】
３次元（３Ｄ）画像あるいは３Ｄビデオは、深度（depth）知覚の錯覚をもたらすことがある。従来の３Ｄテクノロジーは、立体写真を基にしており、２つのレンズから画像を捉えるための特別なカメラを要求する。従来の３Ｄ立体画像やビデオを再生するため、人間の目の遠近感を模倣する２つの画像を同時に表示することにより見る人に対して深度錯覚をもたらすために、特別なハードウェアおよび／または特別なメガネが要求される。３Ｄディスプレイは、目を見張るような視覚体験を提示し、ブロードキャスト、映画、ゲームや写真といった多くのアプリケーションに利益をもたらすが、３Ｄコンテンツを生成するための効果的なアプローチに乏しいのが現状である。
【０００５】
さらに、従来の２次元（２Ｄ）ハードウェアを用いて撮られてきた２Ｄ画像や２Ｄビデオに関して、従来の３Ｄディスプレイハードウェアおよび／または３Ｄメガネは、これらの２Ｄコンテンツから３Ｄ効果を表示するための能力が欠けている。したがって、３Ｄディスプレイハードウェアを用いて３Ｄ効果を表現する前に、２Ｄ画像を３Ｄ画像に変換する必要があり、同様に２Ｄビデオを３Ｄビデオに変換する必要がある。しかし、２Ｄ画像／ビデオを３Ｄ画像／ビデオに変換するための従来の技術は、実行するためにかなりのコンピューティングリソースを必要とする、オブジェクトベースのセグメンテーションおよび動作補正の技術に、頻繁に依存する。
【発明の概要】
【０００６】
本願開示の１以上の実施形態によれば、２次元（２Ｄ）画像を３次元（３Ｄ）画像に変換するためのデプスマップを生成するためのプロセスを示すことができる。この画像変換のプロセスは、２Ｄ画像からデプスグラディエントマップを生成するために実装され、このデプスグラディエントマップは、１以上のエッジカウントを１以上のデプス値（depth values）に対応づけるよう構成される。上記画像変換のプロセスは、２Ｄ画像から画像成分を抽出することができ、この画像成分は、色空間の色成分に対応する。上記画像変換のプロセスは、画像成分に基づいて、デプスグラディエントマップを調整するための一組のゲインを決定することができる。そして、上記画像変換のプロセスは、上記デプスグラディエントマップと上記一組のゲインとに基づくデプス融合（depth fusion）を実行することによって、さらにデプスマップを生成することができる。
【０００７】
本願が開示するその他の実施形態によれば、２次元（２Ｄ）ビデオを３次元（３Ｄ）ビデオに変換するためのプロセスを示すことができる。このビデオ変換のプロセスは、２Ｄビデオから第１の２Ｄ画像を選択して、この第１の２Ｄ画像に対応する第１デプスグラディエントマップを生成するために実装される。上記ビデオ変換のプロセスは、２Ｄビデオから第２の２Ｄ画像を選択することができ、この第２の２Ｄ画像は、第１の２Ｄ画像の後に続く。上記ビデオ変換のプロセスは、第１デプスグラディエントマップと第２の２Ｄ画像とを用いることでデプス融合を実行することによって、第１デプスマップを生成することができる。そして、上記ビデオ変換のプロセスは、第１デプスマップを用いることによって、３Ｄビデオのために第２の２Ｄ画像を第１の３Ｄ画像に変換することができる。
【０００８】
本願が開示するさらなる実施形態によれば、ビデオ変換のためにデプスマップを生成するよう、システムを構成することができる。上記システムは、２Ｄ画像に基づいてデプスグラディエントマップを生成するためのデプスグラディエントマップジェネレータを備えることができる。上記システムは、２Ｄ画像から１以上の画像成分を抽出するための、および１以上の画像成分に基づいて一組以上のゲインをそれぞれ決定するためのデプスリファインメントエンジンを備えることができる。そして、上記システムは、デプスグラディエントマップと一組以上のゲインとに基づいてデプス融合を実行することによって、デプスマップを生成するためのデプスグラディエントマップジェネレータとデプスリファインメントエンジンとが結合されたデプス融合エンジンをさらに備えることができる。
【０００９】
上述の発明の概要は、実例となるだけであり、どのような限定も意図していない。上述の実例となるアスペクト、実施形態、特徴に加えて、さらなるアスペクト、実施形態、特徴が、図面および後述の詳細な説明への言及によって明らかになるだろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、３Ｄ変換を実行するためのビデオ変換システムの実例となる実施形態を含むブロック図を示す。
【図２】図２は、３Ｄ変換のためのデプスマップを生成するために実装されているデプス生成モジュールの実例となる実施形態を示す。
【図３】図３は、デプスマップを生成する間に、実例となる実施形態によって生成された中間結果のシナリオを示す。
【図４】図４は、２Ｄ画像からデプスマップを生成するためのプロセスの実例となる実施形態のフローチャートを示す。
【図５】図５は、３Ｄビデオ変換プロセスを最適化するためのプロセスの実例となる実施形態のフローチャートを示す。
【発明を実施するための形態】
【００１１】
後述の詳細な説明において、言及は、本発明の一部を形成する添付図面について成される。この添付図面において、文脈が違うことを指示しない限り、同じ記号は、通常、同じ構成を特定する。詳細な説明、図面、請求項において記載された実例となる実施形態は、限定することを意味していない。ここに示された対象の意図あるいは範囲から離れることなしに、他の実施形態を利用し、別の変化を生じることも可能である。本願に一般に記載され、図面において説明されている本発明のアスペクトを、本願に明確に予期されている多種多様の異なった形態のすべてにおいて、アレンジし、置き換え、結合し、設計することができると簡単に理解されるであろう。
【００１２】
本願の開示は、ビデオ変換のためのデプスマップの生成に関して、方法、装置、コンピュータプログラムおよびシステムについて、「inter alia」を引用する。本実施形態において、デプス生成モジュールは、デプスマップを生成するために２Ｄ画像を処理する。３Ｄ変換エンジンは、２Ｄ画像を３Ｄ画像へ変換するためにデプスマップを用いる。デプスマップを生成するために、デプス生成モジュールのデプスグラディエントマップジェネレータは、２Ｄ画像からデプスグラディエントマップを生成する。デプス生成モジュールのデプスリファインメントモジュールは、２Ｄ画像から１以上の画像成分を抽出し、これらの１以上の画像成分の深度特性を強化するためのデプスグラディエントマップを調整するために、一組のゲインを決定する。デプス生成モジュールのデプス融合モジュールは、デプスグラディエントマップとデプスマップを生成するための一組のゲインとに基づいてデプス融合を実行する。
【００１３】
本願開示の全体にわたって、「デプスマップ」は、広く、３Ｄ画像やビデオに関したデプス値（depth values）を保存するためのデータ構造を言う。２Ｄ画像内のそれぞれのピクセルが、対応するデプス値を与えられれば、２Ｄ画像は、３Ｄテクノロジーを用いて表示することができる。上記デプス値は、対象のピクセルから視点までの距離に関連している。例えば、対象のピクセルが視点からさらに離れれば離れるほど、対象と視点との間の距離はより大きくなり、したがって、対象と視点との間のデプス値は、より大きくなる。２Ｄ画像におけるすべてのピクセルに対するデプス値は、デプスマップに保存される。例えば、２Ｄ画像が１０２４×７６８の解像度を有する場合、デプスマップも同様に、２Ｄ画像におけるピクセルに対するデプス値に対応する１０２４×７６８を有する。
【００１４】
本願開示の全体にわたって、「グラディエント（gradient）」は、特定値に対する変化の「険しさ」を表わす。本実施形態において、グラディエント値がより高ければ、特定値に対する変化率がより大きくなる。例えば、グラディエント値は、画像線のピクセルに対するデプス値の変化率を保存するために用いられる。したがって、グラディエント値が高ければ高いほど、画像線における一のピクセルのデプス値とその次のピクセルのデプス値との間の差は、より大きくなる。「デプスグラディエントマップ」は、広く、画像におけるピクセルのデプス値に関連しているデプスグラディエント値を保存するためのデータ構造を言う。本実施形態において、デプスグラディエントマップは、画像の画像線から引き出された、正規化されて蓄積されたエッジカウントを有する。
【００１５】
本願開示の全体にわたって、「色空間」は、広く、２Ｄまたは３Ｄカラー画像を保存するために用いられるカラーコーディングスキームを言う。色空間は、それぞれのピクセルの色を複数の色成分に分けるために用いられる。例えば、ＲＧＢ色空間は、ピクセルの色を保存するために、赤（Ｒ）色成分と、緑（Ｇ）色成分と、青（Ｂ）色成分とを用いる。ＹＣｂＣｒ色空間は、ピクセルの輝度を保存するためにＹ色成分を用い、ピクセルの青色の違い（blue-difference）を保存するためにＣｒ色成分を用い、ピクセルの赤色の違い（red-difference）を保存するためにＣｂ色成分を用いる。色空間の色成分は、カラーピクセルの色彩値（color value）と同義である。そのため、ＹＣｂＣｒ色空間を用いて符号化（encode）された色は、３つの「色彩値」、すなわち、Ｙ色彩値、Ｃｂ色彩値、Ｃｒ色彩値を有する。また、異なった色成分を用いている他の色空間は、ピクセルの色を保存するために、同様の、または異なった色彩値の数を有する。さらに、「画像成分」は、広く、すべての画像のピクセルに対する特定の色成分の色彩値を言う。そのため、画像のＹ画像成分は、画像におけるすべてのピクセルのＹ色彩値を保存する。
【００１６】
本願開示の全体にわたって、「単調増加リファインメント」は、３Ｄ環境において、ピクセルが精緻化（refine）されたデプス値で表示される場合に、ピクセルが表現する対象の深度特性を強化するために、ピクセルの色彩値に基づいたデプス値を精緻化することを言う。本実施形態において、上記単調増加リファインメントは、ピクセルの色彩値に対応するゲインを用いてデプス値を調整することによって、成し遂げられる。本願開示の全体にわたって、「デプス融合（depth fusion）」は、広く、デプスグラディエント値とゲインとに基づいた特定のタイプの演算を言う。本実施形態において、デプスグラディエント値は、ピクセルに対する基本デプス値として用いられ、ピクセルの色彩値は、一組のゲインを決定するために用いられる。一組のゲインは、基本デプス値を調整するために用いられる。
【００１７】
図１は、３Ｄ変換を実行するためのビデオ変換システムの実例となる実施形態を含むブロック図を示す。図１において、デプス生成モジュール１３０と１以上の３Ｄ変換エンジン１５０は、２Ｄビデオ１１０をディスプレイ１７０，１８０，１９０に表示するための３Ｄビデオに変換するために構成されている。フレームバッファ１２０は、２Ｄビデオ１１０から取ってきた１以上の２Ｄ画像を保存するために用いられる。デプス生成モジュール１３０は、これに限定されるものではないが、デプスグラディエントマップジェネレータ１３１、デプスリファインメントエンジン１３２、デプス融合モジュール１３３、コンピューティングプロセッサ１３５、および／またはメモリー１３６を有するように構成される。上記３Ｄ変換エンジン１５０は、デプスアウェア（depth-aware）２Ｄビデオ強化エンジン１５１、サイドバイサイド（side-by-side）２Ｄ＋Ｚフォーマットエンジン１５２、マルチビューＤＩＢＲ（Depth Image-based Rendering）エンジン１５３である。さらに、３Ｄ画像を表示することができる上記ディスプレイは、これに限定されるものではないが、２Ｄディスプレイ１７０、３Ｄディスプレイ１８０、３Ｄマルチビューステレオスコープディスプレイ１９０である。
【００１８】
本実施形態において、２Ｄビデオ１１０は、カムコーダーのような２Ｄビデオ撮影装置によって生成されたビデオストリーム、あるいは、２Ｄ映画から変換されたビデオストリームである。上記２Ｄビデオ１１０は、２Ｄカラー静止画像をそれぞれ保存する複数の画像フレームを含む。それぞれの２Ｄ画像は、個別の解像度に基づいて構成された複数のカラーピクセルを有する。例えば、ある２Ｄ画像が、１０２４×７６８の解像度を有する場合、これは、この２Ｄ画像が、７６８の水平な画像線を有していて、この画像線のそれぞれが、カラーインフォメーションであるピクセルを１０２４有していることを意味している。その他の一般的な画像解像度は、これに限定されるものではないが、６４０×４８０、１２８０×１０２４、１９２０×１２００を含む。本実施形態において、上記２Ｄビデオ１１０は、フレームバッファ１２０に送り込まれる。上記フレームバッファ１２０は、上記２Ｄビデオ１１０から２Ｄ画像を高速ロードするための記憶装置である。本実施形態において、デプス生成モジュール１３０と３Ｄ変換エンジン１５０は、上記フレームバッファ１２０に保存された２Ｄ画像にすばやくアクセスするように構成されている。
【００１９】
本実施形態において、デプスグラディエントマップジェネレータ１３１は、フレームバッファ１２０から２Ｄ画像を抽出して、この２Ｄ画像に基づいてデプスグラディエントマップを生成する。デプスリファインメントエンジン１３２は、上記デプスグラディエントマップジェネレータ１３１と同様の２Ｄ画像をフレームバッファ１２０から抽出し、２Ｄ画像に基づいて一組のゲインを生成するように構成される。本実施形態において、一組のゲインは、単調に増加するシーケンスの範囲内にある。デプスグラディエントマップと一組のゲインとに基づいて、デプス融合モジュール１３３は、デプスマップ１４０を生成するためにデプス融合を実行する。デプスマップ１４０とフレームバッファ１２０における２Ｄ画像は、２Ｄ画像を３Ｄ画像に変換するための３Ｄ変換エンジン１５０に送られる。デプスグラディエントマップジェネレータ１３１、デプスリファインメントエンジン１３２、デプス融合モジュール１３３の詳細は、さらに後に説明されている。
【００２０】
本実施形態において、デプス生成モジュール１３０は、デプスマップ１４０を生成するためのコンピューティングプロセッサ１３５を利用する。上記コンピューティングプロセッサ１３５は、マイクロプロセッサ、または、プログラムで制御できるインストラクションに基づくコマンドを実行する一般的な、あるいは特定のコンピューティングデバイスである。本実施形態において、コンピューティングプロセッサ１３５は、プログラムで制御できるインストラクションを実行するために、そして、この実行における中間の処理結果を保存するために、メモリー１３６を利用する。メモリー１３６は、ランダムアクセスメモリー（ＲＡＭ）、リードオンリーメモリー（ＲＯＭ）、フラッシュメモリー、従来型の磁気あるいは光学ディスク、テープドライブ、またはこれらのデバイスの結合のどのような形式でもよい。
【００２１】
本実施形態において、３Ｄ変換エンジン１５０は、フレームバッファ１２０から２Ｄ画像を抽出し２Ｄ画像を３Ｄ画像に変換するために、デプスマップ１４０を用いる。本実施形態において、デプスアウェア（depth-aware）２Ｄビデオ強化エンジン１５１は、デプスマップ１４０に基づいて、２Ｄ画像の深度特性を強化する。特に、デプスアウェア２Ｄビデオ強化エンジン１５１は、２Ｄ画像のエッジ、コントラスト、彩度（saturation）を向上させる。例えば、２Ｄ画像における対象は、それぞれのデプス値が既定の閾値の上か下かによって決まる、上記対象に対応するコントラスト（あるいは彩度（saturation）等）を増加、減少することによって強化される。言い換えれば、デプス値が閾値よりも小さければ、すでに閾値よりも大きい別のデプス値以上に強化される。デプスアウェア２Ｄビデオ強化エンジン１５１は、米国特許出願Ｎｏ，12／242,672、「Depth-Based Image Enhancement」などにおいて記載されている技術のような適当な従来型技術によって実行される。
【００２２】
本実施形態において、サイドバイサイド（side-by-side）２Ｄ＋Ｚフォーマットエンジン１５２は、それぞれの画像のピクセルが、スクリーンのある面の前に表示されるべきか、あるいは後ろに表示されるべきかを示すための特定のデプスマップを有する３Ｄ画像（例えば、シーケンシャルレフト／ライト、アナグリフ、偏光画像）を生成する。マルチビューＤＩＢＲ（Depth Image-based Rendering）エンジン１５３は、異なる視点の２Ｄ画像を生成する。この２Ｄ画像は、多数の視点から画像を同時に捕まえるマルチプルカメラによって生成されたものと同様である。
【００２３】
本実施形態において、３Ｄ変換エンジン１５０によって生成された３Ｄ画像は、様々な２Ｄまたは３Ｄディスプレイ装置によって表示される。例えば、２Ｄディスプレイ１７０は、デプスマップ１４０に基づいて２Ｄ画像を処理することができ、２Ｄの範疇に入る画像を表示することができる。３Ｄディスプレイ１８０は、異なった視点角度に基づく異なった色と彩度（intensity）のピクセルを表示するための自動ステレオスコープ技術を利用する。３Ｄディスプレイ１８０のために、この３Ｄディスプレイ１８０を見る人は、シーケンスレフト／ライト画像のためのシャッターメガネ、アナグラフ画像のためのレッド／シアンメガネ、偏光画像のための偏光めがねを身につける。そして、３Ｄマルチビューステレオスコープディスプレイ１９０は、異なった視点の２Ｄ画像に基づいて生成された３Ｄ画像を表示する。上記３Ｄマルチビューステレオスコープディスプレイ１９０は、この３Ｄマルチビューステレオスコープディスプレイ１９０を見る人が、裸眼で３Ｄイリュージョンの眺めを直接楽しむことができるように、バリアあるいはレンズ状のパネルを有する。
【００２４】
本実施形態において、デプス生成モジュール１３０は、デプスグラディエントマップジェネレータ１３１とデプスリファインメントエンジン１３２をそれぞれの操作を同時に実行するために制御する。最適化された性能のために、デプスリファインメントエンジン１３２は、第１の２Ｄ画像から、第１の２Ｄ画像と関連してはいるが異なっている、第２の２Ｄ画像を精緻化するために生成されたデプスグラディエントマップを利用する。最適化されたプロセス、および／または、パラレルのプロセスについての詳細は、さらに後に説明されている。
【００２５】
図２は、３Ｄ変換のためのデプスマップを生成するために実装されているデプス生成モジュールの実例となる実施形態を示す。図２において、図１のデプス生成モジュール１３０と同様のデプス生成モジュールは、デプスグラディエントマップジェネレータ２２０（図１のデプスグラディエントマップジェネレータ１３１と同様）と、デプスリファインメントエンジン２３０（図１のデプスリファインメントエンジン１３２と同様）と、デプス融合モジュール２５０（図１のデプス融合モジュール１３３と同様）とを有する。図２のデプス生成モジュールは、フレームバッファ（図２においては図示せず）から抽出される２Ｄ画像２１０に基づいてデプスマップ２６０を生成する。デプスグラディエントマップ２２０は、特に、エッジフィルタ２２１と、エッジアキュムレータ２２３と、シーンデプスアサインメントモジュール２２５とを包含する。デプスリファインメントエンジン２３０は、特に、色空間エクストラクタ２３１と、１以上の画像成分リファインメントモジュール２３３，２３５，そして／または、２３７とを包含する。
【００２６】
本実施形態において、エッジフィルタ２２１は、２Ｄ画像２１０の一の画像線を規則的な方法で１度に処理することによって、エッジの数を検出する。例えば、エッジフィルタ２２１は、２Ｄ画像２１０において、トップダウンの、またはボトムアップの、インターレースの、またはノンインターレースの命令で画像線を読み込む。それぞれの画像に対して、エッジフィルタ２２１は、規則正しく画像線のなかのピクセルを評価して、隣同士のピクセルが、ある既定の閾値を上回る特定の変化を持つとき、エッジを検出する。この変化は、色彩と明るさに基づく。例えば、エッジフィルタ２２１は、２つの隣り合うピクセル間の色彩変化が色彩変動閾値よりも大きければ、その時、現在の画像線でのエッジでもよいと決定する。さらに、エッジフィルタ２２１は、それぞれのピクセルの明度／輝度のレベルに基づいて画像線をフィルターにかける。あるピクセルがその次のピクセルよりも高いまたは低い輝度レベルであり（言い換えれば、あるピクセルがその次のピクセルよりも明るいまたは薄暗い場合）、輝度レベル変化が既定の輝度閾値を超える場合、その時、エッジフィルタ２２１は、エッジを現在の画像線に検出することができると判断を下す。
【００２７】
画像線のすべてのピクセルが、それぞれ隣接するピクセルと評価され、比較されたあとで、エッジフィルタ２２１は、検出されたエッジの数をエッジカウントとして合計して、このエッジカウントを画像線に対応づける。その後、エッジフィルタ２２１は、２Ｄ画像からその他の画像線を順番に選び、２Ｄ画像のそれぞれの画像線が対応するエッジカウントを有するまでこのプロセスを続ける。この最終結果は、図３のテーブル３１０に類似するテーブルと共通点がある。このテーブルにおいて、それぞれの画像線は、対応するエッジカウント値を有する。この最終結果はまた、さらなる処理のためにエッジアキュムレータ２２３に移される。
【００２８】
本実施形態において、エッジアキュムレータ２２３は、２Ｄ画像２１０のそれぞれの画像線に対する蓄積されたエッジカウントを算出する。一般に、人間の視覚は、２Ｄ画像２１０の上半分を視点からより離れていると解釈し、２Ｄ画像２１０の下半分を視点からより近いと解釈する傾向がある。これは、通常真実であり、いくつかの２Ｄ画像２１０において、空が上端部分を占有する傾向があり、地面が下端部分を占有する傾向があるためである。したがって、上記仮定の下、デプスグラディエントマップジェネレータ２２０は、より高いデプスグラディエントを２Ｄ画像のより底の方にある画像線に与えることによって、２Ｄ画像に対する最初のデプスマップを組み上げる。言い換えれば、２Ｄ画像２１０における第１の画像線の下方にある第２の画像線は、第１の画像線よりも視点により近いと仮定できる。この仮定と、エッジは深度に対応しているという仮定とに基づいて、エッジアキュムレータ２２３は、第１の画像線のエッジカウントを第２の画像線のエッジカウントに加え、その結果、第１の画像線よりもエッジカウントを有する第２の画像線を確保している。上記アプローチは、３Ｄディスプレイにおいて、第２画像線を、第１画像線よりもより近い視点で表示することができるようにする。生成された３Ｄ効果は、第１の画像線と第２の画像線とがお互いに隣接しているときでも有効である。
【００２９】
本実施形態において、２Ｄ画像２１０の特定の画像線について、エッジアキュムレータ２２３は、この特定の画像線よりも「さらに遠く離れている（farther away）」、すべての「距離がある（distant）」画像線のエッジカウントを上記特定の画像線のエッジカウントへ蓄積し、上記特定の画像線が、どのような「距離がある」画像線よりもエッジカウントをより有することができるようにする。２Ｄ画像が、上端部が視点から遠く、底部が視点から近いという仮定の下にある場合、「さらに遠く離れている」どのような画像線も、２Ｄ画像２１０における上記特定の画像線の「上側（above）」にある画像線である。２Ｄ画像２１０の「最底部（most-bottom）」の画像線に対して、エッジアキュムレータ２３３は、２Ｄ画像２１０におけるすべての画像線のエッジカウントをトータルエッジカウントに加え、最底部の画像線に対する蓄積されたエッジカウントとして、このトータルエッジカウントを与える。
【００３０】
上記アプローチは、図３のテーブル３２０と同様のアウトプットを生成し、それぞれ特定の画像線は、蓄積されたエッジカウントに対応する。それぞれ蓄積されたエッジカウントは、特定の画像線の「上側」にある画像線のすべてのエッジカウントの小計である。本実施形態において、デプスグラディエントマップジェネレータ２２０は、２Ｄ画像２１０の上半分が、下半分よりも視点により近くなるように表示されることを決定することもできる。この場合、エッジアキュムレータ２２３は、異なった命令でエッジカウントを蓄積する。例えば、「底（bottom）」の画像線のエッジカウントを「上（top）」の画像線のエッジカウントに加えることによって、エッジカウントを蓄積する。したがって、エッジアキュムレータ２２３は、どの映像線も、他のどんな「近い（closer）」画像線よりも蓄積されたエッジカウントを有さないアウトプットテーブルを提供することもできる。エッジアキュムレーションの詳細はさらに後ほど説明される。
【００３１】
本実施形態において、シーンデプスアサインメントモジュール２２５は、２Ｄ画像２１０のそれぞれの画像線に対する蓄積されたエッジカウントの正規化を実行する。多くの色空間に対する色彩値は、０から２５５までの範囲（すなわち、上記色彩値は８ビット値である）を有するので、デプスマップのデプス値は、０から２５５までの同様範囲に正規化される。このとき、０が最も遠いことを意味しており、２５５が最も近いことを意味している。エッジアキュムレータ２２３により生成されたデプスグラディエントマップにおいて、（デプスグラディエント値と判断されうるであろう）蓄積されたエッジカウントは、０から２５５より高い数値、またはより低い数値までの範囲を有する。シーンデプスアサインメントモジュール２２５は、２Ｄ画像２１０の最も近い視点と判断された画像線が、２５５の正規化されたエッジカウントを有することができるように、上記蓄積されたエッジカウントを正規化するための正規化率を決定する。その他の上記蓄積されたエッジカウントは、同じ正規化率に基づいて、比例的に拡大または縮小される。このオペレーションが終了した後、シーンデプスアサインメントモジュール２２５は、アウトプットとしてデプスグラディエントマップ２４１を生成する。本実施形態において、シーンデプスアサインメントモジュール２２５は、デプスグラディエントマップジェネレータ２２０から除外されてもよいし、また、デプス融合モジュール２５０によって生成されたデプスマップ２６０の正規化を実行してもよい。
【００３２】
本実施形態において、デプスグラディエントマップ２４１は、２Ｄ画像２１０の解像度によって定められる２Ｄ画像２１０の画像線の数と同じ数のデプスグラディエント値を有する。例えば、２Ｄ画像２１０が１０２４×７６８の解像度を有するならば、このときデプスグラディエントマップ２４１は、７６８のエントリーを有する。デプスグラディエントマップ２４１の最後のエントリーは、２５５に正規化される。さらに、デプスグラディエントマップ２４１におけるそれぞれのエントリーは、２Ｄ画像２１０の対応する画像線に対応しており、同じ画像線におけるすべてのピクセルに対する最初のデプス値として判断されたデプスグラディエント値を表わしている。言い換えれば、デプスグラディエントマップ２４１は、２Ｄ画像２１０の画像線に対する最初のデプス値をもたらす。
【００３３】
本実施形態において、色空間エクストラクタ２３１は、２Ｄ画像２１０を処理し、２Ｄ画像２１０から１以上の画像成分を抽出する。上記色空間エクストラクタ２３１は、２Ｄ画像２１０が符号化された色空間を決定し、色空間の色成分に対応する画像成分を抽出する。例えば、ＹＣｂＣｒ色空間を用いて２Ｄ画像２１０を符号化することを決定するときに、色空間エクストラクタ２３１は、２Ｄ画像２１０から３つの画像成分（Ｙ画像成分、Ｃｂ画像成分、およびＣｒ画像成分）を抽出する。２Ｄ画像２１０から抽出された時点で、Ｙ画像成分は、２Ｄ画像２１０におけるすべてのピクセルのＹ色彩値を有し、Ｃｂ画像成分は、２Ｄ画像２１０におけるすべてのピクセルのＣｂ色彩値を有し、そしてＣｒ画像成分は、２Ｄ画像２１０におけるすべてのピクセルのＣｒ色彩値を有する。
【００３４】
本実施形態において、色空間エクストラクタ２３１によって抽出されたＹ画像成分は、Ｙリファインメントモジュール２３３に送られ、Ｃｂ画像成分は、Ｃｂリファインメントモジュール２３５に送られ、Ｃｒ画像成分は、Ｃｒリファインメントモジュール２３７に送られる。別の色空間（例えば、ＲＧＢ色空間）が、２Ｄ画像２１０を符号化するために用いられる場合、デプスリファインメントエンジン２３０は、色空間エクストラクタ２３１によって抽出されたＲ、Ｇ、そして／またはＢ画像成分を処理するための追加の画像成分リファインメントモジュール（例えば、Ｒリファインメントモジュール、Ｇリファインメントモジュール、そして／またはＢリファインメントモジュール）を有する。
【００３５】
本実施形態において、２Ｄ画像２１０におけるピクセルの色彩と明度は、明白な深度特性を有する。とくに、人の視覚は、２Ｄ画像２１０における対象の特定の色あるいは明度を、対象と２Ｄ画像２１０の視点との間の距離に対応づける。例えば、暖色（例えば、赤色）は、近いように感じさせ、寒色（例えば、青）は、遠いように感じさせる。また、高い輝度を有する対象は、２Ｄ画像における低い輝度を有する別の対象よりも近く感じさせる。ＹＣｂＣｒ色空間において、Ｙ色成分は、ピクセルの輝度情報を保存する。Ｃｒ色成分は、赤色の違い（red-difference）を保存するための彩度（chroma）成分であり、Ｃｂ色成分も同様に、ピクセルのための青色の違い（blue-difference）を保存するための彩度（chroma）成分である。それ故に、ＹＣｂＣｒ色空間の深度特性を強化するために、画像成分リファインメントモジュール２３３，２３５，２３７は、より近く見える明るい色のピクセルを作るために、より遠く見えるくすんだ色のピクセルを作るために、より近く見える暖かい色のピクセルを作るために、そして、より遠く見える冷たい色のピクセルを作るために、一組のゲインを生成する。
【００３６】
本実施形態において、Ｙリファインメントモジュール２３３は、Ｙ画像成分におけるそれぞれのＹ色彩値に対応する第１ゲインを決定する。一組の上記第１ゲインは、広く、Ｙbase−ＹthからＹbase＋Ｙthに及び、Ｙbaseが調節可能である直線状に増加するシーケンスの範囲にある。例えば、上記直線状に増加するシーケンスは、１−Ｙthから１＋Ｙthに変動する。上記Ｙthは、直線状に増加するシーケンスを調節するための変数である。言い換えれば、０から２５５の範囲にある特定のＹ色彩値について、この特定のＹ色彩値に対応する第１ゲインは、１−Ｙthから１＋Ｙthの範囲内に収まる。例えば、Ｙ色彩値が０であるとき、Ｙに対する第１ゲインは、１−Ｙthである。Ｙ色彩値が１２８であるとき、Ｙに対する第１ゲインは、１である。Ｙ色彩値が２５５であるとき、Ｙに対する第１ゲインは、１＋Ｙthである。本実施形態において、変数Ｙth は、異なった状況（あるいは適用）に基づいて決定される変数である。
【００３７】
本実施形態において、Ｙ画像成分におけるすべてのＹ色彩値に対する第１ゲインは、Ｙの一組のゲイン２４３に保存される。Ｙの一組のゲイン２４３におけるそれぞれの第１ゲインは、２Ｄ画像２１０のピクセルに対応する。したがって、Ｙの一組のゲイン２４３も、特定のピクセルの位置（例えば、画像線の位置や画像線上での場所）を有する。このように、第１ゲインは、特定のピクセルから抽出されたＹ色彩値に基づいて決定されるので、Ｙの一組のゲイン２４３は、Ｙ画像成分におけるＹ色彩値の数値と同等の数のエントリーを有し、また、２Ｄ画像２１０におけるピクセルの数と同等の数のエントリーを有する。
【００３８】
本実施形態において、Ｃｂリファインメントモジュール２３５は、Ｃｂ画像成分におけるそれぞれのＣｂ色彩値に対応する第２ゲインを決定する。直線状の第２ゲインの範囲を、広く、Ｃｂbase＋ＣｂthからＣｂbase−Ｃｂthまで表現することができ、Ｃｂbaseは調節可能な値である。一組の上記第２ゲインは、例えば、０から２５５に及ぶＣｂ色彩値に対して、１＋Ｃｂthから１−Ｃｂthの範囲にある。上記Ｃｂthは、異なった状況（あるいは適用）に基づいて決定される変数である。Ｃｂリファインメントモジュール２３５は、Ｃｂの一組のゲイン２４５におけるすべての第２ゲインを取り付ける。Ｃｂの一組のゲイン２４５において、それぞれの第２ゲインは、２Ｄ画像２１０におけるピクセルに対応する。
【００３９】
本実施形態において、Ｃｒリファインメントモジュール２３７は、Ｃｒ画像成分にＹリファインメントモジュール２３３と同様のオペレーションを実行する。特に、Ｃｒリファインメントモジュール２３７は、Ｃｒ画像成分におけるそれぞれのＣｒ色彩値に対応する第３ゲインを決定する。直線状の第３ゲインの範囲を、広く、Ｃｒbase＋ＣｒthからＣｒbase−Ｃｒthまで表現することができ、Ｃｒbaseは調節可能な値である。一組の上記第３ゲインは、例えば、０から２５５までに及ぶＣｒ色彩値に対して、１−Ｃｒthから１＋Ｃｒthの範囲にある。上記Ｃｒthは異なった状況（あるいは適用）に基づいて決定される変数である。Ｃｒリファインメントモジュール２３７は、Ｃｒの一組のゲイン２４７のすべての第３ゲインを取り付ける。Ｃｒの一組のゲイン２４７において、それぞれの第３ゲインは、２Ｄ画像２１０におけるピクセルに対応する。
【００４０】
本実施形態において、デプスグラディエントマップ２４１と、Ｙの一組のゲイン２４３と、Ｃｂの一組のゲイン２４５と、Ｃｒの一組のゲイン２４７とは、さらなるオペレーションのためにデプス融合モジュール２５０に送られる。上記デプス融合モジュール２５０は、正規化されたエッジカウントを、第１出力を生成するためのＹの一組のゲインに適用する。上記第１出力は、このとき、第２出力を生成するためのＣｂの一組のゲイン２４５に適用される。第２出力は、さらに、Ｃｒの一組のゲイン２４７に適用される。上記デプス融合オペレーション後に、デプス融合モジュール２５０は、その後の３Ｄ変換オペレーションのためにデプスマップ２６０を出力する。
【００４１】
特に、デプス融合モジュール２５０は、デプスグラディエントマップ２４１から特定のデプスグラディエント値を最初に選択し、正規化されたデプスグラディエント値が計算されたものから画像線を決定する。デプス融合モジュール２５０は、そのとき、Ｙの一組のゲイン２４３から特定の第１ゲインを選択し、Ｃｂの一組のゲイン２４５から特定の第２ゲインを選択し、そして、Ｃｒの一組のゲイン２４７から特定の第３ゲインを選択する。第１、第２および第３ゲインは、あらかじめ決められた画像線に位置づけられた特定のピクセルに対応する。このとき、デプス融合モジュール２５０は、上述の第１、第２および第３ゲインと、特定の正規化されたデプスグラディエント値とに基づいてデプス融合を実行する。上記デプス融合の出力は、デプスマップ２６０の特定のピクセルに対するデプス値に対応する。デプス融合モジュール２５０は、２Ｄ画像２１０のそれぞれのピクセルが、デプスマップ２６０の対応するデプス値を有するまで上述のデプス融合オペレーションを続ける。デプス融合オペレーションの詳細は、さらに後に説明される。
【００４２】
図３は、デプスマップを生成する間に、実例となる実施形態によって生成された中間結果のシナリオを示す。図３において、テーブル３１０は、図２のエッジフィルタ２２１によって２Ｄ画像が処理された後の出力シナリオ例である。テーブル３２０は、図２のエッジアキュムレータ２２３が、テーブル３１０を処理した後の出力シナリオ例である。テーブル３３０は、図２のシーンデプスアサインメントモジュール２２５がテーブル３２０を処理した後の出力シナリオ例である。テーブル３４０は、図２のデプス融合モジュール２５０がテーブル３３０と、画像成分から生成されたゲイン例とを処理した後の出力シナリオ例である。テーブル３５０は、図２のデプス融合モジュール２５０がテーブル３４０のデプス値を正規化した後の出力シナリオ例である。
【００４３】
テーブル３１０において、１０の画像線を有する２Ｄ画像は、フレームバッファに取り込まれている。エッジフィルタは、走査線によって２Ｄ画像線を処理し、それぞれの画像線に対するエッジの数を数える。テーブル３１０と、図３における他の後に続くテーブルにおいて、画像線１は、２Ｄ画像の一番上の画像線を表わし、画像線２は、２Ｄ画像の上から２番目の画像線を表わし、そして、画像線１０は２Ｄ画像の最後の線（または最下部の線）を表わす。テーブル３１０において、エッジフィルタは、画像線１において２０エッジ、画像線２において５０エッジ等を検出している。
【００４４】
テーブル３１０に基づいて、エッジアキュムレータは、すべての以前の画像線のエッジカウントの小計で特定の画像線のエッジカウントを蓄積し、テーブル３２０における蓄積されたエッジカウントを保存する。テーブル３２０の例において、特定の画像線に対する蓄積されたエッジカウントは、すべての「上の」画像線のエッジカウントを（エッジカウントの小計として）加え、特定の画像線自身のエッジカウントを加えることによってすばやく計算される。例えば、画像線５について、画像線１，画像線２，画像線３，画像線４が、２Ｄ画像における画像線５のすべての「上の」画像線であると仮定すれば、蓄積されたエッジカウントは、画像線１，画像線２，画像線３，画像線４のエッジカウントの小計に画像線５自身のエッジカウントを加えたものに等しい。したがって、蓄積されたエッジカウントは、（２０＋５０＋７０＋１２０）＋４０＝３００となるはずである。すべての画像線がエッジアキュムレータにより処理された後、テーブル３２０は、すべての画像線について、蓄積されたエッジカウントを保存するために用いられる。テーブル３２０において、最初の画像線（画像線１）は、最小のエッジ数であり、視点から最も離れていると判断される。最もエッジ数の多い最後の画像線（画像線１０）は、視点に最も近いと判断される。
【００４５】
本実施形態において、シーンデプスアサインメントモジュールは、正規化され蓄積されたエッジカウントテーブル３３０を生成するためにテーブル３２０を処理する。上記シーンデプスアサインメントモジュールは、視点から最も離れていることを意味する値０と、視点から最も近いことを意味する値２５５とを与える。最後の画像線（画像線１０）が最も近いと判断されてから、その画像線（画像線１０）の正規化され蓄積されたエッジカウントは、値２５５を与えられる。最後の画像線に基づいて、その前の画像線は、２５５／（最後の画像線について蓄積されたエッジカウント）に等しい割合で正規化される。テーブル３２０のシナリオにおいて、画像線１０について蓄積されたエッジカウントは６７０であり、このときテーブル３２０におけるすべての蓄積されたエッジカウントは、２５５／６７０の割合で正規化される。
【００４６】
例えば、画像線１について、正規化され蓄積されたエッジカウントは、２０×２５５／６７０＝８である。画像線５について、正規化され蓄積されたエッジカウントは、３００×２５５／６７０＝１１４である。テーブル３３０は、上記正規化率をテーブル３２０における蓄積されたエッジカウントに適用した後で、画像線に対する「正規化され蓄積されたエッジカウント」（例えば、デプスグラディエント値）を保存し、デプスグラディエントマップと判断される。画像線において、複雑なエッジを持てばもつほど、より大きいデプスグラディエントを有する。したがって、出力３Ｄ画像は、対象と雲ひとつない青空との間ではっきりした深度変化を有し、焦点をぼかした背景の上方境界と焦点のあった対象との間でのはっきりした深度変化を有するので、このアプローチは有利である。
【００４７】
本実施形態において、色空間エクストラクタは、２Ｄ画像をＹ、Ｃｂ、Ｃｒ画像成分として抽出する。上記画像成分におけるそれぞれの色彩値に対して、対応するゲインは、精緻目的のために決定される。テーブル３４０に示すように、ピクセル１は画像線１のものであり、１のＹ色彩値と、２５５のＣｂ色彩値と、３０のＣｒ色彩値を有する。上記色彩値に基づいて、第１ゲイン（例、Ｆ（Ｙ））と、第２ゲイン（例、Ｆ（Ｃｂ））と、第３ゲイン（例、Ｆ（Ｃｒ））とは、リファインメントモジュールによって決定される。さらに、それぞれの画像線に対するデプスグラディエント値（Ｇ）もまた、テーブル３３０からコピーされる。同じ画像線におけるすべてのピクセルは、画像線に対応する同じデプスグラディエント値を用いることに気づかされるはずである。
【００４８】
本実施形態において、式Ｆ（Ｙ）は、０から２５５の範囲のＹ色彩値に対して、１−Ｙthから１＋Ｙthの範囲の直線状のゲインを提供する。言い換えれば、ピクセルが０のＹ色彩値を有するならば、１−Ｙthゲインを与えられる。２５５のＹ色彩値に対して、１＋Ｙthゲインを与えられる。したがって、
Ｆ（Ｙ）＝（１−Ｙth）＋（２×Ｙth×Ｙ）／２５５（０≦Ｙ≦２５５）
さらに、式Ｆ（Ｃｂ）と式Ｆ（Ｃｒ）が、同様に決定される。
Ｆ（Ｃｂ）＝（１−Ｃｂth）＋（２×Ｃｂth×Ｃｂ）／２５５（０≦Ｃｂ≦２５５）
Ｆ（Ｃｒ）＝（１−Ｃｒth）＋（２×Ｃｒth×Ｃｒ）／２５５（０≦Ｃｒ≦２５５）
示されているテーブル３４０において、Ｙ、Ｃｂ、Ｃｒ色彩値に対する個々のゲインの計算に対して、Ｙthは０．２にセットされ、Ｃｂthは０．１にセットされ、Ｃｒthは０．３にセットされる。
【００４９】
本実施形態において、デプス融合モジュールは、デプスグラディエントマップ（例えば、テーブル３４０のＧの値）と、１以上の第１ゲイン、第２ゲイン、および第３ゲイン（例えば、テーブル３４０に示されたＦ（Ｙ）、Ｆ（Ｃｂ）、Ｆ（Ｃｒ）の値）とを用いてデプス融合を実行する。上記デプス融合は、それぞれのピクセルに対するデプス値を計算するために、Ｇ×Ｆ（Ｙ）×Ｆ（Ｃｂ）×Ｆ（Ｃｒ）の式を利用する。すべてのピクセルに対するデプス値がデプス融合式に基づいて計算された後、出力デプス値は、３Ｄ変換のためのデプスマップと判断される。テーブル３４０の例によれば、ピクセル３に対するデプス値は、５３×０．８６×０．９３×１．１９＝５１である。
【００５０】
本実施形態において、正規化された値が、８ビットデプス値の０から２５５の範囲内にあるように、デプス融合モジュールはピクセル値についてデプス値を正規化する。上記正規化プロセスは、テーブル３４０から最大デプス値を選択し、それに従ってすべてのデプス値を調節する。テーブル３４０に示すように、正規化前の最大デプス値はピクセル８の３１８である。したがって、ピクセル３について正規化されたデプス値は、５１×２５５／３１８＝４１である。テーブル３４０のデプス値が正規化された後、その結果はテーブル３５０に示され、テーブル３５０において、それぞれのピクセルは、０から２５５の範囲内にある対応する正規化されたデプス値を有する。言い換えれば、テーブル３５０は、９つの２Ｄ画像のピクセルに対するデプスマップと判断される。
【００５１】
図４は、２Ｄ画像からデプスマップを生成するためのプロセスの実例となる実施形態のフローチャートを示す。このプロセス４０１は、様々な機能的ブロックまたはアクションを表記する。この機能的ブロックまたはアクションは、処理ステップとして、機能的オペレーションとして、イベントとして、そして／または動作として記載され、ハードウェア、ソフトウェア、そして／またはファームウェアにより実行される。本開示についての当業者は、図４に示された機能的ブロックの多数の代替手段が、様々な実施において実行される可能性があることを認識するだろう。本実施形態において、プロセス４０１について機械が実行可能なインストラクションは、メモリーに保存され、処理ユニットによって実行され、そして／または図１のデプス生成モジュール１３０のような携帯装置に実装される。
【００５２】
当業者は、本願において開示されているあらゆるプロセスと方法について、上記プロセスと上記方法において実行された機能は、異なる命令により実行される可能性があることを十分理解するだろう。さらに、概要が述べられたステップおよびオペレーションは、実例として提供されただけであり、ステップおよびオペレーションのいくつかは任意で、より少ないステップとオペレーションを組み合わせたり、あるいは、本願開示の実施形態の本質を損なうことなしに追加のステップおよびオペレーションを拡張したりすることもできる。さらに、概要が述べられたステップおよびオペレーションの１以上は、同時に実行されてもよい。
【００５３】
ブロック４１０において、デプス生成モジュールは、フレームバッファから２Ｄ画像を抽出することによって、３Ｄ変換のために２Ｄ画像を処理する。本実施形態において、デプス生成モジュールのデプスグラディエントマップジェネレータは、ブロック４２１，４２３，４２５，４２７，４２９を通して２Ｄ画像を処理する。そして、デプス生成モジュールのデプスリファインメントモジュールはブロック４３１，４３３，４３５，４３７を通して２Ｄ画像を処理する。本実施形態において、ブロック４２１，４２３，４２５，４２７，４２９を通るルートは、ブロック４３１，４３３，４３５，４３７を通るルートと同時に処理される。言い換えれば、デプスグラディエントマップジェネレータとデプスリファインメントモジュールとは、独立して、同時にそれぞれのオペレーションを実行し、それぞれの出力は、さらなる処理のため、ブロック４５０に送られる。
【００５４】
ブロック４２１において、デプスグラディエントマップのエッジフィルタは、規則正しく各線ごとに２Ｄ画像を処理する。本実施形態において、上記エッジフィルタは、２Ｄ画像から横または縦の画像線を抽出する。エッジフィルタはまた、上から下、下から上、左から右、右から左の順序で２Ｄ画像を処理する。さらに、エッジフィルタは、インターレース方式（飛び越し走査）またはノンインターレース方式（順次走査）の処理命令を用いる。
【００５５】
ブロック４２３において、それぞれの画像線を処理するために、エッジフィルタは画像線におけるエッジの数を検出する。この検出されたエッジの数は、画像線に対するエッジカウントと判断される。
【００５６】
ブロック４２５において、エッジフィルタは、２Ｄ画像のすべての画像線が処理されたかどうかを決定する。答えが「ＮＯ」ならば、プロセス４０１はブロック４２１に戻り、その他の画像線が処理するための２Ｄ画像から抽出される。ブロック４２５における答えが「ＹＥＳ」ならば、プロセス４０１は、ブロック４２７に進む。
【００５７】
ブロック４２７において、エッジアキュムレータは、２Ｄ画像のそれぞれの画像線に対する「上の」画像線のエッジカウントを蓄積する。対応する蓄積されたエッジカウントはそれぞれの画像線に与えられる。
【００５８】
ブロック４２９において、シーンデプスアサインメントモジュールは、２Ｄ画像のすべての画像線に対する蓄積されたエッジカウントを正規化し、ブロック４５０によりさらに処理するためにデプスグラディエントマップを生成する。
【００５９】
ブロック４３１において、色空間エクストラクタは、２Ｄ画像から１以上の画像成分を抽出する。それぞれの画像成分は、色空間の色成分に対応する。例えば、Ｙ画像成分は、ＹＣｂＣｒ色空間のＹ色成分に対応する。Ｒ画像成分は、ＲＧＢ色空間のレッド（Ｒ）色成分に対応する。
【００６０】
ブロック４３３において、画像成分は、ゲインを決めるために対応する画像成分リファインメントモジュールに送られる。本実施形態において、上記画像成分におけるそれぞれの色彩値に対して、上記リファインメントモジュールは、対応するゲインを決定する。それぞれの色彩値が、例えば、０から２５５の範囲にある値を有してからあとに、上記対応するゲインは、それに応じて変化している。例えば、Ｙ色彩値に対して、対応するゲインは１−Ｙthから１＋Ｙthの範囲にある。
【００６１】
ブロック４３５において、画像成分におけるそれぞれの色彩値について、上記対応するリファインメントモジュールは、上記ゲインをあるゲイン一組に加え、上記ゲインを２Ｄ画像のピクセルに対応づける。したがって、上記ゲイン一組は、対応するゲインが決定されるピクセルが提供するピクセルの位置を含む。
【００６２】
ブロック４３７において、デプスリファインメントエンジンは、すべての画像成分が調節されているかどうかを測定する。答えが「ＮＯ」ならば、プロセス４０１はブロック４３１に進み、その他の画像成分が、さらに処理するための２Ｄ画像から抽出される。ブロック４３７における答えが「ＹＥＳ」ならば、プロセス４０１は、ブロック４５０に進む。
【００６３】
ブロック４５０において、デプス生成モジュールは、ブロック４２９で生成されたデプスグラディエントマップと、ブロック４３１−４３３−４３５−４３７のルートを通って生成された一組のゲインとに基づいてデプス融合を実行することによって、デプスマップを生成する。本実施形態において、デプス融合は、乗法公式に基づいて実行される。上記生成されたデプスマップは、２Ｄ画像のそれぞれのピクセルに対する対応するデプス値を有する。
【００６４】
ブロック４６０において、３Ｄ変換エンジンは、上記デプスマップに基づいて２Ｄ画像を３Ｄ画像に変換する。
【００６５】
図５は、３Ｄビデオ変換プロセスを最適化するためのプロセスの実例となる実施形態のフローチャートを示す。プロセス５０１は、様々な機能的ブロックまたはアクションを表記する。この機能的ブロックまたはアクションは、処理ステップとして、機能的オペレーションとして、イベントとして、そして／または動作として記載されていて、ハードウェア、ソフトウェア、そして／またはファームウェアにより実行される。本願開示を踏まえた当業者は、図５に示された機能的ブロックの多数の代替手段が、様々な実施において実行される可能性があることを認識するだろう。本実施形態において、プロセス５０１について機械が実行可能なインストラクションは、メモリーに保存され、処理ユニットによって実行され、そして／または図１のデプス生成モジュール１３０に実装される。
【００６６】
ブロック５１０において、デプス生成モジュールは、３Ｄ変換のために２Ｄビデオから第１の２Ｄ画像を選択する。上記２Ｄビデオは、デプス生成モジュールがすばやく１以上の２Ｄ画像を抽出することができるように、フレームバッファに読み込まれる。
【００６７】
ブロック５２０において、デプス生成モジュールのデプスグラディエントマップジェネレータは、第１の２Ｄ画像を処理し、第１の２Ｄ画像に対応する第１デプスグラディエントマップを生成する。
【００６８】
ブロック５３０において、デプス生成モジュールは、３Ｄ変換のために２Ｄビデオから第２の２Ｄ画像を選択する。本実施形態において、第２の２Ｄ画像は、２Ｄビデオにおいて、第１の２Ｄ画像のその後に続く画像である。上記第２の２Ｄ画像もまた、第１の２Ｄ画像と第２の２Ｄ画像との間に著しい差異がない限りは、上記２Ｄビデオのその他の２Ｄ画像である。
【００６９】
ブロック５４０において、デプス生成モジュールのデプス融合モジュールは、第１デプスグラディエントマップと第２の２Ｄ画像とを用いてデプス融合を実行することにより、第１デプスマップを生成する。特に、デプス生成モジュールのデプスリファインメントエンジンは、最初に第２の２Ｄ画像の画像成分を処理して、複数の画像成分のゲイン一組を生成する。デプス融合モジュールは、そのとき、第１デプスマップを生成するために画像成分のゲイン一組とデプスグラディエントマップを用いる。言い換えれば、デプス生成モジュールは、第１の２Ｄ画像に基づいて、第１の２Ｄ画像そして／または第２の２Ｄ画像に対するデプスマップを生成するために生成されたデプスグラディエントマップを用いる。このようなアプローチは、ビデオの連続した画像が、一の画像から他の画像まで大きく変化しないため、有利である。したがって、第１の２Ｄ画像と第２の２Ｄ画像との両方を処理するために、第１の２Ｄ画像から生成されたデプスグラディエントマップを用いることで、デプス生成モジュールの能力は、非常に強化される。
【００７０】
ブロック５５０において、３Ｄ変換エンジンは、ブロック５４０で生成された第１デプスマップを用いて、第２の２Ｄ画像を第１の３Ｄ画像に変換する。上記３Ｄ変換エンジンは、第１の２Ｄ画像と第２の２Ｄ画像との間に著しい変化がなければ、第１デプスマップを用いて第１の２Ｄ画像を別の３Ｄ画像に変換することもできる。ブロック５６０において、デプス生成モジュールは、２Ｄビデオから第３の２Ｄ画像を選択する。ブロック５７０において、ブロック５２０と同様に、デプス生成モジュールは、第２の２Ｄ画像に対応する第２デプスグラディエントマップを生成する。
【００７１】
ブロック５８０において、ブロック５４０と同様に、デプス生成モジュールのデプス融合モジュールは、第２デプスグラディエントマップと第３の２Ｄ画像とを用いてデプス融合を実行することで、第２デプスマップを生成する。本実施形態において、ブロック５４０そして／またはブロック５５０は、ブロック５７０が実行中に同時に実行される。このとき、デプス生成モジュールのデプスグラディエントマップジェネレータは、第２の２Ｄ画像から第２デプスグラディエントマップを生成する（ブロック５７０）。上記第２デプスグラディエントマップの生成は、デプス生成モジュールのデプスリファインメントエンジンとデプス融合モジュールとが、第２の２Ｄ画像に対する第１デプスマップを生成するとき（ブロック５４０）、そして／または、３Ｄ変換エンジンが第２の２Ｄ画像を第１の３Ｄ画像に変換するとき（ブロック５５０）と、実質上同時に実行される。このようなアプローチは、２ステップ（デプスグラディエントマップ生成ステップとデプス融合ステップ）の順次オペレーションを同時処理される２つのシングルステップオペレーションへ転換するので、有利である。シングルステップオペレーションのそれぞれは、２ステップの順次オペレーションの長さの半分であり、その結果、３Ｄ変換プロセスの性能が大きく向上する。
【００７２】
ブロック５９０において、３Ｄ変換エンジンは、ブロック５５０で生成された第２デプスマップを用いて、第３の２Ｄ画像を第２の３Ｄ画像に変換する。したがって、一の２Ｄ画像から生成されるデプスグラディエントマップは、３Ｄビデオにおいて、その次の２Ｄ画像を変換するために用いられる。本実施形態において、デプス生成モジュールは、２つの隣接した２Ｄ画像が互いに似ているかどうかを決定するために比較オペレーションを用いる。上記比較オペレーションが２つの隣接する２Ｄ画像が類似であると決定する場合、そのとき、デプス生成モジュールは、最適化された処理のためにプロセス５０１を利用する。そうでなければ、デプス生成モジュールは、選択された２Ｄ画像から生成されたデプスグラディエントマップだけを用いて選択された２Ｄ画像を変換する。
【００７３】
上述のとおり、デプスマップ生成のための方法とシステムとを記述してきた。上述の記載を取り入れた技術は、特殊用途のハード・ワイヤード回路に、プログラム可能な回路と連動するソフトウェアそして／またはファームウェアに、あるいはこれらの結合に実装されうる。特殊目的のハード・ワイヤード回路は、例えば、１以上の、特定用途向け集積回路（ＡＳＩＣｓ）、プログラム可能論理回路（ＰＬＤｓ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡｓ）等の形式であってもよい。
【００７４】
上述の詳細な説明は、ブロック図、フローチャート、実例の使用を通して、本発明の装置そして／またはプロセスの様々な実施形態を説明してきた。上記ブロック図、フローチャート、そして／または実例が、１以上の機能そして／またはオペレーションを含む限りにおいて、上記ブロック図、フローチャート、そして／または実例の中でそれぞれの機能そして／またはオペレーションは、ハードウェア、ソフトウェア、ファームウェア、あるいはコンピュータ上のこれらの組み合わせの広い範囲で、個別にそして／またはまとめて実施されうることが、当該技術分野の範囲内でのブロック図、フローチャート、実例の使用により理解されるであろう。全体的にあるいは一部分において、本願に記載されている実施形態のあらゆる状況は、１以上のコンピュータ上で走る１以上のコンピュータプログラムとして（例えば、１以上のコンピュータシステム上で走る１以上のプログラムとして）、１以上のプロセッサ上で走る１以上のプログラムとして（例えば、１以上のマイクロプロセッサ上で走る１以上のプログラムとして）、ファームウェアとして、あるいはコンピュータ上のこれらの組み合わせとして同等に集積回路に実施されうることを当業者は認識するであろう。そして、回路の設計、そして／またはソフトウェアそして／またはファームウェアのコードを書くことは、本願の開示を考慮すると、本願発明の属する技術分野の１つの技術の範囲内であろうことを当業者は認識するであろう。
【００７５】
本願記載で導入された技術を実施するためのソフトウェアそして／またはファームウェアは、一時的ではないコンピュータが解読できる記録媒体に保存され、汎用のあるいは特殊目的のプログラムで制御できる１以上のマイクロプロセッサによって実行される。ここで用いられている「コンピュータが解読できる記録媒体」は、マシン（例えば、コンピュータ、ネットワークデバイス、携帯端末（ＰＤＡ）、モバイルデバイス、製造ツール、１以上のプロセッサのセットを有するデバイス等）によって、アクセス可能な形式で情報を提供する（例えば、保存そして／または送信）あらゆるメカニズムを含む。例えば、マシンにアクセス可能な記録媒体は、書き込み可能な／書き込み不可能な媒体（例えば、リードオンリーメモリー（ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ）、磁気ディスク記録媒体、光学記録媒体、フラッシュメモリーデバイス等）を含む。
【００７６】
本願開示は、特定の例となる実施形態を参照して記載されているけれども、本願開示は、記載された実施形態に限定されないが、しかし、添付の請求項の精神と範囲の中で修正、変更して実施されることが可能であることが認識されるであろう。それに応じて、本願明細書および図面は、限定的な意味というよりはむしろ説明的な意味に考えられるべきである。
【特許請求の範囲】
【請求項１】
２次元画像を３次元画像に変換するためのデプスマップを生成するための方法であって、
２次元画像から、１以上のエッジカウントを１以上のデプス値に対応づけるように構成されているデプスグラディエントマップを生成し、
上記２次元画像から、色空間の色成分に対応する画像成分を抽出し、
上記画像成分に基づいて、上記デプスグラディエントマップを調整するための一組のゲインを決定し、
上記デプスグラディエントマップと上記一組のゲインとに基づいてデプス融合を実行することによって、デプスマップを生成すること
を特徴とする方法。
【請求項２】
請求項１に記載の方法において、
上記デプスマップに基づいて２次元画像を３次元画像に変換することを特徴とする方法。
【請求項３】
請求項１に記載の方法において、
上記デプスグラディエントマップを生成することにおいては、
２次元画像における複数の画像線から規則的に抽出される画像線について、
上記画像線における１以上のエッジを検出することによって、上記画像線に対するエッジカウントを決定し、
上記複数の画像線に対して決定された上記エッジカウントに基づいて上記デプスグラディエントマップを生成することを特徴とする方法。
【請求項４】
請求項３に記載の方法において、
上記画像線における隣接するピクセル間の色彩変化の数をカウントすることにより、上記１以上のエッジが上記エッジカウントとして検出され、
上記色彩変化のそれぞれが、既定の色彩変動閾値を超えることを特徴とする方法。
【請求項５】
請求項３に記載の方法において、
上記画像線における隣接するピクセル間の明度変化の数をカウントすることにより、上記１以上のエッジが上記エッジカウントとして検出され、
明度変化のそれぞれが、既定の明度変動閾値を超えることを特徴とする方法。
【請求項６】
請求項３に記載の方法において、
上記デプスグラディエントマップは、複数のデプスグラディエント値を有しており、
上記複数のデプスグラディエント値は、上記エッジカウントに対する累算オペレーションを実行することにより得られることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、
上記複数のデプスグラディエント値のそれぞれは、対応する画像線に対する対応するエッジカウントと、上記２次元画像の画像線の部分集合に対するエッジカウントの小計とを加えることにより得られ、
上記画像線の部分集合における画像線のそれぞれは、上記対応する画像線よりも上記２次元画像の視点からさらに離れているとみなされることを特徴とする方法。
【請求項８】
請求項６に記載の方法において、
上記デプスグラディエントマップは、上記複数のデプスグラディエント値を正規化した後で生成されることを特徴とする方法。
【請求項９】
請求項１に記載の方法において、
上記画像成分は、上記２次元画像の複数のピクセルから抽出された複数の色彩値を有しており、
上記複数の色彩値は、上記色成分に属することを特徴とする方法。
【請求項１０】
請求項１に記載の方法において、
上記一組のゲインを決定することにおいては、
上記画像成分から選択され、上記２次元画像のピクセルに対応する色彩値について、
上記色彩値に基づいて、上記ピクセルの深度特性を減少させる第１の値から、上記ピクセルの深度特性を増加させる第２の値の範囲にある対応するゲインを決定し、
上記対応するゲインを上記一組のゲインの上記ピクセルに対応づけることを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、
上記デプス融合を実行することにおいては、
上記デプスグラディエントマップから選択されたデプスグラディエント値に上記一組のゲインから選択された対応するゲインを掛けることによって、上記デプスマップに対するデプス値を規則正しく生成し、
上記デプスグラディエント値は、上記２次元画像の特定の画像線に対応すると共に、上記対応するゲインは、上記特定の画像線における特定のピクセルの色彩値に対応していることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、
上記方法は、コンピュータが読み取り可能な記憶媒体において、一組のインストラクションとして具体化されており、上記一組のインストラクションは、コンピューティングプロセッサによって実行されたときに、上記コンピューティングプロセッサに上記方法を実行させることを特徴とする方法。
【請求項１３】
２次元ビデオを３次元ビデオへ変換するための方法であって、
２次元ビデオから第１の２次元画像を選択し、
上記第１の２次元画像に対応する第１デプスグラディエントマップを生成し、
上記２次元ビデオから、上記第１の２次元画像の後に続く第２の２次元画像を選択し、
上記第１デプスグラディエントマップと上記第２の２次元画像とを用いてデプス融合を実行することにより、第１デプスマップを生成し、
上記第１デプスマップを用いて、上記第２の２次元画像を３次元ビデオのための第１の３次元画像に変換することを特徴とする方法。
【請求項１４】
請求項１３に記載の方法において、
上記第２の２次元画像に対応する第２デプスグラディエントマップを生成し、
上記２次元ビデオから、上記第２の２次元画像の後に続く第３の２次元画像を選択し、
上記第２デプスグラディエントマップと上記第３の２次元画像とに基づいてデプス融合を実行することにより第２デプスマップを生成し、
上記第２デプスマップを用いて、上記第３の２次元画像を上記３次元ビデオのための第２の３次元画像に変換する
ことを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、
上記第２デプスグラディエントマップの生成と上記第１デプスマップの生成とが、同時に実行されることを特徴とする方法。
【請求項１６】
ビデオ変換のためのデプスマップを生成するために構成されたシステムであって、
２次元画像に基づいてデプスグラディエントマップを生成するためのデプスグラディエントマップジェネレータと、
上記２次元画像から１以上の画像成分を抽出し、それぞれ上記１以上の画像成分に基づいて、それぞれ一組以上のゲインを決定するためのデプスリファインメントエンジンと、
上記デプスグラディエントマップと上記一組以上のゲインとに基づいてデプス融合を実行することによって、上記デプスマップを生成するための、上記デプスグラディエントマップジェネレータおよび上記デプスリファインメントエンジンと結合されたデプス融合エンジンと
を備えることを特徴とするシステム。
【請求項１７】
請求項１６に記載のシステムにおいて、
上記２次元画像を保存するために、上記デプスグラディエントマップジェネレータおよびデプスリファインメントエンジンと結合されたフレームバッファを備えることを特徴とするシステム。
【請求項１８】
請求項１６に記載のシステムにおいて、
上記デプスマップに基づいて上記２次元画像を３次元画像に変換するための、上記デプス融合エンジンと結合された３次元変換エンジンを備えることを特徴とするシステム。
【請求項１９】
請求項１６に記載のシステムにおいて、
上記デプスマップジェネレータは、
上記２次元画像のそれぞれの画像線についてエッジカウントを生成するためのエッジフィルタと、
上記エッジカウントを蓄積することにより上記デプスグラディエントマップを生成するための、上記エッジフィルタと結合されたエッジアキュムレータと
をさらに備えることを特徴とするシステム。
【請求項２０】
請求項１９に記載のシステムにおいて、
上記デプスグラディエントマップは、複数のデプスグラディエント値を有しており、
上記エッジアキュムレータは、上記それぞれの画像線に対する上記エッジカウントと、上記２次元画像の画像線の部分集合に対するエッジカウントの小計とを加えることによって、上記それぞれの画像線に対するデプスグラディエント値を得ることを特徴とするシステム。
【請求項２１】
請求項２０に記載のシステムにおいて、
上記デプスグラディエントマップジェネレータは、
上記複数のデプスグラディエント値を正規化することによって上記デプスグラディエントマップを生成するための、上記エッジアキュムレータと結合されたシーンデプスアサインメントをさらに備え、
上記複数のデプスグラディエント値は、上記２次元画像の画像線についての複数の蓄積されたエッジカウントに基づいて、それぞれ正規化されることを特徴とするシステム。
【請求項２２】
請求項１６に記載のシステムにおいて、
上記デプスリファインメントエンジンは、
それぞれが色空間の色成分に対応する上記１以上の画像成分を上記２次元画像から抽出するための色空間エクストラクタと、
上記１以上の画像成分にそれぞれ対応する上記一組以上のゲインを生成するための、上記色空間エクストラクタと結合された１以上のデプスリファインメントモジュールとをさらに備えることを特徴とするシステム。
【請求項２３】
請求項１６に記載のシステムにおいて、
上記デプス融合エンジンは、上記デプスグラディエントマップと上記一組以上のゲインとを用いて、乗算オペレーションを対応して実行することにより、上記デプスマップに対する複数のデプス値を生成することを特徴とするシステム。
【請求項１】
２次元画像を３次元画像に変換するためのデプスマップを生成するための方法であって、
２次元画像から、１以上のエッジカウントを１以上のデプス値に対応づけるように構成されているデプスグラディエントマップを生成し、
上記２次元画像から、色空間の色成分に対応する画像成分を抽出し、
上記画像成分に基づいて、上記デプスグラディエントマップを調整するための一組のゲインを決定し、
上記デプスグラディエントマップと上記一組のゲインとに基づいてデプス融合を実行することによって、デプスマップを生成すること
を特徴とする方法。
【請求項２】
請求項１に記載の方法において、
上記デプスマップに基づいて２次元画像を３次元画像に変換することを特徴とする方法。
【請求項３】
請求項１に記載の方法において、
上記デプスグラディエントマップを生成することにおいては、
２次元画像における複数の画像線から規則的に抽出される画像線について、
上記画像線における１以上のエッジを検出することによって、上記画像線に対するエッジカウントを決定し、
上記複数の画像線に対して決定された上記エッジカウントに基づいて上記デプスグラディエントマップを生成することを特徴とする方法。
【請求項４】
請求項３に記載の方法において、
上記画像線における隣接するピクセル間の色彩変化の数をカウントすることにより、上記１以上のエッジが上記エッジカウントとして検出され、
上記色彩変化のそれぞれが、既定の色彩変動閾値を超えることを特徴とする方法。
【請求項５】
請求項３に記載の方法において、
上記画像線における隣接するピクセル間の明度変化の数をカウントすることにより、上記１以上のエッジが上記エッジカウントとして検出され、
明度変化のそれぞれが、既定の明度変動閾値を超えることを特徴とする方法。
【請求項６】
請求項３に記載の方法において、
上記デプスグラディエントマップは、複数のデプスグラディエント値を有しており、
上記複数のデプスグラディエント値は、上記エッジカウントに対する累算オペレーションを実行することにより得られることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、
上記複数のデプスグラディエント値のそれぞれは、対応する画像線に対する対応するエッジカウントと、上記２次元画像の画像線の部分集合に対するエッジカウントの小計とを加えることにより得られ、
上記画像線の部分集合における画像線のそれぞれは、上記対応する画像線よりも上記２次元画像の視点からさらに離れているとみなされることを特徴とする方法。
【請求項８】
請求項６に記載の方法において、
上記デプスグラディエントマップは、上記複数のデプスグラディエント値を正規化した後で生成されることを特徴とする方法。
【請求項９】
請求項１に記載の方法において、
上記画像成分は、上記２次元画像の複数のピクセルから抽出された複数の色彩値を有しており、
上記複数の色彩値は、上記色成分に属することを特徴とする方法。
【請求項１０】
請求項１に記載の方法において、
上記一組のゲインを決定することにおいては、
上記画像成分から選択され、上記２次元画像のピクセルに対応する色彩値について、
上記色彩値に基づいて、上記ピクセルの深度特性を減少させる第１の値から、上記ピクセルの深度特性を増加させる第２の値の範囲にある対応するゲインを決定し、
上記対応するゲインを上記一組のゲインの上記ピクセルに対応づけることを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、
上記デプス融合を実行することにおいては、
上記デプスグラディエントマップから選択されたデプスグラディエント値に上記一組のゲインから選択された対応するゲインを掛けることによって、上記デプスマップに対するデプス値を規則正しく生成し、
上記デプスグラディエント値は、上記２次元画像の特定の画像線に対応すると共に、上記対応するゲインは、上記特定の画像線における特定のピクセルの色彩値に対応していることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、
上記方法は、コンピュータが読み取り可能な記憶媒体において、一組のインストラクションとして具体化されており、上記一組のインストラクションは、コンピューティングプロセッサによって実行されたときに、上記コンピューティングプロセッサに上記方法を実行させることを特徴とする方法。
【請求項１３】
２次元ビデオを３次元ビデオへ変換するための方法であって、
２次元ビデオから第１の２次元画像を選択し、
上記第１の２次元画像に対応する第１デプスグラディエントマップを生成し、
上記２次元ビデオから、上記第１の２次元画像の後に続く第２の２次元画像を選択し、
上記第１デプスグラディエントマップと上記第２の２次元画像とを用いてデプス融合を実行することにより、第１デプスマップを生成し、
上記第１デプスマップを用いて、上記第２の２次元画像を３次元ビデオのための第１の３次元画像に変換することを特徴とする方法。
【請求項１４】
請求項１３に記載の方法において、
上記第２の２次元画像に対応する第２デプスグラディエントマップを生成し、
上記２次元ビデオから、上記第２の２次元画像の後に続く第３の２次元画像を選択し、
上記第２デプスグラディエントマップと上記第３の２次元画像とに基づいてデプス融合を実行することにより第２デプスマップを生成し、
上記第２デプスマップを用いて、上記第３の２次元画像を上記３次元ビデオのための第２の３次元画像に変換する
ことを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、
上記第２デプスグラディエントマップの生成と上記第１デプスマップの生成とが、同時に実行されることを特徴とする方法。
【請求項１６】
ビデオ変換のためのデプスマップを生成するために構成されたシステムであって、
２次元画像に基づいてデプスグラディエントマップを生成するためのデプスグラディエントマップジェネレータと、
上記２次元画像から１以上の画像成分を抽出し、それぞれ上記１以上の画像成分に基づいて、それぞれ一組以上のゲインを決定するためのデプスリファインメントエンジンと、
上記デプスグラディエントマップと上記一組以上のゲインとに基づいてデプス融合を実行することによって、上記デプスマップを生成するための、上記デプスグラディエントマップジェネレータおよび上記デプスリファインメントエンジンと結合されたデプス融合エンジンと
を備えることを特徴とするシステム。
【請求項１７】
請求項１６に記載のシステムにおいて、
上記２次元画像を保存するために、上記デプスグラディエントマップジェネレータおよびデプスリファインメントエンジンと結合されたフレームバッファを備えることを特徴とするシステム。
【請求項１８】
請求項１６に記載のシステムにおいて、
上記デプスマップに基づいて上記２次元画像を３次元画像に変換するための、上記デプス融合エンジンと結合された３次元変換エンジンを備えることを特徴とするシステム。
【請求項１９】
請求項１６に記載のシステムにおいて、
上記デプスマップジェネレータは、
上記２次元画像のそれぞれの画像線についてエッジカウントを生成するためのエッジフィルタと、
上記エッジカウントを蓄積することにより上記デプスグラディエントマップを生成するための、上記エッジフィルタと結合されたエッジアキュムレータと
をさらに備えることを特徴とするシステム。
【請求項２０】
請求項１９に記載のシステムにおいて、
上記デプスグラディエントマップは、複数のデプスグラディエント値を有しており、
上記エッジアキュムレータは、上記それぞれの画像線に対する上記エッジカウントと、上記２次元画像の画像線の部分集合に対するエッジカウントの小計とを加えることによって、上記それぞれの画像線に対するデプスグラディエント値を得ることを特徴とするシステム。
【請求項２１】
請求項２０に記載のシステムにおいて、
上記デプスグラディエントマップジェネレータは、
上記複数のデプスグラディエント値を正規化することによって上記デプスグラディエントマップを生成するための、上記エッジアキュムレータと結合されたシーンデプスアサインメントをさらに備え、
上記複数のデプスグラディエント値は、上記２次元画像の画像線についての複数の蓄積されたエッジカウントに基づいて、それぞれ正規化されることを特徴とするシステム。
【請求項２２】
請求項１６に記載のシステムにおいて、
上記デプスリファインメントエンジンは、
それぞれが色空間の色成分に対応する上記１以上の画像成分を上記２次元画像から抽出するための色空間エクストラクタと、
上記１以上の画像成分にそれぞれ対応する上記一組以上のゲインを生成するための、上記色空間エクストラクタと結合された１以上のデプスリファインメントモジュールとをさらに備えることを特徴とするシステム。
【請求項２３】
請求項１６に記載のシステムにおいて、
上記デプス融合エンジンは、上記デプスグラディエントマップと上記一組以上のゲインとを用いて、乗算オペレーションを対応して実行することにより、上記デプスマップに対する複数のデプス値を生成することを特徴とするシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１２９１１６（Ｐ２０１１−１２９１１６Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−２７５９９０（Ｐ２０１０−２７５９９０）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（５０２０１６２１９）ハイマックス テクノロジーズ リミテッド (1)
【出願人】（５０３２０９３４２）ナショナル タイワン ユニバーシティ (9)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１０−２７５９９０（Ｐ２０１０−２７５９９０）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（５０２０１６２１９）ハイマックス テクノロジーズ リミテッド (1)
【出願人】（５０３２０９３４２）ナショナル タイワン ユニバーシティ (9)
【Ｆターム（参考）】
[ Back to top ]