多視点画像合成方法及び多視点画像合成システム
【課題】アーチファクトが少ない多視点画像合成技術を提供する。
【解決手段】複数の視点に設置したカメラにより取得した基準画像中の形状情報を取得し、取得した形状情報を、信頼性推論ブロック１１０１において、基準画像を構成する各ピクセル位置に対応する形状情報に変換し、基準画像を構成する各ピクセルの重みを信頼性情報１１１３として生成する。 ビュー合成ブロック１１０２では、カメラにより取得した基準画像、信頼性ブロック１１０１において得られた形状情報と信頼性情報１１１３に基づき、ユーザインターフェースブロック１１０３から入力される仮想カメラ情報１１１２（仮想視点の位置と方向）に基づき、仮想視点の位置と方向から観た多視点画像を合成する。
【解決手段】複数の視点に設置したカメラにより取得した基準画像中の形状情報を取得し、取得した形状情報を、信頼性推論ブロック１１０１において、基準画像を構成する各ピクセル位置に対応する形状情報に変換し、基準画像を構成する各ピクセルの重みを信頼性情報１１１３として生成する。 ビュー合成ブロック１１０２では、カメラにより取得した基準画像、信頼性ブロック１１０１において得られた形状情報と信頼性情報１１１３に基づき、ユーザインターフェースブロック１１０３から入力される仮想カメラ情報１１１２（仮想視点の位置と方向）に基づき、仮想視点の位置と方向から観た多視点画像を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点で取得した画像を合成するための基づく多視点画像合成方法及び多視点画像合成システムに関する。
【背景技術】
【０００２】
多視点ビデオ画像は、種々の位置で複数のカメラを使用して同じ被写体及びその背景を撮影することによって得られるビデオ画像である。以下で「仮想視点画像」とは、多視点ビデオ画像から生成される画像である。仮想視点画像は、仮想位置にいて実際のカメラによって撮影されたかのように見える。
【０００３】
例えば、対象及び背景は、２台のカメラによって撮影される。そのとき、２台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。
【０００４】
人は、各々の目で異なるビューを見るので深度を感知することができる。最新の３Ｄビデオシステム（３Ｄ−ＴＶ又は自由視点ＴＶなど）の原理は、各々の目に対して１つの、２視点画像を生成することである。
【０００５】
視点に自由度を持たせるためには多くの視点画像が必要である。３Ｄシーンの情報は、多くの方法で得られて表現され得る。よく使用される３Ｄシーン表現は、深度画像がシーン形状を表現するＮビュー及びＮ深度画像に基づいている。
【０００６】
図１は、複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、３Ｄモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリング（例えば、非特許文献１参照）を使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る。深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、３Ｄワーピングと呼ばれる。Ｎビュー及びＮ深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信／記憶帯域幅が抑制され得る。例えば、３Ｄディスプレイが２０の視点画像を必要とする場合、２０の視点画像を送信しなくても２つまたは３つのビュー及び対応する深度マップを送信すれば十分であり得る。
【０００７】
多視点画像合成システムでは、高品質のビュー合成が非常に重要である。合成された妥当な仮想ビューを提供するために、潜在的な合成エラー（アーチファクト及びノイズ）は最小化されるべきである。
【０００８】
一般に、先に記載されたような形状情報は、エラー、例えば、深度推定エラー、深度符号化、又は深度アップサンプリングエラー（該当する場合）を含む。したがって、このようなエラーに対して堅固で信頼性の高いビュー合成方法が重要である。
【０００９】
最も従来型のビュー合成方法では、深度エラーが積極的に検討されていない。代替的な方策は信頼性に基づくビュー補間である。例えば、非特許文献４及び非特許文献５では、キャニーエッジ検出器を介して境界を抽出することによる信頼性を提案している。
【００１０】
非特許文献４及び非特許文献５に記載の発明では、境界領域をそれぞれ前景及び背景に分割している。背景境界は、不確かな領域と見なされて新しいビューに別々に投影されている。信頼性の高いピクセルは既に境界の大部分を占めているので、不確かな境界によって生じるアーチファクトは回避され得る。しかしながら、境界の近くでは不確かなピクセルも制限されている。同様に、非特許文献６に記載の発明では、背景境界層を不確かな領域と見なしている。非特許文献４、非特許文献５及び非特許文献６に記載の発明では、境界を検出するために閉塞孔を使用して深度値によって背景を認識している。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Ｃ．Ｆｅｈｎ、「Ｄｅｐｔｈ−ｉｍａｇｅ−ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ （ＤＩＢＲ）， ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｔｒａｎｓｍｉｓｓｉｏｎ ｆｏｒ ａ ｎｅｗ ａｐｐｒｏａｃｈ ｏｎ ３Ｄ−ＴＶ（３Ｄ−ＴＶに関する新しいアプローチのための、深度画像に基づくレンダリング（ＤＩＢＲ）、圧縮、及び送信）」、Ｐｒｏｃ．ＳＰＩＥ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ、ＸＩ、ｐｐ．９３−１０４（Ｊａｎ．２００４）
【非特許文献２】Ｓ．Ｓｈｉｍｉｚｕ、Ｍ．Ｋｉｔａｈａｒａ、Ｈ．Ｋｉｍａｔａ、Ｋ．Ｋａｍｉｋｕｒａ、及びＹ．Ｙａｓｈｉｍａ、「Ｖｉｅｗ ｓｃａｌａｂｌｅ ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ ｕｓｉｎｇ ３−Ｄ ｗａｒｐｉｎｇ ｗｉｔｈ ｄｅｐｔｈ ｍａｐ（深度マップを使用した３Ｄワーピングを用いるビュースケーラブル多視点映像符号化）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、ｖｏｌ．１７、ｐｐ．１４８５−１４９５、Ｎｏｖｅｍｂｅｒ ２００７
【非特許文献３】Ｋ−Ｊ．Ｏｈ、Ｓ．Ｙｅａ、Ａ．Ｖｅｔｒｏ、Ｙ−Ｓ．Ｈｏ、「Ｄｅｐｔｈ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｉｌｔｅｒ ａｎｄ Ｄｏｗｎ／Ｕｐ Ｓａｍｐｌｉｎｇ ｆｏｒ Ｄｅｐｔｈ Ｃｏｄｉｎｇ ｉｎ ３−Ｄ Ｖｉｄｅｏ（３−Ｄビデオにおける深度符号化のための深度再構成フィルタ及びダウン／アップサンプリング）」、ＩＥＥＥ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｌｅｔｔｅｒｓ、ｖｏｌ．１６、Ｎｏ．９、Ｓｅｐｔ．２００９、ｐ７４７−７５０
【非特許文献４】Ａ．Ｓｍｏｌｉｃ、Ｋ．Ｍｕｅｌｌｅｒ、Ｋ．Ｄｉｘ、Ｐ．Ｍｅｒｋｌｅ、Ｐ．Ｋａｕｆｆ及びＴ．Ｗｉｅｇａｎｄ、「Ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｐｌｕｓ ｄｅｐｔｈ ｆｏｒ ａｄｖａｎｃｅｄ ３Ｄ ｖｉｄｅｏ ｓｙｓｔｅｍｓ（先進３Ｄビデオシステム用多視点ビデオ及び深度に基づく中間ビュー補間）」、Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ＩＣＩＰ、ｐｐ．２４４８−２４５１（２００８）
【非特許文献５】Ｋ．Ｍｕｅｌｌｅｒ、Ａ．Ｓｍｏｌｉｃ、Ｋ．Ｄｉｘ、Ｐ．Ｋａｕｆｆ及びＴ．Ｗｉｅｇａｎｄ、「Ｒｅｌｉａｂｉｌｉｔｙ−ｂａｓｅｄ ｇｅｎｅｒａｔｉｏｎ ａｎｄ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｉｎ ｌａｙｅｒｅｄ ｄｅｐｔｈ ｖｉｄｅｏ（階層化深度ビデオにおける信頼性に基づく生成及びビュー合成）」、Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｗｏｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ｐｐ．３４−３９（２００８）
【非特許文献６】Ｃ．Ｌｅｅ及びＹ．Ｓ．Ｈｏ、「Ｂｏｕｎｄａｒｙ ｆｉｌｔｅｒｉｎｇ ｏｎ ｓｙｎｔｈｅｓｉｚｅｄ ｖｉｅｗｓ ｏｆ ３Ｄ ｖｉｄｅｏ（３Ｄビデオの合成ビューに関する境界フィルタリング）」、Ｐｒｏｃ．Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｆｕｔｕｒｅ Ｇｅｎｅｒａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ Ｓｙｍｐｏｓｉａ、ｐｐ．１５−１８（２００８）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところが、上記従来型の多視点画像合成方法の問題として、不正確な形状及びレンダリングノイズによって生じるアーチファクトが対処されないこと、背景アーチファクトの低減が所定の境界に限定されること、及び前景のアーチファクトが排除されないことが挙げられる。
【００１３】
本発明は、こうした問題に鑑みなされたもので、アーチファクトが少ない多視点画像合成技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記[発明が解決しようとする課題」において述べた問題を解決するためになされた請求項１に記載の発明は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
基準画像取得工程において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
基準画像取得工程で取得した基準画像、形状情報変換工程で変換した形状情報及び信頼性情報生成工程で生成した信頼性情報に基づいて、仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成することを特徴とする多視点画像合成方法である。
【００１５】
このような、多視点画像合成方法によれば、深度信頼性を考慮することによってビュー合成品質を向上させる。信頼性は、潜在的なビュー合成エラーに基づく。本発明の方法は、深度エラーによって生じる（例えば、符号化又は送信エラーに起因する）合成アーチファクトの低減に有効である。結果として、主観的及び客観的ビュー合成品質はいずれも向上し得る。
【００１６】
請求項２に記載の発明は、請求項１に記載の多視点画像合成方法において、信頼性情報生成工程は、複数の画像取得手段で取得した基準画像を 仮想視点情報取得工程で取得した仮想視点の位置にワープすることによって行う基準照合工程と、基準照合工程において生じる合成エラーを近似するエラー近似工程と、エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。
【００１７】
請求項３に記載の発明は、請求項１又は請求項２に記載の多視点画像合成方法において、画像合成工程は、信頼性情報生成工程において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成方法である。
【００１８】
請求項４に記載の発明は、請求項３に記載の多視点画像合成方法において、画像の補間は、信頼性情報生成工程において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することにより行うことを特徴とする多視点画像合成方法である。
【００１９】
請求項５に記載の発明は、請求項３又は請求項４に記載の多視点画像合成方法において、画像の正則化は、信頼性情報生成工程において生成した信頼性情報を用いて、仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、最適化手法を用いて定式化工程により定式化されたエネルギを最小化する最小化工程と、により画像を正則化することを特徴とする多視点画像合成方法である。
【００２０】
請求項６に記載の発明は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、
複数の視点に設置した画像取得手段と、
画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
基準画像取得手段において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
基準画像取得手段で取得した基準画像、形状情報変換手段で変換した形状情報及び信頼性情報生成手段で生成した信頼性情報に基づいて、仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備えたことを特徴とする多視点画像合成システムである。
【００２１】
このような、多視点画像合成システムによれば、請求項１に記載の多視点画像合成方法と同様な効果を得ることができる。
請求項７に記載の発明は、請求項６に記載の多視点画像合成システムにおいて、信頼性情報生成手段は、複数の画像取得手段で取得した基準画像を 仮想視点情報取得手段で取得した仮想視点の位置にワープすることによって行う基準照合手段と、基準照合手段において生じる合成エラーを近似するエラー近似手段と、
エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システムである。
【００２２】
請求項８に記載の発明は、請求項６又は請求項７に記載の多視点画像合成システムにおいて、画像合成手段は、信頼性情報生成手段において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成システムである。
【００２３】
請求項９に記載の発明は、請求項８に記載の多視点画像合成システムにおいて、画像の補間は、信頼性情報生成手段において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することを特徴とする多視点画像合成システムである。
【００２４】
請求項１０に記載の発明は、請求項８又は請求項９に記載の多視点画像合成システムにおいて、画像の正則化は、信頼性情報生成手段において生成した信頼性情報を用いて、仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、最適化手法を用いて定式化手段により定式化されたエネルギを最小化する最小化手段と、により画像を正則化することを特徴とする多視点画像合成システムである。
【図面の簡単な説明】
【００２５】
【図１】複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。
【図２】仮想ビュー合成サブシステムの概略の構成を示すブロック図である。
【図３】基準照合のプロセスを例示する図である。
【図４】基準照合部で実行される基準照合処理の流れを示すフローチャートである。
【図５】種々の視点を対応するビュー及び形状情報によってシミュレートしたときの図である。
【図６】種々の視点における境界領域に関するシミュレーションの結果を示す図である。
【図７】合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。
【図８】ビュー合成処理の流れを示すフローチャートである。
【図９】ビデオシーケンス「Ｃｈａｍｐａｇｎｅ＿ｔｏｗｅｒ」に関するＰＳＮＲを従来方法と本発明に係る方法とで比較した図である。
【発明を実施するための形態】
【００２６】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００２７】
図１は、多視点画像合成システム１００の概略の構成を示すシステム図である。多視点画像合成システム１００は、図１に示すように、多視点撮影サブシステム１０１、形状生成サブシステム１０２、送信／記憶サブシステム１０３及び仮想ビュー合成サブシステム１０４を備えている。
【００２８】
多視点撮影サブシステム１０１は、図示しない複数のカメラにより静的又は動的のいずれかの画像を取得するマルチカメラ撮像システム１０を含んでいる。このマルチカメラ撮像システム１０を構成するカメラは、モノモーダル又はマルチモーダルのビデオ画像を撮像することができるものである。
【００２９】
マルチカメラ撮像システム１０で撮影されたビデオ画像は、較正又は修正によって前処理され、多視点画像１０５として、形状生成サブシステム１０２及び送信／記憶サブシステム１０３に出力される。
【００３０】
なお、多視点撮影サブシステム１０１における較正又は修正の方法は、従来の技術によればよいため、説明を省略する。
形状生成サブシステム１０２は、多視点画像１０５を用いて形状情報１０６を生成する。形状生成サブシステム１０２においては、曇り点形状情報（ｐｏｉｎｔ ｃｌｏｕｄ ｇｅｏｍｅｔｒｙ ｉｎｆｏｒｍａｔｉｏｎ）又は３Ｄ形状情報がステレオ又は３Ｄ再構成によって推定される。
【００３１】
なお、形状生成サブシステム１０２において生成される形状情報１０６は、不完全な形状生成によって生じるエラーを含んでいる可能性がある。
送信／記憶サブシステム１０３は、多視点撮像サブシステム１０１において生成された多視点画像１０５及び形状生成サブシステム１０２において生成された形状情報１０６に対して、必要に応じて圧縮あるいは符号化を行い、基準画像１０７及び形状情報１０８として仮想ビュー合成サブシステム１０４に送信する。この際、圧縮または符号化は、送信ノイズの増加の原因となる。
【００３２】
送信／記憶サブシステム１０３の出力として、送信された基準画像１０７及び形状情報１０８はいずれも、最初の多視点撮影サブシステム１０１による撮影、形状生成サブシステム１０２による形状抽出及び送信／記憶サブシステム１０３による送信に由来する不可避なエラーを含む。
【００３３】
次に、図２に基づき、仮想ビュー合成サブシステム１０４の詳細について説明する。図２は、仮想ビュー合成サブシステム１０４の概略の構成を示すブロック図である。
仮想ビュー合成サブシステム１０４は、ユーザインターフェースブロック１１０３、信頼性推論ブロック１１０１及びビュー合成ブロック１１０２の３つのサブブロックを備えている。
【００３４】
ユーザインターフェースブロック１１０３は、実際のユーザ又は仮想プロキシのいずれかから予め定められた仮想視点命令を受け取る。仮想視点は、視点選択部１１０９によって選択される。
【００３５】
仮想ビュー指定部１１１０では、相対的な仮想ビューが指定される。また、合成モード部１１１１は、視点選択部１１０９及び仮想ビュー指定部１１１０に関する事前情報を提供するアプリケーションの種類を表す。所要の仮想カメラ情報１１１２は、信頼性推論ブロック１１０１に送られる。
【００３６】
基準照合部１１０４における基準照合は、仮想カメラ情報１１１２に近接した種々の基準視点に対して形状情報１０８を用いて基準画像１０７をワープすることによって実行される。
【００３７】
ここで、図３に、基準照合のプロセスの例を示す。カメラ１２０１、カメラ１２０３及びアンカー基準カメラ１２０４は、基準画像１０７の基準カメラである。
仮想カメラ１２０２及び仮想カメラ１２０５は、仮想カメラ情報１１１２（図２参照）によって決定される。
【００３８】
カメラ１２０３を仮想カメラ１２０５に対して照合するために、カメラ１２０３は仮想カメラ１２０５に最も近接したカメラであるアンカー基準カメラ１２０４にワープされる。
【００３９】
アンカー基準カメラ１２０４は、仮想カメラ１２０５の２番目に最も近接したカメラ１２０３によって照合される。他の照合１２０６は、各仮想ビューに対する各基準カメラに対して同様に行われる。
【００４０】
３Ｄワーピングは、形状情報１０８（図２参照）を用いて基準ビューにおけるピクセルを３Ｄ空間に投影し、続いて、投影されたピクセルを目標カメラに投影することによって実行される。
【００４１】
次に、図４に基づき、基準照合部１１０４で実行される基準照合処理について説明する。図４は、基準照合処理の流れを示すフローチャートである。
基準照合処理では、Ｓ１００にて、基準画像１０７、形状情報１０８及び仮想カメラ情報１１１２が入力される。
【００４２】
続くＳ１０５では、Ｓ１００において入力された基準画像１０７、形状情報１０８及び仮想カメラ情報１１１２に基づいて、相違計算が行われる。つまり、基準視点Ｒと仮想視点Ｖの相違ＳRVは、カメラパラメータ空間Ｃにおけるこれらの距離：ＳRV＝｜｜ＣR−ＣV｜｜によって決定することができ、式中、ＣR及びＣVはそれぞれＲ及びＶのカメラパラメータである。｜｜．｜｜は任意のノルムであってよい。
【００４３】
続くＳ１１０では、類似性分類処理が行われる。具体的には、Ｓ１０５において計算した基準視点Ｒと仮想視点Ｖの相違ＳRVに基づいて、類似性分類が行われる。つまり、最小のＳRVを仮想ビューに最も近接した基準として有するアンカー基準１３０８が定義される。
【００４４】
Ｓ１１５及びＳ１２０では、ワープ処理が行われる。Ｓ１１５及びＳ１２０のワーピング手順は、これらの形状情報１０６を有する基準画像１０７に基づく。Ｓ１１０に複数のアンカー基準が存在する場合、マルチワーピングがＳ１１５及びＳ１２０において採用され得る。
【００４５】
続くＳ１２５では、ワープされた基準とアンカー基準の差分画像を生成する。
続くＳ１３０では、Ｓ１２５において生成された差分画像が結合される。そして、続くＳ１３５において、各仮想視点に対する各基準に関する固有の照合エラーマップが計算される。
【００４６】
Ｓ１３５において計算された照合エラーマップは、各入力基準画像１０７とその形状情報に対応する潜在的な合成エラーを近似するために使用され得る。
合成エラー近似部１１０５（図２参照）は、基準照合部１１０４で得られた最初の照合エラーマップを仮想視点Ｖに投影することによって効率的に実行される。推定される潜在的な合成エラーは、基準視点Ｒと仮想視点Ｖの間のベースラインに基づいて調整される。
【００４７】
ここで、図５及び図６に基づき、基準照合方法の詳細について説明する。図５は、種々の視点１４０１，１４０２，１４０３を対応するビュー１４０４，１４０５，１４０６及び形状情報１４０７，１４０８によってシミュレートしたときの図であり、図６は、種々の視点における境界領域に関するシミュレーションの結果を示す図である。
【００４８】
視点１４０１，１４０３は、基準画像１０７から得られ、視点１４０２を生成するために選定される。形状情報１４０７，１４０８は、種々の視点におけるピクセル間の対応関係である。
【００４９】
なお、最初の３Ｄ座標に基づく形状情報は対応情報に変換される。形状情報は、通常、不正な対応の原因となるエラーを境界付近に含む。対応関係は形状情報の表現である。
ここで、図６に示すように、境界領域１５０１，１５０２は、２つの典型的な境界パターンである。境界領域１５０１では、背景が左側にあり、前景が右側にある。境界領域１５０２では、前景が左側にあり、背景が右側にある。
【００５０】
ピクセル１５０３，１５０６は、視点１４０１（基準視点）における境界領域である。ピクセル１５０４，１５０７は、視点１４０２（仮想視点）における境界領域である。ピクセル１５０５，１５０８は、視点１４０３（基準視点）における境界領域である。
【００５１】
なお、図６における形状情報は、各ピクセルの対応として表され、エラーのない完全なものであると見なされるが、実際には、図７に示されるように必ずしもエラーのない健全な対応付けができているとは限らない。
【００５２】
図７は、合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。
境界領域１５０２は、一般性を失わずに、基準照合部１１０４によって照合されて不完全な形状情報１６０１によって生じる潜在的な合成エラーを推論する。
【００５３】
合成エラー近似部１１０５では、仮想視点における潜在的な合成エラーは、基準照合部１１０４で実行される基準照合処理のＳ１３５において得られる照合エラー１３０７を仮想視点に正しく投影することによって近似されてよい。
【００５４】
本明細書における潜在的な合成エラーは、効率的に近似されており、信頼性計算部１１０６において信頼性情報を計算するために利用されることになる。
各仮想視点に対する各基準Ｒi（ｉ＝１、２．．．Ｎ）に対して、固有の近似エラーマップｅiが合成エラー近似部１１０５において生成される。エラーマップｅiにおける１つのピクセルｐはｅipである。
【００５５】
この後、基準Ｒiを有する仮想ピクセルｐの信頼性ｒipがｒip＝ｆ（ｅip）と定義される。ｆはｅipに関する減少関数である、つまり、信頼性は潜在的な合成エラーに逆比例する。
【００５６】
関数ｆの形式は、潜在的な合成エラーの統計的分布に依存する。ワープされた基準ＲiがＩiとして示される場合、明らかに、ｆ、Ｉi、及びｅiはｆ＝Ｉi＋ｅiという測定値関係を有する。ｅipがゼロ平均及び分散σip2を有するパーピクセルガウス分布である場合、信頼性は、下記式１に示すようにベーズ推論を用いてｆの尤度を最大化することによって生成される。
【００５７】
【数１】
【００５８】
ここで、Ｐは画像全体のピクセルの集合であり、α、βはΓ分布のハイパーパラメータである。尤度確率を最大にすることは、確率が下記式２及び式３で表される場合に負の対数である尤度エネルギを最小にすることと同等である。
【００５９】
【数２】
【００６０】
【数３】
【００６１】
なお、合成されたビューｆに関する尤度エネルギは、基本的に下記式４で表される。
【００６２】
【数４】
【００６３】
それゆえ、信頼性は、下記式５で定義される。
【００６４】
【数５】
【００６５】
最終的な信頼性計算式は、ｒip＝ａ／（ｅip＊ｅip＋ｂ）であり、式中、ａ及びｂは信頼性の影響を調整するために使用され得るユーザパラメータである。なお、非ガウス合成エラーを有する信頼性は同様に定義されてよい。
【００６６】
上記の信頼性定義を使用すると、信頼性計算部１１０６は、仮想視点に対する各基準ピクセルに関して固有の信頼性数値ｒipを生成する。信頼性情報１１１３は、各仮想視点を有する各基準に対して空間的に変化している。２進信頼性は、ｒip＝０（ｅip＞閾値）、かつｒip＝１（ｅip≦閾値）と定式化することができる。合成エラーの閾値は、有意な強度差分値であるように設定される。
【００６７】
ビュー合成ブロック１１０２は、基準画像１０７、形状情報１０８、仮想カメラ情報１１１２及び信頼性情報１１１３を用いて２種類の信頼性に基づくビュー合成ソリューションを提供する。
【００６８】
ここで、図８に基づき、ビュー合成ブロック１１０２において実行されるビュー合成処理について説明する。図８は、ビュー合成処理の流れを示すフローチャートである。
ビュー合成処理では、図８に示すように、まずＳ５００において、基準画像１０７、形状情報１０８、仮想カメラ情報１１１２及び信頼性情報１１１３が取得される。
【００６９】
続くＳ５０５において、Ｓ５００において取得された基準画像１０７、形状情報１０８、仮想カメラ情報１１１２及び信頼性情報１１１３に基づいて、各基準画像１０７を仮想視点にワープさせる。
【００７０】
つまり、Ｓ５０５において、各基準Ｒiが、最終ビュー合成のためにＩiとして仮想視点にワープされる。
続くＳ５１０では、ユーザインターフェースブロック１１０３からスイッチ命令を取得する。
【００７１】
続くＳ５１５では、Ｓ５１０において取得したユーザインターフェースブロック１１０３のスイッチ命令に応じて、処理の分岐が「信頼性に基づく補間（図２の信頼性に基づく補間部１１９７に相当）」か「信頼性に基づく正則化（信頼性に基づく正則化部１１０８に相当）」（ユーザアプリケーション要件又は自動アプリケーション要件のいずれかによって）が決定される。
【００７２】
スイッチ命令が信頼性に基づく補間の場合（Ｓ５１５：Ｙｅｓ）、処理がＳ５２０へ移行され、信頼性に基づく正則化の場合（Ｓ５１５：Ｎｏ）、処理がＳ５２５へ移行される。
【００７３】
Ｓ５２０における信頼性に基づく補間のソリューションは、前景アーチファクト及び背景アーチファクトの両方を効率的に低減し得る。主観的品質は著しく改善されるが、客観的品質も改善される。仮想視点におけるピクセルｐの合成された色強度ｆpは、下記式６で表される。
【００７４】
【数６】
【００７５】
Ｓ５２５における信頼性に基づく正則化のソリューションは、マルコフ確率場によって残留合成ノイズを正則化し得る。仮想ビューの主観的品質及び客観的品質はいずれも著しく改善される。これは、極めて高い品質の仮想ビューｆを生成する。合成されたｆは下記式７及び式８によって生成される。
【００７６】
【数７】
【００７７】
【数８】
【００７８】
ここで、Ｐは仮想ビューの全ピクセル集合である。ｑはｐの隣接するピクセルである。この隣接に基づく正則化は、残留ノイズだけでなくアーチファクトも抑制する。正則化項は、任意の適切な先行する項（ｐｒｉｏｒ ｔｅｒｍ）によってさらに置き換えられ得る。最近の最適化手法（グラフカット法、信念伝播、ダイナミックプログラミングなど）がエネルギ最小化を解決するために採用されてよい。
【００７９】
Ｓ５３０では、後処理が行われる。後処理は、Ｓ５２０での「信頼性に基づく補間」及びＳ５２５での「信頼性に基づく正則化」における以前のソリューションの間にハイブリッドソリューションを組み入れることによって合成品質を効率的にさらに改善し得る。
【００８０】
Ｓ５３０における後処理によって得られる出力が仮想ビュー１０９である。
仮想ビュー１０９は、３ＤＴＶ、自由視点ＴＶ（ＦＴＶ）、多視点ビデオ符号化及び他の視覚アプリケーション（仮想現実、仮想ナビゲーション、画像に基づくレンダリング）などに不可欠である。
【００８１】
図９は、ビデオシーケンス「Ｃｈａｍｐａｇｎｅ＿ｔｏｗｅｒ」に関するＰＳＮＲを従来方法と本発明に係る方法とで比較した図である。図９において、黒点で従来のＰＳＮＲを示し、白抜きの点で本発明によるＰＳＮＲを示している。
【００８２】
図９に示すように、本発明に係る方法によれば、従来の方法に比べ、ＰＳＮＲが約３１．２５［ｄＢ］から約３３［ｄＢ］へと１．７５［ｄＢ］ほど改善されていることが分かる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
（１）信頼性は、潜在的な合成エラーの関数として定義されるものであり、上記実施形態において定義した関数以外のものであってもよい。
（２）信頼性に基づくビュー補間は正規化された空間的に変化する信頼性を用いて各ピクセルに重み付けすることによって仮想ビューを生成するものであればよい。
（３）また、信頼性に基づく正則化は、様々な大域的最適化手法（グラフカット法、信念伝播、ダイナミックプログラミングなど）によって解かれ得るエネルギ関数に信頼性を組み入れ可能なものであればよい。
【符号の説明】
【００８３】
１０…マルチカメラ撮像システム、１００…多視点画像合成システム、１０１…多視点撮影サブシステム、１０２…形状生成サブシステム、１０３…送信／記憶サブシステム、１０４…仮想ビュー合成サブシステム、１０５…多視点画像、１０６…形状情報、１０７…基準画像、１０８…形状情報、１０９…仮想ビュー、４０１… アップサンプリングサブシステム、１１０１…信頼性推論ブロック、１１０２…ビュー合成ブロック、１１０３…ユーザインターフェースブロック、１１０４…基準照合部、１１０５…合成エラー近似部、１１０６…信頼性計算部、１１０７…信頼性に基づく補間部、１１０８…信頼性に基づく正則化部、１１０９…仮想視点選択部、１１１０…仮想ビュー指定部、１１１１…合成モード部、１１１２…仮想カメラ情報、１１１３…信頼性情報、１２０１…カメラ、１２０３…カメラ、１２０４…アンカー基準カメラ、１２０５…仮想カメラ、１２０６…照合、１２０８…正則化、１３０７…照合エラー、１３０８…アンカー基準、１４０１…視点（基準視点）、１４０２…視点（仮想視点）、１４０３…視点（基準視点）、１４０６…ビュー、１４０７…形状情報、１４０８…形状情報、１５０２…境界領域、１５０３，１５０４，１５０５，１５０６，１５０７，１５０８…ピクセル、１６０１…形状情報。
【技術分野】
【０００１】
本発明は、多視点で取得した画像を合成するための基づく多視点画像合成方法及び多視点画像合成システムに関する。
【背景技術】
【０００２】
多視点ビデオ画像は、種々の位置で複数のカメラを使用して同じ被写体及びその背景を撮影することによって得られるビデオ画像である。以下で「仮想視点画像」とは、多視点ビデオ画像から生成される画像である。仮想視点画像は、仮想位置にいて実際のカメラによって撮影されたかのように見える。
【０００３】
例えば、対象及び背景は、２台のカメラによって撮影される。そのとき、２台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。
【０００４】
人は、各々の目で異なるビューを見るので深度を感知することができる。最新の３Ｄビデオシステム（３Ｄ−ＴＶ又は自由視点ＴＶなど）の原理は、各々の目に対して１つの、２視点画像を生成することである。
【０００５】
視点に自由度を持たせるためには多くの視点画像が必要である。３Ｄシーンの情報は、多くの方法で得られて表現され得る。よく使用される３Ｄシーン表現は、深度画像がシーン形状を表現するＮビュー及びＮ深度画像に基づいている。
【０００６】
図１は、複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、３Ｄモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリング（例えば、非特許文献１参照）を使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る。深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、３Ｄワーピングと呼ばれる。Ｎビュー及びＮ深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信／記憶帯域幅が抑制され得る。例えば、３Ｄディスプレイが２０の視点画像を必要とする場合、２０の視点画像を送信しなくても２つまたは３つのビュー及び対応する深度マップを送信すれば十分であり得る。
【０００７】
多視点画像合成システムでは、高品質のビュー合成が非常に重要である。合成された妥当な仮想ビューを提供するために、潜在的な合成エラー（アーチファクト及びノイズ）は最小化されるべきである。
【０００８】
一般に、先に記載されたような形状情報は、エラー、例えば、深度推定エラー、深度符号化、又は深度アップサンプリングエラー（該当する場合）を含む。したがって、このようなエラーに対して堅固で信頼性の高いビュー合成方法が重要である。
【０００９】
最も従来型のビュー合成方法では、深度エラーが積極的に検討されていない。代替的な方策は信頼性に基づくビュー補間である。例えば、非特許文献４及び非特許文献５では、キャニーエッジ検出器を介して境界を抽出することによる信頼性を提案している。
【００１０】
非特許文献４及び非特許文献５に記載の発明では、境界領域をそれぞれ前景及び背景に分割している。背景境界は、不確かな領域と見なされて新しいビューに別々に投影されている。信頼性の高いピクセルは既に境界の大部分を占めているので、不確かな境界によって生じるアーチファクトは回避され得る。しかしながら、境界の近くでは不確かなピクセルも制限されている。同様に、非特許文献６に記載の発明では、背景境界層を不確かな領域と見なしている。非特許文献４、非特許文献５及び非特許文献６に記載の発明では、境界を検出するために閉塞孔を使用して深度値によって背景を認識している。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Ｃ．Ｆｅｈｎ、「Ｄｅｐｔｈ−ｉｍａｇｅ−ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ （ＤＩＢＲ）， ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｔｒａｎｓｍｉｓｓｉｏｎ ｆｏｒ ａ ｎｅｗ ａｐｐｒｏａｃｈ ｏｎ ３Ｄ−ＴＶ（３Ｄ−ＴＶに関する新しいアプローチのための、深度画像に基づくレンダリング（ＤＩＢＲ）、圧縮、及び送信）」、Ｐｒｏｃ．ＳＰＩＥ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ、ＸＩ、ｐｐ．９３−１０４（Ｊａｎ．２００４）
【非特許文献２】Ｓ．Ｓｈｉｍｉｚｕ、Ｍ．Ｋｉｔａｈａｒａ、Ｈ．Ｋｉｍａｔａ、Ｋ．Ｋａｍｉｋｕｒａ、及びＹ．Ｙａｓｈｉｍａ、「Ｖｉｅｗ ｓｃａｌａｂｌｅ ｍｕｌｔｉｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ ｕｓｉｎｇ ３−Ｄ ｗａｒｐｉｎｇ ｗｉｔｈ ｄｅｐｔｈ ｍａｐ（深度マップを使用した３Ｄワーピングを用いるビュースケーラブル多視点映像符号化）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、ｖｏｌ．１７、ｐｐ．１４８５−１４９５、Ｎｏｖｅｍｂｅｒ ２００７
【非特許文献３】Ｋ−Ｊ．Ｏｈ、Ｓ．Ｙｅａ、Ａ．Ｖｅｔｒｏ、Ｙ−Ｓ．Ｈｏ、「Ｄｅｐｔｈ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｆｉｌｔｅｒ ａｎｄ Ｄｏｗｎ／Ｕｐ Ｓａｍｐｌｉｎｇ ｆｏｒ Ｄｅｐｔｈ Ｃｏｄｉｎｇ ｉｎ ３−Ｄ Ｖｉｄｅｏ（３−Ｄビデオにおける深度符号化のための深度再構成フィルタ及びダウン／アップサンプリング）」、ＩＥＥＥ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｌｅｔｔｅｒｓ、ｖｏｌ．１６、Ｎｏ．９、Ｓｅｐｔ．２００９、ｐ７４７−７５０
【非特許文献４】Ａ．Ｓｍｏｌｉｃ、Ｋ．Ｍｕｅｌｌｅｒ、Ｋ．Ｄｉｘ、Ｐ．Ｍｅｒｋｌｅ、Ｐ．Ｋａｕｆｆ及びＴ．Ｗｉｅｇａｎｄ、「Ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｐｌｕｓ ｄｅｐｔｈ ｆｏｒ ａｄｖａｎｃｅｄ ３Ｄ ｖｉｄｅｏ ｓｙｓｔｅｍｓ（先進３Ｄビデオシステム用多視点ビデオ及び深度に基づく中間ビュー補間）」、Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ＩＣＩＰ、ｐｐ．２４４８−２４５１（２００８）
【非特許文献５】Ｋ．Ｍｕｅｌｌｅｒ、Ａ．Ｓｍｏｌｉｃ、Ｋ．Ｄｉｘ、Ｐ．Ｋａｕｆｆ及びＴ．Ｗｉｅｇａｎｄ、「Ｒｅｌｉａｂｉｌｉｔｙ−ｂａｓｅｄ ｇｅｎｅｒａｔｉｏｎ ａｎｄ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｉｎ ｌａｙｅｒｅｄ ｄｅｐｔｈ ｖｉｄｅｏ（階層化深度ビデオにおける信頼性に基づく生成及びビュー合成）」、Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｗｏｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ｐｐ．３４−３９（２００８）
【非特許文献６】Ｃ．Ｌｅｅ及びＹ．Ｓ．Ｈｏ、「Ｂｏｕｎｄａｒｙ ｆｉｌｔｅｒｉｎｇ ｏｎ ｓｙｎｔｈｅｓｉｚｅｄ ｖｉｅｗｓ ｏｆ ３Ｄ ｖｉｄｅｏ（３Ｄビデオの合成ビューに関する境界フィルタリング）」、Ｐｒｏｃ．Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｆｕｔｕｒｅ Ｇｅｎｅｒａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ Ｓｙｍｐｏｓｉａ、ｐｐ．１５−１８（２００８）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところが、上記従来型の多視点画像合成方法の問題として、不正確な形状及びレンダリングノイズによって生じるアーチファクトが対処されないこと、背景アーチファクトの低減が所定の境界に限定されること、及び前景のアーチファクトが排除されないことが挙げられる。
【００１３】
本発明は、こうした問題に鑑みなされたもので、アーチファクトが少ない多視点画像合成技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記[発明が解決しようとする課題」において述べた問題を解決するためになされた請求項１に記載の発明は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
基準画像取得工程において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
基準画像取得工程で取得した基準画像、形状情報変換工程で変換した形状情報及び信頼性情報生成工程で生成した信頼性情報に基づいて、仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成することを特徴とする多視点画像合成方法である。
【００１５】
このような、多視点画像合成方法によれば、深度信頼性を考慮することによってビュー合成品質を向上させる。信頼性は、潜在的なビュー合成エラーに基づく。本発明の方法は、深度エラーによって生じる（例えば、符号化又は送信エラーに起因する）合成アーチファクトの低減に有効である。結果として、主観的及び客観的ビュー合成品質はいずれも向上し得る。
【００１６】
請求項２に記載の発明は、請求項１に記載の多視点画像合成方法において、信頼性情報生成工程は、複数の画像取得手段で取得した基準画像を 仮想視点情報取得工程で取得した仮想視点の位置にワープすることによって行う基準照合工程と、基準照合工程において生じる合成エラーを近似するエラー近似工程と、エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。
【００１７】
請求項３に記載の発明は、請求項１又は請求項２に記載の多視点画像合成方法において、画像合成工程は、信頼性情報生成工程において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成方法である。
【００１８】
請求項４に記載の発明は、請求項３に記載の多視点画像合成方法において、画像の補間は、信頼性情報生成工程において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することにより行うことを特徴とする多視点画像合成方法である。
【００１９】
請求項５に記載の発明は、請求項３又は請求項４に記載の多視点画像合成方法において、画像の正則化は、信頼性情報生成工程において生成した信頼性情報を用いて、仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、最適化手法を用いて定式化工程により定式化されたエネルギを最小化する最小化工程と、により画像を正則化することを特徴とする多視点画像合成方法である。
【００２０】
請求項６に記載の発明は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、
複数の視点に設置した画像取得手段と、
画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
基準画像取得手段において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
基準画像取得手段で取得した基準画像、形状情報変換手段で変換した形状情報及び信頼性情報生成手段で生成した信頼性情報に基づいて、仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備えたことを特徴とする多視点画像合成システムである。
【００２１】
このような、多視点画像合成システムによれば、請求項１に記載の多視点画像合成方法と同様な効果を得ることができる。
請求項７に記載の発明は、請求項６に記載の多視点画像合成システムにおいて、信頼性情報生成手段は、複数の画像取得手段で取得した基準画像を 仮想視点情報取得手段で取得した仮想視点の位置にワープすることによって行う基準照合手段と、基準照合手段において生じる合成エラーを近似するエラー近似手段と、
エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システムである。
【００２２】
請求項８に記載の発明は、請求項６又は請求項７に記載の多視点画像合成システムにおいて、画像合成手段は、信頼性情報生成手段において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成システムである。
【００２３】
請求項９に記載の発明は、請求項８に記載の多視点画像合成システムにおいて、画像の補間は、信頼性情報生成手段において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することを特徴とする多視点画像合成システムである。
【００２４】
請求項１０に記載の発明は、請求項８又は請求項９に記載の多視点画像合成システムにおいて、画像の正則化は、信頼性情報生成手段において生成した信頼性情報を用いて、仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、最適化手法を用いて定式化手段により定式化されたエネルギを最小化する最小化手段と、により画像を正則化することを特徴とする多視点画像合成システムである。
【図面の簡単な説明】
【００２５】
【図１】複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。
【図２】仮想ビュー合成サブシステムの概略の構成を示すブロック図である。
【図３】基準照合のプロセスを例示する図である。
【図４】基準照合部で実行される基準照合処理の流れを示すフローチャートである。
【図５】種々の視点を対応するビュー及び形状情報によってシミュレートしたときの図である。
【図６】種々の視点における境界領域に関するシミュレーションの結果を示す図である。
【図７】合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。
【図８】ビュー合成処理の流れを示すフローチャートである。
【図９】ビデオシーケンス「Ｃｈａｍｐａｇｎｅ＿ｔｏｗｅｒ」に関するＰＳＮＲを従来方法と本発明に係る方法とで比較した図である。
【発明を実施するための形態】
【００２６】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００２７】
図１は、多視点画像合成システム１００の概略の構成を示すシステム図である。多視点画像合成システム１００は、図１に示すように、多視点撮影サブシステム１０１、形状生成サブシステム１０２、送信／記憶サブシステム１０３及び仮想ビュー合成サブシステム１０４を備えている。
【００２８】
多視点撮影サブシステム１０１は、図示しない複数のカメラにより静的又は動的のいずれかの画像を取得するマルチカメラ撮像システム１０を含んでいる。このマルチカメラ撮像システム１０を構成するカメラは、モノモーダル又はマルチモーダルのビデオ画像を撮像することができるものである。
【００２９】
マルチカメラ撮像システム１０で撮影されたビデオ画像は、較正又は修正によって前処理され、多視点画像１０５として、形状生成サブシステム１０２及び送信／記憶サブシステム１０３に出力される。
【００３０】
なお、多視点撮影サブシステム１０１における較正又は修正の方法は、従来の技術によればよいため、説明を省略する。
形状生成サブシステム１０２は、多視点画像１０５を用いて形状情報１０６を生成する。形状生成サブシステム１０２においては、曇り点形状情報（ｐｏｉｎｔ ｃｌｏｕｄ ｇｅｏｍｅｔｒｙ ｉｎｆｏｒｍａｔｉｏｎ）又は３Ｄ形状情報がステレオ又は３Ｄ再構成によって推定される。
【００３１】
なお、形状生成サブシステム１０２において生成される形状情報１０６は、不完全な形状生成によって生じるエラーを含んでいる可能性がある。
送信／記憶サブシステム１０３は、多視点撮像サブシステム１０１において生成された多視点画像１０５及び形状生成サブシステム１０２において生成された形状情報１０６に対して、必要に応じて圧縮あるいは符号化を行い、基準画像１０７及び形状情報１０８として仮想ビュー合成サブシステム１０４に送信する。この際、圧縮または符号化は、送信ノイズの増加の原因となる。
【００３２】
送信／記憶サブシステム１０３の出力として、送信された基準画像１０７及び形状情報１０８はいずれも、最初の多視点撮影サブシステム１０１による撮影、形状生成サブシステム１０２による形状抽出及び送信／記憶サブシステム１０３による送信に由来する不可避なエラーを含む。
【００３３】
次に、図２に基づき、仮想ビュー合成サブシステム１０４の詳細について説明する。図２は、仮想ビュー合成サブシステム１０４の概略の構成を示すブロック図である。
仮想ビュー合成サブシステム１０４は、ユーザインターフェースブロック１１０３、信頼性推論ブロック１１０１及びビュー合成ブロック１１０２の３つのサブブロックを備えている。
【００３４】
ユーザインターフェースブロック１１０３は、実際のユーザ又は仮想プロキシのいずれかから予め定められた仮想視点命令を受け取る。仮想視点は、視点選択部１１０９によって選択される。
【００３５】
仮想ビュー指定部１１１０では、相対的な仮想ビューが指定される。また、合成モード部１１１１は、視点選択部１１０９及び仮想ビュー指定部１１１０に関する事前情報を提供するアプリケーションの種類を表す。所要の仮想カメラ情報１１１２は、信頼性推論ブロック１１０１に送られる。
【００３６】
基準照合部１１０４における基準照合は、仮想カメラ情報１１１２に近接した種々の基準視点に対して形状情報１０８を用いて基準画像１０７をワープすることによって実行される。
【００３７】
ここで、図３に、基準照合のプロセスの例を示す。カメラ１２０１、カメラ１２０３及びアンカー基準カメラ１２０４は、基準画像１０７の基準カメラである。
仮想カメラ１２０２及び仮想カメラ１２０５は、仮想カメラ情報１１１２（図２参照）によって決定される。
【００３８】
カメラ１２０３を仮想カメラ１２０５に対して照合するために、カメラ１２０３は仮想カメラ１２０５に最も近接したカメラであるアンカー基準カメラ１２０４にワープされる。
【００３９】
アンカー基準カメラ１２０４は、仮想カメラ１２０５の２番目に最も近接したカメラ１２０３によって照合される。他の照合１２０６は、各仮想ビューに対する各基準カメラに対して同様に行われる。
【００４０】
３Ｄワーピングは、形状情報１０８（図２参照）を用いて基準ビューにおけるピクセルを３Ｄ空間に投影し、続いて、投影されたピクセルを目標カメラに投影することによって実行される。
【００４１】
次に、図４に基づき、基準照合部１１０４で実行される基準照合処理について説明する。図４は、基準照合処理の流れを示すフローチャートである。
基準照合処理では、Ｓ１００にて、基準画像１０７、形状情報１０８及び仮想カメラ情報１１１２が入力される。
【００４２】
続くＳ１０５では、Ｓ１００において入力された基準画像１０７、形状情報１０８及び仮想カメラ情報１１１２に基づいて、相違計算が行われる。つまり、基準視点Ｒと仮想視点Ｖの相違ＳRVは、カメラパラメータ空間Ｃにおけるこれらの距離：ＳRV＝｜｜ＣR−ＣV｜｜によって決定することができ、式中、ＣR及びＣVはそれぞれＲ及びＶのカメラパラメータである。｜｜．｜｜は任意のノルムであってよい。
【００４３】
続くＳ１１０では、類似性分類処理が行われる。具体的には、Ｓ１０５において計算した基準視点Ｒと仮想視点Ｖの相違ＳRVに基づいて、類似性分類が行われる。つまり、最小のＳRVを仮想ビューに最も近接した基準として有するアンカー基準１３０８が定義される。
【００４４】
Ｓ１１５及びＳ１２０では、ワープ処理が行われる。Ｓ１１５及びＳ１２０のワーピング手順は、これらの形状情報１０６を有する基準画像１０７に基づく。Ｓ１１０に複数のアンカー基準が存在する場合、マルチワーピングがＳ１１５及びＳ１２０において採用され得る。
【００４５】
続くＳ１２５では、ワープされた基準とアンカー基準の差分画像を生成する。
続くＳ１３０では、Ｓ１２５において生成された差分画像が結合される。そして、続くＳ１３５において、各仮想視点に対する各基準に関する固有の照合エラーマップが計算される。
【００４６】
Ｓ１３５において計算された照合エラーマップは、各入力基準画像１０７とその形状情報に対応する潜在的な合成エラーを近似するために使用され得る。
合成エラー近似部１１０５（図２参照）は、基準照合部１１０４で得られた最初の照合エラーマップを仮想視点Ｖに投影することによって効率的に実行される。推定される潜在的な合成エラーは、基準視点Ｒと仮想視点Ｖの間のベースラインに基づいて調整される。
【００４７】
ここで、図５及び図６に基づき、基準照合方法の詳細について説明する。図５は、種々の視点１４０１，１４０２，１４０３を対応するビュー１４０４，１４０５，１４０６及び形状情報１４０７，１４０８によってシミュレートしたときの図であり、図６は、種々の視点における境界領域に関するシミュレーションの結果を示す図である。
【００４８】
視点１４０１，１４０３は、基準画像１０７から得られ、視点１４０２を生成するために選定される。形状情報１４０７，１４０８は、種々の視点におけるピクセル間の対応関係である。
【００４９】
なお、最初の３Ｄ座標に基づく形状情報は対応情報に変換される。形状情報は、通常、不正な対応の原因となるエラーを境界付近に含む。対応関係は形状情報の表現である。
ここで、図６に示すように、境界領域１５０１，１５０２は、２つの典型的な境界パターンである。境界領域１５０１では、背景が左側にあり、前景が右側にある。境界領域１５０２では、前景が左側にあり、背景が右側にある。
【００５０】
ピクセル１５０３，１５０６は、視点１４０１（基準視点）における境界領域である。ピクセル１５０４，１５０７は、視点１４０２（仮想視点）における境界領域である。ピクセル１５０５，１５０８は、視点１４０３（基準視点）における境界領域である。
【００５１】
なお、図６における形状情報は、各ピクセルの対応として表され、エラーのない完全なものであると見なされるが、実際には、図７に示されるように必ずしもエラーのない健全な対応付けができているとは限らない。
【００５２】
図７は、合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。
境界領域１５０２は、一般性を失わずに、基準照合部１１０４によって照合されて不完全な形状情報１６０１によって生じる潜在的な合成エラーを推論する。
【００５３】
合成エラー近似部１１０５では、仮想視点における潜在的な合成エラーは、基準照合部１１０４で実行される基準照合処理のＳ１３５において得られる照合エラー１３０７を仮想視点に正しく投影することによって近似されてよい。
【００５４】
本明細書における潜在的な合成エラーは、効率的に近似されており、信頼性計算部１１０６において信頼性情報を計算するために利用されることになる。
各仮想視点に対する各基準Ｒi（ｉ＝１、２．．．Ｎ）に対して、固有の近似エラーマップｅiが合成エラー近似部１１０５において生成される。エラーマップｅiにおける１つのピクセルｐはｅipである。
【００５５】
この後、基準Ｒiを有する仮想ピクセルｐの信頼性ｒipがｒip＝ｆ（ｅip）と定義される。ｆはｅipに関する減少関数である、つまり、信頼性は潜在的な合成エラーに逆比例する。
【００５６】
関数ｆの形式は、潜在的な合成エラーの統計的分布に依存する。ワープされた基準ＲiがＩiとして示される場合、明らかに、ｆ、Ｉi、及びｅiはｆ＝Ｉi＋ｅiという測定値関係を有する。ｅipがゼロ平均及び分散σip2を有するパーピクセルガウス分布である場合、信頼性は、下記式１に示すようにベーズ推論を用いてｆの尤度を最大化することによって生成される。
【００５７】
【数１】
【００５８】
ここで、Ｐは画像全体のピクセルの集合であり、α、βはΓ分布のハイパーパラメータである。尤度確率を最大にすることは、確率が下記式２及び式３で表される場合に負の対数である尤度エネルギを最小にすることと同等である。
【００５９】
【数２】
【００６０】
【数３】
【００６１】
なお、合成されたビューｆに関する尤度エネルギは、基本的に下記式４で表される。
【００６２】
【数４】
【００６３】
それゆえ、信頼性は、下記式５で定義される。
【００６４】
【数５】
【００６５】
最終的な信頼性計算式は、ｒip＝ａ／（ｅip＊ｅip＋ｂ）であり、式中、ａ及びｂは信頼性の影響を調整するために使用され得るユーザパラメータである。なお、非ガウス合成エラーを有する信頼性は同様に定義されてよい。
【００６６】
上記の信頼性定義を使用すると、信頼性計算部１１０６は、仮想視点に対する各基準ピクセルに関して固有の信頼性数値ｒipを生成する。信頼性情報１１１３は、各仮想視点を有する各基準に対して空間的に変化している。２進信頼性は、ｒip＝０（ｅip＞閾値）、かつｒip＝１（ｅip≦閾値）と定式化することができる。合成エラーの閾値は、有意な強度差分値であるように設定される。
【００６７】
ビュー合成ブロック１１０２は、基準画像１０７、形状情報１０８、仮想カメラ情報１１１２及び信頼性情報１１１３を用いて２種類の信頼性に基づくビュー合成ソリューションを提供する。
【００６８】
ここで、図８に基づき、ビュー合成ブロック１１０２において実行されるビュー合成処理について説明する。図８は、ビュー合成処理の流れを示すフローチャートである。
ビュー合成処理では、図８に示すように、まずＳ５００において、基準画像１０７、形状情報１０８、仮想カメラ情報１１１２及び信頼性情報１１１３が取得される。
【００６９】
続くＳ５０５において、Ｓ５００において取得された基準画像１０７、形状情報１０８、仮想カメラ情報１１１２及び信頼性情報１１１３に基づいて、各基準画像１０７を仮想視点にワープさせる。
【００７０】
つまり、Ｓ５０５において、各基準Ｒiが、最終ビュー合成のためにＩiとして仮想視点にワープされる。
続くＳ５１０では、ユーザインターフェースブロック１１０３からスイッチ命令を取得する。
【００７１】
続くＳ５１５では、Ｓ５１０において取得したユーザインターフェースブロック１１０３のスイッチ命令に応じて、処理の分岐が「信頼性に基づく補間（図２の信頼性に基づく補間部１１９７に相当）」か「信頼性に基づく正則化（信頼性に基づく正則化部１１０８に相当）」（ユーザアプリケーション要件又は自動アプリケーション要件のいずれかによって）が決定される。
【００７２】
スイッチ命令が信頼性に基づく補間の場合（Ｓ５１５：Ｙｅｓ）、処理がＳ５２０へ移行され、信頼性に基づく正則化の場合（Ｓ５１５：Ｎｏ）、処理がＳ５２５へ移行される。
【００７３】
Ｓ５２０における信頼性に基づく補間のソリューションは、前景アーチファクト及び背景アーチファクトの両方を効率的に低減し得る。主観的品質は著しく改善されるが、客観的品質も改善される。仮想視点におけるピクセルｐの合成された色強度ｆpは、下記式６で表される。
【００７４】
【数６】
【００７５】
Ｓ５２５における信頼性に基づく正則化のソリューションは、マルコフ確率場によって残留合成ノイズを正則化し得る。仮想ビューの主観的品質及び客観的品質はいずれも著しく改善される。これは、極めて高い品質の仮想ビューｆを生成する。合成されたｆは下記式７及び式８によって生成される。
【００７６】
【数７】
【００７７】
【数８】
【００７８】
ここで、Ｐは仮想ビューの全ピクセル集合である。ｑはｐの隣接するピクセルである。この隣接に基づく正則化は、残留ノイズだけでなくアーチファクトも抑制する。正則化項は、任意の適切な先行する項（ｐｒｉｏｒ ｔｅｒｍ）によってさらに置き換えられ得る。最近の最適化手法（グラフカット法、信念伝播、ダイナミックプログラミングなど）がエネルギ最小化を解決するために採用されてよい。
【００７９】
Ｓ５３０では、後処理が行われる。後処理は、Ｓ５２０での「信頼性に基づく補間」及びＳ５２５での「信頼性に基づく正則化」における以前のソリューションの間にハイブリッドソリューションを組み入れることによって合成品質を効率的にさらに改善し得る。
【００８０】
Ｓ５３０における後処理によって得られる出力が仮想ビュー１０９である。
仮想ビュー１０９は、３ＤＴＶ、自由視点ＴＶ（ＦＴＶ）、多視点ビデオ符号化及び他の視覚アプリケーション（仮想現実、仮想ナビゲーション、画像に基づくレンダリング）などに不可欠である。
【００８１】
図９は、ビデオシーケンス「Ｃｈａｍｐａｇｎｅ＿ｔｏｗｅｒ」に関するＰＳＮＲを従来方法と本発明に係る方法とで比較した図である。図９において、黒点で従来のＰＳＮＲを示し、白抜きの点で本発明によるＰＳＮＲを示している。
【００８２】
図９に示すように、本発明に係る方法によれば、従来の方法に比べ、ＰＳＮＲが約３１．２５［ｄＢ］から約３３［ｄＢ］へと１．７５［ｄＢ］ほど改善されていることが分かる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
（１）信頼性は、潜在的な合成エラーの関数として定義されるものであり、上記実施形態において定義した関数以外のものであってもよい。
（２）信頼性に基づくビュー補間は正規化された空間的に変化する信頼性を用いて各ピクセルに重み付けすることによって仮想ビューを生成するものであればよい。
（３）また、信頼性に基づく正則化は、様々な大域的最適化手法（グラフカット法、信念伝播、ダイナミックプログラミングなど）によって解かれ得るエネルギ関数に信頼性を組み入れ可能なものであればよい。
【符号の説明】
【００８３】
１０…マルチカメラ撮像システム、１００…多視点画像合成システム、１０１…多視点撮影サブシステム、１０２…形状生成サブシステム、１０３…送信／記憶サブシステム、１０４…仮想ビュー合成サブシステム、１０５…多視点画像、１０６…形状情報、１０７…基準画像、１０８…形状情報、１０９…仮想ビュー、４０１… アップサンプリングサブシステム、１１０１…信頼性推論ブロック、１１０２…ビュー合成ブロック、１１０３…ユーザインターフェースブロック、１１０４…基準照合部、１１０５…合成エラー近似部、１１０６…信頼性計算部、１１０７…信頼性に基づく補間部、１１０８…信頼性に基づく正則化部、１１０９…仮想視点選択部、１１１０…仮想ビュー指定部、１１１１…合成モード部、１１１２…仮想カメラ情報、１１１３…信頼性情報、１２０１…カメラ、１２０３…カメラ、１２０４…アンカー基準カメラ、１２０５…仮想カメラ、１２０６…照合、１２０８…正則化、１３０７…照合エラー、１３０８…アンカー基準、１４０１…視点（基準視点）、１４０２…視点（仮想視点）、１４０３…視点（基準視点）、１４０６…ビュー、１４０７…形状情報、１４０８…形状情報、１５０２…境界領域、１５０３，１５０４，１５０５，１５０６，１５０７，１５０８…ピクセル、１６０１…形状情報。
【特許請求の範囲】
【請求項１】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記基準画像取得工程において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
前記基準画像取得工程で取得した前記基準画像、前記形状情報変換工程で変換した前記形状情報及び前記信頼性情報生成工程で生成した前記信頼性情報に基づいて、前記仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成することを特徴とする多視点画像合成方法。
【請求項２】
請求項１に記載の多視点画像合成方法において、
前記信頼性情報生成工程は、
前記複数の画像取得手段で取得した前記基準画像を 前記仮想視点情報取得工程で取得した前記仮想視点の位置にワープすることによって行う基準照合工程と、
前記基準照合工程において生じる合成エラーを近似するエラー近似工程と、
前記エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。
【請求項３】
請求項１又は請求項２に記載の多視点画像合成方法において、
前記画像合成工程は、
前記信頼性情報生成工程において生成された信頼性に基づき、前記合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成方法。
【請求項４】
請求項３に記載の多視点画像合成方法において、
前記画像の補間は、
前記信頼性情報生成工程において生成された信頼性情報を前記基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を前記仮想視点にワープし、前記ワープした基準画像を重み付け補間することにより行うことを特徴とする多視点画像合成方法。
【請求項５】
請求項３又は請求項４に記載の多視点画像合成方法において、
前記画像の正則化は、
前記信頼性情報生成工程において生成した信頼性情報を用いて、前記仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、
最適化手法を用いて前記定式化工程により定式化されたエネルギを最小化する最小化工程と、
により前記画像を正則化することを特徴とする多視点画像合成方法。
【請求項６】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、
前記複数の視点に設置した画像取得手段と、
前記画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
前記基準画像取得手段において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
前記基準画像取得手段で取得した前記基準画像、前記形状情報変換手段で変換した前記形状情報及び前記信頼性情報生成手段で生成した前記信頼性情報に基づいて、前記仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備えたことを特徴とする多視点画像合成システム。
【請求項７】
請求項６に記載の多視点画像合成システムにおいて、
前記信頼性情報生成手段は、
前記複数の画像取得手段で取得した前記基準画像を 前記仮想視点情報取得手段で取得した前記仮想視点の位置にワープすることによって行う基準照合手段と、
前記基準照合手段において生じる合成エラーを近似するエラー近似手段と、
前記エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システム。
【請求項８】
請求項６又は請求項７に記載の多視点画像合成システムにおいて、
前記画像合成手段は、
前記信頼性情報生成手段において生成された信頼性に基づき、前記合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成システム。
【請求項９】
請求項８に記載の多視点画像合成システムにおいて、
前記画像の補間は、
前記信頼性情報生成手段において生成された信頼性情報を前記基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を前記仮想視点にワープし、前記ワープした基準画像を重み付け補間することを特徴とする多視点画像合成システム。
【請求項１０】
請求項８又は請求項９に記載の多視点画像合成システムにおいて、
前記画像の正則化は、
前記信頼性情報生成手段において生成した信頼性情報を用いて、前記仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、
最適化手法を用いて前記定式化手段により定式化されたエネルギを最小化する最小化手段と、
により前記画像を正則化することを特徴とする多視点画像合成システム。
【請求項１】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記基準画像取得工程において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
前記基準画像取得工程で取得した前記基準画像、前記形状情報変換工程で変換した前記形状情報及び前記信頼性情報生成工程で生成した前記信頼性情報に基づいて、前記仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成することを特徴とする多視点画像合成方法。
【請求項２】
請求項１に記載の多視点画像合成方法において、
前記信頼性情報生成工程は、
前記複数の画像取得手段で取得した前記基準画像を 前記仮想視点情報取得工程で取得した前記仮想視点の位置にワープすることによって行う基準照合工程と、
前記基準照合工程において生じる合成エラーを近似するエラー近似工程と、
前記エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。
【請求項３】
請求項１又は請求項２に記載の多視点画像合成方法において、
前記画像合成工程は、
前記信頼性情報生成工程において生成された信頼性に基づき、前記合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成方法。
【請求項４】
請求項３に記載の多視点画像合成方法において、
前記画像の補間は、
前記信頼性情報生成工程において生成された信頼性情報を前記基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を前記仮想視点にワープし、前記ワープした基準画像を重み付け補間することにより行うことを特徴とする多視点画像合成方法。
【請求項５】
請求項３又は請求項４に記載の多視点画像合成方法において、
前記画像の正則化は、
前記信頼性情報生成工程において生成した信頼性情報を用いて、前記仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、
最適化手法を用いて前記定式化工程により定式化されたエネルギを最小化する最小化工程と、
により前記画像を正則化することを特徴とする多視点画像合成方法。
【請求項６】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、
前記複数の視点に設置した画像取得手段と、
前記画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
前記基準画像取得手段において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
前記基準画像取得手段で取得した前記基準画像、前記形状情報変換手段で変換した前記形状情報及び前記信頼性情報生成手段で生成した前記信頼性情報に基づいて、前記仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備えたことを特徴とする多視点画像合成システム。
【請求項７】
請求項６に記載の多視点画像合成システムにおいて、
前記信頼性情報生成手段は、
前記複数の画像取得手段で取得した前記基準画像を 前記仮想視点情報取得手段で取得した前記仮想視点の位置にワープすることによって行う基準照合手段と、
前記基準照合手段において生じる合成エラーを近似するエラー近似手段と、
前記エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システム。
【請求項８】
請求項６又は請求項７に記載の多視点画像合成システムにおいて、
前記画像合成手段は、
前記信頼性情報生成手段において生成された信頼性に基づき、前記合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも１つをさらに行うことを特徴とする多視点画像合成システム。
【請求項９】
請求項８に記載の多視点画像合成システムにおいて、
前記画像の補間は、
前記信頼性情報生成手段において生成された信頼性情報を前記基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を前記仮想視点にワープし、前記ワープした基準画像を重み付け補間することを特徴とする多視点画像合成システム。
【請求項１０】
請求項８又は請求項９に記載の多視点画像合成システムにおいて、
前記画像の正則化は、
前記信頼性情報生成手段において生成した信頼性情報を用いて、前記仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、
最適化手法を用いて前記定式化手段により定式化されたエネルギを最小化する最小化手段と、
により前記画像を正則化することを特徴とする多視点画像合成システム。
【図１】
【図２】
【図４】
【図７】
【図８】
【図３】
【図５】
【図６】
【図９】
【図２】
【図４】
【図７】
【図８】
【図３】
【図５】
【図６】
【図９】
【公開番号】特開２０１２−１２３８００（Ｐ２０１２−１２３８００Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１１−２６４９７５（Ｐ２０１１−２６４９７５）
【出願日】平成２３年１２月２日（２０１１．１２．２）
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２３年１２月２日（２０１１．１２．２）
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
[ Back to top ]