デプス補正装置及び方法
【課題】デプスマップを補正する。
【解決手段】一実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第１の算出部と、各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出する第２の算出部とを含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値に置き換える補正を行う補正を含む。
【解決手段】一実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第１の算出部と、各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出する第２の算出部とを含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値に置き換える補正を行う補正を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、デプスの補正に関する。
【背景技術】
【０００２】
２次元映像（静止画像または動画像）コンテンツに基づいて３次元映像コンテンツを作成する手法が提案されている。係る手法は、デプスマップを用いて２次元映像コンテンツに含まれる２次元画像から立体視のための視差画像を作成する。デプスマップは、２次元画像の各画素に割り当てられるデプス値を規定する。デプスマップは、２次元画像から自動的に推定されることもあれば、人間によって手動で作成されることもある。各画素の視差量は、幾何学的関係に従ってデプス値から一意に導出できる。係る手法は、２次元画像の各画素をその視差量に応じてワーピングさせて視差画像を作成する。
【０００３】
更に、３次元映像コンテンツの立体感の強弱を調整（即ち、デプス値のダイナミックレンジを拡大または縮小）する手法も提案されている。立体感を強調すると、３次元映像コンテンツがより迫力のあるものとなる。立体感を抑制すると、３次元映像コンテンツの視聴によるユーザの疲労を軽減できる。係る手法は、３次元映像コンテンツに含まれる３次元画像のデプスマップを例えばステレオマッチングによって推定する。そして、係る手法は、推定デプスマップに所望の調整を施してから視差画像を作成する。
【０００４】
推定により得られたデプスマップには、誤差が含まれる可能性がある。例えば、前景画素に背景用のデプス値が割り当てられたり、背景画素に前景用のデプス値が割り当てられたりすることがある。係る推定誤差が前景及び背景の境界付近（例えば、オブジェクト輪郭）で生じると、前景及び背景の境界線ががたついた視差画像が作成され、３次元画像の品質が劣化する。また、デプス値に誤差が含まれる可能性があるという点は、人間が手動でデプスマップを作成する場合も同じである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Om Prakash Gangwal etc. "Depth Map Post-Processing for 3D-TV", ICCE '09. Digest of Technical Papers International Conference
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、実施形態は、デプスマップを補正することを目的とする。
【課題を解決するための手段】
【０００７】
一実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第１の算出部と、各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出する第２の算出部とを含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値に置き換える補正を行う補正を含む。
【０００８】
他の実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する算出部を含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する補正部を含む。
【０００９】
他の実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素のデプス値の高周波成分の大きさを示すデプス値統計量を算出する第１の算出部を含む。デプス補正装置は、デプス値統計量が閾値以上であれば、演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第２の算出部を含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する補正部を含む。
【図面の簡単な説明】
【００１０】
【図１】デプス値の誤差の影響の説明図。
【図２】フィルタリング処理によって得られるデプスマップの説明図。
【図３】２次元画像における画素位置の説明図。
【図４】背景画素の視差ベクトルの説明図。
【図５】前景画素の視差ベクトルの説明図。
【図６】第１の実施形態に係るデプス補正装置を例示するブロック図。
【図７】図６のデプス補正装置の動作を例示するフローチャート。
【図８】図６のデプス補正装置の効果の説明図。
【図９】第２の実施形態に係るデプス補正装置を例示するブロック図。
【図１０】図９のデプス補正装置の動作を例示するフローチャート。
【図１１】グラフカット法の説明図。
【図１２】デプス値が緩やかに変化する初期デプスマップの説明図。
【図１３】第３の実施形態に係るデプス補正装置を例示するブロック図。
【図１４】図１３のデプス補正装置の動作を例示するフローチャート。
【図１５】第４の実施形態に係るデプス補正装置を例示するブロック図。
【図１６】図１５のデプス補正装置の動作を例示するフローチャート。
【図１７】第５の実施形態に係るデプス補正装置を例示するブロック図。
【図１８】図１７のデプス補正装置の動作を例示するフローチャート。
【図１９】第６の実施形態に係るデプス補正装置を例示するブロック図。
【図２０】図１９のデプス補正装置の動作を例示するフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態について説明する。尚、以降の説明において、既に説明済みの要素と同一または類似の要素には同一または類似の符号を付して示し、重複する説明は基本的に省略する。
【００１２】
各実施形態において、２次元画像１１は、図３に示されるように、水平方向及び垂直方向に配列された複数の画素（図３の丸印）を含む。特に断りの無い限り、各画素の位置ベクトルは（０，０）を始点とする（ｘ，ｙ）で表される。ｘ及びｙは水平方向座標及び垂直方向座標を夫々示す。また、ｘ及びｙはいずれも整数値であるとする。
【００１３】
各実施形態において、画素値（或いは、色情報と読み替えることもできる）とは、ＲＧＢ信号値の一部または全部、ＲＧＢ信号を変換したＹＵＶ信号のうちのＵＶ信号（色差信号）値またはＹ信号（輝度信号）値、均等色空間ＬＵＶ、Ｌａｂの信号値などを指す。但し、ここに列挙した色空間とは異なる色空間によって定義される信号値もまた画素値として扱われても勿論よい。
【００１４】
２次元画像１１の各画素の（初期）デプス値は、初期デプスマップ１２によって規定されている。ここで、各画素の視差量は、幾何学的関係に従ってデプス値から一意に導出できる。以下に図４及び図５を用いて説明するように、対象画素の視差量はデプス値から一意に導出できる。
【００１５】
図４及び図５において、点Ａは対象画素（図４の例では画面よりも奥側に配置される背景画素であり、図５の例では画面よりも手前側に配置される前景画素である）のデプス空間上の位置を表す。点Ｄ及び点Ｅを通る直線は表示デバイスの画面（の水平方向ライン）を表し、点Ｂは２次元画像１１の撮影位置（或いは、視点と読み替えてもよい）を表し、点Ｃは視差画像に対応する撮影位置を表す。点Ｄは２次元画像１１における対象画素の位置を表し、点Ｅは視差画像における対象画素の位置を表す。本例では、撮影位置間を結ぶ直線が、画面の水平方向ラインに対して平行であるという幾何学的関係を仮定する。故に、点Ｂ及び点Ｃを通る直線は、点Ｄ及び点Ｅを通る直線に対して平行である。Ｚｓは撮影位置から画面までの距離を表し、ｂは点Ｂと点Ｃとの間の距離を表す。
【００１６】
本例では、撮影位置（点Ｂまたは点Ｃ）から画面に向かって、画面の水平方向に直交するＺ軸が定義される。画面位置のＺ座標は零である。デプス値Ｚａは、Ｚ軸上で定義される。即ち、図４の例ではデプス値Ｚａは正の値であり、図５の例ではデプス値Ｚａは負の値である。更に、本例では、点Ｂから点Ｃに向かって、画面の水平方向に平行なＸ軸が定義される。点Ｄを始点とし、点Ｅを終点とするベクトルｄが視差ベクトルを表す。視差ベクトルｄの大きさが視差量である。図４の例では視差ベクトルｄは正方向であり、図５の例では視差ベクトルｄは負方向である。
【００１７】
前述の幾何学的関係によれば、図４において三角形ＡＤＥ及び三角形ＡＢＣは相似である。従って、｜ｄ｜：ｂ＝｜Ｚａ｜：｜Ｚａ｜＋Ｚｓが成立する。即ち、下記の数式（１）が導出される。
【数１】
【００１８】
また、図５においても三角形ＡＤＥ及び三角形ＡＢＣは相似である。従って、｜ｄ｜：ｂ＝｜Ｚａ｜：−｜Ｚａ｜＋Ｚｓが成立する。ここで、前述のＸ軸及びＺ軸の定義から、図４及び図５の両方について、下記の数式（２）が成立する。
【数２】
【００１９】
以上のように、デプス値Ｚａから視差ベクトルｄ（及び視差量）を一意に導出できる。また、数式（２）を変形すれば、視差ベクトルｄからデプス値Ｚａを一意に導出することもできる。従って、以降の説明において、視差ベクトル（或いはデプス値）についての記載は、デプス値（或いは視差ベクトル）についての記載として適宜読み替えることもできる。尚、上記説明において視差ベクトルの導出のために仮定した幾何学的関係は一例であり、他の幾何学的関係を仮定しても視差ベクトルはデプス値から一意に導出できる。
【００２０】
（第１の実施形態）
第１の実施形態に係るデプス補正装置は、図６に示されるように、仮クラスタリング部１０１、代表画素値算出部１０２、代表デプス値算出部１０３及びデプス補正部１０４を含む。図６のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ１６を得る。
【００２１】
初期デプスマップ１２において一部の画素に誤ったデプス値が割り当てられている可能性がある。図１には、前景画素ｆｇ０１，・・・，ｆｇ０５及び背景画素ｂｇ０１，・・・，ｂｇ０５が例示されている。前景画素ｆｇ０１，・・・，ｆｇ０５のうちｆｇ０３及びｆｇ０５には背景用のデプス値（即ち、背景用の視差ベクトル）が誤って割り当てられている。尚、図１において、実線矢印は前景用の視差ベクトルを表し、破線矢印は背景用の視差ベクトルを表す。従って、視差画像においてｆｇ０３及びｆｇ０５は誤った位置にワーピングされ、前景画素ｆｇ０１，・・・，ｆｇ０５及び背景画素ｂｇ０１，・・・，ｂｇ０５の境界ががたつく。図６のデプス補正装置は、初期デプスマップ１２におけるこのような推定誤差を補正する。
【００２２】
仮クラスタリング部１０１は、２次元画像１１及び初期デプスマップ１２を取得する。仮クラスタリング部１０１は、２次元画像１１のうち後述する演算ブロック内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、これら複数の画素をＫ個（Ｋは２以上の整数）のクラスに分類する。仮クラスタリング部１０１は、演算ブロック内の複数の画素の各々に所属クラスを示すラベル情報１３を付与する。仮クラスタリング部１０１は、このラベル情報１３を代表画素値算出部１０２及び代表デプス値算出部１０３に通知する。
【００２３】
２次元画像１１における１つまたは複数の画素が補正対象ブロックとして指定される。以降の説明において、補正対象ブロックは、ｍ×ｎサイズの矩形の画素集合（或いは一画素）である（ｍ≧１かつｎ≧１）。更に、この補正対象ブロックに対応する複数の画素が演算ブロックとして指定される。以降の説明において、演算ブロックはＭ×Ｎサイズの矩形の画素集合である（Ｍ≧１かつＮ≧１、但しＭ及びＮの少なくとも一方は２以上）。演算ブロックは、典型的には、補正対象ブロックを包含する。但し、演算ブロックは、必ずしも補正対象ブロックの全ての画素を包含しなくてもよい。また、説明の簡単化のために、矩形の画素集合（補正対象ブロック及び演算ブロック）を前提としているが、これらの画素集合の形状は矩形に限られず、任意の形状の補正対象範囲及び演算範囲として扱うことも可能である。
【００２４】
２次元画像１１中の全ての画素が少なくとも１度は補正対象ブロックに含まれるように補正対象ブロックを順次移動すれば、デプスマップの全体を補正することが可能である。尚、２次元画像１１中の部分領域（例えば、オブジェクトの境界付近など）に限ってデプスマップの補正を行っても勿論よい。係る場合には、当該部分領域中の全ての画素が少なくとも１度は補正対象ブロックに含まれるように補正対象ブロックを順次移動すればよい。
【００２５】
Ｋの値は、３以上でも勿論よいが、演算ブロックは２次元画像１１の内部の局所領域なので高々１つのオブジェクト輪郭を含む場合が多いと考えられる。従って、Ｋの値を２に設定することで、クラスタリングを容易にしながらも効果的な補正を期待できる。
【００２６】
Ｋ＝２の場合に、デプス値（或いは、輝度値などの１次元の画素値ベクトル）についてのクラスタリングは、例えば以下のように実現できる。
仮クラスタリング部１０１は、演算ブロック内の複数の画素のデプス値の平均値または中央値を算出する。仮クラスタリング部１０１は、算出した平均値または中央値を閾値として利用し、演算ブロック内の複数の画素をデプス値が閾値より大きいクラスとデプス値が閾値以下のクラスとに分類する。尚、閾値は、平均値または中央値に限られない。例えば、閾値は、演算ブロック内の複数の画素のデプス値の最大値と最小値との平均値（即ち、最大値及び最小値の和の１／２倍）であってもよい。
【００２７】
Ｋ≧３の場合、デプス値及び画素値の両方についてクラスタリングを行う場合、２成分以上の画素値についてクラスタリングを行う場合などには、仮クラスタリング部１０１は例えばＫ平均法を利用してもよい。以下、Ｋ平均法の概要を説明する。
【００２８】
以下の説明では、クラスタリングの対象となる画素ベクトルを規定する。画素ベクトルの要素は、デプス値及び画素値の少なくとも一方である。本例では、位置ベクトルｉで特定される画素の画素ベクトルを下記の数式（３）で定義する。
【数３】
【００２９】
また、数式（３）において、ｚ（ｉ）は位置ベクトルｉで特定される画素のデプス値を表し、Ｉ（ｉ）は位置ベクトルｉで特定される画素の画素値ベクトルを表す。Ｉ（ｉ）は、ＲＧＢ値を表すならば３次元ベクトルであるし、輝度値を表すならば１次元ベクトルである。尚、画素ベクトルを数式（３）とは異なるように定義したとしても、Ｋ平均法は適用可能である。例えば、数式（３）のうちデプス値ｚ（ｉ）または画素値ベクトルＩ（ｉ）を除去してもよい。
【００３０】
Ｋ平均法によるクラスタリングは、下記のステップ１、ステップ２及びステップ３で実現される。尚、簡単化のためにＫ＝２として説明するが、後述するようにＫを３以上に拡張することは可能である。
【００３１】
仮クラスタリング部１０１は、演算ブロック内の複数の画素の各々にいずれかのクラスのラベル情報を暫定的に割り当てる（ステップ１）。即ち、仮クラスタリング部１０１は、演算ブロック内の複数の画素について、ＬＡＢＥＬ（ｉ）＝ｋを暫定的に設定する（ｋ＝０，１，・・・，Ｋ−１）。ＬＡＢＥＬ（ｉ）は、位置ベクトルｉの画素に割り当てられているラベル情報を表す。尚、ステップ１において、いずれの画素にいずれのラベル情報を割り当てるかは任意であり、例えば任意の画素に無作為に選択したラベル情報を割り当てることができる。演算ブロック内の全ての画素にラベル情報が割り当てられると、処理はステップ２に進む。
【００３２】
ステップ２において、仮クラスタリング部１０１は、各クラスの重心ベクトルを計算する。具体的には、仮クラスタリング部１０１は、下記の数式（４）に従って、各クラスの重心ベクトルを計算する。全てのクラスの重心ベクトルが計算されると、処理はステップ３に進む。
【数４】
【００３３】
ここで、ｋ＿ｍｅａｎ（ｋ）は、ラベル情報（＝ｋ）の示すクラスの重心ベクトルを表す。Ｂｃ（ｋ）は、演算ブロック内でラベル情報（＝ｋ）が割り当てられた画素の集合を表す。Ｎ（ｋ）は、ラベル情報（＝ｋ）が割り当てられた画素の総数（即ち、Ｂｃ（ｋ）の要素の総数）を表す。
【００３４】
ステップ３において、仮クラスタリング部１０１は、演算ブロック内の複数の画素のラベルを画素ベクトルと各クラスの重心ベクトルとの間の距離に応じて再設定する。具体的には、仮クラスタリング部１０１は、演算ブロック内の複数の画素のラベル情報を下記の数式（５）に従って再設定する。
【数５】
【００３５】
尚、数式（５）では画素ベクトルと重心ベクトルとの間の距離をＬ２ノルムで評価しているが、Ｌ１ノルムで評価することもできる。
【００３６】
ラベル情報の再設定の結果、演算ブロック内の１つ以上の画素のラベル情報が変更されれば、処理はステップ２に戻る。一方、ラベル情報の再設定の結果、演算ブロック内の全ての画素のラベル情報が変更されずに維持されれば、処理は終了する（画素のラベル情報１３が確定する）。
【００３７】
尚、Ｋ平均法においてＫを３以上に拡張する場合には、前述のステップ１において単に３以上のラベルを割り当てればよい。或いは、Ｋ平均法に前述の２クラスへのクラスタリング手法を組み合わせてＫを拡張することも可能である。例えば、Ｋ平均法により複数のクラスに分類してから、各クラスの画素のデプス値（或いは、１次元の画素ベクトル）の平均値などを閾値として利用すれば、各クラスを更に２クラスに細分化することができる。更に、係る手法によれば、Ｋ平均法で分類されたクラスの総数を再帰的に２倍、４倍、８倍・・・（即ち、２の冪乗倍）に拡張できる。
【００３８】
代表画素値算出部１０２は、２次元画像１１及びラベル情報１３を取得する。代表画素値算出部１０２は、ラベル情報１３に従って、クラス毎に代表画素値１４を算出する。代表画素値算出部１０２は、各クラスの代表画素値１４をデプス補正部１０４に入力する。
【００３９】
具体的には、代表画素値算出部１０２は、下記の数式（６）または数式（７）に従って、演算ブロック内でラベル情報（＝ｋ）が割り当てられた画素の画素値を用いてラベル情報（＝ｋ）の示すクラスの代表画素値（ベクトル）Ｉｒ（ｋ）を算出する。
【数６】
【００４０】
【数７】
【００４１】
数式（６）によれば、ラベル情報（＝ｋ）が割り当てられた画素の画素値の平均値が代表画素値１４となる。数式（７）によれば、ラベル情報（＝ｋ）が割り当てられた画素の画素値の中央値が代表画素値１４となる。ここで、ｊは、ｉと同様に、画素の位置ベクトルを表す。尚、数式（７）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。
【００４２】
代表デプス値算出部１０３は、初期デプスマップ１２及びラベル情報１３を取得する。代表デプス値算出部１０３は、ラベル情報１３に従って、クラス毎に代表デプス値１５を算出する。代表デプス値算出部１０３は、各クラスの代表デプス値１５をデプス補正部１０４に入力する。
【００４３】
具体的には、代表デプス値算出部１０３は、下記の数式（８）または数式（９）に従って、演算ブロック内でラベル情報（＝ｋ）が割り当てられた画素のデプス値を用いてラベル情報（＝ｋ）の示すクラスの代表デプス値ｚｒ（ｋ）を算出する。
【数８】
【００４４】
【数９】
【００４５】
数式（８）によれば、ラベル情報（＝ｋ）が割り当てられた画素のデプス値の平均値が代表デプス値１５となる。数式（９）によれば、ラベル情報（＝ｋ）が割り当てられた画素のデプス値の中央値が代表デプス値１５となる。尚、数式（９）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。
【００４６】
デプス補正部１０４は、補正対象ブロック内の補正対象画素の画素値及び各クラスの代表画素値１４に基づいて、補正対象画素の対応クラスを判定する。尚、補正対象画素の対応クラスは、補正対象画素に割り当てられたラベル情報１３の示すクラスとは必ずしも一致しない。例えば、デプス補正部１０４は、補正対象画素の画素値と最も距離の小さい代表画素値１４を持つクラスを当該補正対象画素の対応クラスと判定する。デプス補正部１０４は、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。デプス補正部１０４は、補正対象ブロック内の全ての補正対象画素のデプス値をその対応クラスの代表デプス値１５に置き換えることにより、補正対象ブロックの補正デプスマップ１６を得る。
【００４７】
具体的には、デプス補正部１０４は、下記の数式（１０）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を対応クラスの代表デプス値１５に置き換える。
【数１０】
【００４８】
尚、数式（１０）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。デプス補正部１０４によって、補正対象ブロック内の補正対象画素のデプス値はいずれかのクラスの代表デプス値１５に補正される。
【００４９】
以下、図７を用いて図６のデプス補正装置の例示的な動作を説明する。図７の処理が開始すると、補正対象ブロックが設定され（ステップＳ１１１）、この補正対象ブロックに対応する演算ブロックが設定される（ステップＳ１１２）。ステップＳ１１１及びステップＳ１１２は、仮クラスタリング部１０１によって行われてもよいし、図示しない他の要素によって行われてもよい。
【００５０】
仮クラスタリング部１０１は、２次元入力画像１１及び初期デプスマップ１２を取得し、ステップＳ１１２において設定された演算ブロック内の複数の画素に仮クラスタリングを行う（ステップＳ１１３）。ステップＳ１１３の仮クラスタリングの結果、演算ブロック内の複数の画素には個別にラベル情報１３が割り当てられる。
【００５１】
代表画素値算出部１０２は、ステップＳ１１３において割り当てられたラベル情報１３に従って、各クラスの代表画素値１４を算出する（ステップＳ１１４）。一方、代表デプス値算出部１０３は、ステップＳ１１３において割り当てられたラベル情報１３に従って、各クラスの代表デプス値１５を算出する（ステップＳ１１５）。尚、ステップＳ１１４及びステップＳ１１５は、図７のように並行して実行されてもよいし、いずれか一方が他方よりも先に実行されてもよい。
【００５２】
ステップＳ１１４及びステップＳ１１５の後に、デプス補正部１０４が補正対象ブロック内の各補正対象画素のデプス値を補正して（ステップＳ１１６）、処理は終了する。前述のように、デプス補正部１０４は、補正対象ブロック内の補正対象画素の画素値及び各クラスの代表画素値１４に基づいて補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。
【００５３】
本実施形態に対する比較例として、Cross-Bilateralフィルタによるデプスマップの補正を想定する。Cross-Bilateralフィルタは、補正対象画素の周辺画素に重みを与え、デプス値の畳み込み演算を行う。各周辺画素に与えられる重みは、補正対象画素との間の画素値の差分及び補正対象画素からの空間的距離によって決まる。
【００５４】
図２には所定の範囲内の各画素の画素値（丸印）及び初期デプス値（四角印）が例示されている。尚、図２及び後述する他の図面では、簡単化のために画素位置を１次元で表現しているが、画素位置を２次元に拡張しても同様の議論が成り立つ。
【００５５】
図２において、画素ｐ＿ｘは、オブジェクト輪郭を隔てた画素に近い初期デプス値が割り当てられている。更に、画素ｐ＿ｘに隣接する画素ｐ＿（ｘ＋１）もまた、オブジェクト輪郭を隔てた画素に近い初期デプス値が割り当てられている。即ち、図２の例において、画素ｐ＿ｘ及び画素ｐ＿（ｘ＋１）の初期デプス値には誤差が含まれていると考えられる。
【００５６】
画素ｐ＿ｘの隣接画素ｐ＿（ｘ＋１）及びｐ＿（ｘ−１）は、補正対象画素ｐ＿ｘとの間の画素値差分及び補正対象画素ｐ＿ｘからの距離の両方が小さいので、共に大きな重みを与えられる。前述のように、隣接画素ｐ＿（ｘ＋１）の初期デプス値には誤差が含まれているので、画素ｐ＿ｘのフィルタリング後のデプス値にもこの誤差が残留することになる。従って、係る状況において、補正対象画素ｐ＿ｘにCross-Bilateralフィルタを適用しても、補正対象画素ｐ＿ｘの初期デプス値に含まれる誤差を大きく改善することは困難である。例えば、図２に示されるように、Cross-Bilateralフィルタを適用して得られるデプスマップmap_fは、所望のデプスマップmap_dから乖離してしまう。ここで、所望のデプスマップmap_dは、オブジェクト輪郭に沿ってデプス値が変化するデプスマップを意味している。
【００５７】
図８には、図２と同じ範囲内の各画素の画素値及び初期デプス値が例示されている。仮クラスタリング部１０１は、クラスタリングを行って、各画素にクラス０１またはクラス０２を示すラベル情報１３を割り当てる。代表画素値算出部１０２はクラス０１及びクラス０２の代表画素値１４を夫々算出し、代表デプス値算出部１０３はクラス０１及びクラス０２の代表デプス値１５を夫々算出する。前述のように、補正対象画素ｐ＿ｘのデプス値には誤差が含まれている。しかしながら、補正対象画素ｐ＿ｘの画素値は、クラス０２の代表画素値１４よりもクラス０１の代表画素値１４に近い。故に、デプス補正部１０４は補正対象画素ｐ＿ｘのデプス値をクラス０１の代表デプス値１５に置き換えるので、補正対象画素値ｐ＿ｘのデプス値の誤差が低減する。即ち、図６のデプス補正装置によれば、所望のデプスマップmap_dに近い補正デプスマップ１６を得ることができる。
【００５８】
以上説明したように、第１の実施形態に係るデプス補正装置は、補正対象画素の画素値と最も近い代表画素値を持つクラスの代表デプス値によって補正対象画素のデプス値を置き換える。従って、本実施形態に係るデプス補正装置によれば、オブジェクト輪郭付近にある補正対象画素の初期デプス値に誤差が含まれている場合であっても、この誤差を低減させて３次元画像の品質を向上させることができる。
【００５９】
尚、補正対象ブロックを順次処理するときに、補正済みの画素が演算ブロックに含まれることがある。係る場合に、補正済みのデプス値を使用してもよいし、補正前の（初期）デプス値を使用してもよい。前者によれば、初期デプスマップ１２の中の局所領域が順次更新される。後者によれば、初期デプスマップ１２とは別に出力用の補正デプスマップ１６が保持される。
【００６０】
また、同一の画素が補正対象ブロックに複数回含まれてもよい（即ち、同一の画素のデプス値が複数回に亘って補正されてもよい）。複数回の補正を行う場合には、前回の補正デプスマップ１６が初期デプスマップ１２として入力されることになる。複数回の補正を行う場合に、補正対象ブロックまたは演算ブロックのサイズを順次変更したり、Ｋの値を順次変更したりしてもよい。
【００６１】
（第２の実施形態）
第２の実施形態に係るデプス補正装置は、図９に示されるように、仮クラスタリング部１０１、画素値統計量算出部２０２、代表デプス値算出部１０３及びデプス補正部２０４を含む。図９のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ２６を得る。
【００６２】
仮クラスタリング部１０１は、第１の実施形態と同様に、演算ブロック内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、これら複数の画素をＫ個のクラスに分類する。仮クラスタリング部１０１は、演算ブロック内の複数の画素の各々に所属クラスを示すラベル情報１３を付与する。仮クラスタリング部１０１は、このラベル情報１３を画素値統計量算出部２０２、代表デプス値算出部１０３及びデプス補正部２０４に通知する。
【００６３】
画素値統計量算出部２０２は、ラベル情報１３に従って、クラス毎に画素値統計量２４を算出する。画素値統計量算出部２０２は、各クラスの画素値統計量２４をデプス補正部２０４に入力する。ここで、画素値統計量２４は、各クラスの画素値を統計的に分析して算出される値である。従って、前述の代表画素値１４もまた画素値統計量２４の一種とみなすことができる。以降の説明では、画素値統計量２４として各クラスの画素値のヒストグラムを用いる。
【００６４】
画素値統計量算出部２０２は、各クラスに属する画素の画素値の分布に忠実なヒストグラムを作成してもよいし、各クラスに属する画素の画素値の分布を下記の数式（１１）に従って正規分布に近似してもよい。
【数１１】
【００６５】
数式（１１）において、ｍは画素値ベクトルＩの次元数を表し、μｋはラベル情報（＝ｋ）の示すクラスに属する画素の画素値の平均値ベクトルを表し、Ｓｋはラベル情報（＝ｋ）の示すクラスに属する画素の画素値の分散共分散行列を表す。また、Ｔはベクトルの転置を意味する記号であり、−１は逆行列を意味する記号である。
【００６６】
デプス補正部２０４は、補正対象ブロック内の補正対象画素の画素値と、各クラスの画素値統計量２４と、補正対象画素の周辺画素の画素値とに基づいて補正対象画素の対応クラスを判定する。デプス補正部２０４は、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。デプス補正部２０４は、補正対象ブロック内の全ての補正対象画素のデプス値をその対応クラスの代表デプス値１５に置き換えることにより、補正対象ブロックの補正デプスマップ２６を得る。
【００６７】
前述のデプス補正部１０４は、補正対象画素の対応クラスの判定において、補正対象画素と周辺画素との間の画素値の空間的相関を考慮していない。しかしながら、通常、２次元画像１１には画素値の空間的連続性があることが知られている。従って、補正対象画素と周辺画素との間の画素値の空間的相関を考慮することで、例えばオブジェクト輪郭の判定精度が向上すると考えられる。
【００６８】
具体的には、デプス補正部２０４は、下記の数式（１２）に示すエネルギー関数Ｅを最小化するｋの組み合わせ（即ち、演算ブロック内の各画素の対応クラスの組み合わせ）を導出する。
【数１２】
【００６９】
ここで、ｇ（ｊ，ｋ）はラベル情報（＝ｋ）の示すクラスが位置ベクトルｊで特定される補正対象画素の対応クラスであることの（対数）尤度を補正対象画素の画素値及び各クラスの画素値統計量２４によって評価する関数である。尤度関数ｇ（ｊ，ｋ）は、尤度が高いほど小さな値を示す。ｅ（ｊ，ｌ）は位置ベクトルｊの補正対象画素と位置ベクトルｌの周辺画素との間の画素値の空間的相関を表す関数である。相関関数ｅ（ｊ，ｌ）は、空間的相関が大きいほど小さな値を示す。Ω（ｊ）は、位置ベクトルｊで特定される補正対象画素の周辺画素の位置ベクトルｌの集合を表す。
【００７０】
画素値統計量２４が各クラスに属する画素の画素値のヒストグラムであるならば、尤度関数ｇ（ｊ，ｋ）は例えば下記の数式（１３）で導出される。
【数１３】
【００７１】
ここで、ｈ（ｋ，Ｉ）はラベル情報（＝ｋ）の示すクラスに属する画素の画素値のヒストグラムを表す。ｈ（ｋ，Ｉ（ｊ））はこのヒストグラムｈ（ｋ，Ｉ）における画素値Ｉ（ｊ）の度数を表す。
【００７２】
また、画素値統計量２４が上記の数式（１１）によって計算された正規分布であるならば、尤度関数ｇ（ｊ，ｋ）は例えば下記の数式（１４）で導出される。
【数１４】
【００７３】
相関関数ｅ（ｊ，ｌ）は、例えば下記の数式（１５）で導出される。
【数１５】
【００７４】
尚、数式（１５）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。ここで、［論理式？］は、論理式が成立すれば「１」を返し、成立しなければ「０」を返す関数である。γは、経験的に定めることのできる正の係数を表し、例えば「１０」に設定される。βは、正の係数を表し、例えば補正対象画素及び周辺画素の画素値の分散に設定される。ｄｉｓ（ｊ，ｌ）は、位置ベクトルｊの補正対象画素と位置ベクトルｌの周辺画素との間の空間的距離（例えば、ユークリッド距離）を表す。
【００７５】
即ち、位置ベクトルｊの補正対象画素及び位置ベクトルｌの周辺画素に割り当てられたラベル情報１３が一致すれば、相関関数ｅ（ｊ，ｌ）は「０」となる。一方、両者が一致しなければ、補正対象画素及び周辺画素の間の画素値差分及び空間的距離が小さいほど相関関数ｅ（ｊ，ｌ）は小さな値となる。
【００７６】
デプス補正部２０４は、グラフカット法と呼ばれるアルゴリズムを利用してエネルギー関数Ｅの最小化問題を解くことができる。尚、デプス補正部２０４は、信念伝搬法(Belief Propagation)などの他のアルゴリズムを利用してエネルギー関数Ｅの最小化問題を解いてもよい。以下、図１１を用いてグラフカット法の概要を説明する。
【００７７】
以下の説明では、簡単化のためにＫ＝２とするが、Ｋを３以上に拡張しても同様の議論が成り立つ。図１１において、クラス判定のためのノードがＳ及びＴで表される。また、隣接して一列に配列される４つの画素（位置ベクトルは、ｊ、ｊ＋１、ｊ＋２及びｊ＋３）を示す画素ノードが、ｊ、ｊ＋１、ｊ＋２及びｊ＋３で表される。各画素ノードとノードＳ及びＴとの間は夫々エッジで結ばれる。画素ノードｊとノードＳ及びノードＴとの間のエッジの重み（或いは、コストと読み替えることもできる）ｃ（Ｓ，ｊ）及びｃ（Ｔ，ｊ）は、下記の数式（１６）で夫々規定される。
【数１６】
【００７８】
更に、隣接する画素ノードの間もエッジで結ばれる。画素ノードｊと画素ノードｊ＋１との間のエッジの重みｃ（ｊ，ｊ＋１）は、下記の数式（１７）で規定される。
【数１７】
【００７９】
尚、数式（１７）は、上記の数式（１５）においてｌ＝ｊ＋１、ＬＡＢＥＬ（ｊ）≠ＬＡＢＥＬ（ｌ）と設定した場合に相当する。数式（１７）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。デプス補正部２０４は、各エッジの重みを算出したうえで、最大流最小切断問題を解く。最大流最小切断問題を解くと、各画素ノードとノードＳ及びノードＴのうちの一方との間のエッジが切断される（図１１の破線を参照）。画素ノードとノードＴとの間のエッジが切断されれば（即ち、画素ノードとノードＳとの間のエッジが維持されれば）、デプス補正部２０４はｋ＝０のクラスを当該画素ノードの示す補正対象画素の対応クラスと判定する。一方、画素ノードとノードＳとの間のエッジが切断されれば（即ち、画素ノードとノードＴとの間のエッジが維持されれば）、デプス補正部２０４はｋ＝１のクラスを当該画素ノードの示す補正対象画素の対応クラスと判定する。図１１の例では、ｋ＝０のクラスが位置ベクトルｊ＋２の補正対象画素の対応クラスと判定され、ｋ＝１のクラスが位置ベクトルｊ、ｊ＋１及びｊ＋３の補正対象画素の対応クラスと判定される。
【００８０】
図１０は、図９のデプス補正装置の動作を例示する。図１０に例示する動作は、図７に例示する動作のうちステップＳ１１４及びステップＳ１１６を後述するステップＳ２１４及びステップＳ２１６に夫々置き換えることで実現できる。
【００８１】
ステップＳ２１４において、画素値統計量算出部２０２は、ステップＳ１１３において割り当てられたラベル情報１３に従って、各クラスの画素値統計量２４を算出する。このステップＳ２１４及び前述のステップＳ１１５の後に、処理はステップＳ２１６に進む。
【００８２】
ステップＳ２１６においてデプス補正部２０４が補正対象ブロック内の各補正対象画素のデプス値を補正して、処理は終了する。前述のように、デプス補正部２０４は、画素値統計量２４に基づく各クラスの尤度に加えて周辺画素との空間的相関を考慮して補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。
【００８３】
以上説明したように、第２の実施形態に係るデプス補正装置は、画素値統計量に基づく各クラスの尤度に加えて補正対象画素と周辺画素との間の空間的相関を考慮して補正対象画素の対応クラスを判定する。従って、本実施形態に係るデプス補正装置によれば、２次元画像における画素値の空間的連続性を利用した効果的なデプス補正が可能となる。
【００８４】
（第３の実施形態）
第３の実施形態に係るデプス補正装置は、図１３に示されるように、仮クラスタリング部１０１、代表画素値算出部１０２、代表デプス値算出部１０３、デプス補正部１０４、デプス値統計量算出部３０５、処理切り替え部３０６、セレクタ３０７及びスイッチ３０８を含む。図１３のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、出力デプスマップ３６を得る。
【００８５】
前述の第１の実施形態に係るデプス補正は、演算ブロックにオブジェクト輪郭が含まれる場合に効果的である。一方、演算ブロックにおいてデプス値が滑らかに変化している場合に、係るデプス補正は必ずしも適さない。
【００８６】
例えば、図１２に示される初期デプスマップでは、各画素のデプス値（四角印で表示）は破線で示すように滑らかに変化している。第１の実施形態に係るデプス補正によれば、係る初期デプスマップは階段状のデプスマップmap_cに補正される。この補正デプスマップmap_cは、デプス値のマッハバンドを招き、３次元画像の品質を却って劣化させるおそれがある。本実施形態は、第１の実施形態に係るデプス補正を適応的に実施することで、過度な補正を回避しつつオブジェクト輪郭付近の初期デプス値の誤差を低減させる。
【００８７】
デプス値統計量算出部３０５は、初期デプスマップ１２を取得し、演算ブロック内の画素のデプス値統計量を算出する。デプス値統計量算出部３０５は、デプス値統計量を処理切り替え部３０６に入力する。デプス値統計量は、演算ブロック内の画素の高周波成分の大きさを示す指標である。
【００８８】
デプス値統計量は、例えば演算ブロック内の画素のデプス値の標本分散であってもよい。また、デプス値統計量は、演算ブロック内の画素のデプス値にハイパスフィルタ処理を適用して得られる高周波成分値（出力信号値）の系列でもよい（或いは、係る系列の総和、平均値、中央値などでもよいし、係る系列のうち所定の閾値を超える高周波成分値の割合などであってもよい）。また、デプス値統計量は、演算ブロック内の画素のデプス値にＤＣＴ（離散コサイン変換）などを施して得られる高周波成分値であってもよい。
【００８９】
演算ブロック内の画素のデプス値の高周波成分が大きいことは、当該演算ブロック内の画素のデプス値の変化が激しいことを意味する。即ち、係る演算ブロックは、オブジェクト輪郭（或いは、エッジと読み替えることもできる）を含む可能性が高い。故に、係る演算ブロックにデプス補正を適用することで初期デプス値の誤差が効果的に低減すると予想される。
【００９０】
一方、演算ブロック内の画素のデプス値の高周波成分が小さいことは、当該演算ブロック内の画素のデプス値の変化が緩やかであることを意味する。即ち、係る演算ブロックは、オブジェクト輪郭を含まない可能性が高い。故に、係る演算ブロックにデプス補正を適用すると、滑らかな初期デプス値の変化が階段状に補正され、マッハバンドが生じるおそれがある。
【００９１】
処理切り替え部３０６は、デプス値統計量算出部３０５からのデプス値統計量に応じてセレクタ３０７の出力及びセレクタ３０８の入力を制御する。例えば、処理切り替え部３０６は、デプス値統計量を所定の閾値と比較する。デプス値統計量が閾値以上であれば、処理切り替え部３０６は、セレクタ３０７に初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部１０４へ出力させると共に、セレクタ３０８にデプス補正部１０４からの補正デプスマップ１６を入力させる。一方、デプス値統計量が閾値未満であれば、処理切り替え部３０６は、セレクタ３０７に初期デプスマップ１２をセレクタ３０８へ出力させると共に、セレクタ３０８にセレクタ３０７からの初期デプスマップ１２を入力させる。
【００９２】
セレクタ３０７は、処理切り替え部３０６からの制御に応じて、初期デプスマップ１２の出力先を選択する。セレクタ３０７が初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部１０４へ出力すると、補正対象ブロックに対して第１の実施形態に係るデプス補正が行われる。一方、セレクタ３０７が初期デプスマップ１２をセレクタ３０８へ出力すると、補正対象ブロックのデプス補正が省略される。
【００９３】
セレクタ３０８は、処理切り替え部３０６からの制御に応じて、補正デプスマップ１６及び初期デプスマップ１２のいずれか一方を選択して入力する。セレクタ３０８は入力したデプスマップを補正対象ブロックの出力デプスマップ３６として出力する。
【００９４】
図１４は、図１３のデプス補正装置の動作を例示する。図１４に例示する動作は、図７に例示する動作に後述するステップＳ３１７及びステップＳ３１８を追加することで実現できる。
【００９５】
ステップＳ１１１及びステップＳ１１２の終了後、処理はステップＳ３１７に進む。ステップＳ３１７において、デプス値統計量算出部３０５は、初期デプスマップ１２を取得し、演算ブロック内の画素のデプス値統計量Ｖを算出する。前述のように、デプス値統計量Ｖは、演算ブロック内の画素のデプス値の標本分散など、演算ブロック内の画素のデプス値の高周波成分の大きさを表す指標である。
【００９６】
処理切り替え部３０６は、ステップＳ３１７において算出されたデプス値統計量Ｖを所定の閾値ＴＨと比較する（ステップＳ３１８）。ＶがＴＨ未満であればデプス補正が省略されて処理は終了する。ＶがＴＨ以上であればデプス補正が有効となり、処理はステップＳ１１３へ進む。
【００９７】
以上説明したように、第３の実施形態に係るデプス補正装置は、補正対象ブロックが補正に適しているか否かを判定し、第１の実施形態に係るデプス補正を適応的に実施する。従って、本実施形態に係るデプス補正装置によれば、過度な補正を回避しつつ第１の実施形態に係るデプス補正により主にオブジェクト輪郭付近の初期デプス値の誤差を低減させることができる。
【００９８】
尚、本実施形態ではデプス値統計量が利用されているが、演算領域がオブジェクト輪郭を含むか否か（或いは、デプス値の変化が滑らかな領域であるか否か）を判定するための指標はこれに限られない。従って、デプス値統計量算出部３０５は、初期デプスマップ１２または２次元画像１１に基づいて係る指標を算出する機能部として適宜読み替えられてもよい。
【００９９】
（第４の実施形態）
第４の実施形態に係るデプス補正装置は、図１５に示されるように、仮クラスタリング部１０１、画素値統計量算出部２０２、代表デプス値算出部１０３、デプス補正部２０４、デプス値統計量算出部３０５、処理切り替え部３０６、セレクタ３０７及びセレクタ３０８を含む。図１５のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、出力デプスマップ４６を得る。
【０１００】
前述の第２の実施形態に係るデプス補正は、第１の実施形態に係るデプス補正と同様に、演算ブロックにオブジェクト輪郭が含まれる場合に効果的である。一方、演算ブロックにおいてデプス値が滑らかに変化する場合に、係るデプス補正は必ずしも適さない。即ち、第２の実施形態に係るデプス補正もまた、場合によっては、デプス値のマッハバンドを招き、３次元画像の品質を却って劣化させるおそれがある。本実施形態は、第２の実施形態に係るデプス補正を適応的に実施することで、過度な補正を回避しつつオブジェクト輪郭付近の初期デプス値の誤差を低減させる。
【０１０１】
処理切り替え部３０６は、第３の実施形態と同様に、デプス値統計量算出部３０５からのデプス値統計量に応じてセレクタ３０７の出力及びセレクタ３０８の出力を制御する。例えば、処理切り替え部３０６は、デプス値統計量を所定の閾値と比較する。デプス値統計量が閾値以上であれば、処理切り替え部３０６は、セレクタ３０７に初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部２０４へ出力させると共に、セレクタ３０８にデプス補正部２０４からの補正デプスマップ２６を入力させる。
【０１０２】
セレクタ３０７は、第３の実施形態と同様に、処理切り替え部３０６からの制御に応じて、初期デプスマップ１２の出力先を選択する。セレクタ３０７が初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部２０４へ出力すると、補正対象ブロックに対して第２の実施形態に係るデプス補正が行われる。
【０１０３】
セレクタ３０８は、第３の実施形態と同様に、処理切り替え部３０６からの制御に応じて、補正デプスマップ２６及び初期デプスマップ１２のいずれか一方を選択して入力する。セレクタ３０８は入力したデプスマップを補正対象ブロックの出力デプスマップ４６として出力する。
【０１０４】
図１６は、図１５のデプス補正装置の動作を例示する。図１６に例示する動作は、図１４に例示する動作のうちステップＳ１１４及びステップＳ１１６を図１０のステップＳ２１４及びステップＳ２１６に夫々置き換えることで実現できる。
【０１０５】
以上説明したように、第４の実施形態に係るデプス補正装置は、補正対象ブロックが補正に適しているか否かを判定し、第２の実施形態に係るデプス補正を適応的に実施する。従って、本実施形態に係るデプス補正装置によれば、過度な補正を回避しつつ第２の実施形態に係るデプス補正により主にオブジェクト輪郭付近の初期デプス値の誤差を低減させることができる。
【０１０６】
（第５の実施形態）
第５の実施形態に係るデプス補正装置は、図１７に示されるように、仮クラスタリング部１０１、画素値統計量算出部２０２及びデプス補正部５０４を含む。図１７のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ５６を得る。
【０１０７】
前述の第１乃至第４の実施形態に係るデプス補正装置は、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える補正を行う。しかしながら、他の方法によって補正対象画素のデプス値を補正することも可能である。
【０１０８】
デプス補正部５０４は、前述のデプス補正部２０４と同様に、補正対象ブロック内の補正対象画素の画素値と、各クラスの画素値統計量２４と、補正対象画素の周辺画素の画素値とに基づいて補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。そして、デプス補正部５０４は、例えば下記の数式（１８）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正する。
【数１８】
【０１０９】
ここで、Ｗ（ｉ）は、位置ベクトルｉの補正対象画素の周辺画素の位置ベクトルｊの集合を表す。数式（１８）のＮ（ＬＡＢＥＬ（ｉ））は、下記の数式（１９）で表される。
【数１９】
【０１１０】
或いは、デプス補正部５０４は、例えば下記の数式（２０）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正してもよい。数式（２０）によれば、画像の空間的連続性を更に反映したデプス補正が可能となる。
【数２０】
【０１１１】
数式（２０）のＮｓ（ＬＡＢＥＬ（ｉ））は、下記の数式（２１）で表される。
【数２１】
【０１１２】
図１８は、図１７のデプス補正装置の動作を例示する。図１８に例示する動作は、図１０に例示する動作からステップＳ１１５を除去し、ステップＳ１１６を後述するステップＳ５１６に置き換えることで実現できる。
【０１１３】
ステップＳ５１６において、デプス補正部５０４が補正対象ブロック内の各補正対象画素のデプス値を補正して、処理は終了する。前述のように、デプス補正部５０４は、画素値統計量２４に基づく各クラスの尤度に加えて周辺画素との空間的相関を考慮して補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。そして、デプス補正部５０４は、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する。
【０１１４】
以上説明したように、第５の実施形態に係るデプス補正装置は、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する。従って、本実施形態に係るデプス補正装置によれば、画像の空間的連続性を考慮した補正が可能となる。
【０１１５】
（第６の実施形態）
第６の実施形態に係るデプス補正装置は、図１９に示されるように、仮クラスタリング部６０１、画素値統計量算出部２０２、デプス補正部６０４、デプス値統計量算出部３０５及び処理切り替え部６０６を含む。図１９のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ６６を得る。
【０１１６】
処理切り替え部６０６は、前述の処理切り替え部３０６と同様に、デプス値統計量を所定の閾値と比較する。デプス値統計量が閾値以上であれば、処理切り替え部６０６はＮＯＴ＿ＴＨＲＯＵＧＨフラグを仮クラスタリング部６０１に入力する。一方、デプス値統計量が閾値未満であれば、処理切り替え部６０６はＴＨＲＯＵＧＨフラグを仮クラスタリング部６０１に入力する。
【０１１７】
仮クラスタリング部６０１は、処理切り替え部６０６からＮＯＴ＿ＴＨＲＯＵＧＨフラグが入力されると、前述の仮クラスタリング部１０１と同一または類似の仮クラスタリングを行う。一方、仮クラスタリング部６０１は、処理切り替え部６０６からＴＨＲＯＵＧＨフラグが入力されると、演算ブロック内の全画素にＴＨＲＯＵＧＨラベルを割り当てる。仮クラスタリング部６０１は、演算ブロック内の複数の画素に割り当てたラベル情報６３を画素値統計量算出部２０２及びデプス補正部６０４に通知する。
【０１１８】
デプス補正部６０４は、仮クラスタリングが行われていれば、前述のデプス補正部５０４と同様に、補正対象ブロック内の補正対象画素の画素値と、各クラスの画素値統計量２４と、補正対象画素の周辺画素の画素値とに基づいて補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。一方、デプス補正部６０４は、仮クラスタリングが行われていなければ（即ち、演算ブロック内の全画素にＴＨＲＯＵＧＨラベルが割り当てられていれば）、ラベル情報の更新を行わない。
【０１１９】
そして、デプス補正部６０４は、例えば下記の数式（２２）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正する。
【数２２】
【０１２０】
ここで、ｖは論理和を表す。数式（２２）のＮ’（ＬＡＢＥＬ（ｉ））は、下記の数式（２３）で表される。
【数２３】
【０１２１】
或いは、デプス補正部６０４は、例えば下記の数式（２４）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正してもよい。数式（２４）によれば、画像の空間的連続性をより反映したデプス補正が可能となる。
【数２４】
【０１２２】
数式（２４）のＮ’ｓ（ＬＡＢＥＬ（ｉ））は、下記の数式（２５）で表される。
【数２５】
【０１２３】
尚、デプス補正部６０４は、前述の数式（１８）または数式（２０）に従って補正を行ってもよい。また、デプス値補正部６０４は、仮クラスタリングが行われていない場合に（即ち、演算ブロック内の全画素にＴＨＲＯＵＧＨラベルが割り当てられている場合に）、デプス値の補正を省略してもよい。
【０１２４】
図２０は、図１９のデプス補正装置の動作を例示する。図２０に例示する動作は、図１６に例示する動作からステップＳ１１５を除去し、後述するステップＳ６１９を追加し、ステップＳ２１６を後述するステップＳ６１６に置き換えることで実現できる。
【０１２５】
処理切り替え部６０６は、ステップＳ３１７において算出されたデプス値統計量Ｖを所定の閾値ＴＨと比較する（ステップＳ３１８）。ＶがＴＨ未満であれば処理はステップＳ６１９へ進む。ＶがＴＨ以上であれば処理はステップＳ１１３へ進む。
ステップＳ６１９において、仮クラスタリング部６０１は演算ブロック内の全画素にＴＨＲＯＵＧＨラベルを割り当て、処理はステップＳ６１６へ進む。
【０１２６】
ステップＳ６１６において、デプス補正部６０４が補正対象ブロック内の各補正対象画素のデプス値を補正して、処理は終了する。前述のように、デプス補正部６０４は、ステップＳ２１４が実行されていれば、画素値統計量２４に基づく各クラスの尤度に加えて周辺画素との空間的相関を考慮して補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。一方、デプス補正部６０４は、ステップＳ６１９が実行されていれば、ラベル情報の更新を行わない。そして、デプス補正部６０４は、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する。
【０１２７】
以上説明したように、第６の実施形態に係るデプス補正装置は、第５の実施形態に係るデプス補正を適応的に実施する。従って、本実施形態に係るデプス補正装置によれば、過度な補正を回避しつつ第５の実施形態に係るデプス補正により主にデプス値のブロック歪を低減させることができる。
【０１２８】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れの形態であってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１２９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３０】
１１・・・２次元画像
１２・・・初期デプスマップ
１３，６３・・・ラベル情報
１４・・・代表画素値
１５・・・代表デプス値
１６，２６，５６，６６・・・補正デプスマップ
２４・・・画素値統計量
３６，４６・・・出力デプスマップ
１０１，６０１・・・仮クラスタリング部
１０２・・・代表画素値算出部
１０３・・・代表デプス値算出部
１０４，２０４，５０４，６０４・・・デプス補正部
２０２・・・画素値統計量算出部
３０５・・・デプス値統計量算出部
３０６，６０６・・・処理切り替え部
３０７，３０８・・・セレクタ
【技術分野】
【０００１】
実施形態は、デプスの補正に関する。
【背景技術】
【０００２】
２次元映像（静止画像または動画像）コンテンツに基づいて３次元映像コンテンツを作成する手法が提案されている。係る手法は、デプスマップを用いて２次元映像コンテンツに含まれる２次元画像から立体視のための視差画像を作成する。デプスマップは、２次元画像の各画素に割り当てられるデプス値を規定する。デプスマップは、２次元画像から自動的に推定されることもあれば、人間によって手動で作成されることもある。各画素の視差量は、幾何学的関係に従ってデプス値から一意に導出できる。係る手法は、２次元画像の各画素をその視差量に応じてワーピングさせて視差画像を作成する。
【０００３】
更に、３次元映像コンテンツの立体感の強弱を調整（即ち、デプス値のダイナミックレンジを拡大または縮小）する手法も提案されている。立体感を強調すると、３次元映像コンテンツがより迫力のあるものとなる。立体感を抑制すると、３次元映像コンテンツの視聴によるユーザの疲労を軽減できる。係る手法は、３次元映像コンテンツに含まれる３次元画像のデプスマップを例えばステレオマッチングによって推定する。そして、係る手法は、推定デプスマップに所望の調整を施してから視差画像を作成する。
【０００４】
推定により得られたデプスマップには、誤差が含まれる可能性がある。例えば、前景画素に背景用のデプス値が割り当てられたり、背景画素に前景用のデプス値が割り当てられたりすることがある。係る推定誤差が前景及び背景の境界付近（例えば、オブジェクト輪郭）で生じると、前景及び背景の境界線ががたついた視差画像が作成され、３次元画像の品質が劣化する。また、デプス値に誤差が含まれる可能性があるという点は、人間が手動でデプスマップを作成する場合も同じである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Om Prakash Gangwal etc. "Depth Map Post-Processing for 3D-TV", ICCE '09. Digest of Technical Papers International Conference
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、実施形態は、デプスマップを補正することを目的とする。
【課題を解決するための手段】
【０００７】
一実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第１の算出部と、各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出する第２の算出部とを含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値に置き換える補正を行う補正を含む。
【０００８】
他の実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する算出部を含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する補正部を含む。
【０００９】
他の実施形態によれば、デプス補正装置は、補正対象画素に対応する演算範囲内の複数の画素のデプス値の高周波成分の大きさを示すデプス値統計量を算出する第１の算出部を含む。デプス補正装置は、デプス値統計量が閾値以上であれば、演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部を含む。デプス補正装置は、各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第２の算出部を含む。デプス補正装置は、補正対象画素の画素値及び各クラスの画素値統計量に基づいて補正対象画素の対応クラスを判定し、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する補正部を含む。
【図面の簡単な説明】
【００１０】
【図１】デプス値の誤差の影響の説明図。
【図２】フィルタリング処理によって得られるデプスマップの説明図。
【図３】２次元画像における画素位置の説明図。
【図４】背景画素の視差ベクトルの説明図。
【図５】前景画素の視差ベクトルの説明図。
【図６】第１の実施形態に係るデプス補正装置を例示するブロック図。
【図７】図６のデプス補正装置の動作を例示するフローチャート。
【図８】図６のデプス補正装置の効果の説明図。
【図９】第２の実施形態に係るデプス補正装置を例示するブロック図。
【図１０】図９のデプス補正装置の動作を例示するフローチャート。
【図１１】グラフカット法の説明図。
【図１２】デプス値が緩やかに変化する初期デプスマップの説明図。
【図１３】第３の実施形態に係るデプス補正装置を例示するブロック図。
【図１４】図１３のデプス補正装置の動作を例示するフローチャート。
【図１５】第４の実施形態に係るデプス補正装置を例示するブロック図。
【図１６】図１５のデプス補正装置の動作を例示するフローチャート。
【図１７】第５の実施形態に係るデプス補正装置を例示するブロック図。
【図１８】図１７のデプス補正装置の動作を例示するフローチャート。
【図１９】第６の実施形態に係るデプス補正装置を例示するブロック図。
【図２０】図１９のデプス補正装置の動作を例示するフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態について説明する。尚、以降の説明において、既に説明済みの要素と同一または類似の要素には同一または類似の符号を付して示し、重複する説明は基本的に省略する。
【００１２】
各実施形態において、２次元画像１１は、図３に示されるように、水平方向及び垂直方向に配列された複数の画素（図３の丸印）を含む。特に断りの無い限り、各画素の位置ベクトルは（０，０）を始点とする（ｘ，ｙ）で表される。ｘ及びｙは水平方向座標及び垂直方向座標を夫々示す。また、ｘ及びｙはいずれも整数値であるとする。
【００１３】
各実施形態において、画素値（或いは、色情報と読み替えることもできる）とは、ＲＧＢ信号値の一部または全部、ＲＧＢ信号を変換したＹＵＶ信号のうちのＵＶ信号（色差信号）値またはＹ信号（輝度信号）値、均等色空間ＬＵＶ、Ｌａｂの信号値などを指す。但し、ここに列挙した色空間とは異なる色空間によって定義される信号値もまた画素値として扱われても勿論よい。
【００１４】
２次元画像１１の各画素の（初期）デプス値は、初期デプスマップ１２によって規定されている。ここで、各画素の視差量は、幾何学的関係に従ってデプス値から一意に導出できる。以下に図４及び図５を用いて説明するように、対象画素の視差量はデプス値から一意に導出できる。
【００１５】
図４及び図５において、点Ａは対象画素（図４の例では画面よりも奥側に配置される背景画素であり、図５の例では画面よりも手前側に配置される前景画素である）のデプス空間上の位置を表す。点Ｄ及び点Ｅを通る直線は表示デバイスの画面（の水平方向ライン）を表し、点Ｂは２次元画像１１の撮影位置（或いは、視点と読み替えてもよい）を表し、点Ｃは視差画像に対応する撮影位置を表す。点Ｄは２次元画像１１における対象画素の位置を表し、点Ｅは視差画像における対象画素の位置を表す。本例では、撮影位置間を結ぶ直線が、画面の水平方向ラインに対して平行であるという幾何学的関係を仮定する。故に、点Ｂ及び点Ｃを通る直線は、点Ｄ及び点Ｅを通る直線に対して平行である。Ｚｓは撮影位置から画面までの距離を表し、ｂは点Ｂと点Ｃとの間の距離を表す。
【００１６】
本例では、撮影位置（点Ｂまたは点Ｃ）から画面に向かって、画面の水平方向に直交するＺ軸が定義される。画面位置のＺ座標は零である。デプス値Ｚａは、Ｚ軸上で定義される。即ち、図４の例ではデプス値Ｚａは正の値であり、図５の例ではデプス値Ｚａは負の値である。更に、本例では、点Ｂから点Ｃに向かって、画面の水平方向に平行なＸ軸が定義される。点Ｄを始点とし、点Ｅを終点とするベクトルｄが視差ベクトルを表す。視差ベクトルｄの大きさが視差量である。図４の例では視差ベクトルｄは正方向であり、図５の例では視差ベクトルｄは負方向である。
【００１７】
前述の幾何学的関係によれば、図４において三角形ＡＤＥ及び三角形ＡＢＣは相似である。従って、｜ｄ｜：ｂ＝｜Ｚａ｜：｜Ｚａ｜＋Ｚｓが成立する。即ち、下記の数式（１）が導出される。
【数１】
【００１８】
また、図５においても三角形ＡＤＥ及び三角形ＡＢＣは相似である。従って、｜ｄ｜：ｂ＝｜Ｚａ｜：−｜Ｚａ｜＋Ｚｓが成立する。ここで、前述のＸ軸及びＺ軸の定義から、図４及び図５の両方について、下記の数式（２）が成立する。
【数２】
【００１９】
以上のように、デプス値Ｚａから視差ベクトルｄ（及び視差量）を一意に導出できる。また、数式（２）を変形すれば、視差ベクトルｄからデプス値Ｚａを一意に導出することもできる。従って、以降の説明において、視差ベクトル（或いはデプス値）についての記載は、デプス値（或いは視差ベクトル）についての記載として適宜読み替えることもできる。尚、上記説明において視差ベクトルの導出のために仮定した幾何学的関係は一例であり、他の幾何学的関係を仮定しても視差ベクトルはデプス値から一意に導出できる。
【００２０】
（第１の実施形態）
第１の実施形態に係るデプス補正装置は、図６に示されるように、仮クラスタリング部１０１、代表画素値算出部１０２、代表デプス値算出部１０３及びデプス補正部１０４を含む。図６のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ１６を得る。
【００２１】
初期デプスマップ１２において一部の画素に誤ったデプス値が割り当てられている可能性がある。図１には、前景画素ｆｇ０１，・・・，ｆｇ０５及び背景画素ｂｇ０１，・・・，ｂｇ０５が例示されている。前景画素ｆｇ０１，・・・，ｆｇ０５のうちｆｇ０３及びｆｇ０５には背景用のデプス値（即ち、背景用の視差ベクトル）が誤って割り当てられている。尚、図１において、実線矢印は前景用の視差ベクトルを表し、破線矢印は背景用の視差ベクトルを表す。従って、視差画像においてｆｇ０３及びｆｇ０５は誤った位置にワーピングされ、前景画素ｆｇ０１，・・・，ｆｇ０５及び背景画素ｂｇ０１，・・・，ｂｇ０５の境界ががたつく。図６のデプス補正装置は、初期デプスマップ１２におけるこのような推定誤差を補正する。
【００２２】
仮クラスタリング部１０１は、２次元画像１１及び初期デプスマップ１２を取得する。仮クラスタリング部１０１は、２次元画像１１のうち後述する演算ブロック内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、これら複数の画素をＫ個（Ｋは２以上の整数）のクラスに分類する。仮クラスタリング部１０１は、演算ブロック内の複数の画素の各々に所属クラスを示すラベル情報１３を付与する。仮クラスタリング部１０１は、このラベル情報１３を代表画素値算出部１０２及び代表デプス値算出部１０３に通知する。
【００２３】
２次元画像１１における１つまたは複数の画素が補正対象ブロックとして指定される。以降の説明において、補正対象ブロックは、ｍ×ｎサイズの矩形の画素集合（或いは一画素）である（ｍ≧１かつｎ≧１）。更に、この補正対象ブロックに対応する複数の画素が演算ブロックとして指定される。以降の説明において、演算ブロックはＭ×Ｎサイズの矩形の画素集合である（Ｍ≧１かつＮ≧１、但しＭ及びＮの少なくとも一方は２以上）。演算ブロックは、典型的には、補正対象ブロックを包含する。但し、演算ブロックは、必ずしも補正対象ブロックの全ての画素を包含しなくてもよい。また、説明の簡単化のために、矩形の画素集合（補正対象ブロック及び演算ブロック）を前提としているが、これらの画素集合の形状は矩形に限られず、任意の形状の補正対象範囲及び演算範囲として扱うことも可能である。
【００２４】
２次元画像１１中の全ての画素が少なくとも１度は補正対象ブロックに含まれるように補正対象ブロックを順次移動すれば、デプスマップの全体を補正することが可能である。尚、２次元画像１１中の部分領域（例えば、オブジェクトの境界付近など）に限ってデプスマップの補正を行っても勿論よい。係る場合には、当該部分領域中の全ての画素が少なくとも１度は補正対象ブロックに含まれるように補正対象ブロックを順次移動すればよい。
【００２５】
Ｋの値は、３以上でも勿論よいが、演算ブロックは２次元画像１１の内部の局所領域なので高々１つのオブジェクト輪郭を含む場合が多いと考えられる。従って、Ｋの値を２に設定することで、クラスタリングを容易にしながらも効果的な補正を期待できる。
【００２６】
Ｋ＝２の場合に、デプス値（或いは、輝度値などの１次元の画素値ベクトル）についてのクラスタリングは、例えば以下のように実現できる。
仮クラスタリング部１０１は、演算ブロック内の複数の画素のデプス値の平均値または中央値を算出する。仮クラスタリング部１０１は、算出した平均値または中央値を閾値として利用し、演算ブロック内の複数の画素をデプス値が閾値より大きいクラスとデプス値が閾値以下のクラスとに分類する。尚、閾値は、平均値または中央値に限られない。例えば、閾値は、演算ブロック内の複数の画素のデプス値の最大値と最小値との平均値（即ち、最大値及び最小値の和の１／２倍）であってもよい。
【００２７】
Ｋ≧３の場合、デプス値及び画素値の両方についてクラスタリングを行う場合、２成分以上の画素値についてクラスタリングを行う場合などには、仮クラスタリング部１０１は例えばＫ平均法を利用してもよい。以下、Ｋ平均法の概要を説明する。
【００２８】
以下の説明では、クラスタリングの対象となる画素ベクトルを規定する。画素ベクトルの要素は、デプス値及び画素値の少なくとも一方である。本例では、位置ベクトルｉで特定される画素の画素ベクトルを下記の数式（３）で定義する。
【数３】
【００２９】
また、数式（３）において、ｚ（ｉ）は位置ベクトルｉで特定される画素のデプス値を表し、Ｉ（ｉ）は位置ベクトルｉで特定される画素の画素値ベクトルを表す。Ｉ（ｉ）は、ＲＧＢ値を表すならば３次元ベクトルであるし、輝度値を表すならば１次元ベクトルである。尚、画素ベクトルを数式（３）とは異なるように定義したとしても、Ｋ平均法は適用可能である。例えば、数式（３）のうちデプス値ｚ（ｉ）または画素値ベクトルＩ（ｉ）を除去してもよい。
【００３０】
Ｋ平均法によるクラスタリングは、下記のステップ１、ステップ２及びステップ３で実現される。尚、簡単化のためにＫ＝２として説明するが、後述するようにＫを３以上に拡張することは可能である。
【００３１】
仮クラスタリング部１０１は、演算ブロック内の複数の画素の各々にいずれかのクラスのラベル情報を暫定的に割り当てる（ステップ１）。即ち、仮クラスタリング部１０１は、演算ブロック内の複数の画素について、ＬＡＢＥＬ（ｉ）＝ｋを暫定的に設定する（ｋ＝０，１，・・・，Ｋ−１）。ＬＡＢＥＬ（ｉ）は、位置ベクトルｉの画素に割り当てられているラベル情報を表す。尚、ステップ１において、いずれの画素にいずれのラベル情報を割り当てるかは任意であり、例えば任意の画素に無作為に選択したラベル情報を割り当てることができる。演算ブロック内の全ての画素にラベル情報が割り当てられると、処理はステップ２に進む。
【００３２】
ステップ２において、仮クラスタリング部１０１は、各クラスの重心ベクトルを計算する。具体的には、仮クラスタリング部１０１は、下記の数式（４）に従って、各クラスの重心ベクトルを計算する。全てのクラスの重心ベクトルが計算されると、処理はステップ３に進む。
【数４】
【００３３】
ここで、ｋ＿ｍｅａｎ（ｋ）は、ラベル情報（＝ｋ）の示すクラスの重心ベクトルを表す。Ｂｃ（ｋ）は、演算ブロック内でラベル情報（＝ｋ）が割り当てられた画素の集合を表す。Ｎ（ｋ）は、ラベル情報（＝ｋ）が割り当てられた画素の総数（即ち、Ｂｃ（ｋ）の要素の総数）を表す。
【００３４】
ステップ３において、仮クラスタリング部１０１は、演算ブロック内の複数の画素のラベルを画素ベクトルと各クラスの重心ベクトルとの間の距離に応じて再設定する。具体的には、仮クラスタリング部１０１は、演算ブロック内の複数の画素のラベル情報を下記の数式（５）に従って再設定する。
【数５】
【００３５】
尚、数式（５）では画素ベクトルと重心ベクトルとの間の距離をＬ２ノルムで評価しているが、Ｌ１ノルムで評価することもできる。
【００３６】
ラベル情報の再設定の結果、演算ブロック内の１つ以上の画素のラベル情報が変更されれば、処理はステップ２に戻る。一方、ラベル情報の再設定の結果、演算ブロック内の全ての画素のラベル情報が変更されずに維持されれば、処理は終了する（画素のラベル情報１３が確定する）。
【００３７】
尚、Ｋ平均法においてＫを３以上に拡張する場合には、前述のステップ１において単に３以上のラベルを割り当てればよい。或いは、Ｋ平均法に前述の２クラスへのクラスタリング手法を組み合わせてＫを拡張することも可能である。例えば、Ｋ平均法により複数のクラスに分類してから、各クラスの画素のデプス値（或いは、１次元の画素ベクトル）の平均値などを閾値として利用すれば、各クラスを更に２クラスに細分化することができる。更に、係る手法によれば、Ｋ平均法で分類されたクラスの総数を再帰的に２倍、４倍、８倍・・・（即ち、２の冪乗倍）に拡張できる。
【００３８】
代表画素値算出部１０２は、２次元画像１１及びラベル情報１３を取得する。代表画素値算出部１０２は、ラベル情報１３に従って、クラス毎に代表画素値１４を算出する。代表画素値算出部１０２は、各クラスの代表画素値１４をデプス補正部１０４に入力する。
【００３９】
具体的には、代表画素値算出部１０２は、下記の数式（６）または数式（７）に従って、演算ブロック内でラベル情報（＝ｋ）が割り当てられた画素の画素値を用いてラベル情報（＝ｋ）の示すクラスの代表画素値（ベクトル）Ｉｒ（ｋ）を算出する。
【数６】
【００４０】
【数７】
【００４１】
数式（６）によれば、ラベル情報（＝ｋ）が割り当てられた画素の画素値の平均値が代表画素値１４となる。数式（７）によれば、ラベル情報（＝ｋ）が割り当てられた画素の画素値の中央値が代表画素値１４となる。ここで、ｊは、ｉと同様に、画素の位置ベクトルを表す。尚、数式（７）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。
【００４２】
代表デプス値算出部１０３は、初期デプスマップ１２及びラベル情報１３を取得する。代表デプス値算出部１０３は、ラベル情報１３に従って、クラス毎に代表デプス値１５を算出する。代表デプス値算出部１０３は、各クラスの代表デプス値１５をデプス補正部１０４に入力する。
【００４３】
具体的には、代表デプス値算出部１０３は、下記の数式（８）または数式（９）に従って、演算ブロック内でラベル情報（＝ｋ）が割り当てられた画素のデプス値を用いてラベル情報（＝ｋ）の示すクラスの代表デプス値ｚｒ（ｋ）を算出する。
【数８】
【００４４】
【数９】
【００４５】
数式（８）によれば、ラベル情報（＝ｋ）が割り当てられた画素のデプス値の平均値が代表デプス値１５となる。数式（９）によれば、ラベル情報（＝ｋ）が割り当てられた画素のデプス値の中央値が代表デプス値１５となる。尚、数式（９）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。
【００４６】
デプス補正部１０４は、補正対象ブロック内の補正対象画素の画素値及び各クラスの代表画素値１４に基づいて、補正対象画素の対応クラスを判定する。尚、補正対象画素の対応クラスは、補正対象画素に割り当てられたラベル情報１３の示すクラスとは必ずしも一致しない。例えば、デプス補正部１０４は、補正対象画素の画素値と最も距離の小さい代表画素値１４を持つクラスを当該補正対象画素の対応クラスと判定する。デプス補正部１０４は、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。デプス補正部１０４は、補正対象ブロック内の全ての補正対象画素のデプス値をその対応クラスの代表デプス値１５に置き換えることにより、補正対象ブロックの補正デプスマップ１６を得る。
【００４７】
具体的には、デプス補正部１０４は、下記の数式（１０）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を対応クラスの代表デプス値１５に置き換える。
【数１０】
【００４８】
尚、数式（１０）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。デプス補正部１０４によって、補正対象ブロック内の補正対象画素のデプス値はいずれかのクラスの代表デプス値１５に補正される。
【００４９】
以下、図７を用いて図６のデプス補正装置の例示的な動作を説明する。図７の処理が開始すると、補正対象ブロックが設定され（ステップＳ１１１）、この補正対象ブロックに対応する演算ブロックが設定される（ステップＳ１１２）。ステップＳ１１１及びステップＳ１１２は、仮クラスタリング部１０１によって行われてもよいし、図示しない他の要素によって行われてもよい。
【００５０】
仮クラスタリング部１０１は、２次元入力画像１１及び初期デプスマップ１２を取得し、ステップＳ１１２において設定された演算ブロック内の複数の画素に仮クラスタリングを行う（ステップＳ１１３）。ステップＳ１１３の仮クラスタリングの結果、演算ブロック内の複数の画素には個別にラベル情報１３が割り当てられる。
【００５１】
代表画素値算出部１０２は、ステップＳ１１３において割り当てられたラベル情報１３に従って、各クラスの代表画素値１４を算出する（ステップＳ１１４）。一方、代表デプス値算出部１０３は、ステップＳ１１３において割り当てられたラベル情報１３に従って、各クラスの代表デプス値１５を算出する（ステップＳ１１５）。尚、ステップＳ１１４及びステップＳ１１５は、図７のように並行して実行されてもよいし、いずれか一方が他方よりも先に実行されてもよい。
【００５２】
ステップＳ１１４及びステップＳ１１５の後に、デプス補正部１０４が補正対象ブロック内の各補正対象画素のデプス値を補正して（ステップＳ１１６）、処理は終了する。前述のように、デプス補正部１０４は、補正対象ブロック内の補正対象画素の画素値及び各クラスの代表画素値１４に基づいて補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。
【００５３】
本実施形態に対する比較例として、Cross-Bilateralフィルタによるデプスマップの補正を想定する。Cross-Bilateralフィルタは、補正対象画素の周辺画素に重みを与え、デプス値の畳み込み演算を行う。各周辺画素に与えられる重みは、補正対象画素との間の画素値の差分及び補正対象画素からの空間的距離によって決まる。
【００５４】
図２には所定の範囲内の各画素の画素値（丸印）及び初期デプス値（四角印）が例示されている。尚、図２及び後述する他の図面では、簡単化のために画素位置を１次元で表現しているが、画素位置を２次元に拡張しても同様の議論が成り立つ。
【００５５】
図２において、画素ｐ＿ｘは、オブジェクト輪郭を隔てた画素に近い初期デプス値が割り当てられている。更に、画素ｐ＿ｘに隣接する画素ｐ＿（ｘ＋１）もまた、オブジェクト輪郭を隔てた画素に近い初期デプス値が割り当てられている。即ち、図２の例において、画素ｐ＿ｘ及び画素ｐ＿（ｘ＋１）の初期デプス値には誤差が含まれていると考えられる。
【００５６】
画素ｐ＿ｘの隣接画素ｐ＿（ｘ＋１）及びｐ＿（ｘ−１）は、補正対象画素ｐ＿ｘとの間の画素値差分及び補正対象画素ｐ＿ｘからの距離の両方が小さいので、共に大きな重みを与えられる。前述のように、隣接画素ｐ＿（ｘ＋１）の初期デプス値には誤差が含まれているので、画素ｐ＿ｘのフィルタリング後のデプス値にもこの誤差が残留することになる。従って、係る状況において、補正対象画素ｐ＿ｘにCross-Bilateralフィルタを適用しても、補正対象画素ｐ＿ｘの初期デプス値に含まれる誤差を大きく改善することは困難である。例えば、図２に示されるように、Cross-Bilateralフィルタを適用して得られるデプスマップmap_fは、所望のデプスマップmap_dから乖離してしまう。ここで、所望のデプスマップmap_dは、オブジェクト輪郭に沿ってデプス値が変化するデプスマップを意味している。
【００５７】
図８には、図２と同じ範囲内の各画素の画素値及び初期デプス値が例示されている。仮クラスタリング部１０１は、クラスタリングを行って、各画素にクラス０１またはクラス０２を示すラベル情報１３を割り当てる。代表画素値算出部１０２はクラス０１及びクラス０２の代表画素値１４を夫々算出し、代表デプス値算出部１０３はクラス０１及びクラス０２の代表デプス値１５を夫々算出する。前述のように、補正対象画素ｐ＿ｘのデプス値には誤差が含まれている。しかしながら、補正対象画素ｐ＿ｘの画素値は、クラス０２の代表画素値１４よりもクラス０１の代表画素値１４に近い。故に、デプス補正部１０４は補正対象画素ｐ＿ｘのデプス値をクラス０１の代表デプス値１５に置き換えるので、補正対象画素値ｐ＿ｘのデプス値の誤差が低減する。即ち、図６のデプス補正装置によれば、所望のデプスマップmap_dに近い補正デプスマップ１６を得ることができる。
【００５８】
以上説明したように、第１の実施形態に係るデプス補正装置は、補正対象画素の画素値と最も近い代表画素値を持つクラスの代表デプス値によって補正対象画素のデプス値を置き換える。従って、本実施形態に係るデプス補正装置によれば、オブジェクト輪郭付近にある補正対象画素の初期デプス値に誤差が含まれている場合であっても、この誤差を低減させて３次元画像の品質を向上させることができる。
【００５９】
尚、補正対象ブロックを順次処理するときに、補正済みの画素が演算ブロックに含まれることがある。係る場合に、補正済みのデプス値を使用してもよいし、補正前の（初期）デプス値を使用してもよい。前者によれば、初期デプスマップ１２の中の局所領域が順次更新される。後者によれば、初期デプスマップ１２とは別に出力用の補正デプスマップ１６が保持される。
【００６０】
また、同一の画素が補正対象ブロックに複数回含まれてもよい（即ち、同一の画素のデプス値が複数回に亘って補正されてもよい）。複数回の補正を行う場合には、前回の補正デプスマップ１６が初期デプスマップ１２として入力されることになる。複数回の補正を行う場合に、補正対象ブロックまたは演算ブロックのサイズを順次変更したり、Ｋの値を順次変更したりしてもよい。
【００６１】
（第２の実施形態）
第２の実施形態に係るデプス補正装置は、図９に示されるように、仮クラスタリング部１０１、画素値統計量算出部２０２、代表デプス値算出部１０３及びデプス補正部２０４を含む。図９のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ２６を得る。
【００６２】
仮クラスタリング部１０１は、第１の実施形態と同様に、演算ブロック内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、これら複数の画素をＫ個のクラスに分類する。仮クラスタリング部１０１は、演算ブロック内の複数の画素の各々に所属クラスを示すラベル情報１３を付与する。仮クラスタリング部１０１は、このラベル情報１３を画素値統計量算出部２０２、代表デプス値算出部１０３及びデプス補正部２０４に通知する。
【００６３】
画素値統計量算出部２０２は、ラベル情報１３に従って、クラス毎に画素値統計量２４を算出する。画素値統計量算出部２０２は、各クラスの画素値統計量２４をデプス補正部２０４に入力する。ここで、画素値統計量２４は、各クラスの画素値を統計的に分析して算出される値である。従って、前述の代表画素値１４もまた画素値統計量２４の一種とみなすことができる。以降の説明では、画素値統計量２４として各クラスの画素値のヒストグラムを用いる。
【００６４】
画素値統計量算出部２０２は、各クラスに属する画素の画素値の分布に忠実なヒストグラムを作成してもよいし、各クラスに属する画素の画素値の分布を下記の数式（１１）に従って正規分布に近似してもよい。
【数１１】
【００６５】
数式（１１）において、ｍは画素値ベクトルＩの次元数を表し、μｋはラベル情報（＝ｋ）の示すクラスに属する画素の画素値の平均値ベクトルを表し、Ｓｋはラベル情報（＝ｋ）の示すクラスに属する画素の画素値の分散共分散行列を表す。また、Ｔはベクトルの転置を意味する記号であり、−１は逆行列を意味する記号である。
【００６６】
デプス補正部２０４は、補正対象ブロック内の補正対象画素の画素値と、各クラスの画素値統計量２４と、補正対象画素の周辺画素の画素値とに基づいて補正対象画素の対応クラスを判定する。デプス補正部２０４は、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。デプス補正部２０４は、補正対象ブロック内の全ての補正対象画素のデプス値をその対応クラスの代表デプス値１５に置き換えることにより、補正対象ブロックの補正デプスマップ２６を得る。
【００６７】
前述のデプス補正部１０４は、補正対象画素の対応クラスの判定において、補正対象画素と周辺画素との間の画素値の空間的相関を考慮していない。しかしながら、通常、２次元画像１１には画素値の空間的連続性があることが知られている。従って、補正対象画素と周辺画素との間の画素値の空間的相関を考慮することで、例えばオブジェクト輪郭の判定精度が向上すると考えられる。
【００６８】
具体的には、デプス補正部２０４は、下記の数式（１２）に示すエネルギー関数Ｅを最小化するｋの組み合わせ（即ち、演算ブロック内の各画素の対応クラスの組み合わせ）を導出する。
【数１２】
【００６９】
ここで、ｇ（ｊ，ｋ）はラベル情報（＝ｋ）の示すクラスが位置ベクトルｊで特定される補正対象画素の対応クラスであることの（対数）尤度を補正対象画素の画素値及び各クラスの画素値統計量２４によって評価する関数である。尤度関数ｇ（ｊ，ｋ）は、尤度が高いほど小さな値を示す。ｅ（ｊ，ｌ）は位置ベクトルｊの補正対象画素と位置ベクトルｌの周辺画素との間の画素値の空間的相関を表す関数である。相関関数ｅ（ｊ，ｌ）は、空間的相関が大きいほど小さな値を示す。Ω（ｊ）は、位置ベクトルｊで特定される補正対象画素の周辺画素の位置ベクトルｌの集合を表す。
【００７０】
画素値統計量２４が各クラスに属する画素の画素値のヒストグラムであるならば、尤度関数ｇ（ｊ，ｋ）は例えば下記の数式（１３）で導出される。
【数１３】
【００７１】
ここで、ｈ（ｋ，Ｉ）はラベル情報（＝ｋ）の示すクラスに属する画素の画素値のヒストグラムを表す。ｈ（ｋ，Ｉ（ｊ））はこのヒストグラムｈ（ｋ，Ｉ）における画素値Ｉ（ｊ）の度数を表す。
【００７２】
また、画素値統計量２４が上記の数式（１１）によって計算された正規分布であるならば、尤度関数ｇ（ｊ，ｋ）は例えば下記の数式（１４）で導出される。
【数１４】
【００７３】
相関関数ｅ（ｊ，ｌ）は、例えば下記の数式（１５）で導出される。
【数１５】
【００７４】
尚、数式（１５）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。ここで、［論理式？］は、論理式が成立すれば「１」を返し、成立しなければ「０」を返す関数である。γは、経験的に定めることのできる正の係数を表し、例えば「１０」に設定される。βは、正の係数を表し、例えば補正対象画素及び周辺画素の画素値の分散に設定される。ｄｉｓ（ｊ，ｌ）は、位置ベクトルｊの補正対象画素と位置ベクトルｌの周辺画素との間の空間的距離（例えば、ユークリッド距離）を表す。
【００７５】
即ち、位置ベクトルｊの補正対象画素及び位置ベクトルｌの周辺画素に割り当てられたラベル情報１３が一致すれば、相関関数ｅ（ｊ，ｌ）は「０」となる。一方、両者が一致しなければ、補正対象画素及び周辺画素の間の画素値差分及び空間的距離が小さいほど相関関数ｅ（ｊ，ｌ）は小さな値となる。
【００７６】
デプス補正部２０４は、グラフカット法と呼ばれるアルゴリズムを利用してエネルギー関数Ｅの最小化問題を解くことができる。尚、デプス補正部２０４は、信念伝搬法(Belief Propagation)などの他のアルゴリズムを利用してエネルギー関数Ｅの最小化問題を解いてもよい。以下、図１１を用いてグラフカット法の概要を説明する。
【００７７】
以下の説明では、簡単化のためにＫ＝２とするが、Ｋを３以上に拡張しても同様の議論が成り立つ。図１１において、クラス判定のためのノードがＳ及びＴで表される。また、隣接して一列に配列される４つの画素（位置ベクトルは、ｊ、ｊ＋１、ｊ＋２及びｊ＋３）を示す画素ノードが、ｊ、ｊ＋１、ｊ＋２及びｊ＋３で表される。各画素ノードとノードＳ及びＴとの間は夫々エッジで結ばれる。画素ノードｊとノードＳ及びノードＴとの間のエッジの重み（或いは、コストと読み替えることもできる）ｃ（Ｓ，ｊ）及びｃ（Ｔ，ｊ）は、下記の数式（１６）で夫々規定される。
【数１６】
【００７８】
更に、隣接する画素ノードの間もエッジで結ばれる。画素ノードｊと画素ノードｊ＋１との間のエッジの重みｃ（ｊ，ｊ＋１）は、下記の数式（１７）で規定される。
【数１７】
【００７９】
尚、数式（１７）は、上記の数式（１５）においてｌ＝ｊ＋１、ＬＡＢＥＬ（ｊ）≠ＬＡＢＥＬ（ｌ）と設定した場合に相当する。数式（１７）において、Ｌ２ノルムに代えてＬ１ノルムを用いても勿論よい。デプス補正部２０４は、各エッジの重みを算出したうえで、最大流最小切断問題を解く。最大流最小切断問題を解くと、各画素ノードとノードＳ及びノードＴのうちの一方との間のエッジが切断される（図１１の破線を参照）。画素ノードとノードＴとの間のエッジが切断されれば（即ち、画素ノードとノードＳとの間のエッジが維持されれば）、デプス補正部２０４はｋ＝０のクラスを当該画素ノードの示す補正対象画素の対応クラスと判定する。一方、画素ノードとノードＳとの間のエッジが切断されれば（即ち、画素ノードとノードＴとの間のエッジが維持されれば）、デプス補正部２０４はｋ＝１のクラスを当該画素ノードの示す補正対象画素の対応クラスと判定する。図１１の例では、ｋ＝０のクラスが位置ベクトルｊ＋２の補正対象画素の対応クラスと判定され、ｋ＝１のクラスが位置ベクトルｊ、ｊ＋１及びｊ＋３の補正対象画素の対応クラスと判定される。
【００８０】
図１０は、図９のデプス補正装置の動作を例示する。図１０に例示する動作は、図７に例示する動作のうちステップＳ１１４及びステップＳ１１６を後述するステップＳ２１４及びステップＳ２１６に夫々置き換えることで実現できる。
【００８１】
ステップＳ２１４において、画素値統計量算出部２０２は、ステップＳ１１３において割り当てられたラベル情報１３に従って、各クラスの画素値統計量２４を算出する。このステップＳ２１４及び前述のステップＳ１１５の後に、処理はステップＳ２１６に進む。
【００８２】
ステップＳ２１６においてデプス補正部２０４が補正対象ブロック内の各補正対象画素のデプス値を補正して、処理は終了する。前述のように、デプス補正部２０４は、画素値統計量２４に基づく各クラスの尤度に加えて周辺画素との空間的相関を考慮して補正対象画素の対応クラスを判定し、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える。
【００８３】
以上説明したように、第２の実施形態に係るデプス補正装置は、画素値統計量に基づく各クラスの尤度に加えて補正対象画素と周辺画素との間の空間的相関を考慮して補正対象画素の対応クラスを判定する。従って、本実施形態に係るデプス補正装置によれば、２次元画像における画素値の空間的連続性を利用した効果的なデプス補正が可能となる。
【００８４】
（第３の実施形態）
第３の実施形態に係るデプス補正装置は、図１３に示されるように、仮クラスタリング部１０１、代表画素値算出部１０２、代表デプス値算出部１０３、デプス補正部１０４、デプス値統計量算出部３０５、処理切り替え部３０６、セレクタ３０７及びスイッチ３０８を含む。図１３のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、出力デプスマップ３６を得る。
【００８５】
前述の第１の実施形態に係るデプス補正は、演算ブロックにオブジェクト輪郭が含まれる場合に効果的である。一方、演算ブロックにおいてデプス値が滑らかに変化している場合に、係るデプス補正は必ずしも適さない。
【００８６】
例えば、図１２に示される初期デプスマップでは、各画素のデプス値（四角印で表示）は破線で示すように滑らかに変化している。第１の実施形態に係るデプス補正によれば、係る初期デプスマップは階段状のデプスマップmap_cに補正される。この補正デプスマップmap_cは、デプス値のマッハバンドを招き、３次元画像の品質を却って劣化させるおそれがある。本実施形態は、第１の実施形態に係るデプス補正を適応的に実施することで、過度な補正を回避しつつオブジェクト輪郭付近の初期デプス値の誤差を低減させる。
【００８７】
デプス値統計量算出部３０５は、初期デプスマップ１２を取得し、演算ブロック内の画素のデプス値統計量を算出する。デプス値統計量算出部３０５は、デプス値統計量を処理切り替え部３０６に入力する。デプス値統計量は、演算ブロック内の画素の高周波成分の大きさを示す指標である。
【００８８】
デプス値統計量は、例えば演算ブロック内の画素のデプス値の標本分散であってもよい。また、デプス値統計量は、演算ブロック内の画素のデプス値にハイパスフィルタ処理を適用して得られる高周波成分値（出力信号値）の系列でもよい（或いは、係る系列の総和、平均値、中央値などでもよいし、係る系列のうち所定の閾値を超える高周波成分値の割合などであってもよい）。また、デプス値統計量は、演算ブロック内の画素のデプス値にＤＣＴ（離散コサイン変換）などを施して得られる高周波成分値であってもよい。
【００８９】
演算ブロック内の画素のデプス値の高周波成分が大きいことは、当該演算ブロック内の画素のデプス値の変化が激しいことを意味する。即ち、係る演算ブロックは、オブジェクト輪郭（或いは、エッジと読み替えることもできる）を含む可能性が高い。故に、係る演算ブロックにデプス補正を適用することで初期デプス値の誤差が効果的に低減すると予想される。
【００９０】
一方、演算ブロック内の画素のデプス値の高周波成分が小さいことは、当該演算ブロック内の画素のデプス値の変化が緩やかであることを意味する。即ち、係る演算ブロックは、オブジェクト輪郭を含まない可能性が高い。故に、係る演算ブロックにデプス補正を適用すると、滑らかな初期デプス値の変化が階段状に補正され、マッハバンドが生じるおそれがある。
【００９１】
処理切り替え部３０６は、デプス値統計量算出部３０５からのデプス値統計量に応じてセレクタ３０７の出力及びセレクタ３０８の入力を制御する。例えば、処理切り替え部３０６は、デプス値統計量を所定の閾値と比較する。デプス値統計量が閾値以上であれば、処理切り替え部３０６は、セレクタ３０７に初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部１０４へ出力させると共に、セレクタ３０８にデプス補正部１０４からの補正デプスマップ１６を入力させる。一方、デプス値統計量が閾値未満であれば、処理切り替え部３０６は、セレクタ３０７に初期デプスマップ１２をセレクタ３０８へ出力させると共に、セレクタ３０８にセレクタ３０７からの初期デプスマップ１２を入力させる。
【００９２】
セレクタ３０７は、処理切り替え部３０６からの制御に応じて、初期デプスマップ１２の出力先を選択する。セレクタ３０７が初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部１０４へ出力すると、補正対象ブロックに対して第１の実施形態に係るデプス補正が行われる。一方、セレクタ３０７が初期デプスマップ１２をセレクタ３０８へ出力すると、補正対象ブロックのデプス補正が省略される。
【００９３】
セレクタ３０８は、処理切り替え部３０６からの制御に応じて、補正デプスマップ１６及び初期デプスマップ１２のいずれか一方を選択して入力する。セレクタ３０８は入力したデプスマップを補正対象ブロックの出力デプスマップ３６として出力する。
【００９４】
図１４は、図１３のデプス補正装置の動作を例示する。図１４に例示する動作は、図７に例示する動作に後述するステップＳ３１７及びステップＳ３１８を追加することで実現できる。
【００９５】
ステップＳ１１１及びステップＳ１１２の終了後、処理はステップＳ３１７に進む。ステップＳ３１７において、デプス値統計量算出部３０５は、初期デプスマップ１２を取得し、演算ブロック内の画素のデプス値統計量Ｖを算出する。前述のように、デプス値統計量Ｖは、演算ブロック内の画素のデプス値の標本分散など、演算ブロック内の画素のデプス値の高周波成分の大きさを表す指標である。
【００９６】
処理切り替え部３０６は、ステップＳ３１７において算出されたデプス値統計量Ｖを所定の閾値ＴＨと比較する（ステップＳ３１８）。ＶがＴＨ未満であればデプス補正が省略されて処理は終了する。ＶがＴＨ以上であればデプス補正が有効となり、処理はステップＳ１１３へ進む。
【００９７】
以上説明したように、第３の実施形態に係るデプス補正装置は、補正対象ブロックが補正に適しているか否かを判定し、第１の実施形態に係るデプス補正を適応的に実施する。従って、本実施形態に係るデプス補正装置によれば、過度な補正を回避しつつ第１の実施形態に係るデプス補正により主にオブジェクト輪郭付近の初期デプス値の誤差を低減させることができる。
【００９８】
尚、本実施形態ではデプス値統計量が利用されているが、演算領域がオブジェクト輪郭を含むか否か（或いは、デプス値の変化が滑らかな領域であるか否か）を判定するための指標はこれに限られない。従って、デプス値統計量算出部３０５は、初期デプスマップ１２または２次元画像１１に基づいて係る指標を算出する機能部として適宜読み替えられてもよい。
【００９９】
（第４の実施形態）
第４の実施形態に係るデプス補正装置は、図１５に示されるように、仮クラスタリング部１０１、画素値統計量算出部２０２、代表デプス値算出部１０３、デプス補正部２０４、デプス値統計量算出部３０５、処理切り替え部３０６、セレクタ３０７及びセレクタ３０８を含む。図１５のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、出力デプスマップ４６を得る。
【０１００】
前述の第２の実施形態に係るデプス補正は、第１の実施形態に係るデプス補正と同様に、演算ブロックにオブジェクト輪郭が含まれる場合に効果的である。一方、演算ブロックにおいてデプス値が滑らかに変化する場合に、係るデプス補正は必ずしも適さない。即ち、第２の実施形態に係るデプス補正もまた、場合によっては、デプス値のマッハバンドを招き、３次元画像の品質を却って劣化させるおそれがある。本実施形態は、第２の実施形態に係るデプス補正を適応的に実施することで、過度な補正を回避しつつオブジェクト輪郭付近の初期デプス値の誤差を低減させる。
【０１０１】
処理切り替え部３０６は、第３の実施形態と同様に、デプス値統計量算出部３０５からのデプス値統計量に応じてセレクタ３０７の出力及びセレクタ３０８の出力を制御する。例えば、処理切り替え部３０６は、デプス値統計量を所定の閾値と比較する。デプス値統計量が閾値以上であれば、処理切り替え部３０６は、セレクタ３０７に初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部２０４へ出力させると共に、セレクタ３０８にデプス補正部２０４からの補正デプスマップ２６を入力させる。
【０１０２】
セレクタ３０７は、第３の実施形態と同様に、処理切り替え部３０６からの制御に応じて、初期デプスマップ１２の出力先を選択する。セレクタ３０７が初期デプスマップ１２を仮クラスタリング部１０１、代表デプス値算出部１０３及びデプス補正部２０４へ出力すると、補正対象ブロックに対して第２の実施形態に係るデプス補正が行われる。
【０１０３】
セレクタ３０８は、第３の実施形態と同様に、処理切り替え部３０６からの制御に応じて、補正デプスマップ２６及び初期デプスマップ１２のいずれか一方を選択して入力する。セレクタ３０８は入力したデプスマップを補正対象ブロックの出力デプスマップ４６として出力する。
【０１０４】
図１６は、図１５のデプス補正装置の動作を例示する。図１６に例示する動作は、図１４に例示する動作のうちステップＳ１１４及びステップＳ１１６を図１０のステップＳ２１４及びステップＳ２１６に夫々置き換えることで実現できる。
【０１０５】
以上説明したように、第４の実施形態に係るデプス補正装置は、補正対象ブロックが補正に適しているか否かを判定し、第２の実施形態に係るデプス補正を適応的に実施する。従って、本実施形態に係るデプス補正装置によれば、過度な補正を回避しつつ第２の実施形態に係るデプス補正により主にオブジェクト輪郭付近の初期デプス値の誤差を低減させることができる。
【０１０６】
（第５の実施形態）
第５の実施形態に係るデプス補正装置は、図１７に示されるように、仮クラスタリング部１０１、画素値統計量算出部２０２及びデプス補正部５０４を含む。図１７のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ５６を得る。
【０１０７】
前述の第１乃至第４の実施形態に係るデプス補正装置は、補正対象画素のデプス値を対応クラスの代表デプス値１５に置き換える補正を行う。しかしながら、他の方法によって補正対象画素のデプス値を補正することも可能である。
【０１０８】
デプス補正部５０４は、前述のデプス補正部２０４と同様に、補正対象ブロック内の補正対象画素の画素値と、各クラスの画素値統計量２４と、補正対象画素の周辺画素の画素値とに基づいて補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。そして、デプス補正部５０４は、例えば下記の数式（１８）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正する。
【数１８】
【０１０９】
ここで、Ｗ（ｉ）は、位置ベクトルｉの補正対象画素の周辺画素の位置ベクトルｊの集合を表す。数式（１８）のＮ（ＬＡＢＥＬ（ｉ））は、下記の数式（１９）で表される。
【数１９】
【０１１０】
或いは、デプス補正部５０４は、例えば下記の数式（２０）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正してもよい。数式（２０）によれば、画像の空間的連続性を更に反映したデプス補正が可能となる。
【数２０】
【０１１１】
数式（２０）のＮｓ（ＬＡＢＥＬ（ｉ））は、下記の数式（２１）で表される。
【数２１】
【０１１２】
図１８は、図１７のデプス補正装置の動作を例示する。図１８に例示する動作は、図１０に例示する動作からステップＳ１１５を除去し、ステップＳ１１６を後述するステップＳ５１６に置き換えることで実現できる。
【０１１３】
ステップＳ５１６において、デプス補正部５０４が補正対象ブロック内の各補正対象画素のデプス値を補正して、処理は終了する。前述のように、デプス補正部５０４は、画素値統計量２４に基づく各クラスの尤度に加えて周辺画素との空間的相関を考慮して補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。そして、デプス補正部５０４は、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する。
【０１１４】
以上説明したように、第５の実施形態に係るデプス補正装置は、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する。従って、本実施形態に係るデプス補正装置によれば、画像の空間的連続性を考慮した補正が可能となる。
【０１１５】
（第６の実施形態）
第６の実施形態に係るデプス補正装置は、図１９に示されるように、仮クラスタリング部６０１、画素値統計量算出部２０２、デプス補正部６０４、デプス値統計量算出部３０５及び処理切り替え部６０６を含む。図１９のデプス補正装置は、２次元画像１１と、２次元画像１１の各画素の（初期）デプス値を規定する初期デプスマップ１２とを入力し、補正デプスマップ６６を得る。
【０１１６】
処理切り替え部６０６は、前述の処理切り替え部３０６と同様に、デプス値統計量を所定の閾値と比較する。デプス値統計量が閾値以上であれば、処理切り替え部６０６はＮＯＴ＿ＴＨＲＯＵＧＨフラグを仮クラスタリング部６０１に入力する。一方、デプス値統計量が閾値未満であれば、処理切り替え部６０６はＴＨＲＯＵＧＨフラグを仮クラスタリング部６０１に入力する。
【０１１７】
仮クラスタリング部６０１は、処理切り替え部６０６からＮＯＴ＿ＴＨＲＯＵＧＨフラグが入力されると、前述の仮クラスタリング部１０１と同一または類似の仮クラスタリングを行う。一方、仮クラスタリング部６０１は、処理切り替え部６０６からＴＨＲＯＵＧＨフラグが入力されると、演算ブロック内の全画素にＴＨＲＯＵＧＨラベルを割り当てる。仮クラスタリング部６０１は、演算ブロック内の複数の画素に割り当てたラベル情報６３を画素値統計量算出部２０２及びデプス補正部６０４に通知する。
【０１１８】
デプス補正部６０４は、仮クラスタリングが行われていれば、前述のデプス補正部５０４と同様に、補正対象ブロック内の補正対象画素の画素値と、各クラスの画素値統計量２４と、補正対象画素の周辺画素の画素値とに基づいて補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。一方、デプス補正部６０４は、仮クラスタリングが行われていなければ（即ち、演算ブロック内の全画素にＴＨＲＯＵＧＨラベルが割り当てられていれば）、ラベル情報の更新を行わない。
【０１１９】
そして、デプス補正部６０４は、例えば下記の数式（２２）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正する。
【数２２】
【０１２０】
ここで、ｖは論理和を表す。数式（２２）のＮ’（ＬＡＢＥＬ（ｉ））は、下記の数式（２３）で表される。
【数２３】
【０１２１】
或いは、デプス補正部６０４は、例えば下記の数式（２４）に従って、位置ベクトルｉの補正対象画素のデプス値ｚ（ｉ）を補正してもよい。数式（２４）によれば、画像の空間的連続性をより反映したデプス補正が可能となる。
【数２４】
【０１２２】
数式（２４）のＮ’ｓ（ＬＡＢＥＬ（ｉ））は、下記の数式（２５）で表される。
【数２５】
【０１２３】
尚、デプス補正部６０４は、前述の数式（１８）または数式（２０）に従って補正を行ってもよい。また、デプス値補正部６０４は、仮クラスタリングが行われていない場合に（即ち、演算ブロック内の全画素にＴＨＲＯＵＧＨラベルが割り当てられている場合に）、デプス値の補正を省略してもよい。
【０１２４】
図２０は、図１９のデプス補正装置の動作を例示する。図２０に例示する動作は、図１６に例示する動作からステップＳ１１５を除去し、後述するステップＳ６１９を追加し、ステップＳ２１６を後述するステップＳ６１６に置き換えることで実現できる。
【０１２５】
処理切り替え部６０６は、ステップＳ３１７において算出されたデプス値統計量Ｖを所定の閾値ＴＨと比較する（ステップＳ３１８）。ＶがＴＨ未満であれば処理はステップＳ６１９へ進む。ＶがＴＨ以上であれば処理はステップＳ１１３へ進む。
ステップＳ６１９において、仮クラスタリング部６０１は演算ブロック内の全画素にＴＨＲＯＵＧＨラベルを割り当て、処理はステップＳ６１６へ進む。
【０１２６】
ステップＳ６１６において、デプス補正部６０４が補正対象ブロック内の各補正対象画素のデプス値を補正して、処理は終了する。前述のように、デプス補正部６０４は、ステップＳ２１４が実行されていれば、画素値統計量２４に基づく各クラスの尤度に加えて周辺画素との空間的相関を考慮して補正対象画素の対応クラスを判定し、補正対象画素のラベル情報を更新する。一方、デプス補正部６０４は、ステップＳ６１９が実行されていれば、ラベル情報の更新を行わない。そして、デプス補正部６０４は、補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて補正対象画素のデプス値を補正する。
【０１２７】
以上説明したように、第６の実施形態に係るデプス補正装置は、第５の実施形態に係るデプス補正を適応的に実施する。従って、本実施形態に係るデプス補正装置によれば、過度な補正を回避しつつ第５の実施形態に係るデプス補正により主にデプス値のブロック歪を低減させることができる。
【０１２８】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れの形態であってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１２９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３０】
１１・・・２次元画像
１２・・・初期デプスマップ
１３，６３・・・ラベル情報
１４・・・代表画素値
１５・・・代表デプス値
１６，２６，５６，６６・・・補正デプスマップ
２４・・・画素値統計量
３６，４６・・・出力デプスマップ
１０１，６０１・・・仮クラスタリング部
１０２・・・代表画素値算出部
１０３・・・代表デプス値算出部
１０４，２０４，５０４，６０４・・・デプス補正部
２０２・・・画素値統計量算出部
３０５・・・デプス値統計量算出部
３０６，６０６・・・処理切り替え部
３０７，３０８・・・セレクタ
【特許請求の範囲】
【請求項１】
補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部と、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第１の算出部と、
各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出する第２の算出部と、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素のデプス値を前記対応クラスの代表デプス値に置き換える補正を行う補正部と
を具備する、デプス補正装置。
【請求項２】
前記各クラスの画素値統計量は、前記各クラスの代表画素値であり、
前記補正部は、前記補正対象画素の画素値との間の距離の最も小さい代表画素値を持つクラスを前記対応クラスと判定する、
請求項１のデプス補正装置。
【請求項３】
前記距離は、前記補正対象画素の画素値との間の画素値の差分の絶対値である、請求項２のデプス補正装置。
【請求項４】
前記代表画素値は、クラス内の画素の画素値の平均値である、請求項２のデプス補正装置。
【請求項５】
前記補正部は、前記各クラスの画素値統計量及び前記補正対象画素の画素値によって評価される各クラスの尤度と、前記補正対象画素と前記補正対象画素の周辺画素との間の空間的相関とに基づいて前記対応クラスを判定する、請求項１のデプス補正装置。
【請求項６】
前記演算範囲内の複数の画素のデプス値の高周波成分の大きさを示すデプス値統計量を算出する第３の算出部と、
前記デプス値統計量が閾値未満であれば、前記補正対象画素のデプス値の補正を省略させるように処理を切り替える切り替え部と
を更に具備する、請求項１のデプス補正装置。
【請求項７】
前記デプス値統計量は、前記演算範囲内の複数の画素のデプス値の標本分散である、請求項６のデプス補正装置。
【請求項８】
前記補正対象画素のデプス値は複数回に亘って補正される、請求項１のデプス補正装置。
【請求項９】
前記クラスタリング部は、前記演算範囲内の複数の画素のデプス値から閾値を算出し、前記閾値よりも大きいデプス値を持つ画素を第１のクラスに分類し、前記閾値以下のデプス値を持つ画素を第２のクラスに分類する、請求項１のデプス補正装置。
【請求項１０】
前記代表デプス値は、クラス内の画素のデプス値の平均値である、請求項１のデプス補正装置。
【請求項１１】
前記代表デプス値は、クラス内の画素のデプス値の中央値である、請求項１のデプス補正装置。
【請求項１２】
補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部と、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する算出部と、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて前記補正対象画素のデプス値を補正する補正部と
を具備する、デプス補正装置。
【請求項１３】
補正対象画素に対応する演算範囲内の複数の画素のデプス値の高周波成分の大きさを示すデプス値統計量を算出する第１の算出部と、
前記デプス値統計量が閾値以上であれば、前記演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部と、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第２の算出部と、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて前記補正対象画素のデプス値を補正する補正部と
を具備する、デプス補正装置。
【請求項１４】
補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類することと、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出することと、
各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出することと、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素のデプス値を前記対応クラスの代表デプス値に置き換える補正を行うことと
を具備する、デプス補正方法。
【請求項１】
補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部と、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第１の算出部と、
各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出する第２の算出部と、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素のデプス値を前記対応クラスの代表デプス値に置き換える補正を行う補正部と
を具備する、デプス補正装置。
【請求項２】
前記各クラスの画素値統計量は、前記各クラスの代表画素値であり、
前記補正部は、前記補正対象画素の画素値との間の距離の最も小さい代表画素値を持つクラスを前記対応クラスと判定する、
請求項１のデプス補正装置。
【請求項３】
前記距離は、前記補正対象画素の画素値との間の画素値の差分の絶対値である、請求項２のデプス補正装置。
【請求項４】
前記代表画素値は、クラス内の画素の画素値の平均値である、請求項２のデプス補正装置。
【請求項５】
前記補正部は、前記各クラスの画素値統計量及び前記補正対象画素の画素値によって評価される各クラスの尤度と、前記補正対象画素と前記補正対象画素の周辺画素との間の空間的相関とに基づいて前記対応クラスを判定する、請求項１のデプス補正装置。
【請求項６】
前記演算範囲内の複数の画素のデプス値の高周波成分の大きさを示すデプス値統計量を算出する第３の算出部と、
前記デプス値統計量が閾値未満であれば、前記補正対象画素のデプス値の補正を省略させるように処理を切り替える切り替え部と
を更に具備する、請求項１のデプス補正装置。
【請求項７】
前記デプス値統計量は、前記演算範囲内の複数の画素のデプス値の標本分散である、請求項６のデプス補正装置。
【請求項８】
前記補正対象画素のデプス値は複数回に亘って補正される、請求項１のデプス補正装置。
【請求項９】
前記クラスタリング部は、前記演算範囲内の複数の画素のデプス値から閾値を算出し、前記閾値よりも大きいデプス値を持つ画素を第１のクラスに分類し、前記閾値以下のデプス値を持つ画素を第２のクラスに分類する、請求項１のデプス補正装置。
【請求項１０】
前記代表デプス値は、クラス内の画素のデプス値の平均値である、請求項１のデプス補正装置。
【請求項１１】
前記代表デプス値は、クラス内の画素のデプス値の中央値である、請求項１のデプス補正装置。
【請求項１２】
補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部と、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する算出部と、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて前記補正対象画素のデプス値を補正する補正部と
を具備する、デプス補正装置。
【請求項１３】
補正対象画素に対応する演算範囲内の複数の画素のデプス値の高周波成分の大きさを示すデプス値統計量を算出する第１の算出部と、
前記デプス値統計量が閾値以上であれば、前記演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類するクラスタリング部と、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出する第２の算出部と、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素と対応クラスの一致する周辺画素のデプス値を用いて前記補正対象画素のデプス値を補正する補正部と
を具備する、デプス補正装置。
【請求項１４】
補正対象画素に対応する演算範囲内の複数の画素の画素値及びデプス値の少なくとも一方についてクラスタリングを行い、前記演算範囲内の複数の画素を複数のクラスに分類することと、
各クラス内の画素の画素値を用いて各クラスの画素値統計量を算出することと、
各クラス内の画素のデプス値を用いて各クラスの代表デプス値を算出することと、
前記補正対象画素の画素値及び前記各クラスの画素値統計量に基づいて前記補正対象画素の対応クラスを判定し、前記補正対象画素のデプス値を前記対応クラスの代表デプス値に置き換える補正を行うことと
を具備する、デプス補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−７８９４２（Ｐ２０１２−７８９４２Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２１５９４（Ｐ２０１０−２２１５９４）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]