説明

距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラムおよび復号プログラム

【課題】カメラから被写体までの距離を表す距離情報を効率的に符号化する。
【解決手段】三次元点復元部1021で,カメラから被写体までの距離を符号化対象の距離の基準となっているカメラの位置や向きによらない三次元位置を表す値に変換し,変換距離情報計算部1022で,その三次元位置をその座標値の表す点から予め定められた三次元空間上の数直線に下ろした足に対する値へ変換し,変換距離情報量子化部1023で,その値を量子化する。その量子化された値を距離情報符号化部103で符号化する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,多視点距離情報の符号化および復号技術に関するものである。
【背景技術】
【0002】
多視点画像とは,複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり,多視点動画像(多視点映像)とは,その動画像のことである。また,ここで言う距離情報とは,ある画像に対して与えられる領域ごとのカメラから被写体までの距離を表す情報である。多視点距離情報とは,多視点画像に対する距離情報であり,通常の距離情報複数個からなる集合となる。カメラから被写体までの距離はシーンの奥行きということもできるため,距離情報は奥行き情報と呼ばれることもある。
【0003】
一般に,このような距離情報はカメラで撮影された結果の2次元平面に対して与えられるため,その距離を画像の画素値にマッピングすることで距離画像として表される。2次元平面のある点に対する情報としては1つの距離という情報のみになるため,距離画像はグレースケール画像として表現することが可能である。なお,距離画像は奥行き画像やデプスマップ(Depth Map) と呼ばれることもある。
【0004】
距離情報の利用用途の1つとして立体画像がある。一般的な立体画像の表現では,観測者の右目用の画像と左目用の画像からなるステレオ画像であるが,あるカメラにおける画像とその距離情報とを用いて立体画像を表現することができる(詳しい技術は非特許文献1を参照)。
【0005】
このような1視点における映像と距離情報とを用いて表現された立体映像を符号化する方式には,MPEG−C Part.3(ISO/IEC 23002−3)を使用することが可能である(詳しい内容は非特許文献2を参照)。
【0006】
多視点距離情報は,単視点の距離情報を用いて表現可能な立体映像よりも,大きな視差を持った立体映像を表現するのに利用される(詳細は非特許文献3を参照)。
【0007】
また,このような立体映像を表現する用途以外に,多視点距離情報は,鑑賞者が撮影カメラの配置を気にせずに自由に視点を移動できる自由視点映像を生成するデータの1つとしても使用される。このような撮影カメラとは別のカメラからシーンを見ているとしたときの合成画像を仮想視点画像と呼ぶことがあり,Image−based Renderingの分野で盛んにその生成法が検討されている。多視点映像と多視点距離情報とから仮想視点映像を生成する代表的な手法としては,非特許文献4に記載されている手法がある。
【0008】
前述のとおり,距離情報はグレースケール動画像とみなすことができ,被写体は実空間上で連続的に存在し,瞬間的に移動することができないため,画像信号と同様に空間的相関および時間的相関を持つと言える。したがって,通常の映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって,距離情報は空間的冗長性や時間的冗長性を取り除きながら効率的に符号化される。実際にMPEG−C Part.3では,既存の動画像符号化方式を用いて符号化を行っている。
【0009】
ここで,従来の一般的な映像信号の符号化方式について説明する。一般に被写体が実空間上で空間的および時間的連続性を持つことから,その見え方は空間的および時間的に高い相関を持つ。映像信号の符号化では,そのような相関性を利用して高い符号化効率を達成している。
【0010】
具体的には,符号化対象ブロックの映像信号を既に符号化済みの映像信号から予測して,その予測残差のみを符号化することで,符号化される必要のある情報を減らし,高い符号化効率を達成する。代表的な映像信号の予想の手法としては,単視点映像では,隣接するブロックから空間的に予測信号を生成する画面内予測や,近接時刻に撮影された符号化済みフレームから被写体の動きを推定して時間的に予測信号を生成する動き補償予測があり,多視点映像では,これらの他に別のカメラで撮影された符号化済みフレームから被写体の視差を推定して,カメラ間で予測信号を生成する視差補償予測がある。各手法の詳細は,非特許文献5,非特許文献6などに記載されている。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】C.Fehn, P.Kauff, M.Op de Beeck, F.Emst, W.IJsselsteijn, M.Pollefeys, L.Van Gool, E.Ofek and I.Sexton, “An Evolutionary and Optimised Approach on 3D-TV ”, Proceedings of International Broadcast Conference, pp. 357-365, Amsterdam, The Netherlands, September 2002.
【非特許文献2】W.H.A. Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrug and A.Bourge,“Enabling Introduction of Stereoscopic(3D)Video: Formats and Compression Standards”, Proceedings of IEEE International Conference on Image Processing, pp.I-89-I-92, San Antonio, USA, September 2007.
【非特許文献3】A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, O.Schreer, R.Tanger, P.Kauff and T.Wiegand, “Multi-view video plus depth (MVD) format for advanced 3D video systems”, Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, Doc. JVT-W100, San Jose, USA, April 2007.
【非特許文献4】C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder, and R.Szeliski, “High-quality Video View Interpolation Using a Layered Representation”, ACM Transactions on Graphics, vol.23, no.3, pp.600-608, August 2004.
【非特許文献5】ITU-T Rec.H.264/ISO/IEC 11496-10, “Advanced Video Coding ”, Final Committee Draft, Document JVT-E022, September 2002.
【非特許文献6】H.Kimata and M.Kitahara,“Preliminary results on multiple view video coding (3DAV)”, document M10976 MPEG Redmond Meeting, July, 2004.
【発明の概要】
【発明が解決しようとする課題】
【0012】
被写体は実空間上で連続であるため高い空間相関を持ち,瞬間的に移動することが不可能であるため高い時間相関を持つ。したがって,空間相関と時間相関とを利用する既存の映像符号化方式を用いることで,グレースケール画像として表した距離情報を効率的に符号化することが可能である。
【0013】
しかしながら,図5のようにカメラの位置や向きが異なる場合,同じ被写体であっても,カメラから被写体までの距離は異なる。そのような場合,同じ被写体であってもフレームごとに距離が異なるため,時間的もしくは空間的にその距離を精度よく予測することは不可能である。
【0014】
シーン全体の明るさの変化等に対応するために,ルックアップテーブル(Look up table) やH.264/AVCの重み付き予測等を用いて,参照先の元の値と参照する値を変化させることで,フレームごとに変化する値を効率的に予測する手法がある。
【0015】
このような手法では,ある与えられた値に対して唯一の変換後の値を与えるため,多対一の変換になる。しかしながら,図6に示すように,あるカメラからは同じ距離の被写体であっても,別のカメラからは異なる距離の被写体になる場合がある。この場合,変換は一対多の変換を取り扱う必要があり,従来の処理では効率的な予測を行うことができない。
【0016】
本発明は係る事情に鑑みてなされたものであって,距離情報に対して適切な変換を行うことで,従来よりも効率的に距離情報を符号化することを目的とする。
【課題を解決するための手段】
【0017】
前述の課題を解決するために,本発明では,カメラから被写体までの距離を符号化対象の距離の基準となっているカメラの位置や向きによらない三次元位置を表す値に変換し,さらにその三次元位置をその座標値の表す点から予め定められた三次元空間上の数直線に下ろした足に対する値へ変換して,その値を符号化する。これにより,復号側では符号化されたデータを復号することで数直線上のある点を示す値が得られ,その値が示す被写体は,数直線上でその値が示す点を通り,その数直線に直交する平面上に存在することが分かる。したがって,復号対象のカメラの位置とその値がサンプリングされていた画像平面上の位置情報とを用いて,被写体の存在する三次元位置を同定することができる。被写体の三次元位置が分かるということは,カメラの位置と向きから,復号した値の示すカメラから被写体までの距離を復元することが可能ということである。
【0018】
このようなプレ処理を行うことで,カメラから被写体までの距離というカメラの位置や向きに依存する情報ではなく,予め設定された共通の数直線上での位置というカメラの位置や向きによらない情報を符号化することになる。これによって,カメラの位置や向きが時間的・空間的に異なる場合においても,符号化対象の情報と参照する情報との表現が統一されることになり,効率的な予測符号化を実現することが可能となる。
【0019】
なお,距離を三次元座標に変換しただけでは,一次元量が三次元量になり符号化対象サンプル数が増えてしまうため,符号化効率が向上するとは限らないが,本発明では距離をある数直線上の値という一次元量に変換するため符号化対象サンプル数が増加することはない。
【0020】
また,この変換はカメラによって実空間のオブジェクトが撮影される際の物理現象に従って行われるため,カメラによる射影変換を十分にモデル化することが可能であれば非常に高い精度で変換を実現することができる。
【0021】
一般に,三次元空間における平面と直線は必ずしも交点を持つとは限らない。つまり,復号時に,数直線に直交する平面とカメラによってサンプリングされた光線が交点を持つ保証はない。交点がないということは,符号化する数直線上の値を決められないことや,与えられた値から被写体の三次元位置を復元できないことを表す。すなわち,前述した距離情報の符号化および復号が行えないことになる。しかしながら,数直線としてカメラの焦点と投影面とを通る直線と直交するどの平面にも存在しない直線を用いることで,必ず符号化および復号を行えるような数直線を設定できる。
【0022】
上記の条件を満たす数直線であれば,どのような数直線でも適切な変換が可能であり,カメラの位置や向きが時間的・空間的に異なる場合に,符号化対象の情報と参照する情報との表現が統一され,効率的な予測符号化を実現できる。しかしながら,数直線の選び方によっては,符号化する値のレンジや分布が異なる。そのため,いくつかのサンプルを用いて,変換後の値の分散が小さくなるような数直線を選択することで,さらに符号化効率を向上させることが可能となる。また,一方で変換後の分散を大きくすることで,量子化歪みの影響を受け難い値に変換することも可能である。なお,このようにシーケンスに対して数直線を変化させる場合には,復号側にどのような数直線を用いたかを通知する。
【0023】
また,分散ではなく,変換後の値の個数が最小となるような軸を決定することで,距離情報をロスレス符号化する際に,少ない代表値を用いて符号化できるため,効率的な符号化を実現することが可能となる。
【0024】
また,上記三次元空間上の数直線に下ろした足に対する値の符号化にあたって量子化する際に,数直線の選択に用いたいくつかのサンプルについて,最も量子化による誤差が小さくなるような量子化手法を選択し,その量子化手法を用いて符号化対象の値を量子化して符号化することも好適である。
【発明の効果】
【0025】
本発明によれば,参照対象の距離情報と符号化対象の距離情報の基準とするカメラの位置や向きが異なる場合においても,符号化対象の距離情報もしくは参照対象の距離情報を適切に変換することで,従来に比べて効率よく距離情報を符号化することができるようになる。
【図面の簡単な説明】
【0026】
【図1】実施例1の距離情報符号化装置の構成を示す図である。
【図2】実施例1における距離情報符号化フローチャートである。
【図3】実施例2の距離情報復号装置の構成を示す図である。
【図4】実施例2における距離情報復号フローチャートである。
【図5】カメラの位置や向きによって同じ被写体に対する距離が異なることを示す図である。
【図6】被写体によってカメラ間の距離の差が異なることを示す図である。
【発明を実施するための形態】
【0027】
以下,実施の形態に従って本発明を詳細に説明する。まず,第1の実施例(以下,実施例1)として,距離情報符号化装置について説明する。実施例1に係る距離情報符号化装置の構成図を図1に示す。
【0028】
図1に示すように,距離情報符号化装置100は,符号化対象となる距離情報を入力する距離情報入力部101と,入力された距離情報をあらかじめ定められた表示形式へ変換する距離情報プレ変換部102と,プレ変換された距離情報を実際に符号化する距離情報符号化部103とを備える。
【0029】
距離情報プレ変換部102は,撮影を行ったカメラの位置や向きなどのカメラパラメータと符号化対象となる距離情報とを用いて,その距離情報によって示される被写体の三次元座標を計算する三次元点復元部1021と,計算された三次元座標値によって表現される点から予め定められた数直線に下ろした垂線の足を計算する変換距離情報計算部1022と,計算された垂線の足の示す値を予め定められた方法で量子化する変換距離情報量子化部1023とを備える。
【0030】
図2に,このようにして構成される距離情報符号化装置100の実行する処理フローを示す。この処理フローに従って,距離情報符号化装置100の実行する処理について詳細に説明する。
【0031】
まず,距離情報入力部101より,符号化対象となる距離情報が入力される[ステップA1]。本実施例1では,各時刻・各カメラの距離情報はグレースケール画像として与えられるものとする。なお,カメラから被写体までの距離は,適切に量子化され画素値として表されているものとし,距離の値から画素値への写像をSで表す。以下では,距離情報をDと表し,記号[]で挟まれた画像上の位置情報を付加することで特定の領域の距離情報を表す。
【0032】
入力された距離情報Dは,距離情報プレ変換部102でD′へと変換される[ステップA2−A6]。変換はサンプル(画素)ごとに行われる。つまり,サンプルを表すインデックスをpix,入力サンプル数をnumPixsとすると,pixを0に初期化した後[ステップA2],pixに1を加算しながら[ステップA5],pixがnumPixsになるまで[ステップA6],以下のステップA3−A4の処理を繰り返す。
【0033】
サンプルごとに行われる処理では,まず三次元点復元部1021が,カメラパラメータを用いて,画像上のpixの位置で観測された被写体の統一座標系における三次元位置gpix を求める[ステップA3]。三次元空間上の被写体はカメラの投影モデルに従って,2次元の画像平面へと投影されるため,その逆変換を行うことで三次元位置を求めることが可能である。具体的には次の数式を用いて計算できる。
【0034】
【数1】

【0035】
カメラパラメータの表現法には様々なものがあるため,定義に従った数式を用いる必要がある。本実施例では,画像座標mと世界座標Mの対応関係が,M* =RA-1* +tの式で得られるカメラパラメータ表現を用いているものとする。なお,A,R,tは,それぞれカメラの内部パラメータ行列,回転行列,並進ベクトルを表し,M* およびm* は,M,mについて任意スカラ倍を許した斉次座標を表す。AとRは3×3の行列であり,tは三次元ベクトルである。(upix ,vpix )がpixの画像平面上での位置を表す。S-1はSの逆射影を表す。
【0036】
pixの三次元座標gpix が得られたら,変換距離情報計算部1022はその点を予め定められた数直線Vに投影しスカラ値を求める。また,変換距離情報量子化部1023は,その値を予め定められた手法で量子化して変換後の値D′[upix ,vpix ]とする[ステップA4]。
【0037】
カメラの焦点と任意の画素とを結ぶ直線と直交するどの平面とも平行でなければ,任意の数直線をVとしても構わない。なお,このVと量子化手法は全ての距離情報に対して同じものを用いる。
【0038】
例えば,カメラの投影面に垂直な軸をV,原点をカメラの焦点を投影した点,向きをカメラの向きと同じとすると,gpix を投影した値はS-1(D[upix ,vpix ])となり,量子化をSで行えばDの値が得られ変換を行わないことになる。
【0039】
処理が簡単な例としては,統一座標系の1つの軸をVとし,gpix のある成分を量子化することで変換を行う手法がある。x軸をVとするならば第1成分を,y軸をVとするならば第2成分を,z軸をVとするならば第3成分を量子化することになる。このとき,次の連立方程式を解くことで距離の値を復元できる。
【0040】
【数2】

【0041】
これは変換においてz軸をVとし,量子化を行わずにgpix の第3成分の値をそのまま変換後の値とした場合の復元式である。なお,D′[upix ,vpix ]=zpix である。上記の式2において,未知数はx,y,dの3つであり,3つの等式が与えられているため,未知数に対して式を解くことが可能である。ここで,距離の値のみを復元する場合,3行目に対する等式をdに対して解くことで,無駄な演算をすることなく距離の値を復元することができる。
【0042】
Vとして点pを零点として大きさが1の向きベクトルmを持つ直線を用いた場合,gpix をVに投影した際の値Lは次の式で計算される。
【0043】
L=(gpix −p)●m (式3)
なお,●はベクトルの内積を表す。また,Lから距離を復元する処理は,次の連立方程式を解くことで実現できる。
【0044】
【数3】

【0045】
ここで,未知数はx,y,z,dの4つであり,4つの等式が与えられているため必ず解くことができる。具体的には1つ目の式からx,y,zそれぞれをdの式で表し,それを2つ目の式に代入することでdを求めることが可能である。
【0046】
また,いくつかの距離情報を用いて,変換後の値Lの分散を加味して軸を決定しても構わない。この分散に対する最適化問題は,サンプル距離情報集合に対して主成分分析を行うことで解くことができる。なお,今回の場合は分散を最大化すると量子化の影響を受け難い表現となり,分散を最小化するとコンパクトな表現を作り出すことができる。また,サンプル距離情報集合に対して主成分分析を行い,主成分得点となる値の数が最小となる軸を決定してもよい。変換後の値の個数が最小となるような軸を決定することにより,距離情報をロスレス符号化する際に,少ない代表値を用いて符号化することができる。
【0047】
量子化には,線形量子化と非線形量子化のどちらを使っても構わない。また,上記変換後のLの値に対して量子化を行ってもよいし,Lの逆数に対して量子化を行っても構わない。距離の値そのものに意味がある場合にはLの値をそのまま量子化し,被写体距離によって生じる視差量に意味がある場合にはLの逆数に対して行ったほうがよい。これは,Lがある視点を定めた際の被写体距離に比例した値であり,視差量は被写体距離の逆数に比例する値であるためである。
【0048】
また,量子化では,例えば上記のサンプル距離情報集合に対して,最も量子化による誤差が小さくなるような量子化手法を設定する量子化手法設定手段を設け,設定された量子化手法を表す情報を符号化するとともに,その設定された量子化手法を用いて,符号化対象の値を量子化するようにしてもよい。
【0049】
全てのpixに対してD′の値が得られたら,変換された距離情報D′を距離情報符号化部103で符号化する[ステップA7]。その符号化結果が距離情報符号化装置100の出力となる。
【0050】
なお,数直線の軸Vや量子化の手法は,符号化側と復号側で共通のものを用いる必要がある。つまり,符号化側と復号側で予め共通して定められたものを常に用いるか,利用した値を符号化して復号側へ通知する必要がある。
【0051】
このようなプレ変換を用いることで,カメラの位置や向きによらず被写体の位置が変化しない限りは同じ値で表現されるようになる。また,値の変化も被写体の位置の変化に応じたものになるため,符号化対象となる情報のフレーム間相関が高まり効率のよい予測符号化を実現することができる。
【0052】
なお,本実施例1ではサンプル毎に統一座標系の座標値を求め,D′を計算しているが,全てのサンプルに対して統一座標系の座標値を求めてから,D′を計算しても構わない。
【0053】
次に,第2の実施例(以下,実施例2)として,距離情報復号装置について説明する。実施例2に係る距離情報復号装置の構成図を図3に示す。
【0054】
図3に示すように,距離情報復号装置200は,復号対象となる距離情報の符号化データを入力する距離情報符号化データ入力部201と,入力された符号化データを実際に復号する距離情報復号部202と,復号結果を実際のカメラから被写体までの距離を表す情報に変換する距離情報ポスト変換部203とを備える。
【0055】
距離情報ポスト変換部203は,復号された復号距離情報を,予め定められた方法で逆量子化する復号距離情報逆量子化部2031と,逆量子化された値に対応する予め定められた数直線上の点を通り,数直線に直交する平面を設定する被写体平面設定部2032と,復号対象の距離情報の撮影を行ったカメラの焦点とカメラの投影面上の復号対象の距離情報の位置とを結ぶ直線を被写体光線として設定する被写体光線設定部2033と,カメラから被写体平面と被写体光線との交点までの距離を復号対象のカメラから被写体までの距離とする被写体距離算出部2034とを備える。
【0056】
図4に,このようにして構成される距離情報復号装置200の実行する処理フローを示す。この処理フローに従って,距離情報復号装置200の実行する処理について詳細に説明する。
【0057】
まず,距離情報符号化データ入力部201より,復号対象となる距離情報の符号化データが入力される[ステップB1]。入力された符号化データは距離情報復号部202で復号される[ステップB2]。本実施例2では,各時刻・各カメラの距離情報はグレースケール画像として表現されるものとする。つまり,ここでの復号処理の結果,復号したい距離情報に何らかの変換が加えられた擬似距離情報が得られる。以下では,復号された擬似距離情報をDec′と表し,記号[]で挟まれた位置情報を付加することで特定の領域の擬似距離情報を表す。
【0058】
復号された擬似距離情報Dec′は,距離情報ポスト変換部203で実際のカメラから被写体までを現す距離情報Decへと変換される[ステップB3−B7]。変換は画素ごとに行われる。つまり,画素を表すインデックスをpix,画素数をnumPixsとすると,pixを0に初期化した後[ステップB3],pixに1を加算しながら[ステップB6],pixがnumPixsになるまで[ステップB7],以下のステップB4−B5の処理を繰り返す。
【0059】
画素ごとに行われる処理では,まず,擬似距離情報Dec′[pix]から,画像上のpixの位置で観測された被写体の三次元点が存在する統一座標系における平面Pを求める[ステップB4]。復号された擬似距離情報Dec′[pix]は被写体の三次元点をある数直線Vに対して投影した際のスカラ値を量子化したものである。つまり,求める平面Pは数直線VにDec′[pix]の示す位置で直交する平面となる。なお,数直線と量子化手法は予め符号化側で設定されたものを用いる。常に一定のものを用いても構わないし,シーケンスごとに適切な数直線と量子化手法を設計して用いても構わない。後者の場合は,それらを示す情報が符号化されて本復号装置に通知されることとなる。
【0060】
ここで,数直線Vとして点p0 を零点として大きさが1の向きベクトルnを持つ直線とし,量子化関数をQとすると,求める平面Pは以下の式で表される。なお平面上の任意の点をgで表した。
【0061】
n・(p0 +Q-1[Dec′[pix]]・n)=n・g (式5)
次に,この平面Pとカメラパラメータとから,pixの位置で観測された被写体の距離情報を計算し,結果をDec[pix]とする[ステップB5]。具体的には,カメラパラメータとpixの位置という情報から,被写体の存在する直線を求め,直線と平面の交点に被写体が存在するとして,距離の値を求める。被写体が存在する直線は以下の数式で表される。
【0062】
【数4】

【0063】
カメラパラメータの表現法は実施例1で説明したものと同様であり,A,R,tはそれぞれカメラの内部パラメータ行列,回転行列,並進ベクトルを表す。dは任意のスカラ変数であり,gが直線上の点を示す。(upix ,vpix )はpixの画像平面上での位置を表す。
【0064】
ここで,式6のdがカメラから被写体までの距離を表すため,式5と式6の連立方程式をdについて解くことで,距離の値を求めることができる。なお,gは被写体の三次元座標値を表すが,ここでは必ずしも求める必要はない。なお,実施例1で述べたように,数直線Vとしてカメラの焦点と任意の画素とを結ぶ直線と直交するどの平面とも平行ではない直線を選択している場合,式5と式6からなる連立方程式は必ず唯一の解を持つ。
【0065】
また,本実施例ではカメラから被写体までの距離の値を出力の値Dec[pix]としているが,カメラから被写体までの距離を予め定められた方法で量子化した値を出力する必要がある場合には,上記得られたdの値を与えられた手法で量子化して出力することになる。
【0066】
以上説明した処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
【0067】
また,以上の実施の形態では距離情報符号化装置および距離情報復号装置を中心に説明したが,これらの装置の各部の動作に対応したステップによって本発明の距離情報符号化方法および距離情報復号方法を実現することができる。
【0068】
以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものでないことは明らかである。したがって,本発明の精神および範囲を逸脱しない範囲で構成要素の追加,省略,置換,その他の変更を行っても良い。
【符号の説明】
【0069】
100 距離情報符号化装置
101 距離情報入力部
102 距離情報プレ変換部
1021 三次元点復元部
1022 変換距離情報計算部
1023 変換距離情報量子化部
103 距離情報符号化部
200 距離情報復号装置
201 距離情報符号化データ入力部
202 距離情報復号部
203 距離情報ポスト変換部
2031 復号距離情報逆量子化部
2032 被写体平面設定部
2033 被写体光線設定部
2034 被写体距離算出部

【特許請求の範囲】
【請求項1】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において,
撮影を行ったカメラのパラメータと符号化対象となる距離情報とを用いて,その距離情報によって示される被写体の三次元座標を計算する三次元点復元ステップと,
上記計算された三次元座標値によって表現される点から,予め定められた数直線に下ろした垂線の足を計算する変換距離情報計算ステップと,
上記計算された垂線の足の示す値を,予め定められた方法で量子化する変換距離情報量子化ステップと,
上記量子化された値を符号化する変換距離情報符号化ステップと,
を有することを特徴とする距離情報符号化方法。
【請求項2】
請求項1に記載の距離情報符号化方法において,
上記変換距離情報計算ステップで用いる数直線として,カメラの焦点と投影面とを通る直線と直交するどの平面にも存在しない直線を用いること,
を特徴とする距離情報符号化方法。
【請求項3】
請求項1に記載の距離情報符号化方法において,
上記三次元点復元ステップで得られた三次元点集合の部分集合に対して,主成分分析を行い,主成分得点の分散が最大となる軸を設定する軸設定ステップと,
上記軸設定ステップで設定された軸を示す情報を符号化する軸情報符号化ステップとを有し,
上記変換距離情報計算ステップで用いる数直線として,上記軸設定ステップで設定された軸を用いること,
を特徴とする距離情報符号化方法。
【請求項4】
請求項1に記載の距離情報符号化方法において,
上記三次元点復元ステップで得られた三次元点集合の部分集合に対して,主成分分析を行い,主成分得点の分散が最小となる軸を設定する軸設定ステップと,
上記軸設定ステップで設定された軸を示す情報を符号化する軸情報符号化ステップとを有し,
上記変換距離情報計算ステップで用いる数直線として,上記軸設定ステップで設定された軸を用いること,
を特徴とする距離情報符号化方法。
【請求項5】
請求項1に記載の距離情報符号化方法において,
上記三次元点復元ステップで得られた三次元点集合の部分集合に対して,主成分分析を行い,主成分得点となる値の数が最小となる軸を設定する軸設定ステップと,
上記軸設定ステップで設定された軸を示す情報を符号化する軸情報符号化ステップとを有し,
上記変換距離情報計算ステップで用いる数直線として,上記軸設定ステップで設定された軸を用いること,
を特徴とする距離情報符号化方法。
【請求項6】
請求項3から請求項5までのいずれか1項に記載の距離情報符号化方法において,
上記軸設定ステップで用いた三次元点集合の部分集合に含まれる各点から,上記軸設定ステップで得られた軸に下ろした垂線の足を計算するサンプル変換距離情報計算ステップと,
上記計算された垂線の足の示す値を,予め定められた数に量子化する場合に,最も量子化による誤差が小さくなるような量子化手法を設定する量子化手法設定ステップと,
上記設定された量子化手法を表す情報を符号化する量子化手法符号化ステップとを有し,
上記変換距離情報量子化ステップでは,上記量子化手法設定ステップで設定された量子化手法を用いて,上記変換距離情報計算ステップで計算された垂線の足を示す値を量子化すること,
を特徴とする距離情報符号化方法。
【請求項7】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において,
入力された符号化データを復号して復号距離情報を設定する入力データ復号ステップと,
上記復号された復号距離情報を,予め定められた方法で逆量子化する復号距離情報逆量子化ステップと,
上記逆量子化された値に対応する予め定められた数直線上の点を通り,上記数直線に直交する平面を設定する被写体平面設定ステップと,
復号対象の距離情報の撮影を行ったカメラの焦点と,カメラの投影面上の復号対象の距離情報の位置とを結ぶ直線を被写体光線として設定する被写体光線設定ステップと,
カメラから上記被写体平面と上記被写体光線との交点までの距離を算出し,復号対象のカメラから被写体までの距離とする被写体距離算出ステップと,
を有することを特徴とする距離情報復号方法。
【請求項8】
請求項7に記載の距離情報復号方法において,
三次元空間における軸を定義する情報の符号化データを復号する軸情報復号ステップを有し,
上記被写体平面設定ステップでは,上記軸情報復号ステップで復号された軸を数直線として用いること,
を特徴とする距離情報復号方法。
【請求項9】
請求項7または請求項8に記載の距離情報復号方法において,
ある数直線上の値を量子化する手法を示した情報の符号化データを復号する量子化手法復号ステップを有し,
上記復号距離情報逆量子化ステップでは,上記量子化手法復号ステップで復号された量子化手法の逆変換を,逆量子化の手法として用いること,
を特徴とする距離情報復号方法。
【請求項10】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において,
撮影を行ったカメラのパラメータと符号化対象となる距離情報とを用いて,その距離情報によって示される被写体の三次元座標を計算する三次元点復元手段と,
上記計算された三次元座標値によって表現される点から,予め定められた数直線に下ろした垂線の足を計算する変換距離情報計算手段と,
上記計算された垂線の足の示す値を,予め定められた方法で量子化する変換距離情報量子化手段と,
上記量子化された値を符号化する変換距離情報符号化手段と,
を備えることを特徴とする距離情報符号化装置。
【請求項11】
カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において,
入力された符号化データを復号して復号距離情報を設定する入力データ復号手段と,
上記復号された復号距離情報を,予め定められた方法で逆量子化する復号距離情報逆量子化手段と,
上記逆量子化された値に対応する予め定められた数直線上の点を通り,上記数直線に直交する平面を設定する被写体平面設定手段と,
復号対象の距離情報の撮影を行ったカメラの焦点と,カメラの投影面上の復号対象の距離情報の位置とを結ぶ直線を被写体光線として設定する被写体光線設定手段と,
カメラから上記被写体平面と上記被写体光線との交点までの距離を算出し,復号対象のカメラから被写体までの距離とする被写体距離算出手段と,
を備えることを特徴とする距離情報復号装置。
【請求項12】
請求項1から請求項6までのいずれか1項に記載の距離情報符号化方法をコンピュータに実行させるための距離情報符号化プログラム。
【請求項13】
請求項12に記載の距離情報符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項14】
請求項7から請求項9までのいずれか1項に記載の距離情報復号方法をコンピュータに実行させるための距離情報復号プログラム。
【請求項15】
請求項14に記載の距離情報復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−135019(P2012−135019A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2012−34098(P2012−34098)
【出願日】平成24年2月20日(2012.2.20)
【分割の表示】特願2008−51752(P2008−51752)の分割
【原出願日】平成20年3月3日(2008.3.3)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】