多視点画像圧縮符号化方法、装置及びプログラム
【課題】複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いた多視点画像圧縮符号化方法等を提供する。
【解決手段】カメラの光軸が、２つのカメラを通る同一平面に対して垂直となるように同一の回転変換を加える。任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトルｎとを任意に決定し、ｔ及びＺに基づく視差ベクトルで移動させ、ｔ、Ｚ及びｎに基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。Ｚ及びｎを任意に変更しながら、第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。第１のブロックと第２のブロックとの予測誤差を導出し且つ符号化し、奥行き距離Ｚ及び単位法線ベクトルｎも符号化する。
【解決手段】カメラの光軸が、２つのカメラを通る同一平面に対して垂直となるように同一の回転変換を加える。任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトルｎとを任意に決定し、ｔ及びＺに基づく視差ベクトルで移動させ、ｔ、Ｚ及びｎに基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。Ｚ及びｎを任意に変更しながら、第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。第１のブロックと第２のブロックとの予測誤差を導出し且つ符号化し、奥行き距離Ｚ及び単位法線ベクトルｎも符号化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像圧縮符号化方法、装置及びプログラムに関する。
【背景技術】
【０００２】
異なる位置にあるカメラによって同時に撮影された画像（以下「多視点画像」という）の間には、視差による違いを除けば、強い相関がある。従って、これら画像を一連の映像シーケンスとみなして、動き補償（視差補償）を用いて符号化することにより、情報圧縮をすることができる（例えば特許文献１参照）。
【０００３】
多視点画像間の視差補償を行う代表的な方法として、「ブロックマッチング」がある。「ブロックマッチング」を用いた視差ベクトルの検出は、以下のようにしてなされる。
【０００４】
第１のカメラ（第１の視点）によって撮影された第１の画像を、小さなブロックに分割する。第１の画像の第１のブロックの各々を、第２のカメラ（他の視点）の第２の画像の中で平行移動させて、最も類似度が高い領域を探索する。具体的には、第１の画像の第１のブロックに対して、絶対値誤差又は２乗誤差が最小となる第２の画像の第２のブロックを探索する。そして、探索された第２のブロックと、第１のブロックとの距離量を視差ベクトルとして算出する。第１のブロックと第２のブロックとの予測誤差を符号化し、視差ベクトルを符号化データに付加することによって、その多視点画像を圧縮符号化することができる。
【０００５】
【特許文献１】特開２００５−２６０４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のブロックマッチングは、第１の画像の中の被写体が、第２の画像の中で平行移動した場合に、ブロックをマッチングさせるものである。複数のカメラから見て、被写体の表面が、そのカメラの光軸に垂直となり、かつ、そのカメラから等距離にある場合にしか、完全なブロックマッチングをさせることができない。
【０００７】
しかしながら、複数のカメラの光軸に対して、被写体の表面が傾いている場合には、その被写体の面も異なって見える。即ち、第１の画像の第１のブロックを、第２の画像の中で平行移動させても、第１のブロックと完全にマッチングした第２のブロックを探索することはできない。第１の画像の中の被写体の形状は、第２の画像の中の被写体の形状と異なって射影されたものとなるからである。
【０００８】
そこで、本発明は、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いた多視点画像圧縮符号化方法、装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第１の画像について任意点を含む第１のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする。
【００１０】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第８のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことも好ましい。
【００１１】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第２の画像について任意点を含む第２のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１の画像を、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする。
【００１２】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第８のステップは、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことも好ましい。
【００１３】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第２から第７のステップを繰り返し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことも好ましい。
【００１４】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１のステップについて、回転変換を表す行列は、以下のものであり、
【数１】
第２のステップについて、任意点の画像座標は、正規化画像座標であり、
回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
第６のステップについて、視差ベクトルは、以下のものであり、
【数２】
一次変換行列は、以下のものである
【数３】
ことも好ましい。
【００１５】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することも好ましい。
【００１６】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことも好ましい。
【００１７】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、該任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
【００１８】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことも好ましい。
【００１９】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
【００２０】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことも好ましい。
【００２１】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、視差補償手段と、多視点画像圧縮符号化手段とを繰り返すブロック制御手段を更に有し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことも好ましい。
【００２２】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
カメラ座標系座標変換手段について、回転変換を表す行列は、以下のものであり、
【数４】
画像座標算出手段は、任意点の画像座標として正規化画像座標を導出し、
回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
ブロックマッチング手段は、視差ベクトルを以下のものとし、
【数５】
一次変換行列を以下のものとする
【数６】
ことも好ましい。
【００２３】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することも好ましい。
【００２４】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことも好ましい。
【００２５】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
【００２６】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
【発明の効果】
【００２７】
本発明の多視点画像圧縮符号化方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて多視点画像を圧縮符号化することができる。ＭＰＥＧによれば、符号化対象ピクチャの第１のブロック又は参照ピクチャ自体を、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルと共に、一次変換行列も検出する。第１の画像座標を原点として一次変換行列に基づいて変形させたブロック又は画像と、他方のブロックとの予測誤差を導出することにより、予測誤差のデータ量を低減し、高い効率で多視点画像を圧縮符号化することができる。
【発明を実施するための最良の形態】
【００２８】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００２９】
図１は、本発明におけるシステム構成図である。
【００３０】
異なる位置に配置された複数のカメラ１が、被写体３を撮影する。複数のカメラ１は、光軸をＺ軸に平行として配置されている。但し、それらのカメラは、光軸に垂直な同一平面（ＸＹ平面に平行な平面）上には配置されない。即ち、前後左右に散らばって配置されている。図１によれば、９台の縦３列横３列（視点（０，０）〜（２，２））で配置されている。また、複数のカメラ１は、多視点画像圧縮符号化装置２に接続される。本発明によれば、少なくとも２つのカメラによって撮影された多視点画像を必要とする。
【００３１】
カメラ１は、被写体３を撮影した画像を多視点画像圧縮符号化装置２へ送信する。ここで、カメラ１が移動可能なものである場合、カメラ位置情報も、多視点画像圧縮符号化装置２へ送信される。勿論、多視点画像圧縮符号化装置２が、全てのカメラ位置情報を予め記憶しているものであってもよい。
【００３２】
図２は、図１のシステム構成について、複数のカメラを正面及び側面から見た配置図である。
【００３３】
図２によれば、正面から見ると、等幅で縦３列横３列に配置されている。側面から見ると、カメラ（０，１）（１，１）（２，１）がｚ軸に対して後方に配置されている。即ち、被写体３に対して、複数のカメラ１は、ｙ軸に対して円筒面上に配置されている。
【００３４】
図３は、図２における各カメラから見た被写体の見え方を表す画面図である。
【００３５】
図３によれば、被写体は、台形状立体である。被写体の正面に、カメラ（１，１）が位置する。カメラ（０，１）（１，１）（２，１）は、ｚ軸に対して後方に配置されているので、被写体が少し小さく見える。また、カメラ（１，１）の前方にあり且つ左側のカメラ（１，０）から見ると、被写体が全体として大きく、且つ、左側が広がり、右側が縮小して見える。また、カメラ（１，１）の前方にあり且つ右側のカメラ（１，２）から見ると、被写体が全体として大きく、且つ、左側が縮小し、右側が広がって見える。
【００３６】
同様に、カメラ（１，１）の上側のカメラ（０，１）から見ると、被写体の上側が広がり、下側が縮小して見える。カメラ（１，１）の下側のカメラ（２，１）から見ると、被写体の上側が縮小し、下側が広がって見える。
【００３７】
図３からも明らかなとおり、視差を考慮してブロックを移動させても、正確に一致する領域がない。従って、正しいマッチングを取ることができない。
【００３８】
図４〜図６には、被写体の表面の傾きによって、各カメラによって撮影される画像を表している。
【００３９】
図４は、被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。
【００４０】
被写体は、左側が奥に、右側が手前にある。このとき、カメラ（１，１）の画像よりも、カメラ（１，１）の前方にあり且つ左側のカメラ（１，０）の画像の方が、被写体が全体として大きく、且つ、横方向に広がって見える。また、カメラ（１，１）の画像よりも、カメラ（１，１）の前方にあり且つ右側のカメラ（１，２）の画像の方が、被写体が全体として大きく、且つ、横方向に狭く見える。
【００４１】
図５は、被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【００４２】
被写体は、上側が奥に、下側が手前にある。このとき、カメラ（１，１）の画像よりも、カメラ（１，１）の上側のカメラ（０，１）の画像の方が、平面が縦方向に広がって見える。また、カメラ（１，１）の画像よりも、カメラ（１，１）の下側のカメラ（２，１）の画像の方が、平面が縦方向に狭く見える。
【００４３】
図６は、被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。即ち、図４の傾きと図５の傾きとを合わせたものである。
【００４４】
図３、図４〜図６に表されたように、このような見え方の差異は、複数のカメラの光軸に対して、被写体の台形状立体の側面が傾いているために生じる。本発明によれば、カメラの光軸に対して被写体の表面が傾いている場合であっても、第１のブロックと完全にマッチングした第２のブロックを探索することができる。
【００４５】
図７は、２つのカメラにおける第１の相対位置関係の説明図である。
【００４６】
一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。また、２つのカメラは、光軸を平行に、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）で配置される。図７によれば、被写体に対して、カメラＣとカメラＣ’のｘｙ平面は、異なる位置にある。従って、ｔｚ≠０である。
【００４７】
図８は、２つのカメラに回転を加えた第２の相対位置関係の説明図である。
【００４８】
本発明によれば、カメラ内部パラメータを用いて、カメラＣとカメラＣ’に同一の回転変換を加える。この回転Ｒは、カメラＣ及びカメラＣ’の光軸が、カメラＣ及びカメラＣ’を通る同一平面に対して垂直となるようにする。このように、カメラＣのカメラ座標系座標と、カメラＣ’のカメラ座標系座標とを変換する。これにより、カメラＣ及びカメラＣ’の第２の相対的位置は、（ｔＲｘ，ｔＲｙ，０）となる。即ち、ｔＲｚ＝０で表される。
【００４９】
カメラ座標系座標に回転Ｒを加えて、そのｘｙ平面から被写体の任意点までの奥行き距離ＺＲと、近似平面の向き（単位法線ベクトル）ｎＲとを、ブロックマッチングのパラメータとして用いる。
【００５０】
図９は、第１のブロックマッチングの説明図である。
【００５１】
予測符号化方式に、ＭＰＥＧを適用する。図９によれば、符号化対象ピクチャ（第１の画像）について任意点を含む第１のブロックを選択する。次に、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。そして、第１のブロックを、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、参照ピクチャのブロックにマッチングさせる。
【００５２】
図９は、第２のブロックマッチングの説明図である。
【００５３】
図９によれば、符号化対象ピクチャ（第２の画像）について任意点を含む第２のブロックを選択する。次に、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。そして、参照ピクチャ（第１の画像）を、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、符号化対象ピクチャの第２のブロックにマッチングさせる。
【００５４】
以下では、ブロック又は画像の移動及び変形となる一次変換行列の導出過程を詳細に説明する。
【００５５】
最初に、カメラの内部パラメータ（内部カメラ行列）Ａは、以下の式で表される。この値は、既知であるとする。
【数７】
ｆku、ｆkv：焦点距離（カメラの距離のピクセル数）
θ＝π／２：座標軸の角度
ｕ０、ｖ０：画像中心
【００５６】
カメラＣのカメラ座標系を平行移動（相対的位置ｔ）させて、カメラＣ’のカメラ座標系が得られる。ｔは、カメラの外部パラメータの１つであり、カメラＣのカメラ座標系に対するカメラＣ’の変位ベクトルを表す。カメラＣ及びＣ’は、光軸を平行に配置される。また、カメラＣのカメラ座標系に対するカメラＣ’の相対的位置ベクトルｔは、ｚ軸成分を必ず非０とする（ｔＺ≠０）。
【数８】
【００５７】
カメラＣのカメラ座標系座標と、カメラＣ’のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ’のカメラ座標系座標に変換される。
Ｍ＝Ｍ’＋ｔ 式（２）
Ｍ：カメラＣにおける被写体の任意点Ｐのカメラ座標系座標
Ｍ’：カメラＣ’における被写体の任意点Ｐのカメラ座標系座標
【数９】
【００５８】
ここで、被写体の近似平面πに対して、カメラＣ’のカメラ座標系では以下の式が成り立つ。
ｎＴＭ’＝ｄ 式（５）
ｎ（|ｎ|＝１）：カメラＣ’のカメラ座標系における平面の法線ベクトル
【数１０】
ｄ：カメラＣ’のカメラ座標系の原点から平面までの距離
【００５９】
次に、任意点Ｐのディジタル画像座標を、以下のようにする。
ｍ：カメラＣにおける任意点Ｐのディジタル画像座標
ｍ’：カメラＣ’における任意点Ｐのディジタル画像座標
【数１１】
【００６０】
また、任意点Ｐの正規化画像座標を、以下のようにする。「正規化画像」とは、画像平面が焦点から単位長のところにあるカメラ（正規化カメラ）で撮影したと仮定した場合の画像をいう。正規化画像における任意点の座標を、「正規化画像座標」という。
ｘ：任意点ＰのカメラＣにおける正規化画像座標
ｘ’：任意点ＰのカメラＣ’における正規化画像座標
【数１２】
【００６１】
これにより、以下の中心射影変換が成立する。
【数１３】
【００６２】
次に、式（９）に式（７）及び式（３）を代入すると、以下の式が導出される。
【数１４】
【００６３】
両辺の３行目を比較すると、ｓ＝Ｚが導かれる。
【００６４】
これを式（９）に代入すると、以下の式が導出される。
【数１５】
【００６５】
一方で、式（１０）に式（２）を代入すると、以下の式が成立する。
【数１６】
【００６６】
式（１）、式（３）、式（４）、及び式（８）を代入して、以下の式が導出される。
【数１７】
【００６７】
両辺の３行目を比較すると、ｓ’＝Ｚ’＝Ｚ−ｔｚが導出される。
【００６８】
これを式（１０）に代入すると、以下の式が導出される。
【数１８】
【００６９】
次に、カメラＣのカメラ座標系を回転変換し、ｔを、それをＸＹ平面に正射影したベクトルｔｘｙの方向に一致させることを考える。但し、ｔｘｙは、以下のようになる。
【数１９】
【００７０】
一般に、単位ベクトルｒを回転軸とする角度θの回転を表す行列Ｒは、Ｒｏｄｒｉｇｕｅｓの公式により、以下のように表される。
【数２０】
【００７１】
ここで、以下のものである。
【数２１】
【００７２】
ｒは、ｔ及びｔｘｙと直交するので、以下の式になる。
【数２２】
【００７３】
回転角度をθとすると、以下の式となる。
【数２３】
【００７４】
以上より、式（１４）及び式（１５）を式（１３）に代入すると、求める回転変換行列は、以下のようになる。
【数２４】
【００７５】
同様に、逆変換の行列は、以下のようになる。
【数２５】
【００７６】
回転変換行列Ｒを用いて、平行移動ベクトルｔ、近似平面πの単位法線ベクトルｎを回転変換する。回転変換した結果をそれぞれ、ｔＲ、ｎＲとおくと、以下のようになる。
【数２６】
【００７７】
回転変換後のカメラＣのカメラ座標系座標と、回転変換後のカメラＣ’のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ’のカメラ座標系座標に変換される。
ＭＲ＝ＭＲ’＋ｔＲ 式（２０）
ＭＲ：回転変換後のカメラＣにおける被写体の任意点Ｐのカメラ座標系座標
ＭＲ’：回転変換後のカメラＣ’における被写体の任意点Ｐのカメラ座標系座標
【数２７】
【００７８】
ここで、被写体の近似平面πに対して、回転変換後のカメラＣ’のカメラ座標系では、近似平面πとカメラＣ’との距離ｄの値は回転変換によって不変であるから、以下の式が成り立つ。
ｎＲＴＭＲ’＝ｄ 式（２３）
∴ｎＲＴＭＲ’／ｄ＝１ 式（２４）
【００７９】
式（２４）を、式（２０）に代入すると、以下の平面射影変換の式が得られる。
【数２８】
【００８０】
Ｈをホモグラフィ行列とすると、以下のようになる。
【数２９】
【００８１】
次に、任意点Ｐのディジタル画像座標を、以下のようにする。
ｍＲ：回転変換後のカメラＣにおける任意点Ｐのディジタル画像座標
ｍＲ’：回転変換後のカメラＣ’における任意点Ｐのディジタル画像座標
【数３０】
【００８２】
また、任意点Ｐの正規化画像座標を、以下のようにする。
ｘＲ：回転変換後の任意点ＰのカメラＣにおける正規化画像座標
ｘＲ’：回転変換後の任意点ＰのカメラＣ’における正規化画像座標
【数３１】
【００８３】
これにより、中心射影変換として、以下の式が成立する。
【数３２】
【００８４】
式（２８）に式（２６）及び式（２１）式を代入すると、以下の式が導出される。
【数３３】
【００８５】
両辺の３行目を比較すると、ｓＲ＝ＺＲが導かれる。
【００８６】
これを式（２８）に代入すると、以下の式が導出される。
【数３４】
【００８７】
一方で、式（２９）に式（２０）を代入すると、以下の式が成立する。
【数３５】
【００８８】
式（２１）、式（２２）、式（１）、式（１８）及び式（２７）を代入して、以下の式を導出する。
【数３６】
【００８９】
両辺の３行目を比較すると、
ｓＲ’＝ＺＲ’＝ＺＲ 式（４１）
が導かれる。
【００９０】
これを、式（２９）に代入すると、以下の式が成立する。
【数３７】
【００９１】
従って、式（２３）に代入すると、以下の式が成立する。
【数３８】
【００９２】
式（１９）及び式（２７）を代入すると、以下の式が成立する。
ｄ＝ＺＲ（ｎＲｘｘＲ’＋ｎＲｙｙＲ’＋ｎＲｚ） 式（３１）
【００９３】
式（３１）を式（１３）に代入すると、以下の式が導出される。
【数３９】
【００９４】
また、ｘとｘＲの変換式、及び、ｘ’とｘＲ’の変換式を求める。簡単のため、以下のように定義する。
【数４０】
【００９５】
そうすると、式（１１）より、以下のようになる。
【数４１】
【００９６】
両辺の３行目を比較すると、以下の式となる。
【数４２】
【００９７】
これにより、以下の式が成立する。
【数４３】
【００９８】
また、式（３２）に式（４１）を代入すると、以下の式となり、Ｚ，ｔ，ｘ’，ｙ’からＺＲが導出できる。
【数４４】
【００９９】
ここで、式（４０）において、カメラ座標系座標ＭＲ及びＭＲ’に代えて、正規化画像座標ｘＲ及びｘＲ’を用いると、以下の変換式が得られる。
【数４５】
【０１００】
両辺の３行目を比較すると、ｓＲ＝１が導かれる。
【０１０１】
これを式（３５）に代入すると、以下の式が成立する。
【数４６】
【０１０２】
更に、ディジタル画像座標ｍＲ及びｍＲ’を用いると、以下の変換式が得られる。
【数４７】
【０１０３】
正規化画像座標系における視差ベクトルをＤとすると、以下の式が成り立つ。
【数４８】
【０１０４】
【数４９】
【０１０５】
右辺及び左辺の差を求めると、以下の式が成り立つ。
【数５０】
【０１０６】
回転変換した第２の画像の第２のブロックについて、回転変換した第１の画像の中を、以下のＤの平行移動をさせて、第１の画像座標（ｘＲ，ｙＲ）を原点として以下のＬの一次変換行列で変形をさせることにより、第２のブロックに最も類似するような、第１の画像のブロックを探索する。一次変換行列によれば、視差ベクトルと、被写体の（平面に近似された）面の傾きとに基づいてブロックを変形し、ブロックマッチングをすることができる。
【０１０７】
【数５１】
【０１０８】
ここで、参照ピクチャと符号化対象ピクチャとを圧縮符号化する方法を説明する。
【０１０９】
最初に、符号化対象ピクチャを、画面内予測符号化する。次に、参照ピクチャを複数のブロックに分割し、各ブロックに対して前述の平行移動Ｄ及び一次変換行列Ｌに基づいて、第１の画像座標（ｘ，ｙ）を原点として変形させる。そして、予測誤差が最小となる参照ピクチャのブロック（参照ブロック）を求め、その際の平行移動ベクトルＤと一次変換行列Ｌ（即ち、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ））を導出する。ここで、当該ブロックと、変形した参照ブロックとを比較して予測誤差を算出するために、変形した参照ブロックを線形補間等によって補間し、当該ブロックの各画素と比較するための対応する画素値を算出する。例えば、線形補間を用いる場合は、図Ｘの点Ｘの画素値は、周辺４点（Ａ，Ｂ，Ｃ，Ｄ）の画素値を用いて、以下の式から求める。
Ｘ＝（１−ｄｘ）（１−ｄｙ）Ａ＋ｄｘ（１−ｄｙ）Ｂ＋（１−ｄｙ）ｄｙＣ＋ｄｘｄｙＤ
【０１１０】
最後に、予測誤差を圧縮符号化し、奥行き距離Ｚ（又は平行移動ベクトルＤ）と単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化する。
【０１１１】
但し、第１の画像の参照ブロックとの予測誤差を符号化するよりも、第２の画像の中で画面内予測符号化する方が、圧縮効率が高くなる場合は、第２の画像の中で画面内予測符号化をする。
【０１１２】
以下では、具体的な実施例を説明する。
【０１１３】
第１に、同一平面上に無い２台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。
【０１１４】
カメラの内部パラメータＡ及び相対的位置ベクトルｔは、事前に得られていることが前提である。簡単のため、以下のように定義する。
【数５２】
【０１１５】
この相対的位置ベクトルｔは、２台のカメラが半径Ｒの円周上に角度θだけ離れて設置してある状況に相当する。
【０１１６】
まず、カメラＣの画像の中の点Ｍ０に着目する。点Ｍ０のディジタル画像座標ｍ０が、以下の値であったとする。
【数５３】
【０１１７】
そこで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下の値になる。
【数５４】
【０１１８】
同様にして、カメラＣの画像及びカメラＣ’の画像を、ディジタル画像座標から正規化画像座標に変換する。
【０１１９】
次に、カメラＣの画像及びカメラＣ’の画像を回転変換する。回転変換行列は、式（１６）に基づくと、下記の通りである。
【数５５】
【０１２０】
相対的位置ベクトルは、式（１８）に基づき、下記のベクトルに変換される。
【数５６】
【０１２１】
式（３３）に基づき、回転変換する。例えば、点Ｍ０は下記の点ＭＲ０に変換される。
【数５７】
【０１２２】
点Ｍ０を左上端とする、大きさＷ×Ｈのブロックで探索を行うとする。
【０１２３】
本発明によれば、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎｘ＝０、ｎｙ＝１、ｎｚ＝０、Ｚ＝Ｒ／２の時、回転変換された座標系における、奥行き距離、法線ベクトルは、式（３２）及び式（１９）を用いて、以下のようになる。
【数５８】
【０１２４】
従って、この時の視差ベクトルＤ０は、式（３７）より、以下のようになる。
【数５９】
【０１２５】
また、この時の一次変換行列Ｌ０は、式（３８）より、以下のようになる。
【数６０】
【０１２６】
このとき、ブロックマッチングの誤差が最小であったならば、Ｄ０及びＬ０が目的の視差ベクトルと一次変換行列であることになる。
【０１２７】
第２に、同一平面上にあるＫ台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。
【０１２８】
カメラの内部パラメータＡ及び相対的位置ベクトルｔｋ（第０カメラをベースカメラとして、第０カメラに対する第ｋカメラの相対的位置ベクトルを示す。ｋ＝１〜Ｋ−１）は、事前に得られていることが前提である。簡単のため、以下のようであったとする。
【数６１】
【０１２９】
この相対的位置ベクトルｔｋは、Ｋ台のカメラがＸ軸上にΔ間隔で設置してある状況に相当する。
【０１３０】
まず、第０カメラの画像の中の点Ｍ０に着目する。点Ｍ０のディジタル画像座標ｍ０が、以下の値であったとする。
【数６２】
【０１３１】
そこで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下の値になる。
【数６３】
【０１３２】
同様にして、他のＫ−１台のカメラの画像を、ディジタル画像座標から正規化画像座標に変換する。
【０１３３】
本発明によれば、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎｘ＝ｎｘ０、ｎｙ＝ｎｙ０、ｎｚ＝ｎｚ０、Ｚ＝Ｚ０の時、第０カメラの画像の中の点Ｍ０に対する第ｋカメラの画像の対応点の視差ベクトルＤｋは、以下のようになる。
【数６４】
【０１３４】
また、第０カメラの画像の中のブロックに対する第ｋカメラの画像の中のブロックの一次変換行列Ｌｋは、以下のようになる。
【数６５】
【０１３５】
ここで、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚは固定したまま（ｎｘ＝ｎｘ０、ｎｙ＝ｎｙ０、ｎｚ＝ｎｚ０、Ｚ＝Ｚ０）で、各カメラにおいて、Ｄｋに基づいて平行移動しＬｋに基づいて一次変換したブロックを比較し、両者（第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士）の差分を評価する。例えば、最小自乗誤差を求める。
【０１３６】
第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士の差分の評価値をｄｋとおく。この時、法線ベクトルと奥行き距離の各組合せに対して、以下のように算出する。
【数６６】
【０１３７】
このＳを最小化する、法線ベクトルと奥行き距離の組合せが、目的の視差ベクトルと一次変換行列であることになる。
【０１３８】
第３に、同一平面上に無いＫ台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。
【０１３９】
カメラの内部パラメータＡ及び相対的位置ベクトルｔｋ（第０カメラをベースカメラとして、第０カメラに対する第ｋカメラの相対的位置ベクトルを示す。ｋ＝１〜Ｋ−１）は、事前に得られていることが前提である。簡単のため、以下のようであったとする。
【数６７】
【０１４０】
この相対的位置ベクトルｔｋは、Ｋ台のカメラが半径Ｒの円周上に角度Θ間隔で設置してある状況に相当する。
【０１４１】
まず、第０カメラの画像の中の点Ｍ０に着目する。点Ｍ０のディジタル画像座標ｍ０が、以下の値であったとする。
【数６８】
【０１４２】
そこで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下の値になる。
【数６９】
【０１４３】
同様にして、他のＫ−１台のカメラの画像を、ディジタル画像座標から正規化画像座標に変換する。
【０１４４】
次に、Ｋ台のカメラの画像を回転変換する。第０カメラと第ｋカメラの組合せにおける回転変換行列は、式（１６）に基づくと、以下のようになる。
【数７０】
【０１４５】
第０カメラと第ｋカメラの組合せにおける相対的位置ベクトルは、式（１８）に基づき、下記のベクトルに変換される。
【数７１】
【０１４６】
式（３３）に基づき、回転変換する。例えば、点Ｍ０は下記の点Ｍｋに変換される。
【数７２】
【０１４７】
点Ｍ０を左上端とするブロックで探索を行うとする。
【０１４８】
本発明によれば、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎｘ＝０、ｎｙ＝１、ｎｚ＝０、Ｚ＝Ｒ／２の時、第０カメラと第ｋカメラの組合せで回転変換された座標系における、奥行き距離、法線ベクトルは、式（３２）及び式（１９）を用いて、以下のようになる。
【数７３】
【０１４９】
従って、この時の第０カメラと第ｋカメラの組合せにおける視差ベクトルＤkは、式（３７）より、以下のようになる。
【数７４】
【０１５０】
また、この時の第０カメラと第ｋカメラの組合せにおける一次変換行列Ｌkは、式（３８）より、以下のようになる。
【数７５】
【０１５１】
ここで、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚは固定したまま（ｎｘ＝０、ｎｙ＝１、ｎｚ＝０、Ｚ＝Ｒ／２）で、各カメラにおいて、Ｄｋに基づいて平行移動しＬｋに基づいて一次変換したブロックを比較し、両者（第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士）の差分を評価する。例えば、最小自乗誤差を求める。
【０１５２】
第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士の差分の評価値をｄｋとおく。この時、法線ベクトルと奥行き距離の各組合せに対して、以下のように算出する。
【数７６】
【０１５３】
このＳを最小化する、法線ベクトルと奥行き距離の組合せが、目的の視差ベクトルと一次変換行列であることになる。
【０１５４】
このとき、ブロックマッチングの誤差が最小であったならば、Ｄ０及びＬ０が目的の視差ベクトルと一次変換行列であることになる。
【０１５５】
図１１は、２つのカメラによる変形ブロックマッチングの説明図である。
【０１５６】
図１１によれば、各画像について１対１の組み合わせによって、独立に変形ブロックマッチングをする。この場合、組み合わせ毎に、異なる奥行き距離と法線ベクトルとが必要となり、大きい計算量を要する。
【０１５７】
図１２は、３つ以上のカメラによる変形ブロックマッチングの説明図である。
【０１５８】
図１２によれば、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、その予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。１組の奥行き距離及び法線ベクトルによって、全ての画像の対応ブロックのマッチングをとることができる。
【０１５９】
図１３は、本発明におけるフローチャートである。尚、図１３は、図９のマッチングに基づいて説明する。
【０１６０】
（Ｓ９０１）全てのカメラの位置情報を取得する。全てのカメラは、光軸を平行に且つ該光軸に垂直な同一平面上に配置されている。従って、第１のカメラに対する第２のカメラの世界座標系の第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）を取得する。カメラは、移動可能なものであってもよい。カメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報を受信する。尚、カメラが固定なものであれば、その位置情報は予め登録されているものであってもよい。
【０１６１】
（Ｓ９０２）全てのカメラの画像を取得する。ここで、第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。
【０１６２】
（Ｓ９０３）第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。回転変換を表す行列は、以下のものである。
【数７７】
【０１６３】
（Ｓ９０４）被写体上の任意点を決定する。
（Ｓ９０５）任意点を、回転変換を加えた符号化対象ピクチャに射影した第１の画像座標（ｘ，ｙ）と、該任意点を、回転変換を加えた参照ピクチャに射影した第２の画像座標（ｘ'，ｙ'）とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
（Ｓ９０６）符号化対象ピクチャについて任意点を含む第１のブロックを選択する。
【０１６４】
（Ｓ９０７）以下、Ｓ９０７〜Ｓ９１０を繰り返す。
（Ｓ９０８）任意点の奥行き距離Ｚを任意に決定する。
（Ｓ９０９）被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に決定する。
【０１６５】
（Ｓ９１０）ここで、回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ'，ｙＲ'）が得られたとする。そうすると、視差ベクトルは、以下のものとなる。
【数７８】
一次変換行列は、以下のものである。
【数７９】
【０１６６】
第１のブロックを、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、参照ピクチャのブロックにマッチングさせる。
【０１６７】
（Ｓ９１１）奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、Ｓ９０６〜Ｓ９０９を繰り返す。そして、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。結果的に、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。
【０１６８】
（Ｓ９１２）移動させ且つ変形させた符号化対象ピクチャの第１のブロックと最も類似する参照ピクチャの第２のブロックとの予測誤差を導出し且つ符号化する。予測誤差の符号化方式は、ＭＰＥＧに規定された一般的なものである。
（Ｓ９１３）奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を、符号化データに付加する。
【０１６９】
（Ｓ９１４）符号化対象ピクチャの第１のブロック以外の部分について被写体上の任意点を更に決定し、Ｓ９０４〜Ｓ９１３を繰り返す。
【０１７０】
図１４は、本発明における多視点画像圧縮符号化装置の機能構成図である。
【０１７１】
図１４によれば、多視点画像圧縮符号化装置２は、位置情報取得部２１と、画像取得部２２と、カメラ座標系座標変換部２０３と、任意点選択部２０４と、正規化画像座標導出部２０５と、ブロック選択部２０６と、ブロックマッチング部２０７と、パラメータ決定部２０８と、マッチング制御部２０９と、ブロック制御部２１０と、予測誤差符号化部２１１と、パラメータ付加部２１２とを有する。これら機能部は、コンピュータによって実行されるプログラムによっても実現できる。
【０１７２】
位置情報取得部２１は、全てのカメラの位置情報を取得する。前述した図１３のＳ９０１と同様の機能を有する。
【０１７３】
画像取得部２２は、全てのカメラから同期した画像を取得する。前述した図１３のＳ９０２と同様の機能を有する。
【０１７４】
カメラ座標系座標変換部２０３は、第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。前述した図１３のＳ９０３と同様の機能を有する。
【０１７５】
任意点選択部２０４は、被写体上の任意点を決定する。任意点選択部２０４は、ブロック制御部２１０からの指示に応じて、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定する。前述した図１３のＳ９０４と同様の機能を有する。
【０１７６】
正規化画像座標導出部２０５は、任意点を、回転変換を加えた第１の画像に射影した第１の正規化画像座標（ｘ，ｙ）と、任意点を、回転変換を加えた第２の画像に射影した第２の正規化画像座標（ｘ'，ｙ'）とを導出する。前述した図１３のＳ９０５と同様の機能を有する。
【０１７７】
ブロック選択部２０６は、第１の画像について任意点を含む第１のブロックを選択する。前述した図１３のＳ９０６と同様の機能を有する。
【０１７８】
ブロックマッチング部２０７は、第１のブロックを、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。前述した図１３のＳ９１０と同様である。
【０１７９】
尚、ブロック選択部２０６が、第２の画像について任意点を含む第２のブロックを選択する場合、ブロックマッチング部２０７は、第１の画像を、視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる。
【０１８０】
パラメータ決定部２０８は、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。前述した図１３のＳ９０８及びＳ９０９と同様である。
【０１８１】
マッチング制御部２０９は、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。前述した図１３のＳ９０７及びＳ９１１と同様である。
【０１８２】
ブロック制御部２１０は、任意点について、正規化画像座標算出部２０５と、パラメータ決定部２０８と、ブロックマッチング部２０７と、マッチング制御部２０９と、予測誤差符号化部２１１と、パラメータ付加部２１２とを繰り返す。最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する。前述した図１３のＳ９０４及びＳ９１４と同様である。
【０１８３】
予測誤差符号化部２１１は、移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する。前述した図１３のＳ９１２と同様である。
【０１８４】
パラメータ付加部２１２は、導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を、符号化データに付加する。前述した図１３のＳ９１３と同様である。
【０１８５】
以上、詳細に説明したように、本発明の多視点画像圧縮符号化方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて多視点画像を圧縮符号化することができる。ＭＰＥＧによれば、符号化対象ピクチャの第１のブロック又は参照ピクチャ自体を、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルと共に、一次変換行列も検出する。第１の画像座標を原点として一次変換行列に基づいて変形させたブロック又は画像と、他方のブロックとの予測誤差を導出することにより、予測誤差のデータ量を低減し、高い効率で多視点画像を圧縮符号化することができる。
【０１８６】
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【０１８７】
【図１】本発明におけるシステム構成図である。
【図２】図１のシステム構成について、複数のカメラを正面及び側面から見た配置図である。
【図３】図２における各カメラから見た被写体の見え方を表す画面図である。
【図４】被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図５】被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図６】被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図７】２つのカメラにおける第１の相対位置関係の説明図である。
【図８】２つのカメラに回転を加えた第２の相対位置関係の説明図である。
【図９】第１のブロックマッチングの説明図である。
【図１０】第２のブロックマッチングの説明図である。
【図１１】２つのカメラによる変形ブロックマッチングの説明図である。
【図１２】３つ以上のカメラによる変形ブロックマッチングの説明図である。
【図１３】本発明におけるフローチャートである。
【図１４】本発明における多視点画像圧縮符号化装置の機能構成図である。
【符号の説明】
【０１８８】
１ カメラ
２ 多視点画像圧縮符号化装置
２０１ 位置情報取得部
２０２ 画像取得部
２０３ カメラ座標系座標変換部
２０４ 任意点選択部
２０５ 正規化画像座標導出部
２０６ ブロック選択部
２０７ ブロックマッチング部
２０８ パラメータ決定部
２０９ マッチング制御部
２１０ ブロック制御部
２１１ 予測誤差符号化部
２１２ パラメータ付加部
３ 被写体
【技術分野】
【０００１】
本発明は、多視点画像圧縮符号化方法、装置及びプログラムに関する。
【背景技術】
【０００２】
異なる位置にあるカメラによって同時に撮影された画像（以下「多視点画像」という）の間には、視差による違いを除けば、強い相関がある。従って、これら画像を一連の映像シーケンスとみなして、動き補償（視差補償）を用いて符号化することにより、情報圧縮をすることができる（例えば特許文献１参照）。
【０００３】
多視点画像間の視差補償を行う代表的な方法として、「ブロックマッチング」がある。「ブロックマッチング」を用いた視差ベクトルの検出は、以下のようにしてなされる。
【０００４】
第１のカメラ（第１の視点）によって撮影された第１の画像を、小さなブロックに分割する。第１の画像の第１のブロックの各々を、第２のカメラ（他の視点）の第２の画像の中で平行移動させて、最も類似度が高い領域を探索する。具体的には、第１の画像の第１のブロックに対して、絶対値誤差又は２乗誤差が最小となる第２の画像の第２のブロックを探索する。そして、探索された第２のブロックと、第１のブロックとの距離量を視差ベクトルとして算出する。第１のブロックと第２のブロックとの予測誤差を符号化し、視差ベクトルを符号化データに付加することによって、その多視点画像を圧縮符号化することができる。
【０００５】
【特許文献１】特開２００５−２６０４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のブロックマッチングは、第１の画像の中の被写体が、第２の画像の中で平行移動した場合に、ブロックをマッチングさせるものである。複数のカメラから見て、被写体の表面が、そのカメラの光軸に垂直となり、かつ、そのカメラから等距離にある場合にしか、完全なブロックマッチングをさせることができない。
【０００７】
しかしながら、複数のカメラの光軸に対して、被写体の表面が傾いている場合には、その被写体の面も異なって見える。即ち、第１の画像の第１のブロックを、第２の画像の中で平行移動させても、第１のブロックと完全にマッチングした第２のブロックを探索することはできない。第１の画像の中の被写体の形状は、第２の画像の中の被写体の形状と異なって射影されたものとなるからである。
【０００８】
そこで、本発明は、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いた多視点画像圧縮符号化方法、装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第１の画像について任意点を含む第１のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする。
【００１０】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第８のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことも好ましい。
【００１１】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第２の画像について任意点を含む第２のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１の画像を、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする。
【００１２】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第８のステップは、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことも好ましい。
【００１３】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第２から第７のステップを繰り返し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことも好ましい。
【００１４】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１のステップについて、回転変換を表す行列は、以下のものであり、
【数１】
第２のステップについて、任意点の画像座標は、正規化画像座標であり、
回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
第６のステップについて、視差ベクトルは、以下のものであり、
【数２】
一次変換行列は、以下のものである
【数３】
ことも好ましい。
【００１５】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することも好ましい。
【００１６】
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことも好ましい。
【００１７】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、該任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
【００１８】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことも好ましい。
【００１９】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
【００２０】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことも好ましい。
【００２１】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、視差補償手段と、多視点画像圧縮符号化手段とを繰り返すブロック制御手段を更に有し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことも好ましい。
【００２２】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
カメラ座標系座標変換手段について、回転変換を表す行列は、以下のものであり、
【数４】
画像座標算出手段は、任意点の画像座標として正規化画像座標を導出し、
回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
ブロックマッチング手段は、視差ベクトルを以下のものとし、
【数５】
一次変換行列を以下のものとする
【数６】
ことも好ましい。
【００２３】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することも好ましい。
【００２４】
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことも好ましい。
【００２５】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
【００２６】
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、任意点を、回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
【発明の効果】
【００２７】
本発明の多視点画像圧縮符号化方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて多視点画像を圧縮符号化することができる。ＭＰＥＧによれば、符号化対象ピクチャの第１のブロック又は参照ピクチャ自体を、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルと共に、一次変換行列も検出する。第１の画像座標を原点として一次変換行列に基づいて変形させたブロック又は画像と、他方のブロックとの予測誤差を導出することにより、予測誤差のデータ量を低減し、高い効率で多視点画像を圧縮符号化することができる。
【発明を実施するための最良の形態】
【００２８】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００２９】
図１は、本発明におけるシステム構成図である。
【００３０】
異なる位置に配置された複数のカメラ１が、被写体３を撮影する。複数のカメラ１は、光軸をＺ軸に平行として配置されている。但し、それらのカメラは、光軸に垂直な同一平面（ＸＹ平面に平行な平面）上には配置されない。即ち、前後左右に散らばって配置されている。図１によれば、９台の縦３列横３列（視点（０，０）〜（２，２））で配置されている。また、複数のカメラ１は、多視点画像圧縮符号化装置２に接続される。本発明によれば、少なくとも２つのカメラによって撮影された多視点画像を必要とする。
【００３１】
カメラ１は、被写体３を撮影した画像を多視点画像圧縮符号化装置２へ送信する。ここで、カメラ１が移動可能なものである場合、カメラ位置情報も、多視点画像圧縮符号化装置２へ送信される。勿論、多視点画像圧縮符号化装置２が、全てのカメラ位置情報を予め記憶しているものであってもよい。
【００３２】
図２は、図１のシステム構成について、複数のカメラを正面及び側面から見た配置図である。
【００３３】
図２によれば、正面から見ると、等幅で縦３列横３列に配置されている。側面から見ると、カメラ（０，１）（１，１）（２，１）がｚ軸に対して後方に配置されている。即ち、被写体３に対して、複数のカメラ１は、ｙ軸に対して円筒面上に配置されている。
【００３４】
図３は、図２における各カメラから見た被写体の見え方を表す画面図である。
【００３５】
図３によれば、被写体は、台形状立体である。被写体の正面に、カメラ（１，１）が位置する。カメラ（０，１）（１，１）（２，１）は、ｚ軸に対して後方に配置されているので、被写体が少し小さく見える。また、カメラ（１，１）の前方にあり且つ左側のカメラ（１，０）から見ると、被写体が全体として大きく、且つ、左側が広がり、右側が縮小して見える。また、カメラ（１，１）の前方にあり且つ右側のカメラ（１，２）から見ると、被写体が全体として大きく、且つ、左側が縮小し、右側が広がって見える。
【００３６】
同様に、カメラ（１，１）の上側のカメラ（０，１）から見ると、被写体の上側が広がり、下側が縮小して見える。カメラ（１，１）の下側のカメラ（２，１）から見ると、被写体の上側が縮小し、下側が広がって見える。
【００３７】
図３からも明らかなとおり、視差を考慮してブロックを移動させても、正確に一致する領域がない。従って、正しいマッチングを取ることができない。
【００３８】
図４〜図６には、被写体の表面の傾きによって、各カメラによって撮影される画像を表している。
【００３９】
図４は、被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。
【００４０】
被写体は、左側が奥に、右側が手前にある。このとき、カメラ（１，１）の画像よりも、カメラ（１，１）の前方にあり且つ左側のカメラ（１，０）の画像の方が、被写体が全体として大きく、且つ、横方向に広がって見える。また、カメラ（１，１）の画像よりも、カメラ（１，１）の前方にあり且つ右側のカメラ（１，２）の画像の方が、被写体が全体として大きく、且つ、横方向に狭く見える。
【００４１】
図５は、被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【００４２】
被写体は、上側が奥に、下側が手前にある。このとき、カメラ（１，１）の画像よりも、カメラ（１，１）の上側のカメラ（０，１）の画像の方が、平面が縦方向に広がって見える。また、カメラ（１，１）の画像よりも、カメラ（１，１）の下側のカメラ（２，１）の画像の方が、平面が縦方向に狭く見える。
【００４３】
図６は、被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。即ち、図４の傾きと図５の傾きとを合わせたものである。
【００４４】
図３、図４〜図６に表されたように、このような見え方の差異は、複数のカメラの光軸に対して、被写体の台形状立体の側面が傾いているために生じる。本発明によれば、カメラの光軸に対して被写体の表面が傾いている場合であっても、第１のブロックと完全にマッチングした第２のブロックを探索することができる。
【００４５】
図７は、２つのカメラにおける第１の相対位置関係の説明図である。
【００４６】
一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。また、２つのカメラは、光軸を平行に、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）で配置される。図７によれば、被写体に対して、カメラＣとカメラＣ’のｘｙ平面は、異なる位置にある。従って、ｔｚ≠０である。
【００４７】
図８は、２つのカメラに回転を加えた第２の相対位置関係の説明図である。
【００４８】
本発明によれば、カメラ内部パラメータを用いて、カメラＣとカメラＣ’に同一の回転変換を加える。この回転Ｒは、カメラＣ及びカメラＣ’の光軸が、カメラＣ及びカメラＣ’を通る同一平面に対して垂直となるようにする。このように、カメラＣのカメラ座標系座標と、カメラＣ’のカメラ座標系座標とを変換する。これにより、カメラＣ及びカメラＣ’の第２の相対的位置は、（ｔＲｘ，ｔＲｙ，０）となる。即ち、ｔＲｚ＝０で表される。
【００４９】
カメラ座標系座標に回転Ｒを加えて、そのｘｙ平面から被写体の任意点までの奥行き距離ＺＲと、近似平面の向き（単位法線ベクトル）ｎＲとを、ブロックマッチングのパラメータとして用いる。
【００５０】
図９は、第１のブロックマッチングの説明図である。
【００５１】
予測符号化方式に、ＭＰＥＧを適用する。図９によれば、符号化対象ピクチャ（第１の画像）について任意点を含む第１のブロックを選択する。次に、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。そして、第１のブロックを、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、参照ピクチャのブロックにマッチングさせる。
【００５２】
図９は、第２のブロックマッチングの説明図である。
【００５３】
図９によれば、符号化対象ピクチャ（第２の画像）について任意点を含む第２のブロックを選択する。次に、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。そして、参照ピクチャ（第１の画像）を、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、符号化対象ピクチャの第２のブロックにマッチングさせる。
【００５４】
以下では、ブロック又は画像の移動及び変形となる一次変換行列の導出過程を詳細に説明する。
【００５５】
最初に、カメラの内部パラメータ（内部カメラ行列）Ａは、以下の式で表される。この値は、既知であるとする。
【数７】
ｆku、ｆkv：焦点距離（カメラの距離のピクセル数）
θ＝π／２：座標軸の角度
ｕ０、ｖ０：画像中心
【００５６】
カメラＣのカメラ座標系を平行移動（相対的位置ｔ）させて、カメラＣ’のカメラ座標系が得られる。ｔは、カメラの外部パラメータの１つであり、カメラＣのカメラ座標系に対するカメラＣ’の変位ベクトルを表す。カメラＣ及びＣ’は、光軸を平行に配置される。また、カメラＣのカメラ座標系に対するカメラＣ’の相対的位置ベクトルｔは、ｚ軸成分を必ず非０とする（ｔＺ≠０）。
【数８】
【００５７】
カメラＣのカメラ座標系座標と、カメラＣ’のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ’のカメラ座標系座標に変換される。
Ｍ＝Ｍ’＋ｔ 式（２）
Ｍ：カメラＣにおける被写体の任意点Ｐのカメラ座標系座標
Ｍ’：カメラＣ’における被写体の任意点Ｐのカメラ座標系座標
【数９】
【００５８】
ここで、被写体の近似平面πに対して、カメラＣ’のカメラ座標系では以下の式が成り立つ。
ｎＴＭ’＝ｄ 式（５）
ｎ（|ｎ|＝１）：カメラＣ’のカメラ座標系における平面の法線ベクトル
【数１０】
ｄ：カメラＣ’のカメラ座標系の原点から平面までの距離
【００５９】
次に、任意点Ｐのディジタル画像座標を、以下のようにする。
ｍ：カメラＣにおける任意点Ｐのディジタル画像座標
ｍ’：カメラＣ’における任意点Ｐのディジタル画像座標
【数１１】
【００６０】
また、任意点Ｐの正規化画像座標を、以下のようにする。「正規化画像」とは、画像平面が焦点から単位長のところにあるカメラ（正規化カメラ）で撮影したと仮定した場合の画像をいう。正規化画像における任意点の座標を、「正規化画像座標」という。
ｘ：任意点ＰのカメラＣにおける正規化画像座標
ｘ’：任意点ＰのカメラＣ’における正規化画像座標
【数１２】
【００６１】
これにより、以下の中心射影変換が成立する。
【数１３】
【００６２】
次に、式（９）に式（７）及び式（３）を代入すると、以下の式が導出される。
【数１４】
【００６３】
両辺の３行目を比較すると、ｓ＝Ｚが導かれる。
【００６４】
これを式（９）に代入すると、以下の式が導出される。
【数１５】
【００６５】
一方で、式（１０）に式（２）を代入すると、以下の式が成立する。
【数１６】
【００６６】
式（１）、式（３）、式（４）、及び式（８）を代入して、以下の式が導出される。
【数１７】
【００６７】
両辺の３行目を比較すると、ｓ’＝Ｚ’＝Ｚ−ｔｚが導出される。
【００６８】
これを式（１０）に代入すると、以下の式が導出される。
【数１８】
【００６９】
次に、カメラＣのカメラ座標系を回転変換し、ｔを、それをＸＹ平面に正射影したベクトルｔｘｙの方向に一致させることを考える。但し、ｔｘｙは、以下のようになる。
【数１９】
【００７０】
一般に、単位ベクトルｒを回転軸とする角度θの回転を表す行列Ｒは、Ｒｏｄｒｉｇｕｅｓの公式により、以下のように表される。
【数２０】
【００７１】
ここで、以下のものである。
【数２１】
【００７２】
ｒは、ｔ及びｔｘｙと直交するので、以下の式になる。
【数２２】
【００７３】
回転角度をθとすると、以下の式となる。
【数２３】
【００７４】
以上より、式（１４）及び式（１５）を式（１３）に代入すると、求める回転変換行列は、以下のようになる。
【数２４】
【００７５】
同様に、逆変換の行列は、以下のようになる。
【数２５】
【００７６】
回転変換行列Ｒを用いて、平行移動ベクトルｔ、近似平面πの単位法線ベクトルｎを回転変換する。回転変換した結果をそれぞれ、ｔＲ、ｎＲとおくと、以下のようになる。
【数２６】
【００７７】
回転変換後のカメラＣのカメラ座標系座標と、回転変換後のカメラＣ’のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ’のカメラ座標系座標に変換される。
ＭＲ＝ＭＲ’＋ｔＲ 式（２０）
ＭＲ：回転変換後のカメラＣにおける被写体の任意点Ｐのカメラ座標系座標
ＭＲ’：回転変換後のカメラＣ’における被写体の任意点Ｐのカメラ座標系座標
【数２７】
【００７８】
ここで、被写体の近似平面πに対して、回転変換後のカメラＣ’のカメラ座標系では、近似平面πとカメラＣ’との距離ｄの値は回転変換によって不変であるから、以下の式が成り立つ。
ｎＲＴＭＲ’＝ｄ 式（２３）
∴ｎＲＴＭＲ’／ｄ＝１ 式（２４）
【００７９】
式（２４）を、式（２０）に代入すると、以下の平面射影変換の式が得られる。
【数２８】
【００８０】
Ｈをホモグラフィ行列とすると、以下のようになる。
【数２９】
【００８１】
次に、任意点Ｐのディジタル画像座標を、以下のようにする。
ｍＲ：回転変換後のカメラＣにおける任意点Ｐのディジタル画像座標
ｍＲ’：回転変換後のカメラＣ’における任意点Ｐのディジタル画像座標
【数３０】
【００８２】
また、任意点Ｐの正規化画像座標を、以下のようにする。
ｘＲ：回転変換後の任意点ＰのカメラＣにおける正規化画像座標
ｘＲ’：回転変換後の任意点ＰのカメラＣ’における正規化画像座標
【数３１】
【００８３】
これにより、中心射影変換として、以下の式が成立する。
【数３２】
【００８４】
式（２８）に式（２６）及び式（２１）式を代入すると、以下の式が導出される。
【数３３】
【００８５】
両辺の３行目を比較すると、ｓＲ＝ＺＲが導かれる。
【００８６】
これを式（２８）に代入すると、以下の式が導出される。
【数３４】
【００８７】
一方で、式（２９）に式（２０）を代入すると、以下の式が成立する。
【数３５】
【００８８】
式（２１）、式（２２）、式（１）、式（１８）及び式（２７）を代入して、以下の式を導出する。
【数３６】
【００８９】
両辺の３行目を比較すると、
ｓＲ’＝ＺＲ’＝ＺＲ 式（４１）
が導かれる。
【００９０】
これを、式（２９）に代入すると、以下の式が成立する。
【数３７】
【００９１】
従って、式（２３）に代入すると、以下の式が成立する。
【数３８】
【００９２】
式（１９）及び式（２７）を代入すると、以下の式が成立する。
ｄ＝ＺＲ（ｎＲｘｘＲ’＋ｎＲｙｙＲ’＋ｎＲｚ） 式（３１）
【００９３】
式（３１）を式（１３）に代入すると、以下の式が導出される。
【数３９】
【００９４】
また、ｘとｘＲの変換式、及び、ｘ’とｘＲ’の変換式を求める。簡単のため、以下のように定義する。
【数４０】
【００９５】
そうすると、式（１１）より、以下のようになる。
【数４１】
【００９６】
両辺の３行目を比較すると、以下の式となる。
【数４２】
【００９７】
これにより、以下の式が成立する。
【数４３】
【００９８】
また、式（３２）に式（４１）を代入すると、以下の式となり、Ｚ，ｔ，ｘ’，ｙ’からＺＲが導出できる。
【数４４】
【００９９】
ここで、式（４０）において、カメラ座標系座標ＭＲ及びＭＲ’に代えて、正規化画像座標ｘＲ及びｘＲ’を用いると、以下の変換式が得られる。
【数４５】
【０１００】
両辺の３行目を比較すると、ｓＲ＝１が導かれる。
【０１０１】
これを式（３５）に代入すると、以下の式が成立する。
【数４６】
【０１０２】
更に、ディジタル画像座標ｍＲ及びｍＲ’を用いると、以下の変換式が得られる。
【数４７】
【０１０３】
正規化画像座標系における視差ベクトルをＤとすると、以下の式が成り立つ。
【数４８】
【０１０４】
【数４９】
【０１０５】
右辺及び左辺の差を求めると、以下の式が成り立つ。
【数５０】
【０１０６】
回転変換した第２の画像の第２のブロックについて、回転変換した第１の画像の中を、以下のＤの平行移動をさせて、第１の画像座標（ｘＲ，ｙＲ）を原点として以下のＬの一次変換行列で変形をさせることにより、第２のブロックに最も類似するような、第１の画像のブロックを探索する。一次変換行列によれば、視差ベクトルと、被写体の（平面に近似された）面の傾きとに基づいてブロックを変形し、ブロックマッチングをすることができる。
【０１０７】
【数５１】
【０１０８】
ここで、参照ピクチャと符号化対象ピクチャとを圧縮符号化する方法を説明する。
【０１０９】
最初に、符号化対象ピクチャを、画面内予測符号化する。次に、参照ピクチャを複数のブロックに分割し、各ブロックに対して前述の平行移動Ｄ及び一次変換行列Ｌに基づいて、第１の画像座標（ｘ，ｙ）を原点として変形させる。そして、予測誤差が最小となる参照ピクチャのブロック（参照ブロック）を求め、その際の平行移動ベクトルＤと一次変換行列Ｌ（即ち、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ））を導出する。ここで、当該ブロックと、変形した参照ブロックとを比較して予測誤差を算出するために、変形した参照ブロックを線形補間等によって補間し、当該ブロックの各画素と比較するための対応する画素値を算出する。例えば、線形補間を用いる場合は、図Ｘの点Ｘの画素値は、周辺４点（Ａ，Ｂ，Ｃ，Ｄ）の画素値を用いて、以下の式から求める。
Ｘ＝（１−ｄｘ）（１−ｄｙ）Ａ＋ｄｘ（１−ｄｙ）Ｂ＋（１−ｄｙ）ｄｙＣ＋ｄｘｄｙＤ
【０１１０】
最後に、予測誤差を圧縮符号化し、奥行き距離Ｚ（又は平行移動ベクトルＤ）と単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化する。
【０１１１】
但し、第１の画像の参照ブロックとの予測誤差を符号化するよりも、第２の画像の中で画面内予測符号化する方が、圧縮効率が高くなる場合は、第２の画像の中で画面内予測符号化をする。
【０１１２】
以下では、具体的な実施例を説明する。
【０１１３】
第１に、同一平面上に無い２台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。
【０１１４】
カメラの内部パラメータＡ及び相対的位置ベクトルｔは、事前に得られていることが前提である。簡単のため、以下のように定義する。
【数５２】
【０１１５】
この相対的位置ベクトルｔは、２台のカメラが半径Ｒの円周上に角度θだけ離れて設置してある状況に相当する。
【０１１６】
まず、カメラＣの画像の中の点Ｍ０に着目する。点Ｍ０のディジタル画像座標ｍ０が、以下の値であったとする。
【数５３】
【０１１７】
そこで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下の値になる。
【数５４】
【０１１８】
同様にして、カメラＣの画像及びカメラＣ’の画像を、ディジタル画像座標から正規化画像座標に変換する。
【０１１９】
次に、カメラＣの画像及びカメラＣ’の画像を回転変換する。回転変換行列は、式（１６）に基づくと、下記の通りである。
【数５５】
【０１２０】
相対的位置ベクトルは、式（１８）に基づき、下記のベクトルに変換される。
【数５６】
【０１２１】
式（３３）に基づき、回転変換する。例えば、点Ｍ０は下記の点ＭＲ０に変換される。
【数５７】
【０１２２】
点Ｍ０を左上端とする、大きさＷ×Ｈのブロックで探索を行うとする。
【０１２３】
本発明によれば、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎｘ＝０、ｎｙ＝１、ｎｚ＝０、Ｚ＝Ｒ／２の時、回転変換された座標系における、奥行き距離、法線ベクトルは、式（３２）及び式（１９）を用いて、以下のようになる。
【数５８】
【０１２４】
従って、この時の視差ベクトルＤ０は、式（３７）より、以下のようになる。
【数５９】
【０１２５】
また、この時の一次変換行列Ｌ０は、式（３８）より、以下のようになる。
【数６０】
【０１２６】
このとき、ブロックマッチングの誤差が最小であったならば、Ｄ０及びＬ０が目的の視差ベクトルと一次変換行列であることになる。
【０１２７】
第２に、同一平面上にあるＫ台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。
【０１２８】
カメラの内部パラメータＡ及び相対的位置ベクトルｔｋ（第０カメラをベースカメラとして、第０カメラに対する第ｋカメラの相対的位置ベクトルを示す。ｋ＝１〜Ｋ−１）は、事前に得られていることが前提である。簡単のため、以下のようであったとする。
【数６１】
【０１２９】
この相対的位置ベクトルｔｋは、Ｋ台のカメラがＸ軸上にΔ間隔で設置してある状況に相当する。
【０１３０】
まず、第０カメラの画像の中の点Ｍ０に着目する。点Ｍ０のディジタル画像座標ｍ０が、以下の値であったとする。
【数６２】
【０１３１】
そこで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下の値になる。
【数６３】
【０１３２】
同様にして、他のＫ−１台のカメラの画像を、ディジタル画像座標から正規化画像座標に変換する。
【０１３３】
本発明によれば、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎｘ＝ｎｘ０、ｎｙ＝ｎｙ０、ｎｚ＝ｎｚ０、Ｚ＝Ｚ０の時、第０カメラの画像の中の点Ｍ０に対する第ｋカメラの画像の対応点の視差ベクトルＤｋは、以下のようになる。
【数６４】
【０１３４】
また、第０カメラの画像の中のブロックに対する第ｋカメラの画像の中のブロックの一次変換行列Ｌｋは、以下のようになる。
【数６５】
【０１３５】
ここで、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚは固定したまま（ｎｘ＝ｎｘ０、ｎｙ＝ｎｙ０、ｎｚ＝ｎｚ０、Ｚ＝Ｚ０）で、各カメラにおいて、Ｄｋに基づいて平行移動しＬｋに基づいて一次変換したブロックを比較し、両者（第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士）の差分を評価する。例えば、最小自乗誤差を求める。
【０１３６】
第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士の差分の評価値をｄｋとおく。この時、法線ベクトルと奥行き距離の各組合せに対して、以下のように算出する。
【数６６】
【０１３７】
このＳを最小化する、法線ベクトルと奥行き距離の組合せが、目的の視差ベクトルと一次変換行列であることになる。
【０１３８】
第３に、同一平面上に無いＫ台のカメラの画像に対してブロックマッチングを行う場合の実施例を示す。
【０１３９】
カメラの内部パラメータＡ及び相対的位置ベクトルｔｋ（第０カメラをベースカメラとして、第０カメラに対する第ｋカメラの相対的位置ベクトルを示す。ｋ＝１〜Ｋ−１）は、事前に得られていることが前提である。簡単のため、以下のようであったとする。
【数６７】
【０１４０】
この相対的位置ベクトルｔｋは、Ｋ台のカメラが半径Ｒの円周上に角度Θ間隔で設置してある状況に相当する。
【０１４１】
まず、第０カメラの画像の中の点Ｍ０に着目する。点Ｍ０のディジタル画像座標ｍ０が、以下の値であったとする。
【数６８】
【０１４２】
そこで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下の値になる。
【数６９】
【０１４３】
同様にして、他のＫ−１台のカメラの画像を、ディジタル画像座標から正規化画像座標に変換する。
【０１４４】
次に、Ｋ台のカメラの画像を回転変換する。第０カメラと第ｋカメラの組合せにおける回転変換行列は、式（１６）に基づくと、以下のようになる。
【数７０】
【０１４５】
第０カメラと第ｋカメラの組合せにおける相対的位置ベクトルは、式（１８）に基づき、下記のベクトルに変換される。
【数７１】
【０１４６】
式（３３）に基づき、回転変換する。例えば、点Ｍ０は下記の点Ｍｋに変換される。
【数７２】
【０１４７】
点Ｍ０を左上端とするブロックで探索を行うとする。
【０１４８】
本発明によれば、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚを、任意に変化させてブロックマッチングを行う。例えば、ｎｘ＝０、ｎｙ＝１、ｎｚ＝０、Ｚ＝Ｒ／２の時、第０カメラと第ｋカメラの組合せで回転変換された座標系における、奥行き距離、法線ベクトルは、式（３２）及び式（１９）を用いて、以下のようになる。
【数７３】
【０１４９】
従って、この時の第０カメラと第ｋカメラの組合せにおける視差ベクトルＤkは、式（３７）より、以下のようになる。
【数７４】
【０１５０】
また、この時の第０カメラと第ｋカメラの組合せにおける一次変換行列Ｌkは、式（３８）より、以下のようになる。
【数７５】
【０１５１】
ここで、法線ベクトル（ｎｘ、ｎｙ、ｎｚ）及び奥行き距離Ｚは固定したまま（ｎｘ＝０、ｎｙ＝１、ｎｚ＝０、Ｚ＝Ｒ／２）で、各カメラにおいて、Ｄｋに基づいて平行移動しＬｋに基づいて一次変換したブロックを比較し、両者（第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士）の差分を評価する。例えば、最小自乗誤差を求める。
【０１５２】
第０カメラの画像と第ｋカメラの画像の中の対応するブロック同士の差分の評価値をｄｋとおく。この時、法線ベクトルと奥行き距離の各組合せに対して、以下のように算出する。
【数７６】
【０１５３】
このＳを最小化する、法線ベクトルと奥行き距離の組合せが、目的の視差ベクトルと一次変換行列であることになる。
【０１５４】
このとき、ブロックマッチングの誤差が最小であったならば、Ｄ０及びＬ０が目的の視差ベクトルと一次変換行列であることになる。
【０１５５】
図１１は、２つのカメラによる変形ブロックマッチングの説明図である。
【０１５６】
図１１によれば、各画像について１対１の組み合わせによって、独立に変形ブロックマッチングをする。この場合、組み合わせ毎に、異なる奥行き距離と法線ベクトルとが必要となり、大きい計算量を要する。
【０１５７】
図１２は、３つ以上のカメラによる変形ブロックマッチングの説明図である。
【０１５８】
図１２によれば、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、その予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。１組の奥行き距離及び法線ベクトルによって、全ての画像の対応ブロックのマッチングをとることができる。
【０１５９】
図１３は、本発明におけるフローチャートである。尚、図１３は、図９のマッチングに基づいて説明する。
【０１６０】
（Ｓ９０１）全てのカメラの位置情報を取得する。全てのカメラは、光軸を平行に且つ該光軸に垂直な同一平面上に配置されている。従って、第１のカメラに対する第２のカメラの世界座標系の第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）を取得する。カメラは、移動可能なものであってもよい。カメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報を受信する。尚、カメラが固定なものであれば、その位置情報は予め登録されているものであってもよい。
【０１６１】
（Ｓ９０２）全てのカメラの画像を取得する。ここで、第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。
【０１６２】
（Ｓ９０３）第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。回転変換を表す行列は、以下のものである。
【数７７】
【０１６３】
（Ｓ９０４）被写体上の任意点を決定する。
（Ｓ９０５）任意点を、回転変換を加えた符号化対象ピクチャに射影した第１の画像座標（ｘ，ｙ）と、該任意点を、回転変換を加えた参照ピクチャに射影した第２の画像座標（ｘ'，ｙ'）とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
（Ｓ９０６）符号化対象ピクチャについて任意点を含む第１のブロックを選択する。
【０１６４】
（Ｓ９０７）以下、Ｓ９０７〜Ｓ９１０を繰り返す。
（Ｓ９０８）任意点の奥行き距離Ｚを任意に決定する。
（Ｓ９０９）被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に決定する。
【０１６５】
（Ｓ９１０）ここで、回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ'，ｙＲ'）が得られたとする。そうすると、視差ベクトルは、以下のものとなる。
【数７８】
一次変換行列は、以下のものである。
【数７９】
【０１６６】
第１のブロックを、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、参照ピクチャのブロックにマッチングさせる。
【０１６７】
（Ｓ９１１）奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、Ｓ９０６〜Ｓ９０９を繰り返す。そして、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。結果的に、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。
【０１６８】
（Ｓ９１２）移動させ且つ変形させた符号化対象ピクチャの第１のブロックと最も類似する参照ピクチャの第２のブロックとの予測誤差を導出し且つ符号化する。予測誤差の符号化方式は、ＭＰＥＧに規定された一般的なものである。
（Ｓ９１３）奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を、符号化データに付加する。
【０１６９】
（Ｓ９１４）符号化対象ピクチャの第１のブロック以外の部分について被写体上の任意点を更に決定し、Ｓ９０４〜Ｓ９１３を繰り返す。
【０１７０】
図１４は、本発明における多視点画像圧縮符号化装置の機能構成図である。
【０１７１】
図１４によれば、多視点画像圧縮符号化装置２は、位置情報取得部２１と、画像取得部２２と、カメラ座標系座標変換部２０３と、任意点選択部２０４と、正規化画像座標導出部２０５と、ブロック選択部２０６と、ブロックマッチング部２０７と、パラメータ決定部２０８と、マッチング制御部２０９と、ブロック制御部２１０と、予測誤差符号化部２１１と、パラメータ付加部２１２とを有する。これら機能部は、コンピュータによって実行されるプログラムによっても実現できる。
【０１７２】
位置情報取得部２１は、全てのカメラの位置情報を取得する。前述した図１３のＳ９０１と同様の機能を有する。
【０１７３】
画像取得部２２は、全てのカメラから同期した画像を取得する。前述した図１３のＳ９０２と同様の機能を有する。
【０１７４】
カメラ座標系座標変換部２０３は、第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。前述した図１３のＳ９０３と同様の機能を有する。
【０１７５】
任意点選択部２０４は、被写体上の任意点を決定する。任意点選択部２０４は、ブロック制御部２１０からの指示に応じて、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定する。前述した図１３のＳ９０４と同様の機能を有する。
【０１７６】
正規化画像座標導出部２０５は、任意点を、回転変換を加えた第１の画像に射影した第１の正規化画像座標（ｘ，ｙ）と、任意点を、回転変換を加えた第２の画像に射影した第２の正規化画像座標（ｘ'，ｙ'）とを導出する。前述した図１３のＳ９０５と同様の機能を有する。
【０１７７】
ブロック選択部２０６は、第１の画像について任意点を含む第１のブロックを選択する。前述した図１３のＳ９０６と同様の機能を有する。
【０１７８】
ブロックマッチング部２０７は、第１のブロックを、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ'，ｙＲ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。前述した図１３のＳ９１０と同様である。
【０１７９】
尚、ブロック選択部２０６が、第２の画像について任意点を含む第２のブロックを選択する場合、ブロックマッチング部２０７は、第１の画像を、視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる。
【０１８０】
パラメータ決定部２０８は、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。前述した図１３のＳ９０８及びＳ９０９と同様である。
【０１８１】
マッチング制御部２０９は、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。前述した図１３のＳ９０７及びＳ９１１と同様である。
【０１８２】
ブロック制御部２１０は、任意点について、正規化画像座標算出部２０５と、パラメータ決定部２０８と、ブロックマッチング部２０７と、マッチング制御部２０９と、予測誤差符号化部２１１と、パラメータ付加部２１２とを繰り返す。最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する。前述した図１３のＳ９０４及びＳ９１４と同様である。
【０１８３】
予測誤差符号化部２１１は、移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する。前述した図１３のＳ９１２と同様である。
【０１８４】
パラメータ付加部２１２は、導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を、符号化データに付加する。前述した図１３のＳ９１３と同様である。
【０１８５】
以上、詳細に説明したように、本発明の多視点画像圧縮符号化方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて多視点画像を圧縮符号化することができる。ＭＰＥＧによれば、符号化対象ピクチャの第１のブロック又は参照ピクチャ自体を、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルと共に、一次変換行列も検出する。第１の画像座標を原点として一次変換行列に基づいて変形させたブロック又は画像と、他方のブロックとの予測誤差を導出することにより、予測誤差のデータ量を低減し、高い効率で多視点画像を圧縮符号化することができる。
【０１８６】
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【０１８７】
【図１】本発明におけるシステム構成図である。
【図２】図１のシステム構成について、複数のカメラを正面及び側面から見た配置図である。
【図３】図２における各カメラから見た被写体の見え方を表す画面図である。
【図４】被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図５】被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図６】被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図７】２つのカメラにおける第１の相対位置関係の説明図である。
【図８】２つのカメラに回転を加えた第２の相対位置関係の説明図である。
【図９】第１のブロックマッチングの説明図である。
【図１０】第２のブロックマッチングの説明図である。
【図１１】２つのカメラによる変形ブロックマッチングの説明図である。
【図１２】３つ以上のカメラによる変形ブロックマッチングの説明図である。
【図１３】本発明におけるフローチャートである。
【図１４】本発明における多視点画像圧縮符号化装置の機能構成図である。
【符号の説明】
【０１８８】
１ カメラ
２ 多視点画像圧縮符号化装置
２０１ 位置情報取得部
２０２ 画像取得部
２０３ カメラ座標系座標変換部
２０４ 任意点選択部
２０５ 正規化画像座標導出部
２０６ ブロック選択部
２０７ ブロックマッチング部
２０８ パラメータ決定部
２０９ マッチング制御部
２１０ ブロック制御部
２１１ 予測誤差符号化部
２１２ パラメータ付加部
３ 被写体
【特許請求の範囲】
【請求項１】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第１の画像について任意点を含む第１のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲ’と単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする多視点画像圧縮符号化方法。
【請求項２】
第８のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことを特徴とする請求項１に記載の多視点画像圧縮符号化方法。
【請求項３】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第２の画像について任意点を含む第２のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１の画像を、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする多視点画像圧縮符号化方法。
【請求項４】
第８のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことを特徴とする請求項３に記載の多視点画像圧縮符号化方法。
【請求項５】
第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第２から第７のステップを繰り返し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項１から４のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項６】
第１のステップについて、前記回転変換を表す行列は、以下のものであり、
【数１】
第２のステップについて、任意点の画像座標は、正規化画像座標であり、
前記回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
第６のステップについて、視差ベクトルは、以下のものであり、
【数２】
前記一次変換行列は、以下のものである
【数３】
ことを特徴とする請求項１から５のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項７】
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有する
ことを特徴とする請求項１から６のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項８】
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことを特徴とする請求項１から７のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項９】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、該任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。
【請求項１０】
前記予測誤差符号化手段は、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことを特徴とする請求項９に記載の多視点画像圧縮符号化装置。
【請求項１１】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。
【請求項１２】
予測誤差符号化手段は、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことを特徴とする請求項１１に記載の多視点画像圧縮符号化装置。
【請求項１３】
前記任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
前記任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、視差補償手段と、多視点画像圧縮符号化手段とを繰り返すブロック制御手段を更に有し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項９から１２のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１４】
前記カメラ座標系座標変換手段について、前記回転変換を表す行列は、以下のものであり、
【数４】
前記画像座標算出手段は、前記任意点の画像座標として正規化画像座標を導出し、
前記回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
前記ブロックマッチング手段は、前記視差ベクトルを以下のものとし、
【数５】
前記一次変換行列を以下のものとする
【数６】
ことを特徴とする請求項９から１３のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１５】
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する
ことを特徴とする請求項９から１４のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１６】
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことを特徴とする請求項９から１５のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１７】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
【請求項１８】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
【請求項１】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第１の画像について任意点を含む第１のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲ’と単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする多視点画像圧縮符号化方法。
【請求項２】
第８のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことを特徴とする請求項１に記載の多視点画像圧縮符号化方法。
【請求項３】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する第１のステップと、
被写体上の任意点を決定する第２のステップと、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する第３のステップと、
第２の画像について任意点を含む第２のブロックを選択する第４のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出する第５のステップと、
第１の画像を、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる第６のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第５及び第６のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第７のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第８のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第９のステップと
を有することを特徴とする多視点画像圧縮符号化方法。
【請求項４】
第８のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことを特徴とする請求項３に記載の多視点画像圧縮符号化方法。
【請求項５】
第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、第２から第７のステップを繰り返し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項１から４のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項６】
第１のステップについて、前記回転変換を表す行列は、以下のものであり、
【数１】
第２のステップについて、任意点の画像座標は、正規化画像座標であり、
前記回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
第６のステップについて、視差ベクトルは、以下のものであり、
【数２】
前記一次変換行列は、以下のものである
【数３】
ことを特徴とする請求項１から５のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項７】
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有する
ことを特徴とする請求項１から６のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項８】
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことを特徴とする請求項１から７のいずれか１項に記載の多視点画像圧縮符号化方法。
【請求項９】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、該任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。
【請求項１０】
前記予測誤差符号化手段は、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は符号化対象ピクチャであり、第２の画像は参照ピクチャである
ことを特徴とする請求項９に記載の多視点画像圧縮符号化装置。
【請求項１１】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。
【請求項１２】
予測誤差符号化手段は、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像は参照ピクチャであり、第２の画像は符号化対象ピクチャである
ことを特徴とする請求項１１に記載の多視点画像圧縮符号化装置。
【請求項１３】
前記任意点選択手段は、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定し、
前記任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、視差補償手段と、多視点画像圧縮符号化手段とを繰り返すブロック制御手段を更に有し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項９から１２のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１４】
前記カメラ座標系座標変換手段について、前記回転変換を表す行列は、以下のものであり、
【数４】
前記画像座標算出手段は、前記任意点の画像座標として正規化画像座標を導出し、
前記回転変換の結果、新たな奥行き距離ＺＲ及び新たな単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）と、任意の視点の新たな相対的位置（ｔＲｘ，ｔＲｙ，０）及び新たな画像座標（ｘＲ’，ｙＲ’）が得られたとし、
前記ブロックマッチング手段は、前記視差ベクトルを以下のものとし、
【数５】
前記一次変換行列を以下のものとする
【数６】
ことを特徴とする請求項９から１３のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１５】
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する
ことを特徴とする請求項９から１４のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１６】
３つ以上のカメラが配置された場合であっても、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）は一定であって、
第７のステップにおいて、１つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する
ことを特徴とする請求項９から１５のいずれか１項に記載の多視点画像圧縮符号化装置。
【請求項１７】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１のブロックを、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
【請求項１８】
光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、第１の相対的位置（ｔｘ，ｔｙ，ｔｚ）（ただし、ｔｚ≠０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第１のカメラ及び第２のカメラの光軸が第１のカメラと第２のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第１のカメラ及び第２のカメラに同一の回転変換を加えて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第１のカメラの第１の画像に射影した第１の画像座標（ｘＲ，ｙＲ）と、前記任意点を、前記回転変換を加えた第２のカメラの第２の画像に射影した第２の画像座標（ｘＲ’，ｙＲ’）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ＺＲと単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）を導出するパラメータ決定手段と、
第１の画像を、前記回転変換を加えた第２の相対的位置（ｔＲｘ，ｔＲｙ，０）及び奥行き距離ＺＲに基づく視差ベクトルで移動させ、第１の画像座標（ｘＲ，ｙＲ）を原点として、第２の相対的位置（ｔＲｘ，ｔＲｙ，０）、奥行き距離ＺＲ、単位法線ベクトル（ｎＲｘ，ｎＲｙ，ｎＲｚ）及び第２の画像座標（ｘＲ’，ｙＲ’）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２２４２１（Ｐ２００８−２２４２１Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１９３８４０（Ｐ２００６−１９３８４０）
【出願日】平成１８年７月１４日（２００６．７．１４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１４日（２００６．７．１４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]