画像処理装置および画像処理方法
【課題】光沢が含まれる画像部分が形状生成に用いられず有効利用されない。
【解決手段】多視点で撮影した画像データから多視点画像間での対応領域を検出して被写体の三次元形状データを生成する。そして、対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成して、多視点画像データの光源の特性データを生成する。
【解決手段】多視点で撮影した画像データから多視点画像間での対応領域を検出して被写体の三次元形状データを生成する。そして、対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成して、多視点画像データの光源の特性データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本件発明は多視点撮影画像に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＣＧ画像の作成にはシーン中の物体の形状と質感、及びシーンの光源に関する定義データが必要である。形状データはモデリングソフトと呼ばれる形状作成ソフトで作成するか、３Ｄスキャナによる測定により取得する事が一般的である。また光源データは、点光源や面光源といった光源の種類を定義してＣＧ技術者が作成するか、あるいは魚眼レンズで全方位を撮影して得た画像を使う事が一般的である。また、質感データはPhong model,Lambert model等の反射特性のモデルの種別とそのパラメータによる定義が一般的であるが、ゴニオフォトメータと呼ばれる測定器により反射特性を測定することも行われる。
【０００３】
一般的な傾向として品質の高いＣＧ画像の生成には実測データを用いることが多い。例えばハリウッド映画では衣装のリアルな質感を表現するために、実物の衣装の反射特性を計測している作品もある（非特許文献１）。またＣＧにおいて役者の顔を忠実に再現するために、３Ｄスキャナによる形状測定を行う事がある。
【０００４】
測定によりＣＧシーンのデータを取得する方法は品質が保証される反面、測定にかかる時間・費用などが問題となる。
【０００５】
そこで一般的なカメラ、あるいはビデオカメラを用いて様々な角度から被写体を撮影し、撮影した画像から画像処理により上記のシーンデータを簡易に作成する事が解決策として考えられる。
【０００６】
多視点で撮影された複数枚の画像を用いて被写体の立体形状を推定する技術が特許文献１に開示されている。特許文献１記載の技術では複数枚の画像に対して微小領域（例えば５ｘ５画素）での画像マッチングを行い、画像間で対応している微小領域を検出する。次に三角測量の原理でかかる微小領域の３次元位置を計算する。特許文献１記載の方法により、高精度な三次元形状を得る事ができる事が知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００９／００５２７９６号明細書
【非特許文献】
【０００８】
【非特許文献１】George Borshukov, "Measured BRDF in Film Production - Realistic Cloth Appearance for The Matrix Reloaded", appeared in ACM SIGGRAPH 2003 Sketches and Applications Program, July 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１記載の技術では、被写体の質感に関して完全拡散反射特性（ランバート特性）という仮定を置いている。完全拡散反射特性はマットな質感に対応する反射特性であり、見る方向によって色が変わらない事が特徴である。このような仮定は複数の角度から被写体を撮影しても色が変わらないため、対応領域の検出には適した仮定である。しかし光沢物体など完全拡散反射特性を持たない被写体に対しては、特定の角度から撮影すると物体表面での光源の反射、いわゆる光沢が画像に含まれる場合がある（図２参照）。この場合には、光沢が含まれる画像中の微小領域は他の画像中の微小領域と対応が付かず形状生成に用いられない。このように、特許文献1では、光沢が含まれる微小領域を有効に利用していなかった。
【課題を解決するための手段】
【００１０】
本発明にかかる画像処理装置は、多視点で撮影した画像データを取得する多視点画像データ取得手段と、前記取得した多視点画像データが示す多視点画像間での対応領域を検出して被写体の三次元形状データを生成する三次元形状データ生成手段と、前記三次元形状データを用いて、前記対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成する光沢領域生成手段と、前記三次元形状データと前記光沢領域データとを用いて前記多視点画像データの光源特性データを生成する光源特性データ生成手段とを有することを特徴とする。
【発明の効果】
【００１１】
多視点画像データ中の光沢が含まれる領域を有効に利用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１に関わる画像処理装置の構成例を表す図である。
【図２】多視点画像中の光沢例を表す図である。
【図３】本発明の実施例１に関わる多視点画像データ取得手段の例を示す図である。
【図４】本発明の実施例１に関わる処理の例を示すフローチャートである。
【図５】カメラパラメータの例を示す図である。
【図６】ポリゴンデータの例を示す図である。
【図７】本発明の実施例１に関わる光沢領域生成手段の処理の例を示すフローチャートである。
【図８】本発明の実施例１に関わる光源特性データの生成処理の例を示すフローチャートである。
【図９】本発明の実施例１に関わる光源方向の算出の概念図である。
【図１０】本発明の実施例１に関わる形状データと質感データの統合データの例を示す図である。
【図１１】本発明の実施例２に関わる画像処理装置の構成例を表す図である。
【図１２】本発明の実施例２に関わる処理の例を示すフローチャートである。
【図１３】本発明の実施例２に関わる第２の三次元形状データ生成手段の動作例を示すフローチャートである。
【図１４】対応点の候補Ａ１，Ａ２から導かれる三次元空間上の点Ａの関係を表す図である。
【図１５】エピポーラ幾何に基づく対応点の候補の検出についての説明に用いる図である。
【図１６】微小平面上にグリッド点について説明する図である。
【図１７】非ランバート面の反射光強度と画素値の関係を表す図である。
【発明を実施するための形態】
【００１３】
［実施例１］
図１は、実施例１に係る画像処理装置の構成の例を示す図である。図１に示す画像処理装置は、多視点画像データ取得手段１０１と、カメラパラメータ取得手段１０２と、三次元形状データ生成手段１０３と、光沢領域生成手段１０４と、光源特性データ生成手段１０５と、データ出力手段１０６とを有する。これらの各手段は、画像処理装置の各構成を制御するＣＰＵが、ＲＡＭをワークメモリとして使用してＲＯＭなどに格納されたＯＳや各種プログラムを実行することによって具現化されている。図１に示す各構成については、図４のフローチャートを参照しながら説明する。
【００１４】
図１に示す画像処理装置を用いた処理のフローを図4に示す。図４に示すフローチャートは、画像処理装置のＣＰＵが、ＲＡＭに読み出されたプログラムを実行することによって実現される。以降では図４のフローチャートに従って処理を説明する。本実施例では光源特性データが光源の方向として、多視点画像データ及びカメラパラメータから生成され、三次元形状データとともに出力される。なお、光源特性データは、例えば光源の方向を示すベクトルデータや、光源の位置の緯度・経度を示すデータなどを用いることができる。また、自発光している物体（照明器具等）の他に反射している物体（鏡に映った明かり等）も光源に含まれる。
【００１５】
ステップＳ４０１では多視点画像データ取得手段１０１は、多視点画像データを取得する。多視点画像データ取得手段１０１は複数の撮影位置で撮影した画像データを取得する手段である。多視点画像データ取得手段１０１は例えば図３（ａ）のような多眼カメラや、図３（ｂ）のようなカメラアレイ、あるいは図３（ｃ）のような撮影位置を変えながら撮影ができるビデオカメラで得られた画像データを取得する。図３（ｃ）の場合はビデオカメラで撮影した動画の複数フレームを抽出した画像が多視点画像データとなる。図２は、カメラアレイで取得した多視点画像データの例を示している。図２中の撮影画像Ａ、Ｂ、Ｃにおいて四角で囲った画像領域は被写体の同一部分に対応している。各カメラの撮影方向が異なるため、所定のカメラによる撮像画像には光沢が存在し、他のカメラによる撮像画像には光沢が存在しない場合が想定される。図２の場合ではカメラＡによる撮影画像にだけ光沢が存在する例を示している。多視点画像データ取得手段１０１は取得した多視点画像データを三次元形状データ生成手段１０３及び光沢領域生成手段１０４に供給する。
【００１６】
ステップＳ４０２ではカメラパラメータ取得手段１０２は、カメラパラメータを取得する。カメラパラメータ取得手段１０２は多視点画像の各々について、その撮影条件を示すパラメータを取得する手段である。カメラパラメータは、例えばカメラの画角、解像度、カメラの光学中心の位置、カメラの光軸を示すベクトル、及びカメラの上方向を示すベクトルである。図５は、カメラパラメータの例を示す図である。カメラの画角、解像度を取得するには画像撮影時のそれらの情報を画像データのヘッダ部分に記録するようにカメラを設定し撮影すればよい。またカメラ光学中心の位置、カメラの光軸を示すベクトル、カメラの上方向を示すベクトルを取得するには、カメラに内蔵されるジャイロセンサーの出力値を適宜変換して画像データのヘッダ部分に記録すればよい。ジャイロセンサーの他にもＧＰＳ情報からカメラ光学中心やカメラの方位を求めて、適宜変換して画像データのヘッダ部分に記録しても良い。カメラパラメータ取得手段は以上述べた多視点画像データのヘッダ部分に記録されたカメラパラメータを取得する。そして、取得したカメラパラメータを三次元形状データ生成手段１０３、光沢領域生成手段１０４、及び光源特性データ生成手段１０５に供給する。
【００１７】
ステップＳ４０３では三次元形状データ生成手段１０３は、ステップＳ４０１で取得された多視点画像データとステップＳ４０２で取得されたカメラパラメータとから多視点画像間での対応領域を検出して被写体の三次元形状データを生成する。カメラパラメータが既知という条件の下、多視点画像から被写体の三次元形状データを生成する技術分野はMulti View Stereoと呼ばれており、多くの手法が知られている。例えばhttp://vision.middlebury.edu/mview/には数多くのMulti View Stereoに関するアルゴリズムが紹介されている。Mutli View Stereoのアルゴリズムは本実施例の主眼ではないので、特許文献１記載の技術を代表例として簡単に説明する。特許文献１記載のアルゴリズムはまず各多視点画像データから特徴点を検出する。特徴点は画像の平坦（画素値が一様でない）部分であって、各特徴点の画像上での距離が近づきすぎないよう適宜間引かれて検出される。次に多視点画像データ中の任意の２枚の画像データについて対応する特徴点を検出する。具体的にはエピホーラ幾何に基づいて対応する特徴点の候補を計算し、特徴点候補の周辺の画像領域の類似度が高い場合に、かかる一組の特徴点を対応点とする。エピポーラ幾何に基づく対応点の候補の検出について図１５を用いてその概略を述べる。一般的に片方の画像１で特徴点a1に射影される三次元空間上の点群はある三次元直線La1上に分布する。この三次元直線上のいずれかの点が実際に三次元空間上に実際に存在する点である。もう一方の画像２における前記直線（すなわち、直線La1に対応する線）がエピポーラ線である。画像２において、かかるエピポーラ線上に存在する特徴点が特徴点a1と対応する可能性があるため、対応点の候補として検出する。図１５ではb1,b2が対応点の候補として検出される。その後、光学中心２と対応点の候補b1,b2とを結ぶ各直線と、特徴点a1に射影される直線La1との交点の各画像領域を用いて対応点を検出する。
【００１８】
特許文献１記載の技術は上記の方法で対応点を検出した後、三角測量の原理で対応点の三次元空間における位置を求める。また特許文献１記載の技術は対応点の三次元空間における位置のみならず、三次元空間にかかる位置を中心とする微小な平面を仮定し形状推定の高度化を図っている。以上に加えて様々な工夫により高度な形状生成を実現している。さらに三次元空間中の点群からポリゴンを生成する手段も公知であり、M.KazhdanらによるPoisson surface reconstructionが知られている。ステップＳ４０３で三次元形状データ生成手段１０３が生成するデータは、例えばポリゴンデータである。図６にポリゴンデータの例を示す。ポリゴンは三次元空間上での四角形の集合により構成されるとする。図６でPmVnで示される指標はm番目の四角形のn番目頂点の座標XYZを表す。本実施例では多視点画像データから三次元形状データとしてポリゴンデータを生成する例を示したが、被写体の形状がすでに分かっている場合には、ポリゴンデータを外部から取得してもよい。三次元形状データ生成手段１０３は生成したポリゴンデータを光沢領域生成手段１０４，光源特性データ生成手段１０５，及びデータ出力手段１０６に供給する。
【００１９】
ステップＳ４０４では光沢領域生成手段１０４は、多視点画像データ中の光沢に対応する領域である光沢画像領域の光沢領域データを生成する。光沢領域生成手段１０４の動作を図７に示すフローチャートを用いて説明する。ステップＳ７０１では光沢領域生成手段１０４は、ポリゴン番号Ｎを０で初期化する。ステップＳ７０２では光沢領域生成手段１０４は、ポリゴン番号Ｎをインクリメントする。ステップＳ７０３では光沢領域生成手段１０４は、Ｎ番目のポリゴンに対応する多視点画像の部分画像群を生成する。例えば図２に示す被写体形状の一部２０１がＮ番目のポリゴンであるとする。公知の技術により、各カメラのカメラパラメータとポリゴンの頂点座標から各多視点画像におけるＮ番目のポリゴンに対応する部分画像を決定することができる。図２の例では２０２，２０３，２０４が部分画像群である。そして、これらの部分画像の画素値の差異に基づいて光沢領域が含まれているかを判定することになる。まず、ステップＳ７０４では各部分画像iの画素値の平均値Miを算出する。図２の例ではM1=50.6, M2=33,M2=33となり、光沢が含まれる部分画像Ａの画素値の平均値が高くなっている。ステップＳ７０５では各部分画像の画素値の平均値Miの平均値Mを計算する。図２の例ではM=(M1+M2+M3)/3でM=38.9となる。ステップＳ７０６ではMi-M>Cなるiが存在するかチェックを行う。Ｃは閾値であり、例えばC=10と設定することができる。するとi=1についてM1-M>Cが成立するため、部分画像１は光沢が含まれていると判断される。従って、ステップＳ７０７に移行してポリゴン番号Ｎと多視点画像の番号i=1を光源特性データ生成手段１０５に供給する。このように、光沢を含む部分画像は他の部分画像よりも画素値が高いため、ステップＳ７０６の判定を満たし出力される。ステップＳ７０８ではＮが総ポリゴン数と等しいかを判定し、Ｎが総ポリゴン数と等しければ処理を終え、等しくなければステップＳ７０２に移行する。以上のフローが図４のステップＳ４０４の詳細である。
【００２０】
ステップＳ４０５では光源特性データ生成手段１０５は、光源特性データを生成する。ステップＳ４０５の詳細フローを図８に示す。ステップＳ８０１では光沢領域生成手段１０４からポリゴン番号Nと画像番号iとを取得する。このポリゴン番号は光沢領域生成手段１０４によりｉ番目の多視点画像中の光沢領域であると判定されたものである。ステップＳ８０２では光源特性データ生成手段１０５は三次元形状データ生成手段１０３から図６で示されるような三次元形状データを取得する。ステップＳ８０３では光源特性データ生成手段１０５はカメラパラメータ取得手段１０２からカメラパラメータを取得する。ステップＳ８０４では光源特性データ生成手段１０５は番号Ｎのポリゴンに対応する法線ベクトルを生成する。N番目ポリゴンの４つの頂点をPNV1,PNV2,PNV3,PNV4とする。PNV1〜PNV4の各々は座標値XYZを要素として持つベクトルである。N番目ポリゴンの法線ベクトルはベクトル(PNV2-PNV1)とベクトル(PNV3-PNV1)の外積により算出することができる。
【００２１】
ステップＳ８０５では光源特性データ生成手段１０５はカメラ視線ベクトルvを算出する。まずＮ番目ポリゴンの平均位置ベクトルをpとすると、p = (PNV1+PNV2+PNV3+PNV4)/4によってpを計算する。次に画像番号iに対応するカメラ光学中心をcとすると、カメラ視線ベクトルvはv=p-cにより算出する。なお、カメラ光学中心は、カメラパラメータ取得手段１０２からカメラパラメータとして取得されている。ステップＳ８０６では光源特性データを生成する。本実施例では光源特性データは光源の方向を示すベクトルデータである。図９に示すように光の反射の法則からカメラ視線ベクトルvと法線ベクトルnが分かれば光源の方向qが算出できる。具体的には q = v - 2(v・n)nにより光源の方向qを算出する。なおv・nはvとnの内積である。次にステップＳ８０７で光源特性データ生成手段１０５は光源特性データqをデータ出力手段１０６に供給する。ステップＳ８０８ではポリゴン番号Ｎを質感データとしてデータ出力手段１０６に供給する。すなわち、光沢に対応する領域を質感データとしてデータ出力手段１０６に供給する。以上がステップＳ４０５の詳細フローである。
【００２２】
ステップＳ４０６でデータ出力手段１０６は、三次元形状データ生成手段１０３から三次元形状データを取得し、また光源特性データ生成手段１０５から光源特性データと質感データとを取得し、それぞれ出力する。出力先はハードディスクやメモリーカード等の記憶装置やプリンタ、あるいはディスプレイなどが好適である。また形状データに質感データを統合する際には光沢性を示す特性値を付与することが好適である。例えば、図１０に示すように、各ポリゴン毎に非完全拡散反射面を示すフラグ（１ならば非完全拡散反射面。０ならば完全拡散反射面）を追加して出力する事ができる。本実施例の場合においては、質感データとして光沢に対応する領域（ポリゴン番号N）が光源特性データ生成手段１０５からデータ出力手段１０６に供給された場合に、図１０に示すようなフラグを立てることができる。
【００２３】
なお、図１に示す例においては、質感データとして光沢に対応する領域（ポリゴン番号N）が光源特性データ生成手段１０５からデータ出力手段１０６に供給される例を説明した。しかしながら、例えば光沢領域生成手段１０４から質感データとして光沢に対応する領域（ポリゴン番号N）がデータ出力手段１０６に供給されてもよい。
【００２４】
以上のフローによって多視点画像データとカメラパラメータとから、三次元形状データとともに光源の方向を示す光源特性データを生成する事ができる。すなわち、従来の特許文献１の手法では、多視点画像データから三次元形状データのみを生成しているが、本実施例によれば、さらに光源特性データも生成することが可能となる。また本実施例が出力する三次元形状データにはポリゴン番号ごとに、かかるポリゴンが完全拡散面か非完全拡散面である事を示す情報を付与することができる。
【００２５】
［実施例２］
本実施例は実施例１を拡張し、光源特性データを利用してより精度の高い三次元形状と質感データを生成する。
【００２６】
図１１は本実施例にかかる画像処理装置の構成例を表す。図１１に示す画像処理装置は、多視点画像データ取得手段１１０１と、カメラパラメータ取得手段１１０２と、三次元形状データ生成手段１１０３と、光沢領域生成手段１１０４と、光源特性データ生成手段１１０５と、データ出力手段１１０７とを有する。そして、図１１に示す画像処理装置は、さらに第２の三次元形状データ生成手段１１０６を有する。多視点画像データ取得手段１１０１及びカメラパラメータ取得手段１１０２は、取得した多視点画像データ及びカメラパラメータを第２の三次元形状データ生成手段１１０６にも供給する。三次元形状データ生成手段１１０３は、生成した形状データを光源特性データ生成手段１１０５に供給する。光源特性データ生成手段は、生成した光源特性データを第２の三次元形状データ生成手段に供給する。第２の三次元形状データ生成手段１１０６は、三次元形状データ、光源特性データ、及び質感データをデータ出力手段１１０７に供給する。
【００２７】
図１２のフローチャートを用いて図１１に示す画像処理装置の動作を説明する。ステップＳ１２０１〜Ｓ１２０５は実施例１のＳ４０１〜Ｓ４０５とそれぞれ同様である。本実施例ではステップＳ１２０５で光源特性データを生成した後に、第２の三次元形状データ生成手段１１０６が、ステップＳ１２０５で生成した光源特性データを利用して三次元形状データを、より高精度に生成する。第２の三次元形状データ生成手段の動作を図１３のフローチャートを用いて説明する。ステップＳ１３０１では第２の三次元形状生成手段がカメラパラメータ、多視点画像データ、及び光源特性データを取得する。ステップＳ１３０２では多視点画像の特徴点を検出する。特徴点検出はソベルフィルター、ラプラシアンフィルターなどの微分フィルタを多視点画像に適用し、所定の閾値以上の値を有する画素を抽出する。ステップＳ１３０３では対応点の候補を求める。その方法は、先に述べたエピポーラ幾何に基づく対応点の候補の検出と同じである。次にステップＳ１３０４では対応点の候補から三次元空間上の点の座標値と初期法線を求める。図１４は２つの異なる視点から撮影した画像１，２上の対応点の候補Ａ１、Ａ２と、対応点の候補Ａ１，Ａ２から導かれる三次元空間上の点Ａの関係を示している。画像は各カメラの光軸と垂直に交わる仮想のスクリーン（図１４中の画像１、画像２）に実際の物体が透視投影されたものと考える。すると、光学中心と対応点を結ぶ直線の交点が、対応点の候補Ａ１，Ａ２に射影されるべき三次元空間の点Ａの位置となる。この時点において、対応点の候補Ａ１，Ａ２が本当に被写体の同一位置に対応しているかは不明であり、判定を行う必要がある。特許文献１では、対応点付近の画像が画像１と画像２で類似することを判定の条件としている。具体的には点Ａを中心とする微小平面Ａを考える。微小平面Ａの大きさは画像上で例えば５ｘ５画素の領域となるようカメラパラメータから定められる。微小平面の法線の向きは初期値として点Ａから光学中心１に向かう方向を設定する。ステップＳ１３０５では法線の向き、及び質感パラメータを最適化により求める。
【００２８】
まず特許文献１記載の法線の求め方を説明する。特許文献１では図1６に示すように微小平面上にグリッド点Ｇｉを考える。このグリッド点Ｇｉを画像１，２に射影した点がｇ１ｉ，ｇ２ｉとする。各画像の点ｇ１ｉ，ｇ２ｉにおける画素値をＩ１，Ｉ２とする。グリッド点として５ｘ５の点を考えると、Ｉ１，Ｉ２は５ｘ５画素の微小画像と考える事ができる。仮に対応点の候補Ａ１，Ａ２が本当に被写体の同一位置に対応するならば、微小画像Ｉ１，Ｉ２の相関は高くなるべきである。そのため特許文献１では微小画像同士の相関を最大化するような法線を最適化により求めている。最適化後の相関が高ければ、対応点の候補Ａ１，Ａ２は実際に被写体の同一位置に対応しているとして、点Ａを被写体上の点として採用する。以上の説明は２視点で行ったが、３視点以上の場合でも同様に微小画像間の相関を最大化するよう法線を求める。
【００２９】
以上が特許文献１記載の法線の求め方であるが、被写体がランバート面でない場合、被写体上の同一領域であっても、見る方向によっては光沢が含まれてしまい相関値が低くなる場合がある。このような場合、特許文献１では相関値が著しく低い画像は除外して法線の最適化を行うため、光沢が含まれる画像は実質的に形状の推定に用いられていない。非ランバート物体に光が当たったときの反射強度は図１７に示すように観測する方向によって異なる。つまり、図1７の各カメラは３次元空間上の同一の位置を見ているにも関わらず、撮影により得られる画素値は異なる。特に光源方向に対して正反射方向の近辺に位置する視点３、視点４では、視点１、視点２に比べて画素値が高い。特許文献１では視点１、視点２の微小画像の相関は高くなるが、視点３，４は光沢が含まれるため、相関が低くなり法線最適化の際に除外されてしまう。すると特許文献１では視点１と２から三角測量の原理で三次元空間上の点を求めることになるが、視点１と２では視差が小さいので位置の推定精度が低くなる。これに対して本件発明は光沢の影響も加味して画像の相関を求める。具体的には微小画像Ii(i=1〜4)を次式に従って補正したIi'をもちいて画像の相関を求める。
I'i = Ii + Acossθi (1)
【００３０】
ここでθiは正反射方向とカメラ光軸のなす角度である。正反射方向はステップS1205で生成した光源方向qと、法線から求める。式（１）においてＡは光沢の大きさを表すパラメータである。またｓは反射光の角度的な広がりを表すパラメータである。式（１）の第２項はPhongモデルと呼ばれる公知のモデルである。ここで、光沢の大きさを表すパラメータＡと反射光の角度的な広がりを表すパラメータｓは、次のように求めることができる。図１７を参照すると、正反射方向は、上述したように光源方向ｑと法線から求められている。この正反射方向に位置する視点３及び視点４の微小領域については、光沢が含まれていると考えられる。そこで、視点１または視点２の微小領域の画素値と、視点３及び視点４のそれぞれの画素値の差分を計算して、光沢の大きさを表すパラメータＡと反射光の角度的な広がりを表すパラメータｓを求めることができる。そして、本実施例では法線方向に加え、質感に関わるパラメータAとsを最適化のパラメータに追加して微小画像I'間の相関を最大化する。このようにする事で、図１８における視点１〜４の全てを用いて被写体上の点を求めることができる。視点１〜４は視差が大きいので、特許文献１に比べて位置の推定精度が高いという利点がある。また特許文献１に比べ光沢の大きさを表すパラメータＡと反射光の角度的な広がりを表すパラメータｓといった質感に関わるパラメータも求める事ができるという利点がある。
【００３１】
ステップＳ１３０６では最適化の結果の相関値が低い場合には、対応点から生成した三次元空間上の点を除外し、相関値が高い場合には物体表面上の点として採用する。
【００３２】
ステップＳ１３０７では公知の方法により点群、法線から三次元形状を生成する。これは実施例１と同様である。
【００３３】
以上が実施例２におけるステップＳ１２０６で第２の三次元形状データ生成手段１１０６が行う処理の内容である。
【００３４】
ステップＳ１２０７では三次元形状データ、光源特性データ及び質感データをデータ出力手段１１０７に供給し、出力を行う。なお本実施例で生成され出力される質感データは各点の最適化の際に生成された質感パラメータＡおよびｓである。すなわち、実施例１よりもより詳細な反射特性パラメータ（質感パラメータ）を生成・出力することができる。
【００３５】
以上の処理により、光源特性データを利用して三次元形状を特許文献１に対してより高精度に求める事ができ、また被写体の質感パラメータも求める事が出来る。
【００３６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本件発明は多視点撮影画像に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＣＧ画像の作成にはシーン中の物体の形状と質感、及びシーンの光源に関する定義データが必要である。形状データはモデリングソフトと呼ばれる形状作成ソフトで作成するか、３Ｄスキャナによる測定により取得する事が一般的である。また光源データは、点光源や面光源といった光源の種類を定義してＣＧ技術者が作成するか、あるいは魚眼レンズで全方位を撮影して得た画像を使う事が一般的である。また、質感データはPhong model,Lambert model等の反射特性のモデルの種別とそのパラメータによる定義が一般的であるが、ゴニオフォトメータと呼ばれる測定器により反射特性を測定することも行われる。
【０００３】
一般的な傾向として品質の高いＣＧ画像の生成には実測データを用いることが多い。例えばハリウッド映画では衣装のリアルな質感を表現するために、実物の衣装の反射特性を計測している作品もある（非特許文献１）。またＣＧにおいて役者の顔を忠実に再現するために、３Ｄスキャナによる形状測定を行う事がある。
【０００４】
測定によりＣＧシーンのデータを取得する方法は品質が保証される反面、測定にかかる時間・費用などが問題となる。
【０００５】
そこで一般的なカメラ、あるいはビデオカメラを用いて様々な角度から被写体を撮影し、撮影した画像から画像処理により上記のシーンデータを簡易に作成する事が解決策として考えられる。
【０００６】
多視点で撮影された複数枚の画像を用いて被写体の立体形状を推定する技術が特許文献１に開示されている。特許文献１記載の技術では複数枚の画像に対して微小領域（例えば５ｘ５画素）での画像マッチングを行い、画像間で対応している微小領域を検出する。次に三角測量の原理でかかる微小領域の３次元位置を計算する。特許文献１記載の方法により、高精度な三次元形状を得る事ができる事が知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００９／００５２７９６号明細書
【非特許文献】
【０００８】
【非特許文献１】George Borshukov, "Measured BRDF in Film Production - Realistic Cloth Appearance for The Matrix Reloaded", appeared in ACM SIGGRAPH 2003 Sketches and Applications Program, July 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１記載の技術では、被写体の質感に関して完全拡散反射特性（ランバート特性）という仮定を置いている。完全拡散反射特性はマットな質感に対応する反射特性であり、見る方向によって色が変わらない事が特徴である。このような仮定は複数の角度から被写体を撮影しても色が変わらないため、対応領域の検出には適した仮定である。しかし光沢物体など完全拡散反射特性を持たない被写体に対しては、特定の角度から撮影すると物体表面での光源の反射、いわゆる光沢が画像に含まれる場合がある（図２参照）。この場合には、光沢が含まれる画像中の微小領域は他の画像中の微小領域と対応が付かず形状生成に用いられない。このように、特許文献1では、光沢が含まれる微小領域を有効に利用していなかった。
【課題を解決するための手段】
【００１０】
本発明にかかる画像処理装置は、多視点で撮影した画像データを取得する多視点画像データ取得手段と、前記取得した多視点画像データが示す多視点画像間での対応領域を検出して被写体の三次元形状データを生成する三次元形状データ生成手段と、前記三次元形状データを用いて、前記対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成する光沢領域生成手段と、前記三次元形状データと前記光沢領域データとを用いて前記多視点画像データの光源特性データを生成する光源特性データ生成手段とを有することを特徴とする。
【発明の効果】
【００１１】
多視点画像データ中の光沢が含まれる領域を有効に利用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１に関わる画像処理装置の構成例を表す図である。
【図２】多視点画像中の光沢例を表す図である。
【図３】本発明の実施例１に関わる多視点画像データ取得手段の例を示す図である。
【図４】本発明の実施例１に関わる処理の例を示すフローチャートである。
【図５】カメラパラメータの例を示す図である。
【図６】ポリゴンデータの例を示す図である。
【図７】本発明の実施例１に関わる光沢領域生成手段の処理の例を示すフローチャートである。
【図８】本発明の実施例１に関わる光源特性データの生成処理の例を示すフローチャートである。
【図９】本発明の実施例１に関わる光源方向の算出の概念図である。
【図１０】本発明の実施例１に関わる形状データと質感データの統合データの例を示す図である。
【図１１】本発明の実施例２に関わる画像処理装置の構成例を表す図である。
【図１２】本発明の実施例２に関わる処理の例を示すフローチャートである。
【図１３】本発明の実施例２に関わる第２の三次元形状データ生成手段の動作例を示すフローチャートである。
【図１４】対応点の候補Ａ１，Ａ２から導かれる三次元空間上の点Ａの関係を表す図である。
【図１５】エピポーラ幾何に基づく対応点の候補の検出についての説明に用いる図である。
【図１６】微小平面上にグリッド点について説明する図である。
【図１７】非ランバート面の反射光強度と画素値の関係を表す図である。
【発明を実施するための形態】
【００１３】
［実施例１］
図１は、実施例１に係る画像処理装置の構成の例を示す図である。図１に示す画像処理装置は、多視点画像データ取得手段１０１と、カメラパラメータ取得手段１０２と、三次元形状データ生成手段１０３と、光沢領域生成手段１０４と、光源特性データ生成手段１０５と、データ出力手段１０６とを有する。これらの各手段は、画像処理装置の各構成を制御するＣＰＵが、ＲＡＭをワークメモリとして使用してＲＯＭなどに格納されたＯＳや各種プログラムを実行することによって具現化されている。図１に示す各構成については、図４のフローチャートを参照しながら説明する。
【００１４】
図１に示す画像処理装置を用いた処理のフローを図4に示す。図４に示すフローチャートは、画像処理装置のＣＰＵが、ＲＡＭに読み出されたプログラムを実行することによって実現される。以降では図４のフローチャートに従って処理を説明する。本実施例では光源特性データが光源の方向として、多視点画像データ及びカメラパラメータから生成され、三次元形状データとともに出力される。なお、光源特性データは、例えば光源の方向を示すベクトルデータや、光源の位置の緯度・経度を示すデータなどを用いることができる。また、自発光している物体（照明器具等）の他に反射している物体（鏡に映った明かり等）も光源に含まれる。
【００１５】
ステップＳ４０１では多視点画像データ取得手段１０１は、多視点画像データを取得する。多視点画像データ取得手段１０１は複数の撮影位置で撮影した画像データを取得する手段である。多視点画像データ取得手段１０１は例えば図３（ａ）のような多眼カメラや、図３（ｂ）のようなカメラアレイ、あるいは図３（ｃ）のような撮影位置を変えながら撮影ができるビデオカメラで得られた画像データを取得する。図３（ｃ）の場合はビデオカメラで撮影した動画の複数フレームを抽出した画像が多視点画像データとなる。図２は、カメラアレイで取得した多視点画像データの例を示している。図２中の撮影画像Ａ、Ｂ、Ｃにおいて四角で囲った画像領域は被写体の同一部分に対応している。各カメラの撮影方向が異なるため、所定のカメラによる撮像画像には光沢が存在し、他のカメラによる撮像画像には光沢が存在しない場合が想定される。図２の場合ではカメラＡによる撮影画像にだけ光沢が存在する例を示している。多視点画像データ取得手段１０１は取得した多視点画像データを三次元形状データ生成手段１０３及び光沢領域生成手段１０４に供給する。
【００１６】
ステップＳ４０２ではカメラパラメータ取得手段１０２は、カメラパラメータを取得する。カメラパラメータ取得手段１０２は多視点画像の各々について、その撮影条件を示すパラメータを取得する手段である。カメラパラメータは、例えばカメラの画角、解像度、カメラの光学中心の位置、カメラの光軸を示すベクトル、及びカメラの上方向を示すベクトルである。図５は、カメラパラメータの例を示す図である。カメラの画角、解像度を取得するには画像撮影時のそれらの情報を画像データのヘッダ部分に記録するようにカメラを設定し撮影すればよい。またカメラ光学中心の位置、カメラの光軸を示すベクトル、カメラの上方向を示すベクトルを取得するには、カメラに内蔵されるジャイロセンサーの出力値を適宜変換して画像データのヘッダ部分に記録すればよい。ジャイロセンサーの他にもＧＰＳ情報からカメラ光学中心やカメラの方位を求めて、適宜変換して画像データのヘッダ部分に記録しても良い。カメラパラメータ取得手段は以上述べた多視点画像データのヘッダ部分に記録されたカメラパラメータを取得する。そして、取得したカメラパラメータを三次元形状データ生成手段１０３、光沢領域生成手段１０４、及び光源特性データ生成手段１０５に供給する。
【００１７】
ステップＳ４０３では三次元形状データ生成手段１０３は、ステップＳ４０１で取得された多視点画像データとステップＳ４０２で取得されたカメラパラメータとから多視点画像間での対応領域を検出して被写体の三次元形状データを生成する。カメラパラメータが既知という条件の下、多視点画像から被写体の三次元形状データを生成する技術分野はMulti View Stereoと呼ばれており、多くの手法が知られている。例えばhttp://vision.middlebury.edu/mview/には数多くのMulti View Stereoに関するアルゴリズムが紹介されている。Mutli View Stereoのアルゴリズムは本実施例の主眼ではないので、特許文献１記載の技術を代表例として簡単に説明する。特許文献１記載のアルゴリズムはまず各多視点画像データから特徴点を検出する。特徴点は画像の平坦（画素値が一様でない）部分であって、各特徴点の画像上での距離が近づきすぎないよう適宜間引かれて検出される。次に多視点画像データ中の任意の２枚の画像データについて対応する特徴点を検出する。具体的にはエピホーラ幾何に基づいて対応する特徴点の候補を計算し、特徴点候補の周辺の画像領域の類似度が高い場合に、かかる一組の特徴点を対応点とする。エピポーラ幾何に基づく対応点の候補の検出について図１５を用いてその概略を述べる。一般的に片方の画像１で特徴点a1に射影される三次元空間上の点群はある三次元直線La1上に分布する。この三次元直線上のいずれかの点が実際に三次元空間上に実際に存在する点である。もう一方の画像２における前記直線（すなわち、直線La1に対応する線）がエピポーラ線である。画像２において、かかるエピポーラ線上に存在する特徴点が特徴点a1と対応する可能性があるため、対応点の候補として検出する。図１５ではb1,b2が対応点の候補として検出される。その後、光学中心２と対応点の候補b1,b2とを結ぶ各直線と、特徴点a1に射影される直線La1との交点の各画像領域を用いて対応点を検出する。
【００１８】
特許文献１記載の技術は上記の方法で対応点を検出した後、三角測量の原理で対応点の三次元空間における位置を求める。また特許文献１記載の技術は対応点の三次元空間における位置のみならず、三次元空間にかかる位置を中心とする微小な平面を仮定し形状推定の高度化を図っている。以上に加えて様々な工夫により高度な形状生成を実現している。さらに三次元空間中の点群からポリゴンを生成する手段も公知であり、M.KazhdanらによるPoisson surface reconstructionが知られている。ステップＳ４０３で三次元形状データ生成手段１０３が生成するデータは、例えばポリゴンデータである。図６にポリゴンデータの例を示す。ポリゴンは三次元空間上での四角形の集合により構成されるとする。図６でPmVnで示される指標はm番目の四角形のn番目頂点の座標XYZを表す。本実施例では多視点画像データから三次元形状データとしてポリゴンデータを生成する例を示したが、被写体の形状がすでに分かっている場合には、ポリゴンデータを外部から取得してもよい。三次元形状データ生成手段１０３は生成したポリゴンデータを光沢領域生成手段１０４，光源特性データ生成手段１０５，及びデータ出力手段１０６に供給する。
【００１９】
ステップＳ４０４では光沢領域生成手段１０４は、多視点画像データ中の光沢に対応する領域である光沢画像領域の光沢領域データを生成する。光沢領域生成手段１０４の動作を図７に示すフローチャートを用いて説明する。ステップＳ７０１では光沢領域生成手段１０４は、ポリゴン番号Ｎを０で初期化する。ステップＳ７０２では光沢領域生成手段１０４は、ポリゴン番号Ｎをインクリメントする。ステップＳ７０３では光沢領域生成手段１０４は、Ｎ番目のポリゴンに対応する多視点画像の部分画像群を生成する。例えば図２に示す被写体形状の一部２０１がＮ番目のポリゴンであるとする。公知の技術により、各カメラのカメラパラメータとポリゴンの頂点座標から各多視点画像におけるＮ番目のポリゴンに対応する部分画像を決定することができる。図２の例では２０２，２０３，２０４が部分画像群である。そして、これらの部分画像の画素値の差異に基づいて光沢領域が含まれているかを判定することになる。まず、ステップＳ７０４では各部分画像iの画素値の平均値Miを算出する。図２の例ではM1=50.6, M2=33,M2=33となり、光沢が含まれる部分画像Ａの画素値の平均値が高くなっている。ステップＳ７０５では各部分画像の画素値の平均値Miの平均値Mを計算する。図２の例ではM=(M1+M2+M3)/3でM=38.9となる。ステップＳ７０６ではMi-M>Cなるiが存在するかチェックを行う。Ｃは閾値であり、例えばC=10と設定することができる。するとi=1についてM1-M>Cが成立するため、部分画像１は光沢が含まれていると判断される。従って、ステップＳ７０７に移行してポリゴン番号Ｎと多視点画像の番号i=1を光源特性データ生成手段１０５に供給する。このように、光沢を含む部分画像は他の部分画像よりも画素値が高いため、ステップＳ７０６の判定を満たし出力される。ステップＳ７０８ではＮが総ポリゴン数と等しいかを判定し、Ｎが総ポリゴン数と等しければ処理を終え、等しくなければステップＳ７０２に移行する。以上のフローが図４のステップＳ４０４の詳細である。
【００２０】
ステップＳ４０５では光源特性データ生成手段１０５は、光源特性データを生成する。ステップＳ４０５の詳細フローを図８に示す。ステップＳ８０１では光沢領域生成手段１０４からポリゴン番号Nと画像番号iとを取得する。このポリゴン番号は光沢領域生成手段１０４によりｉ番目の多視点画像中の光沢領域であると判定されたものである。ステップＳ８０２では光源特性データ生成手段１０５は三次元形状データ生成手段１０３から図６で示されるような三次元形状データを取得する。ステップＳ８０３では光源特性データ生成手段１０５はカメラパラメータ取得手段１０２からカメラパラメータを取得する。ステップＳ８０４では光源特性データ生成手段１０５は番号Ｎのポリゴンに対応する法線ベクトルを生成する。N番目ポリゴンの４つの頂点をPNV1,PNV2,PNV3,PNV4とする。PNV1〜PNV4の各々は座標値XYZを要素として持つベクトルである。N番目ポリゴンの法線ベクトルはベクトル(PNV2-PNV1)とベクトル(PNV3-PNV1)の外積により算出することができる。
【００２１】
ステップＳ８０５では光源特性データ生成手段１０５はカメラ視線ベクトルvを算出する。まずＮ番目ポリゴンの平均位置ベクトルをpとすると、p = (PNV1+PNV2+PNV3+PNV4)/4によってpを計算する。次に画像番号iに対応するカメラ光学中心をcとすると、カメラ視線ベクトルvはv=p-cにより算出する。なお、カメラ光学中心は、カメラパラメータ取得手段１０２からカメラパラメータとして取得されている。ステップＳ８０６では光源特性データを生成する。本実施例では光源特性データは光源の方向を示すベクトルデータである。図９に示すように光の反射の法則からカメラ視線ベクトルvと法線ベクトルnが分かれば光源の方向qが算出できる。具体的には q = v - 2(v・n)nにより光源の方向qを算出する。なおv・nはvとnの内積である。次にステップＳ８０７で光源特性データ生成手段１０５は光源特性データqをデータ出力手段１０６に供給する。ステップＳ８０８ではポリゴン番号Ｎを質感データとしてデータ出力手段１０６に供給する。すなわち、光沢に対応する領域を質感データとしてデータ出力手段１０６に供給する。以上がステップＳ４０５の詳細フローである。
【００２２】
ステップＳ４０６でデータ出力手段１０６は、三次元形状データ生成手段１０３から三次元形状データを取得し、また光源特性データ生成手段１０５から光源特性データと質感データとを取得し、それぞれ出力する。出力先はハードディスクやメモリーカード等の記憶装置やプリンタ、あるいはディスプレイなどが好適である。また形状データに質感データを統合する際には光沢性を示す特性値を付与することが好適である。例えば、図１０に示すように、各ポリゴン毎に非完全拡散反射面を示すフラグ（１ならば非完全拡散反射面。０ならば完全拡散反射面）を追加して出力する事ができる。本実施例の場合においては、質感データとして光沢に対応する領域（ポリゴン番号N）が光源特性データ生成手段１０５からデータ出力手段１０６に供給された場合に、図１０に示すようなフラグを立てることができる。
【００２３】
なお、図１に示す例においては、質感データとして光沢に対応する領域（ポリゴン番号N）が光源特性データ生成手段１０５からデータ出力手段１０６に供給される例を説明した。しかしながら、例えば光沢領域生成手段１０４から質感データとして光沢に対応する領域（ポリゴン番号N）がデータ出力手段１０６に供給されてもよい。
【００２４】
以上のフローによって多視点画像データとカメラパラメータとから、三次元形状データとともに光源の方向を示す光源特性データを生成する事ができる。すなわち、従来の特許文献１の手法では、多視点画像データから三次元形状データのみを生成しているが、本実施例によれば、さらに光源特性データも生成することが可能となる。また本実施例が出力する三次元形状データにはポリゴン番号ごとに、かかるポリゴンが完全拡散面か非完全拡散面である事を示す情報を付与することができる。
【００２５】
［実施例２］
本実施例は実施例１を拡張し、光源特性データを利用してより精度の高い三次元形状と質感データを生成する。
【００２６】
図１１は本実施例にかかる画像処理装置の構成例を表す。図１１に示す画像処理装置は、多視点画像データ取得手段１１０１と、カメラパラメータ取得手段１１０２と、三次元形状データ生成手段１１０３と、光沢領域生成手段１１０４と、光源特性データ生成手段１１０５と、データ出力手段１１０７とを有する。そして、図１１に示す画像処理装置は、さらに第２の三次元形状データ生成手段１１０６を有する。多視点画像データ取得手段１１０１及びカメラパラメータ取得手段１１０２は、取得した多視点画像データ及びカメラパラメータを第２の三次元形状データ生成手段１１０６にも供給する。三次元形状データ生成手段１１０３は、生成した形状データを光源特性データ生成手段１１０５に供給する。光源特性データ生成手段は、生成した光源特性データを第２の三次元形状データ生成手段に供給する。第２の三次元形状データ生成手段１１０６は、三次元形状データ、光源特性データ、及び質感データをデータ出力手段１１０７に供給する。
【００２７】
図１２のフローチャートを用いて図１１に示す画像処理装置の動作を説明する。ステップＳ１２０１〜Ｓ１２０５は実施例１のＳ４０１〜Ｓ４０５とそれぞれ同様である。本実施例ではステップＳ１２０５で光源特性データを生成した後に、第２の三次元形状データ生成手段１１０６が、ステップＳ１２０５で生成した光源特性データを利用して三次元形状データを、より高精度に生成する。第２の三次元形状データ生成手段の動作を図１３のフローチャートを用いて説明する。ステップＳ１３０１では第２の三次元形状生成手段がカメラパラメータ、多視点画像データ、及び光源特性データを取得する。ステップＳ１３０２では多視点画像の特徴点を検出する。特徴点検出はソベルフィルター、ラプラシアンフィルターなどの微分フィルタを多視点画像に適用し、所定の閾値以上の値を有する画素を抽出する。ステップＳ１３０３では対応点の候補を求める。その方法は、先に述べたエピポーラ幾何に基づく対応点の候補の検出と同じである。次にステップＳ１３０４では対応点の候補から三次元空間上の点の座標値と初期法線を求める。図１４は２つの異なる視点から撮影した画像１，２上の対応点の候補Ａ１、Ａ２と、対応点の候補Ａ１，Ａ２から導かれる三次元空間上の点Ａの関係を示している。画像は各カメラの光軸と垂直に交わる仮想のスクリーン（図１４中の画像１、画像２）に実際の物体が透視投影されたものと考える。すると、光学中心と対応点を結ぶ直線の交点が、対応点の候補Ａ１，Ａ２に射影されるべき三次元空間の点Ａの位置となる。この時点において、対応点の候補Ａ１，Ａ２が本当に被写体の同一位置に対応しているかは不明であり、判定を行う必要がある。特許文献１では、対応点付近の画像が画像１と画像２で類似することを判定の条件としている。具体的には点Ａを中心とする微小平面Ａを考える。微小平面Ａの大きさは画像上で例えば５ｘ５画素の領域となるようカメラパラメータから定められる。微小平面の法線の向きは初期値として点Ａから光学中心１に向かう方向を設定する。ステップＳ１３０５では法線の向き、及び質感パラメータを最適化により求める。
【００２８】
まず特許文献１記載の法線の求め方を説明する。特許文献１では図1６に示すように微小平面上にグリッド点Ｇｉを考える。このグリッド点Ｇｉを画像１，２に射影した点がｇ１ｉ，ｇ２ｉとする。各画像の点ｇ１ｉ，ｇ２ｉにおける画素値をＩ１，Ｉ２とする。グリッド点として５ｘ５の点を考えると、Ｉ１，Ｉ２は５ｘ５画素の微小画像と考える事ができる。仮に対応点の候補Ａ１，Ａ２が本当に被写体の同一位置に対応するならば、微小画像Ｉ１，Ｉ２の相関は高くなるべきである。そのため特許文献１では微小画像同士の相関を最大化するような法線を最適化により求めている。最適化後の相関が高ければ、対応点の候補Ａ１，Ａ２は実際に被写体の同一位置に対応しているとして、点Ａを被写体上の点として採用する。以上の説明は２視点で行ったが、３視点以上の場合でも同様に微小画像間の相関を最大化するよう法線を求める。
【００２９】
以上が特許文献１記載の法線の求め方であるが、被写体がランバート面でない場合、被写体上の同一領域であっても、見る方向によっては光沢が含まれてしまい相関値が低くなる場合がある。このような場合、特許文献１では相関値が著しく低い画像は除外して法線の最適化を行うため、光沢が含まれる画像は実質的に形状の推定に用いられていない。非ランバート物体に光が当たったときの反射強度は図１７に示すように観測する方向によって異なる。つまり、図1７の各カメラは３次元空間上の同一の位置を見ているにも関わらず、撮影により得られる画素値は異なる。特に光源方向に対して正反射方向の近辺に位置する視点３、視点４では、視点１、視点２に比べて画素値が高い。特許文献１では視点１、視点２の微小画像の相関は高くなるが、視点３，４は光沢が含まれるため、相関が低くなり法線最適化の際に除外されてしまう。すると特許文献１では視点１と２から三角測量の原理で三次元空間上の点を求めることになるが、視点１と２では視差が小さいので位置の推定精度が低くなる。これに対して本件発明は光沢の影響も加味して画像の相関を求める。具体的には微小画像Ii(i=1〜4)を次式に従って補正したIi'をもちいて画像の相関を求める。
I'i = Ii + Acossθi (1)
【００３０】
ここでθiは正反射方向とカメラ光軸のなす角度である。正反射方向はステップS1205で生成した光源方向qと、法線から求める。式（１）においてＡは光沢の大きさを表すパラメータである。またｓは反射光の角度的な広がりを表すパラメータである。式（１）の第２項はPhongモデルと呼ばれる公知のモデルである。ここで、光沢の大きさを表すパラメータＡと反射光の角度的な広がりを表すパラメータｓは、次のように求めることができる。図１７を参照すると、正反射方向は、上述したように光源方向ｑと法線から求められている。この正反射方向に位置する視点３及び視点４の微小領域については、光沢が含まれていると考えられる。そこで、視点１または視点２の微小領域の画素値と、視点３及び視点４のそれぞれの画素値の差分を計算して、光沢の大きさを表すパラメータＡと反射光の角度的な広がりを表すパラメータｓを求めることができる。そして、本実施例では法線方向に加え、質感に関わるパラメータAとsを最適化のパラメータに追加して微小画像I'間の相関を最大化する。このようにする事で、図１８における視点１〜４の全てを用いて被写体上の点を求めることができる。視点１〜４は視差が大きいので、特許文献１に比べて位置の推定精度が高いという利点がある。また特許文献１に比べ光沢の大きさを表すパラメータＡと反射光の角度的な広がりを表すパラメータｓといった質感に関わるパラメータも求める事ができるという利点がある。
【００３１】
ステップＳ１３０６では最適化の結果の相関値が低い場合には、対応点から生成した三次元空間上の点を除外し、相関値が高い場合には物体表面上の点として採用する。
【００３２】
ステップＳ１３０７では公知の方法により点群、法線から三次元形状を生成する。これは実施例１と同様である。
【００３３】
以上が実施例２におけるステップＳ１２０６で第２の三次元形状データ生成手段１１０６が行う処理の内容である。
【００３４】
ステップＳ１２０７では三次元形状データ、光源特性データ及び質感データをデータ出力手段１１０７に供給し、出力を行う。なお本実施例で生成され出力される質感データは各点の最適化の際に生成された質感パラメータＡおよびｓである。すなわち、実施例１よりもより詳細な反射特性パラメータ（質感パラメータ）を生成・出力することができる。
【００３５】
以上の処理により、光源特性データを利用して三次元形状を特許文献１に対してより高精度に求める事ができ、また被写体の質感パラメータも求める事が出来る。
【００３６】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
多視点で撮影した画像データを取得する多視点画像データ取得手段と、
前記取得した多視点画像データが示す多視点画像間での対応領域を検出して被写体の三次元形状データを生成する三次元形状データ生成手段と、
前記三次元形状データを用いて、前記対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成する光沢領域生成手段と、
前記三次元形状データと前記光沢領域データとを用いて前記多視点画像データの光源特性データを生成する光源特性データ生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記光沢領域生成手段は、前記多視点画像間での前記対応領域の画素値の差異に基づいて光沢領域データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光源特性データ生成手段は、前記光沢画像領域に対応する前記三次元形状データの一部に光沢性を示す特性値を付与する事を特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記光沢領域生成手段は、多視点画像の複数の部分画像において、対応する他の部分画像よりも画素値が高い画素を含む部分画像が存在する場合に、前記特性値を付与することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記光源特性データは、光源の方向を示すデータであることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記生成した光源特性データと前記取得した多視点画像データとを用いて、被写体の三次元形状データを生成する第２の三次元形状生成手段を
さらに有すことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記第２の三次元形状生成手段は、前記光源特性データと前記多視点画像データとを用いて前記対応領域の反射特性パラメータを算出する事を特徴とする請求項６に記載の画像処理装置。
【請求項８】
第２の三次元形状生成手段は、前記算出した反射特性パラメータを用いて前記三次元形状データを生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
多視点で撮影した画像データを取得する多視点画像データ取得ステップと、
前記取得した多視点画像データが示す多視点画像間での対応領域を検出して被写体の三次元形状データを生成する三次元形状データ生成ステップと、
前記三次元形状データを用いて、前記対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成する光沢領域生成ステップと、
前記三次元形状データと前記光沢領域データとを用いて前記多視点画像データの光源の特性データを生成する光源特性データ生成ステップと
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１乃至８のいずれかに記載されている手段として機能させるためのプログラム。
【請求項１】
多視点で撮影した画像データを取得する多視点画像データ取得手段と、
前記取得した多視点画像データが示す多視点画像間での対応領域を検出して被写体の三次元形状データを生成する三次元形状データ生成手段と、
前記三次元形状データを用いて、前記対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成する光沢領域生成手段と、
前記三次元形状データと前記光沢領域データとを用いて前記多視点画像データの光源特性データを生成する光源特性データ生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記光沢領域生成手段は、前記多視点画像間での前記対応領域の画素値の差異に基づいて光沢領域データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光源特性データ生成手段は、前記光沢画像領域に対応する前記三次元形状データの一部に光沢性を示す特性値を付与する事を特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記光沢領域生成手段は、多視点画像の複数の部分画像において、対応する他の部分画像よりも画素値が高い画素を含む部分画像が存在する場合に、前記特性値を付与することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記光源特性データは、光源の方向を示すデータであることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記生成した光源特性データと前記取得した多視点画像データとを用いて、被写体の三次元形状データを生成する第２の三次元形状生成手段を
さらに有すことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記第２の三次元形状生成手段は、前記光源特性データと前記多視点画像データとを用いて前記対応領域の反射特性パラメータを算出する事を特徴とする請求項６に記載の画像処理装置。
【請求項８】
第２の三次元形状生成手段は、前記算出した反射特性パラメータを用いて前記三次元形状データを生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
多視点で撮影した画像データを取得する多視点画像データ取得ステップと、
前記取得した多視点画像データが示す多視点画像間での対応領域を検出して被写体の三次元形状データを生成する三次元形状データ生成ステップと、
前記三次元形状データを用いて、前記対応領域のうち光沢のある光沢画像領域を示す光沢領域データを生成する光沢領域生成ステップと、
前記三次元形状データと前記光沢領域データとを用いて前記多視点画像データの光源の特性データを生成する光源特性データ生成ステップと
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１乃至８のいずれかに記載されている手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１０１４６４（Ｐ２０１３−１０１４６４Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４３４１（Ｐ２０１１−２４４３４１）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]