画像処理装置および画像処理方法、並びにコンピュータ・プログラム
【課題】 複数視点位置からの画像データに基づいて高画質な三次元画像生成を可能とする装置および方法を提供する。
【解決手段】 パッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいてテクスチャ画像の選択を実行し、パッチ境界部におけるテクスチャ画像間の画素値誤差データに基づいて、端点移動によるマッチング処理を実行し、隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、パッチ境界部における画素値を算出し、さらに、パッチ面内の画素値を、パッチ境界線からの距離に反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する。
【解決手段】 パッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいてテクスチャ画像の選択を実行し、パッチ境界部におけるテクスチャ画像間の画素値誤差データに基づいて、端点移動によるマッチング処理を実行し、隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、パッチ境界部における画素値を算出し、さらに、パッチ面内の画素値を、パッチ境界線からの距離に反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み（テクスチャ・マッピング）技術に関する画像処理装置および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、三次元形状モデルにおけるテクスチャ画像貼り付け面としてのパッチ面と、テクスチャ画像間の写像関係の誤差を補正したテクスチャ画像貼り付け処理により、不自然さの少ないリアルな三次元画像を生成することを可能とした画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】計算機空間での三次元形状の利用が急増している。このため、高品質の三次元形状を計算機へ効率的に取り込むことが一つの課題となっている。実物体の三次元形状を計算機内へ取り込む場合、現在最も広く用いられているのは、光切断法やモアレ法、コード化スリット法といった能動的手法で三次元形状を計測する非接触型三次元デジタイザ（例えば、文献［１］渡辺一正, 「立体を写し撮る 非接触型３次元デジタイザとイメージベースドモデラーの最新動向」,NIKKEI COMPUTER GRAPHICS, pp.46-65, Aug. 1999.）である。
【０００３】例えば、カメラを固定し、計測対象物を回転テーブルへ載せ、対象物を回転させながら部分的な形状を計測し、最終的に得られた三次元形状を統合する。三次元形状と同時にカラー画像を撮影できる製品もあり、この撮影カラー画像をテクスチャ画像として生成した三次元形状面上へ貼り付けることで、テクスチャマッピングが実行できる。
【０００４】この時、複数の方向から撮影された画像の中から、三次元形状の各パッチ面に対して最もそのパッチ面を良く捕らえている画像、すなわち、パッチ面に対して最も正対しているカメラによって撮影された画像を選択することによって、最終的なマッピング結果の品質を高めることができる。パッチ面に正対したカメラによる撮影画像選択については、例えば、文献［２］“ Hiroyuki Sato, MasaharuShimanuki, Takao Akatsuka, "Texture Mapped 3D Face Modeling Method on Network using Java,・Proceedings of SPIE, vol.3460, pp.609-617, 1998.”に記載されている。
【０００５】一方、得られる三次元形状データの精度は低いが、特別な装置を必要とせず、複数枚の静止画像やビデオ画像を用意するだけで、対象物の三次元形状を復元することができるイメージベースのアプローチが最近種々な用途に注目されている。その中で、時系列画像から三次元形状とカメラ運動を同時に復元する手法に、Ｔｏｍａｓｉ−Ｋａｎａｄｅらによって導入された因子分解法がある。
【０００６】因子分解法については、例えば、文献［３］“ Conrad J. Poelman, Takeo Kanade, “ Paraperspective Factorization Method for Shape and Motion Recovery”,Technical Report CMU-CS-93-219, 1993.”、または文献［４］“金出武雄, 森田俊彦, コンラッド・ポールマン, 「因子分解法による物体形状とカメラ運動の復元」,電子情報通信学会論文誌, vol.J76-D-II, no.8, pp.1497-1505, 1993.”に記載されている。
【０００７】この因子分解法は、物体の角などの特徴点を順次追跡した上で、行列の因子分解を利用してカメラの運動と対象物の三次元形状を復元する方法である。この手法では、対象物とカメラの間に相対的な運動が生じるようにして撮影した多視点画像系列を用いているが、このような条件で撮影された画像をマッピングする場合、前述のような画像選択手法を用いると問題が生じる。
【０００８】すなわち、パッチ面に近い距離から撮影した画像があるにも関わらず、僅かにカメラ方向がパッチ面に対して正対していないために、遠くから撮影した画像が選択される場合が生じてしまう。また、三次元形状面と画像の写像関係（テクスチャ座標）として用いる特徴点の追跡結果に誤差が含まれていたり、画像間の照明条件が一定でない場合には、異なる画像をマッピングしたパッチ面の間に不連続性が生じ、最終的に得られる３Ｄ−ＣＧの品質が低下することになる。
【０００９】図１に示すように、対象物１０１の三次元画像を生成しようとする場合、例えば、対象物１０１を回転テーブル１０２に載せて、カメラ１０３と対象物１０１の間の距離Ｄを固定し、対象物１０１を回転させて撮影する。
【００１０】この撮影処理の場合、パッチ面に最も正対しているカメラで撮影した画像が、最もその面上のテクスチャを良く撮らえていると言える。すなわちテクスチャマッピング（テクスチャ貼り付け）のための画像選択の際には、パッチ面の法線ベクトルの方向とカメラの撮影方向を単純に比較すれば良い。
【００１１】しかし、ここで仮定している撮影条件では、計測対象物とカメラの間の距離は任意に変化し、同時にカメラの姿勢も任意に回転する。そのため、カメラの撮影方向だけでは最適な画像を判断できない場合がある。
【００１２】図２に示すように、重心２０４を持つ注目パッチ面Ｐ，２０３に最も正対しているが、距離が離れている撮影視点１からのカメラ１，２０１の撮影画像を、三次元形状データに貼り付ける画像、すなわちテクスチャマッピング画像として選択するべきか、あるいは、撮影視点１よりも撮影方向がわずかにパッチ面Ｐ，２０３に対して正対していないが、パッチ面Ｐ，２０３までの距離が近い撮影視点２からのカメラ２，２０２の撮影画像を、テクスチャマッピング画像として選択するべきか、判断することは容易でない。
【００１３】また、各画像の間で照明条件が一定でない場合、複数の画像からテクスチャを切り出すと、異なる画像がマッピングされたパッチ面の間に不自然な継ぎ目が生じ、最終的に得られる三次元画像データ（三次元ＣＧ）の品質が落ちてしまう。
【００１４】このような、品質低下を防止する方法としては、表示したいシーン全体の形状・テクスチャ・光学特性をモデル化し、これらの画像を補正することが考えられる。この手法は、例えば、文献［５］“ Yizhou Yu, Paul Debevec, Jitendra Malik, Tim Hawkins, “Inverse Global Illumination: Recovering ReflectanceModels of Real Scenes form Photographs”,ACM SIGGRAPH・9 Proceedings, pp.215-224, 1999.”、文献［６］“Paul Debevec, “Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics withGlobal Illumination and High Dynamic Range Photography”,ACM SIGGRAPH・8 Proceedings, pp.189-198, 1998.”、さらに、文献［７］“佐藤いまり, 佐藤洋一, 池内克史, 「光学的整合性を考慮した実画像への仮想物体の重ね込み」,第3回 知能メディアシンポジウム, pp.23-32, 1997.”に記述されている。
【００１５】しかし、野外での撮影を考えた場合には、シーン全体をモデル化することは不可能といえる。複数の実画像を用いるテクスチャマッピング手法として、これまで提案されてきたものには、例えば、文献［８］“ Paul Debevec, Camillo Taylor, Jitendra Malik, “Modeling and Rendering Architecture from Photographs: A hybrid geometry- and image-based approach”,ACM SIGGRAPH・6 Proceedings, pp.11-20, 1996.”、あるいは、文献［９］“Paul Debevec, Yizhou Yu, George Borshukov, “Efficient View-Dependent Image-Based Rendering with Projective Texture-Mapping”,9th Eurographics workshop on rendering, pp.105-116, 1998.”がある。
【００１６】これらは、照明と対象の関係は固定（照明条件の一致）、画像の解像度は同一、正確なカメラキャリブレーションを行う、という条件で対象を撮影することによって、上記問題点を回避している。
【００１７】
【発明が解決しようとする課題】しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明条件の一致はほぼ不可能であり、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難となる。
【００１８】本発明は、このような現状における問題点をふまえ、対象物とカメラ間の距離とカメラ方向とが任意に変化する場合のマッピング最適画像選択基準の設定法、パッチ面の共有稜線上の画素値の分布に注目したテクスチャ座標の補正手法、異なる位置・照明条件で撮影された画像がマッピングされたパッチ面の画素間の画素値（濃度）補正手法を持つ画像処理装置および方法を提供するものである。
【００１９】本発明の画像処理装置および画像処理方法は、カメラによって撮影される三次元画像生成対象物とカメラ間の距離とカメラ方向とが任意に変化する場合の、テクスチャマッピング画像の最適な画像選択基準の設定、パッチ面の共有稜線上の画素値の分布に注目したテクスチャ座標の補正処理、異なる位置・照明条件で撮影された画像がマッピングされたパッチ面の間の画素値補正処理に基づいて、光源条件の不一致による画像間の差分を目立たなくし、より高画質な三次元画像データの生成を可能する画像処理装置および画像処理方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】本発明は、上記課題を参酌してなされたものであり、その第１の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段を有することを特徴とする画像処理装置にある。
【００２１】さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ画像選択処理手段は、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行する構成であることを特徴とする。
【００２２】さらに、本発明の画像処理装置の一実施態様において、前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする。
【００２３】さらに、本発明の画像処理装置の一実施態様において、前記演算式は、以下に示す評価値：Ｖの算出式、
【数７】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜である、であることを特徴とする。
【００２４】さらに、本発明の第２の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理手段を有し、前記マッチング処理手段は、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行する構成であることを特徴とする画像処理装置にある。
【００２５】さらに、本発明の第３の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理手段を有し、前記画素値補正処理手段は、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出する構成を有することを特徴とする画像処理装置にある。
【００２６】さらに、本発明の画像処理装置の一実施態様において、前記画素値補正処理手段は、以下に示す補正画素値：Ｐi-new算出式、
【数８】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出する構成を有することを特徴とする。
【００２７】さらに、本発明の画像処理装置の一実施態様において、前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する構成であることを特徴とする。
【００２８】さらに、本発明の画像処理装置の一実施態様において、前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、前記画素値補正処理手段は、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数９】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出する構成であることを特徴とする。
【００２９】さらに、本発明の第４の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段と、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理手段と、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理手段と、を有することを特徴とする画像処理装置にある。
【００３０】さらに、本発明の第５の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップを有することを特徴とする画像処理方法にある。
【００３１】さらに、本発明の画像処理方法の一実施態様において、前記テクスチャ画像選択処理ステップは、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行するステップを含むことを特徴とする。
【００３２】さらに、本発明の画像処理方法の一実施態様において、前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする。
【００３３】さらに、本発明の画像処理方法の一実施態様において、前記演算式は、以下に示す評価値：Ｖの算出式、
【数１０】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜、であることを特徴とする。
【００３４】さらに、本発明の第６の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理ステップを有し、前記マッチング処理ステップは、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するステップを含むことを特徴とする画像処理方法にある。
【００３５】さらに、本発明の第７の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理ステップを有し、前記画素値補正処理ステップは、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するステップであることを特徴とする画像処理方法にある。
【００３６】さらに、本発明の画像処理方法の一実施態様において、前記画素値補正処理ステップは、以下に示す補正画素値：Ｐi-new算出式、
【数１１】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出することを特徴とする。
【００３７】さらに、本発明の画像処理方法の一実施態様において、前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行することを特徴とする。
【００３８】さらに、本発明の画像処理方法の一実施態様において、前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数１２】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出することを特徴とする。
【００３９】さらに、本発明の第８の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を有することを特徴とする画像処理方法にある。
【００４０】さらに、本発明の第９の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理を実行するコンピュータ・プログラムであって、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を具備することを特徴とするコンピュータ・プログラムにある。
【００４１】
【作用】本発明の画像処理装置および方法においては、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行する構成であり、パッチ面毎に最も画質の劣化程度の低い最適な画像を容易に選択することが可能であり、高画質の三次元画像データの生成が実現される。
【００４２】また、本発明の画像処理装置および方法においては、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理を実行する構成であるので、異なる視点からの画像をテクスチャ画像として貼り付けたパッチ面境界においても、画像のずれが発生せず、高画質の三次元画像データの生成が実現される。
【００４３】また、本発明の画像処理装置および方法においては、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理を実行する構成であるので、異なる撮影条件のもとで撮影された異なる視点からの画像を隣接するパッチ面のテクスチャ画像として貼り付けた構成においても、パッチ面間の画像が滑らかに補正され、違和感のない高画質の三次元画像データの生成が実現される。
【００４４】なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４５】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４６】
【発明の実施の形態】以下、図面を参照しながら、本発明の画像処理装置および画像処理方法について、詳細に説明する。
【００４７】本発明の画像処理装置および画像処理方法は、カメラによって撮影される三次元画像生成対象物とカメラ間の距離とカメラ方向とが任意に変化する場合の、テクスチャマッピング画像の最適な画像選択基準の設定、パッチ面の共有稜線上の画素値の分布に注目したテクスチャ座標の補正、異なる位置・照明条件で撮影された画像がマッピングされたパッチ面の間の濃度補正、これらの各処理を含むものである。
【００４８】なお、本発明のテクスチャマッピング手法は、例えば文献［３］“ Conrad J.Poelman, Takeo Kanade, “ Paraperspective Factorization Method for Shape and Motion Recovery”,Technical Report CMU-CS-93-219, 1993.”あるいは、文献［４］“ 金出武雄, 森田俊彦, コンラッド・ポールマン, 「因子分解法による物体形状とカメラ運動の復元」,電子情報通信学会論文誌, vol.J76-D-II,no.8, pp.1497-1505, 1993.”に記載された因子分解法が仮定しているような、カメラ姿勢と距離が任意に変化する自由なカメラワークによって撮影された画像系列を用いる構成に対して適用可能であり、以下、実施例として、このようなカメラ姿勢と距離が任意に変化する自由なカメラワークによって撮影された画像系列を用いる構成説明するが、本発明は、その他、任意の様々な視点で撮影された複数枚画像から得られた３Ｄ対象に関しても、適用可能である。
【００４９】［（１）最適テクスチャ画像選択処理］まず、三次元画像を生成しようとする計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合の最適テクスチャマッピング画像選択処理について、説明する。従来技術の欄で説明したように、計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合、最適なテクスチャマッピング画像を選択することは困難である。
【００５０】図３を参照して、撮影視点の計測対象物との距離：Ｄと、計測対象物に対する角度：θについて説明する。
【００５１】図３に示すように、三次元画像の生成対象物のある注目パッチ面Ｐ，３０３に対する撮影視点が複数あるとき、カメラ１，３０１（撮影視点１）と、計測対象物との距離をＤ１とし、カメラ２，３０２（撮影視点２）と計測対象物との距離をＤ２とする。
【００５２】また、注目パッチ面Ｐ，３０３の法線ベクトル：ｎとし、カメラ１，３０１（撮影視点１）から注目パッチ面Ｐ，３０３の重心ｇ，３０４に向かうベクトルをＶ１、カメラ２，３０２（撮影視点２）から注目パッチ面Ｐ，３０３の重心ｇ３０４に向かうベクトルをＶ２としたとき、法線ベクトル：ｎとベクトルＶ１とのなす角度θ１についてのｃｏｓθ１は、ｃｏｓθ１＝（Ｖ１・ｎ）／｜Ｖ１｜｜ｎ｜であり、法線ベクトル：ｎとベクトルＶ２とのなす角度θ２についてのｃｏｓθ２は、ｃｏｓθ２＝（Ｖ２・ｎ）／｜Ｖ２｜｜ｎ｜となる。
【００５３】図３に示す例では、θ１＜θ２であるので、Ｖ１・ｎ＞Ｖ２・ｎであり、単にパッチ面に正対している画像を選択するのであれば、カメラ１，３０１（撮影視点１）の画像となる。しかし、一方、カメラ１，３０１（撮影視点１）と、計測対象物との距離をＤ１とし、カメラ２，３０２（撮影視点２）と計測対象物との距離をＤ２との比較では、Ｄ１＞Ｄ２であり、距離の近いものを選択しようとすれば、カメラ２，３０２（撮影視点２）の画像となる。
【００５４】このように、３次元形状データに貼り付ける画像、すなわちテクスチャマッピング画像として選択する画像を、最も正対しているが距離が離れている撮影視点１からのカメラ１，３０１の撮影画像とするか、あるいは、撮影視点１よりもパッチ面Ｐ，３０３に対して正対していないが、パッチ面Ｐ，３０３までの距離が近い撮影視点２からのカメラ３，２０２の撮影画像を選択するかの判断は困難となる。
【００５５】図４に、パッチ面と撮影視点間の距離：Ｄと、パッチ面の法線方向ベクトルと撮影視点からパッチ面の重心に向かうベクトルとのなす角：θ、各値の変化に対応する撮影画像の劣化度としての画質劣化評価値：Ｅとの対応図を示した。画質劣化評価値：Ｅは、Ｅ＝０がエラー率が最小、Ｅ＝１．０がエラー率が高いことを示す。ここで、画質の劣化度は、視距離についての初期値＝Ｄ１、画像回転角θ＝０［ｄｅｇ］の時のマッピング結果を基準として算出し、以下に示す（式１）に示すように、各画素毎の違いを尺度にした平均二乗誤差を用いて算出した値Ｅ（Ｄ，θ）である。
【００５６】
【数１３】
…（式１）
【００５７】上記（式１）において、Ｉbase（ｉ、ｊ）は視距離が初期値＝Ｄ１、画像回転角θ＝０［ｄｅｇ］の時の基準画像であり、Ｉtarget（ｉ、ｊ）は基準画像を基に、視距離：Ｄを初期値：Ｄ１から初期値：Ｄ１の５倍の距離：Ｄ５まで変化させ、同時に縦軸を中心としてθ＝０〜８５［ｄｅｇ］まで回転させた投影画像を作成し、これらの画像を基準画像と同じ大きさの平面へマッピングしたものである。
【００５８】また、ここで用いた画像（Ｎ画素×Ｍ画素）はカラー画像であるが、検討を簡単化するために輝度値のみを用いて劣化度：Ｅを計算した。テクスチャを平面へマッピングする際の内挿法としては、拡大・縮小共に双一次内挿法を用いた。そこで、θが一定の時、Ｄの増加に対してＥ（Ｄ、θ）は線形に増加し、また、Ｄが一定の時、θが増加するとＥ（Ｄ、θ）は指数関数的に増加することが見られた。図４の指示部４０１に示すように、θを一定とした場合、距離（Ｄｉｓｔａｎｃｅ）の増加に伴い画質劣化評価値：Ｅは、線形増加を示し、図４の指示部４０２に示すように、Ｄが一定の時、θが増加するとＥ（Ｄ、θ）は指数関数的に増加する。
【００５９】次に、このようにして算出した評価値Ｅ（Ｄ、θ）を用いて、最適な画像選択基準を導入する。
【００６０】まず、図５に示すように、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル、図５に示すベクトル：Ｖと、注目しているパッチ面Ｐ，５０２の法線ベクトル：ｎのなす角がθである時、θを中心にθ±Δθの範囲にある他のカメラ５０４が取得した撮影画像を選択し、注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像を含め、これらをテクスチャ候補画像として設定する。
【００６１】この時、Δθの値は、θの変化に対するＥ（Ｄ、θ）の変化の大きさ｜ｄＥ（Ｄ、θ）／ｄθ｜に基づいて決定する。まず、先に図４を参照して説明した画質劣化評価値に基づいて、画質劣化評価値：Ｅの角度：θに対する変化率を見る。
【００６２】三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θが大きい場合、この場合は、パッチ面Ｐ，５０２をθの大きい斜め方向から撮影した画像のみを保持していることになる。図４のデータから明らかなように、θが大の領域では、角度：θの変化に対する画質劣化評価値：Ｅの変化率、すなわち、｜ｄＥ（Ｄ、θ）／ｄθ｜の値が大きくなる。
【００６３】従って、θが大の領域では、たとえ距離：Ｄが近くても、θ±Δθの範囲にある視点からの画像は、パッチ面に対する正対方向からのずれが大きく、さらに角度がずれることにより画質劣化の度合いが急激に上昇することになる。従って、カメラの方向を重視し候補を少なく絞る必要がある。すなわち、Δθを小さく設定する必要がある。
【００６４】また、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θが小さい場合、この場合は、パッチ面Ｐ，５０２をθの小さい正面付近から撮影した画像を保持していることになる。図４のデータから明らかなように、θが小の領域では、角度：θの変化に対する画質劣化評価値：Ｅの変化率、すなわち、｜ｄＥ（Ｄ、θ）／ｄθ｜の値が小さい。
【００６５】このように、θが小の領域では、θ±Δθの範囲にある視点からの画像は、パッチ面に対する正対方向からのずれが小さく、角度がずれた場合でも画質劣化の度合いが小さい。従って、カメラ距離と方向とを同時に考慮する必要がある。
【００６６】このように、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θの値に応じて最適なΔθの値を設定することが必要であり、次式（式２）によってΔθの値を決定する。
【００６７】
【数１４】
…（式２）
【００６８】上式において、｜ｄＥ（Ｄ、θ）／ｄθ｜θは、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θにおける、画質劣化評価値：Ｅのθに対する変化率である。｜ｄＥ（Ｄ、θ）／ｄθ｜ｍａｘと、｜ｄＥ（Ｄ、θ）／ｄθ｜ｍｉｎは、様々なθ値に対する画質劣化評価値：Ｅの変化率の最大値、最小値であり、例えばシミュレーション結果より得られる値を適用することができる。また、上記式中、Δθｍａｘは、カメラの設定条件に応じて定めた設定値を適用する。例えばΔθｍａｘの値として、Ｅ（Ｄ、θ）の値が急激に増加し始める角度である４５［ｄｅｇ］を採用する。
【００６９】上記（式２）において、Δθの値を設定し、例えば、図５に示す撮影環境において、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像と、上記（式２）において設定されたΔθの値に基づいて決められた領域であるθ±Δθの範囲にある視点からの撮影画像、これら複数の視点からの撮影画像を、注目パッチ面Ｐ，５０２に対するテクスチャマッビング用の候補画像とする。
【００７０】次に、これらの候補画像から、最適なテクスチャマッビング用画像を選択する。候補画像中からの最適画像の選択は、以下に示す（式３）によって算出する評価値：Ｖに基づいて決定する。評価値：Ｖが最大となる画像を注目パッチ面Ｐ，５０２に対する最適テクスチャ画像とする。
【００７１】
【数１５】
…（式３）
【００７２】上記（式３）を適用して、先に示した（式２）によって求められるΔθによって定義される領域にあるカメラによって特定される視点位置毎に評価値：Ｖを求める。例えば、図５に示す撮影環境において、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像と、上記（式２）において設定されたΔθの値に基づいて決められた領域であるθ±Δθの範囲にある複数のカメラ５０４の撮影画像、全てについて、その評価値を算出する。
【００７３】式３において、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値である。なお、図４の画質劣化評価値データを参照して説明したように、視距離Ｄの増加に対しＥ（Ｄ、θ）は線形に増加するという結果が得られているので、上記（式３）中のＤとＤｍａｘは０と１の間に正規化した値を用いることができる。式３において、ｃｏｓθのθは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θである。
【００７４】また、上記（式３）中のｗDとｗθは、候補画像、各画像中の距離：Ｄおよび角度：θに対応する、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜と、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜である。
【００７５】図４に示したグラフと上記（式３）から理解されるように、角度：θが大きければ角度変化の重みが大きくなり、カメラ方向を重視した評価値が計算され、θが小さければ距離変化の重みが大きくなり、カメラの距離を重視した評価値が計算されることになる。
【００７６】例えば、図５に示すように、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像と、上記（式２）において設定されたΔθの値に基づいて決められた領域であるθ±Δθの範囲にある３台のカメラ５０４の撮影画像がある場合、上記（式３）に基づいて、各カメラの距離：Ｄ、角度：θに基づいて、４つの評価値Ｖ１〜Ｖ４が算出され、これら評価値Ｖ１〜Ｖ４から最大の評価値となったＶｘに対応するカメラの画像を注目パッチ面Ｐ，５０２に対応する最適なテクスチャ画像として選択する。
【００７７】上述したテクスチャ画像選択法を用いることで、三次元画像生成対象物における各パッチ面毎の最適画像を、複数の撮影画像から容易に選択することが可能となる。
【００７８】なお、パッチ面の作成、テクスチャ画像のマッピング手順としては、まず、上述した複数カメラによる撮影画像、すなわち、多視点画像系列の各フレーム画像における特徴点の追跡によって画像間の対応付けデータを求めて、これらの対応付けデータに基づいて対象物の三次元形状を構成してパッチ面の作成を行なう。次に、各パッチ面に対して、各フレームにおける特徴点の追跡結果をテクスチャマッピング時のテクスチャ座標として用いたマッピングを行なう。これらの処理によって、上述したテクスチャ画像選択法によって選択したテクスチャ画像の各パッチ面に対するマッピングが可能となる。
【００７９】［（２）隣接パッチの共有境界線における補正処理］しかし、多視点画像系列の各フレーム画像における特徴点の追跡結果には誤差が含まれ、マッピングの精度に影響を及ぼす場合がある。そこで、テクスチャ座標のずれに起因する稜線上での不連続性、すなわち各パッチ面の境界線における画像のずれを解消するために、共有している稜線にのみ注目し、その稜線上の画素値のマッチングをとることによって位置合わせを行う処理につていて、以下、説明する。
【００８０】図６を参照して、隣接パッチの共有境界線上の特徴点位置ずれが生じた場合の補正処理例について説明する。図６（ａ）に示すように、隣接するパッチ面５５１、５５２に対する貼り付け画像、すなわちテクスチャ画像を、異なる撮影画像Ｉｍａｇｅn５６１，Ｉｍａｇｅn５６２を適用しようとすると、隣接するパッチ面５５１、５５２における境界線、すなわち、共有稜線上の濃淡分布に差が発生する。例えば図６（ｂ）に示すように、撮影画像Ｉｍａｇｅn５６１，Ｉｍａｇｅn５６２の濃淡分布にずれが発生する。図６（ｂ）に示すグラフは、画像Ｉｍａｇｅn５６１，Ｉｍａｇｅn５６２の共有稜線上の端点からｉ番目の画素のもつ輝度値Ｉ（ｎ、ｉ）とＩ（ｍ、ｉ）を示した図である。
【００８１】この共有稜線上の画素値のずれを修正するため、下式（式４）の誤差値：Ｅが最小となるように隣接パッチの端点（特徴点）位置を相対的に動かす。ここで用いる誤差値：Ｅとしては、ＲＧＢ成分から得られる輝度値の誤差の二乗和を用いる。
【００８２】
【数１６】
…（式４）
【００８３】ここで、Ｉ（ｎ、ｉ）とＩ（ｍ、ｉ）はそれぞれ共有稜線上の画像Ｉｍａｇｅn、Ｉｍａｇｅmの端点からｉ番目の画素のもつ輝度値であり、Ｌは注目している稜線の長さである。隣接パッチの端点（特徴点）位置を相対的に動かして、上記（式４）によって算出される誤差値：Ｅが最小となる相対位置を設定する。
【００８４】しかし、上述の方法で、ある一つの共有稜線を補正すると、その端点につながる他の共有稜線上の画素値も変化する。従って、多数のパッチ面によって構成される三次元画像データ全体についての処理として実行する場合は、ある一つの共有稜線に注目した局所的な濃度誤差の最小化と、局所的な補正に伴う全体的な濃度誤差変化の最小化を同時に行う必要がある。
【００８５】そこで、ある三次元画像を構成するすべてのパッチ境界線上での誤差を最小化するため、エネルギー最小化問題として解く。具体的には、全境界線における誤差値の最大値のみに注目し、これを最小化する処理を行う。
【００８６】以下、この補正処理の手順について説明する。図７に三次元画像を構成するすべてのパッチ境界線における誤差値の最大値に注目し、これを最小化する処理による補正処理手順を説明するフローを示す。
【００８７】図７に示すパッチ面共有稜線補正処理の各ステップについて説明する。まず、ステップＳ１０１において初期設定を実行する。初期設定は、ｔ＝１、Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝＝０の設定とする。
【００８８】「ｔ」は、本フローにおける誤差値：Ｅの算出処理回数を示す数値であり、初期値＝１とする。「ＭＡＸ｛Ｅ（ｘ，ｔ−１）｝」は、補正対象となる三次元画像を構成するすべてのパッチ境界線中の、異なる画像が選択されているパッチ面間にある稜線の数を「ｘ」としたとき、これらのｘ本の稜線について、前述の（式４）を用いて算出した誤差値：Ｅの中での最大値を示す。（ｔ−１）は、（ｔ−１）回目の算出処理であることを示す。「ＭＡＸ｛Ｅ（ｘ，ｔ−１）｝」の初期値は０とする。
【００８９】ステップＳ１０２では、補正対象となる三次元画像を構成するすべてのパッチ境界線中の、異なる画像が選択されているパッチ面間のすべての境界線上の誤差値｛Ｅ（ｘ，ｔ）｜ｘ：稜線数｝を計算する。
【００９０】ステップＳ１０３では、ステップＳ１０２で算出した、誤差値｛Ｅ（ｘ，ｔ）｜ｘ：稜線数｝から、最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝を選択し、前回（ｔ−１）回目の最大誤差値算出処理において、取得した前回の最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝との差分：ＤEを下式に従って算出する。
ＤE＝Ｍａｘ｛Ｅ（ｘ，ｔ）｝−Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝
を算出する。
【００９１】ステップＳ１０４では、ステップＳ１０３で算出した差分：ＤEが予め定めた閾値より小であるか否かを判定する。Ｙｅｓである場合は、処理を終了し、この時点での端点補正処理を最終的な補正結果とする。ＤE＜閾値となったことは、最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝が収束していることを示し、新たな端点補正を行なっても、大きな変化は発生しないことを示している。
【００９２】ステップＳ１０４で、ＤE＜閾値となっていない場合は、以下のステップで、端点補正を実行する。まず、ステップＳ１０５において、前回（ｔ−１）回目の最大誤差値算出処理において、取得した前回の最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝を、今回（ｔ）回目の最大誤差値算出処理において取得した最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝に更新し、また、ｔ＝ｔ＋１の更新を実行する。
【００９３】さらに、今回ステップＳ１０２において取得した、補正対象となる三次元画像を構成するすべてのパッチ境界線中の、異なる画像が選択されているパッチ面間のすべての境界線上の誤差値｛Ｅ（ｘ，ｔ）｜ｘ：稜線数｝を誤差値が大となるものから順に並べ替え（ソート）て、最大誤差を持つ共有稜線ＬE-MAXを決定する。
【００９４】次に、ステップＳ１０６において、最大誤差を持つ共有稜線ＬE-MAXについて、端点の移動により、前述の（式４）に基づいて算出される誤差値：Ｅを最小とするよう端点補正を実行する。
【００９５】さらに、ステップＳ１０２に戻り、更新されたｔに基づいて、補正後の三次元画像データについて、ステップＳ１０２以下の処理を繰り返し実行する。
【００９６】これらの処理を繰り返し実行して、ステップＳ１０４の判定、すなわち、ＤE＜閾値がＹｅｓとなった時点で、処理を終了し、この時点での端点補正処理を最終的な補正結果とする。ＤE＜閾値は、前述したように、最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝が収束したことを示し、新たな端点補正を行なっても、大きな変化は発生しないことを示している。
【００９７】上述したように、誤差の最大値が収束した時点で処理を終了する。この端点補正処理により、テクスチャマッピングにおいて、パッチ間のずれが補正され、三次元画像データの画質を高めることが出来る。
【００９８】［（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理］しかし、上述の端点補正を行っても隣接するパッチ間の画像に照明条件の差がある場合には、隣接するパッチ間に全体的な濃度値の不連続性が生じる。この不連続性をなくすために、共有境界線とパッチ面内の濃度値を補正することが必要となる。以下、共有境界線とパッチ面内の濃度値を補正する処理について、説明する。
【００９９】まず、共有稜線上の画素値は、カメラ方向とパッチ面の法線ベクトルのなす角のコサインを重みとした画素値の平均値で置き換える。図８において、異なる画像Ｉｍａｇｅn６１１、Ｉｍａｇｅm６１２が隣接するパッチ面６２１，６２２に対する貼り付け画像とされたとき、共有稜線上の点Ｐiの補正後の画素値Ｐi-newを、２つの異なる画像の対応点の画素値、すなわち、画像Ｉｍａｇｅn６１１に基づく画素値：Ｐi、および、画像Ｉｍａｇｅm６１２に基づく画素値：Ｐi’を用いて次式（式５）で求める。
【０１００】
【数１７】
…（式５）
【０１０１】ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
である。
【０１０２】θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影した時のカメラ方向ベクトルとパッチ面の法線ベクトルトのなす角である。
【０１０３】上述した隣接パッチの共有境界線における補正処理の後、パッチ面内の画素値補正処理を実行する。パッチ面内の画素値補正処理は、稜線上の元の画素値と、補正後の画素値の差ｄＰi＝Ｐi-new−Ｐi-oldを、稜線からの距離を重みとしてパッチ面内へ伝播させる方法を適用したパッチ面内の濃度補正として実行する。
【０１０４】三角領域として設定されるパッチ面では、図９に示すように、１つのパッチ面６５１に対して３つの隣接パッチ面６５２，６５３，６５４を有する。従って、パッチ面651ないの点：Ｑの画素値補正は、隣接する３つのパッチ面６５２，６５３，６５４に基づいて決定することが必要となる。
【０１０５】図９において、パッチ面内部の点Ｑにおける補正画素値Ｑｎｅｗは次式（式６）で設定される。
【０１０６】
【数１８】
…（式６）
【０１０７】ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である。
【０１０８】上述の（式６）に従った画素値補正を、三次元画像データを構成するすべてのパッチ面の共有稜線に注目して行う。上述の（式６）に従って、各パッチ面の補正画素値を求め、補正画素値を新たな画素値として設定することで、隣接パッチ面との画素値の不自然な差異を解消することが可能となり、撮影時の照明条件が未知の場合でもパッチ面間に生じる不連続性をなくすことができ、自然なテクスチャのマッピング結果を生成することができる。
【０１０９】図１０に上述した共有境界線とパッチ面内の画素値補正処理の手順を説明するフローチャートを示す。各ステップについて説明する。
【０１１０】ステップＳ２０１において、まず、隣接パッチに異なる視点画像を持つ共有稜線を選択し、選択した共有稜線について、前術した（式５）を適用して異なる画像から取得した隣接パッチ面の境界線（共有稜線）上の画素値補正を実行する。すなわち、共有稜線上の点Ｐiの補正後の画素値Ｐi-newを、２つの異なる画像の対応点の画素値、すなわち、画像Ｉｍａｇｅnに基づく画素値：Ｐi、および、画像Ｉｍａｇｅmに基づく画素値：Ｐi’を用いて式５を適用して求める。
【０１１１】ステップＳ２０２において、隣接パッチに異なる視点画像を持つ全ての共有稜線についての画素値補正が完了したか否かを判定する。し、完了していない場合は、ステップＳ２０１を続けて実行する。
【０１１２】隣接パッチ面の境界線（共有稜線）上の画素値補正をすべて終了したら、次にステップＳ２０２において、前述した（式６）を適用して、隣接する３つのパッチ面との３つの共有稜線：Ｌi，Ｌj，Ｌk上の補正前および補正後の画素値：Ｐi-old、Ｐi-new、Ｐj-old、Ｐj-new、Ｐk-old、Ｐk-newに基づいて、パッチ内の画素値Ｑnewを算出する。
【０１１３】ステップＳ２０４において、全てのパッチ内の画素値補正が完了したか否かを判定する。し、完了していない場合は、ステップＳ２０３を続けて実行する。全てのパッチ内の画素値補正が完了したら、処理終了とする。
【０１１４】このように、異なる視点からの画像をパッチ面を単位としてつなぎ合わせて三次元画像を生成するテクスチャマッピング処理において、パッチの境界線（共有稜線）上での画素値補正を（式５）に基づいて実行し、さらに、（式６）に基づいてパッチ内の画素値補正を実行することで、隣接パッチ面との画素値の不自然な差異を解消することが可能となり、撮影時の照明条件が未知の場合でもパッチ面間に生じる不連続性をなくすことができ、自然なテクスチャのマッピング結果を生成することができる。
【０１１５】（１）計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合の最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理について、説明した。次に、上述した本発明に従った処理の効果について、実例を示して説明する。
【０１１６】まず、（１）計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合の最適テクスチャマッピング画像選択処理の効果について、図１１、図１２を参照して説明する。
【０１１７】テクスチャマッピングによる三次元画像データの生成対象モデル、すなわち、撮影対象として、４枚の三角パッチ面からなる屏風型の三次元形状にＶｉｓｉｏｎ Ｔｅｘｔｕｒｅデータベース中の基準画像をそれぞれの面へ正面からテクスチャマッピングしたものを利用した。
【０１１８】この三次元物体をカメラ方向と位置を同時に変化させながら計算機内でシミュレーション画像系列、計１００枚を生成し、生成したシミュレーション画像系列からそれぞれのパッチ面に対して最適な画像を選択し、新たにテクスチャマッピング処理を実行した。
【０１１９】シミュレーション画像系列を構成する画像の撮影カメラ位置、方向と、撮影対象のパッチ面の法線方向との関係を図１１に示す。図１１に示すカメラ１〜カメラ５は、シミュレーション画像系列を構成する画像の撮影カメラ位置、方向の一部を示すものである。シミュレーション画像系列は、図１１のカメラ１〜カメラ５に示すように、撮影対象に対して異なる距離：Ｄおよび角度：θの設定を持ち、（Ｄ，θ）の異なる複数の画像データがシミュレーション画像系列として取得される。
【０１２０】これらの画像系列から、各パッチ面に最適な画像を選択する処理を実行する。図１２（ａ）には、パッチ面の法線ベクトル方向とカメラ方向の比較のみで最適テクスチャ画像を選択しし、選択したテクスチャ画像に基づいてテクスチャマッピングを実行した結果の画像を示す。
【０１２１】図１２（ｂ）は、前述した（１）最適テクスチャマッピング画像選択処理に従った画像選択処理、すなわち、パッチ面に最も正対する画像から±θの画像をテクスチャ画像の候補画像として選択し、各候補画像について、前述の（式３）に基づいて、距離：Ｄ、角度：θの双方を考慮した評価値：Ｖを算出し、候補画像中から最も評価値：Ｖが大きくなる画像をテクスチャ画像として選択する処理を実行して生成したテクスチャマッピング画像をに示す。
【０１２２】パッチ面の法線ベクトル方向とカメラ方向の比較のみに基づいて最適テクスチャ画像を選択した図１２（ａ）に示す画像の場合、カメラ方向が最もパッチ面に対して正対している遠くから撮影された画像が選択されてしまい、向って右側のパッチ面に対するマッピング結果７０１がぼやけてしまっているのが分かる。これに対し、本手法による画像選択を行った場合には、それぞれの面に視距離と方向との間のトレード・オフを考慮した適切な画像が選択され、ぼけと歪の少ないマッピング結果７０２が得られていることが分かる。
【０１２３】次に、上述した（２）隣接パッチの共有境界線における補正処理、および（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理の各処理の効果について実例を示して説明する。
【０１２４】照明条件変化や特徴点の追跡誤差に対する本手法の安定性を見るため、全体的な照明条件を大きく変化させた画像系列を用意し、さらに特徴点の追跡結果へ標準偏差が２画素相当のガウス分布に基づくノイズを加え実験を行った。この場合のテクスチャマッピング画像について、（ａ）未補正（補正前）、（ｂ）濃度補正のみ、（ｃ）テクスチャ座標の補正後に濃度補正を実行、これら３種類の異なる処理結果としてのテクスチャマッピング画像各々を図１３（ａ），（ｂ），（ｃ）に示す。
【０１２５】また、図１３中の矢印のライン７０３上における輝度値の分布を図１４に示す。図１４は、図１３の（ａ）未補正（補正前）、（ｂ）濃度補正のみ、（ｃ）テクスチャ座標の補正後に濃度補正を実行、の３画像のライン７０３に対応する画素の画素値を示すものである。横軸がライン７０３に対応する各画像の画素（３００ピクセル）であり、縦軸は、各画素の画素値（輝度値）正規化データを示す。
【０１２６】図１４（ｃ）のラインが他のラインに比較して、ぶれの少ない画素値を示しており、本手法、すなわち、（２）隣接パッチの共有境界線における補正処理、および（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理の各処理を実行することにより、濃度補正のみの場合よりも、より滑らかにテクスチャがつながるように濃度を補正できることが確認できる。
【０１２７】なお、上述した本発明の画像処理は、実施例に取り上げられた因子分解法による３Ｄ形状だけでなく、その他の様々な方法、例えば、レーザー光を照射し三角測量による３Ｄ形状計測法等を適用して計測された３Ｄ形状に対しても、その３Ｄ形状計測と共に観測された多視点画像を用いることによって、最適なテクスチャマッピングが可能となる。
【０１２８】［システム構成］上述した画像処理を実行するシステム構成例について、説明する。図１５に本発明の画像処理装置の一実施例構成のブロック図を示す。本実施例における画像処理装置は、かめらによって撮影された画像、あるいはＤＶＤ、ＣＤ等の記録媒体に格納された多視点画像データの処理、あるいはインターネット等のデータ通信網を介して配信される多視点画像データをＤＶＤ、ＣＤ、ハードディスク等の書き込み可能な記憶媒体に格納し、これらの画像データの処理を実行する。
【０１２９】図１５に示す画像処理装置７５０の構成について説明する。ＣＰＵ(Central processing Unit)７５６は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実行する演算処理装置であり、上述した画像処理としての、（１）最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理、（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理等を実行する。さらに、各入力装置から入力されるコマンドに応じて記憶手段からのデータ読み出し処理あるいは表示処理の制御を実行する。
【０１３０】メモリ７５７は、ＲＯＭ（Read-Only-Memory）、ＲＡＭ（Random Access Memory）等から構成され、ＣＰＵ７５６が実行するプログラム、あるいは演算パラメータとしての固定データの格納、ＣＰＵ７５６の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。記録メディア７５８はＤＶＤ、ハードディスク、ＣＤ等の記録メディアであり、例えば処理対象となる多視点画像データを蓄積する。
【０１３１】さらに、画像処理装置７５０は、通信ネットワークとのインタフェースとして機能するネットワークインタフェース７５２を有し、ネットワークを介して多視点画像データの受信を行ない、受信されたデータは、ＤＶＤ、ハードディスク等の記録メディア７５８に格納する。
【０１３２】ユーザからのデータ処理コマンド、あるいはディスプレイ７３２における表示画像データに関する処理要求コマンドは、マウス７３７、キーボード７３６、コントローラ７３８の各種入力機器から入力インタフェース７５３を介して入力される。また、ビデオカメラ７３３、マイク７３４等のＡＶデータ入力機器からＡＶインタフェース７５４を介して入力されるデータは、処理要求コマンドに基づいて、上述した各処理が実行され、ＤＶＤ、ハードディスク等の記録メディア７５８に格納、あるいは、ディスプレイ７３２において表示される。
【０１３３】ＤＶＤ、ハードディスク等の記録メディア７５８に格納された画像データは、フレーム単位でフレームメモリ７６１に格納された後、Ｄ／Ａ変換器７６２を介した変換処理の後、ディスプレイ７３２において表示される。一方、音声データも、音声バッファ７６３に格納された後、Ｄ／Ａ変換器７６４を介した変換処理の後、スピーカ７３５において再生出力される。
【０１３４】次に、図１５に示すシステムにおいて、主としてＣＰＵ７５６によって実行する上述したテクスチャマッピング処理を実行するための機能構成を説明するブロック図を示す。
【０１３５】前述したように、本発明の画像処理装置は、（１）最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理、（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理等を実行する。これらの各処理を実行する対象となる多視点画像は、入出力インタフェース８０１を介してメモリ８０２に格納され、三次元形状データ生成部８０３において、複数パッチ面からなる三次元形状データが生成される。
【０１３６】三次元形状データに対するテクスチャマッピング処理は、テクスチャマッピング処理部８１０において実行される。テクスチャマッピング処理部８１０は、テクスチャ画像選択処理部８１１、マッチング処理部８１２、および画素値補正処理部８１３を有する。
【０１３７】テクスチャ画像選択処理部８１１は、上述した（１）最適テクスチャマッピング画像選択処理、すなわち、パッチ面に最も正対する画像から±θの画像をテクスチャ画像の候補画像として選択し、各候補画像について、前述の（式３）に基づいて、距離：Ｄ、角度：θの双方を考慮した評価値：Ｖを算出し、候補画像中から最も評価値：Ｖが大きくなる画像をテクスチャ画像として選択する処理を実行する。
【０１３８】マッチング処理部８１２は、テクスチャ画像選択処理部８１１の処理結果を受領し、受領画像データに基づいて、異なる視点からの画像をつなぎ合わせた２つのパッチのグループを抽出し、これらのパッチの境界線（共有稜線）の補正処理（マッチング処理）、すなわち、先に図７のフロー、および（式４）を参照して説明した端点移動による誤差の最小化処理を実行する。
【０１３９】画素値補正処理部８１３は、マッチング処理部８１２における端点移動によるマッチング処理後の画像を受領し、受領画像について、前述した（式５）に基づいたパッチの境界線（共有稜線）の画素値補正を実行し、さらに、前述の（式６）に基づいてパッチ内の画素値補正を実行する。
【０１４０】これらの各処理、すなわち、（１）最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理、（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理が実行された画像が、入出力インタフェース８２１を介して画像表示装置８２２に出力表示され、または、記憶装置８２３に格納される。
【０１４１】以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４２】なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４３】例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read OnlyMemory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１４４】なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４５】なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１４６】
【発明の効果】以上説明してきたように、本発明の画像処理装置および方法によれば、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行する構成であり、パッチ面毎に最も画質の劣化程度の低い最適な画像を容易に選択することが可能であり、高画質の三次元画像データの生成が実現される。
【０１４７】また、本発明の画像処理装置および方法によれば、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理を実行する構成であるので、異なる視点からの画像をテクスチャ画像として貼り付けたパッチ面境界においても、画像のずれが発生せず、高画質の三次元画像データの生成が実現される。
【０１４８】さらに、本発明の画像処理装置および方法によれば、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理を実行する構成であるので、異なる撮影条件のもとで撮影された異なる視点からの画像を隣接するパッチ面のテクスチャ画像として貼り付けた構成においても、パッチ面間の画像が滑らかに補正され、違和感のない高画質の三次元画像データの生成が実現される。
【図面の簡単な説明】
【図１】多視点画像撮影システムの構成例を示す図である。
【図２】多視点画像撮影システムにおける撮影視点とパッチ面との対応について説明する図である。
【図３】多視点画像撮影システムにおける撮影視点とパッチ面との対応、およびテクスチャ画像選択について説明する図である。
【図４】視点の距離および角度と、画質劣化評価値：Ｅとの対応を示す図である。
【図５】本発明の構成におけるテクスチャ画像選択処理について説明する図である。
【図６】本発明の構成におけるマッチング処理について説明する図である。
【図７】本発明の構成におけるマッチング処理について説明するフロー図である。
【図８】本発明の構成におけるパッチ面境界部の画素値補正処理について説明する図である。
【図９】本発明の構成におけるパッチ面内部の画素値補正処理について説明する図である。
【図１０】本発明の構成における画素値補正処理について説明するフロー図である。
【図１１】本発明の構成における多視点画像系列の構成例について説明する図である。
【図１２】本発明の構成を適用した場合の効果について説明する図である。
【図１３】本発明の構成を適用した場合の効果について説明する図である。
【図１４】本発明の構成を適用した場合の効果について説明する図である。
【図１５】本発明の画像処理装置の構成例について示すブロック図である。
【図１６】本発明の画像処理装置の機能構成について示す機能ブロック図である。
【符号の説明】
１０１ 対象物
１０２ 回転テーブル
１０３ カメラ
２０１，２０２ カメラ
２０３ 注目パッチ面
２０４ 重心
３０１，３０２ カメラ
３０３ 注目パッチ面
３０４ 重心
５０１ 対象物
５０２ パッチ面
５０３，５０４ カメラ
５５１，５５２ パッチ面
５６１，５６２ 撮影画像イメージ
６１１，６１２ 撮影画像イメージ
６２１，６２２ パッチ面
６５１〜６５４ パッチ面
７３２ ディスプレイ
７３３ ビデオカメラ
７３４ マイク
７３５ スピーカ
７３６ キーボード
７３７ マウス
７３８ コントローラ
７５０ 画像処理装置
７５１ コーデック
７５２ ネットワークインタフェース
７５３ 入力インタフェース
７５４ ＡＶインタフェース
７５６ ＣＰＵ
７５７ メモリ
７５８ 記録メディア
７６１ フレームメモリ
７６２ Ｄ／Ａ変換器
７６３ 音声バッファ
７６４ Ｄ／Ａ変換器
８０１ 入出力インタフェース
８０２ メモリ
８０３ 三次元形状データ生成部
８１０ テクスチャマッピング処理部
８１１ テクスチャ画像選択処理部
８１２ マッチング処理部
８１３ 画素値補正処理部
８２１ 入出力インタフェース
８２２ 表示装置
８２３ 記憶装置
【０００１】
【発明の属する技術分野】本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み（テクスチャ・マッピング）技術に関する画像処理装置および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、三次元形状モデルにおけるテクスチャ画像貼り付け面としてのパッチ面と、テクスチャ画像間の写像関係の誤差を補正したテクスチャ画像貼り付け処理により、不自然さの少ないリアルな三次元画像を生成することを可能とした画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】計算機空間での三次元形状の利用が急増している。このため、高品質の三次元形状を計算機へ効率的に取り込むことが一つの課題となっている。実物体の三次元形状を計算機内へ取り込む場合、現在最も広く用いられているのは、光切断法やモアレ法、コード化スリット法といった能動的手法で三次元形状を計測する非接触型三次元デジタイザ（例えば、文献［１］渡辺一正, 「立体を写し撮る 非接触型３次元デジタイザとイメージベースドモデラーの最新動向」,NIKKEI COMPUTER GRAPHICS, pp.46-65, Aug. 1999.）である。
【０００３】例えば、カメラを固定し、計測対象物を回転テーブルへ載せ、対象物を回転させながら部分的な形状を計測し、最終的に得られた三次元形状を統合する。三次元形状と同時にカラー画像を撮影できる製品もあり、この撮影カラー画像をテクスチャ画像として生成した三次元形状面上へ貼り付けることで、テクスチャマッピングが実行できる。
【０００４】この時、複数の方向から撮影された画像の中から、三次元形状の各パッチ面に対して最もそのパッチ面を良く捕らえている画像、すなわち、パッチ面に対して最も正対しているカメラによって撮影された画像を選択することによって、最終的なマッピング結果の品質を高めることができる。パッチ面に正対したカメラによる撮影画像選択については、例えば、文献［２］“ Hiroyuki Sato, MasaharuShimanuki, Takao Akatsuka, "Texture Mapped 3D Face Modeling Method on Network using Java,・Proceedings of SPIE, vol.3460, pp.609-617, 1998.”に記載されている。
【０００５】一方、得られる三次元形状データの精度は低いが、特別な装置を必要とせず、複数枚の静止画像やビデオ画像を用意するだけで、対象物の三次元形状を復元することができるイメージベースのアプローチが最近種々な用途に注目されている。その中で、時系列画像から三次元形状とカメラ運動を同時に復元する手法に、Ｔｏｍａｓｉ−Ｋａｎａｄｅらによって導入された因子分解法がある。
【０００６】因子分解法については、例えば、文献［３］“ Conrad J. Poelman, Takeo Kanade, “ Paraperspective Factorization Method for Shape and Motion Recovery”,Technical Report CMU-CS-93-219, 1993.”、または文献［４］“金出武雄, 森田俊彦, コンラッド・ポールマン, 「因子分解法による物体形状とカメラ運動の復元」,電子情報通信学会論文誌, vol.J76-D-II, no.8, pp.1497-1505, 1993.”に記載されている。
【０００７】この因子分解法は、物体の角などの特徴点を順次追跡した上で、行列の因子分解を利用してカメラの運動と対象物の三次元形状を復元する方法である。この手法では、対象物とカメラの間に相対的な運動が生じるようにして撮影した多視点画像系列を用いているが、このような条件で撮影された画像をマッピングする場合、前述のような画像選択手法を用いると問題が生じる。
【０００８】すなわち、パッチ面に近い距離から撮影した画像があるにも関わらず、僅かにカメラ方向がパッチ面に対して正対していないために、遠くから撮影した画像が選択される場合が生じてしまう。また、三次元形状面と画像の写像関係（テクスチャ座標）として用いる特徴点の追跡結果に誤差が含まれていたり、画像間の照明条件が一定でない場合には、異なる画像をマッピングしたパッチ面の間に不連続性が生じ、最終的に得られる３Ｄ−ＣＧの品質が低下することになる。
【０００９】図１に示すように、対象物１０１の三次元画像を生成しようとする場合、例えば、対象物１０１を回転テーブル１０２に載せて、カメラ１０３と対象物１０１の間の距離Ｄを固定し、対象物１０１を回転させて撮影する。
【００１０】この撮影処理の場合、パッチ面に最も正対しているカメラで撮影した画像が、最もその面上のテクスチャを良く撮らえていると言える。すなわちテクスチャマッピング（テクスチャ貼り付け）のための画像選択の際には、パッチ面の法線ベクトルの方向とカメラの撮影方向を単純に比較すれば良い。
【００１１】しかし、ここで仮定している撮影条件では、計測対象物とカメラの間の距離は任意に変化し、同時にカメラの姿勢も任意に回転する。そのため、カメラの撮影方向だけでは最適な画像を判断できない場合がある。
【００１２】図２に示すように、重心２０４を持つ注目パッチ面Ｐ，２０３に最も正対しているが、距離が離れている撮影視点１からのカメラ１，２０１の撮影画像を、三次元形状データに貼り付ける画像、すなわちテクスチャマッピング画像として選択するべきか、あるいは、撮影視点１よりも撮影方向がわずかにパッチ面Ｐ，２０３に対して正対していないが、パッチ面Ｐ，２０３までの距離が近い撮影視点２からのカメラ２，２０２の撮影画像を、テクスチャマッピング画像として選択するべきか、判断することは容易でない。
【００１３】また、各画像の間で照明条件が一定でない場合、複数の画像からテクスチャを切り出すと、異なる画像がマッピングされたパッチ面の間に不自然な継ぎ目が生じ、最終的に得られる三次元画像データ（三次元ＣＧ）の品質が落ちてしまう。
【００１４】このような、品質低下を防止する方法としては、表示したいシーン全体の形状・テクスチャ・光学特性をモデル化し、これらの画像を補正することが考えられる。この手法は、例えば、文献［５］“ Yizhou Yu, Paul Debevec, Jitendra Malik, Tim Hawkins, “Inverse Global Illumination: Recovering ReflectanceModels of Real Scenes form Photographs”,ACM SIGGRAPH・9 Proceedings, pp.215-224, 1999.”、文献［６］“Paul Debevec, “Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics withGlobal Illumination and High Dynamic Range Photography”,ACM SIGGRAPH・8 Proceedings, pp.189-198, 1998.”、さらに、文献［７］“佐藤いまり, 佐藤洋一, 池内克史, 「光学的整合性を考慮した実画像への仮想物体の重ね込み」,第3回 知能メディアシンポジウム, pp.23-32, 1997.”に記述されている。
【００１５】しかし、野外での撮影を考えた場合には、シーン全体をモデル化することは不可能といえる。複数の実画像を用いるテクスチャマッピング手法として、これまで提案されてきたものには、例えば、文献［８］“ Paul Debevec, Camillo Taylor, Jitendra Malik, “Modeling and Rendering Architecture from Photographs: A hybrid geometry- and image-based approach”,ACM SIGGRAPH・6 Proceedings, pp.11-20, 1996.”、あるいは、文献［９］“Paul Debevec, Yizhou Yu, George Borshukov, “Efficient View-Dependent Image-Based Rendering with Projective Texture-Mapping”,9th Eurographics workshop on rendering, pp.105-116, 1998.”がある。
【００１６】これらは、照明と対象の関係は固定（照明条件の一致）、画像の解像度は同一、正確なカメラキャリブレーションを行う、という条件で対象を撮影することによって、上記問題点を回避している。
【００１７】
【発明が解決しようとする課題】しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明条件の一致はほぼ不可能であり、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難となる。
【００１８】本発明は、このような現状における問題点をふまえ、対象物とカメラ間の距離とカメラ方向とが任意に変化する場合のマッピング最適画像選択基準の設定法、パッチ面の共有稜線上の画素値の分布に注目したテクスチャ座標の補正手法、異なる位置・照明条件で撮影された画像がマッピングされたパッチ面の画素間の画素値（濃度）補正手法を持つ画像処理装置および方法を提供するものである。
【００１９】本発明の画像処理装置および画像処理方法は、カメラによって撮影される三次元画像生成対象物とカメラ間の距離とカメラ方向とが任意に変化する場合の、テクスチャマッピング画像の最適な画像選択基準の設定、パッチ面の共有稜線上の画素値の分布に注目したテクスチャ座標の補正処理、異なる位置・照明条件で撮影された画像がマッピングされたパッチ面の間の画素値補正処理に基づいて、光源条件の不一致による画像間の差分を目立たなくし、より高画質な三次元画像データの生成を可能する画像処理装置および画像処理方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】本発明は、上記課題を参酌してなされたものであり、その第１の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段を有することを特徴とする画像処理装置にある。
【００２１】さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ画像選択処理手段は、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行する構成であることを特徴とする。
【００２２】さらに、本発明の画像処理装置の一実施態様において、前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする。
【００２３】さらに、本発明の画像処理装置の一実施態様において、前記演算式は、以下に示す評価値：Ｖの算出式、
【数７】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜である、であることを特徴とする。
【００２４】さらに、本発明の第２の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理手段を有し、前記マッチング処理手段は、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行する構成であることを特徴とする画像処理装置にある。
【００２５】さらに、本発明の第３の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理手段を有し、前記画素値補正処理手段は、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出する構成を有することを特徴とする画像処理装置にある。
【００２６】さらに、本発明の画像処理装置の一実施態様において、前記画素値補正処理手段は、以下に示す補正画素値：Ｐi-new算出式、
【数８】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出する構成を有することを特徴とする。
【００２７】さらに、本発明の画像処理装置の一実施態様において、前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する構成であることを特徴とする。
【００２８】さらに、本発明の画像処理装置の一実施態様において、前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、前記画素値補正処理手段は、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数９】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出する構成であることを特徴とする。
【００２９】さらに、本発明の第４の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段と、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理手段と、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理手段と、を有することを特徴とする画像処理装置にある。
【００３０】さらに、本発明の第５の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップを有することを特徴とする画像処理方法にある。
【００３１】さらに、本発明の画像処理方法の一実施態様において、前記テクスチャ画像選択処理ステップは、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行するステップを含むことを特徴とする。
【００３２】さらに、本発明の画像処理方法の一実施態様において、前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする。
【００３３】さらに、本発明の画像処理方法の一実施態様において、前記演算式は、以下に示す評価値：Ｖの算出式、
【数１０】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜、であることを特徴とする。
【００３４】さらに、本発明の第６の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理ステップを有し、前記マッチング処理ステップは、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するステップを含むことを特徴とする画像処理方法にある。
【００３５】さらに、本発明の第７の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理ステップを有し、前記画素値補正処理ステップは、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するステップであることを特徴とする画像処理方法にある。
【００３６】さらに、本発明の画像処理方法の一実施態様において、前記画素値補正処理ステップは、以下に示す補正画素値：Ｐi-new算出式、
【数１１】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出することを特徴とする。
【００３７】さらに、本発明の画像処理方法の一実施態様において、前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行することを特徴とする。
【００３８】さらに、本発明の画像処理方法の一実施態様において、前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数１２】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出することを特徴とする。
【００３９】さらに、本発明の第８の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を有することを特徴とする画像処理方法にある。
【００４０】さらに、本発明の第９の側面は、三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理を実行するコンピュータ・プログラムであって、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を具備することを特徴とするコンピュータ・プログラムにある。
【００４１】
【作用】本発明の画像処理装置および方法においては、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行する構成であり、パッチ面毎に最も画質の劣化程度の低い最適な画像を容易に選択することが可能であり、高画質の三次元画像データの生成が実現される。
【００４２】また、本発明の画像処理装置および方法においては、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理を実行する構成であるので、異なる視点からの画像をテクスチャ画像として貼り付けたパッチ面境界においても、画像のずれが発生せず、高画質の三次元画像データの生成が実現される。
【００４３】また、本発明の画像処理装置および方法においては、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理を実行する構成であるので、異なる撮影条件のもとで撮影された異なる視点からの画像を隣接するパッチ面のテクスチャ画像として貼り付けた構成においても、パッチ面間の画像が滑らかに補正され、違和感のない高画質の三次元画像データの生成が実現される。
【００４４】なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４５】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４６】
【発明の実施の形態】以下、図面を参照しながら、本発明の画像処理装置および画像処理方法について、詳細に説明する。
【００４７】本発明の画像処理装置および画像処理方法は、カメラによって撮影される三次元画像生成対象物とカメラ間の距離とカメラ方向とが任意に変化する場合の、テクスチャマッピング画像の最適な画像選択基準の設定、パッチ面の共有稜線上の画素値の分布に注目したテクスチャ座標の補正、異なる位置・照明条件で撮影された画像がマッピングされたパッチ面の間の濃度補正、これらの各処理を含むものである。
【００４８】なお、本発明のテクスチャマッピング手法は、例えば文献［３］“ Conrad J.Poelman, Takeo Kanade, “ Paraperspective Factorization Method for Shape and Motion Recovery”,Technical Report CMU-CS-93-219, 1993.”あるいは、文献［４］“ 金出武雄, 森田俊彦, コンラッド・ポールマン, 「因子分解法による物体形状とカメラ運動の復元」,電子情報通信学会論文誌, vol.J76-D-II,no.8, pp.1497-1505, 1993.”に記載された因子分解法が仮定しているような、カメラ姿勢と距離が任意に変化する自由なカメラワークによって撮影された画像系列を用いる構成に対して適用可能であり、以下、実施例として、このようなカメラ姿勢と距離が任意に変化する自由なカメラワークによって撮影された画像系列を用いる構成説明するが、本発明は、その他、任意の様々な視点で撮影された複数枚画像から得られた３Ｄ対象に関しても、適用可能である。
【００４９】［（１）最適テクスチャ画像選択処理］まず、三次元画像を生成しようとする計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合の最適テクスチャマッピング画像選択処理について、説明する。従来技術の欄で説明したように、計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合、最適なテクスチャマッピング画像を選択することは困難である。
【００５０】図３を参照して、撮影視点の計測対象物との距離：Ｄと、計測対象物に対する角度：θについて説明する。
【００５１】図３に示すように、三次元画像の生成対象物のある注目パッチ面Ｐ，３０３に対する撮影視点が複数あるとき、カメラ１，３０１（撮影視点１）と、計測対象物との距離をＤ１とし、カメラ２，３０２（撮影視点２）と計測対象物との距離をＤ２とする。
【００５２】また、注目パッチ面Ｐ，３０３の法線ベクトル：ｎとし、カメラ１，３０１（撮影視点１）から注目パッチ面Ｐ，３０３の重心ｇ，３０４に向かうベクトルをＶ１、カメラ２，３０２（撮影視点２）から注目パッチ面Ｐ，３０３の重心ｇ３０４に向かうベクトルをＶ２としたとき、法線ベクトル：ｎとベクトルＶ１とのなす角度θ１についてのｃｏｓθ１は、ｃｏｓθ１＝（Ｖ１・ｎ）／｜Ｖ１｜｜ｎ｜であり、法線ベクトル：ｎとベクトルＶ２とのなす角度θ２についてのｃｏｓθ２は、ｃｏｓθ２＝（Ｖ２・ｎ）／｜Ｖ２｜｜ｎ｜となる。
【００５３】図３に示す例では、θ１＜θ２であるので、Ｖ１・ｎ＞Ｖ２・ｎであり、単にパッチ面に正対している画像を選択するのであれば、カメラ１，３０１（撮影視点１）の画像となる。しかし、一方、カメラ１，３０１（撮影視点１）と、計測対象物との距離をＤ１とし、カメラ２，３０２（撮影視点２）と計測対象物との距離をＤ２との比較では、Ｄ１＞Ｄ２であり、距離の近いものを選択しようとすれば、カメラ２，３０２（撮影視点２）の画像となる。
【００５４】このように、３次元形状データに貼り付ける画像、すなわちテクスチャマッピング画像として選択する画像を、最も正対しているが距離が離れている撮影視点１からのカメラ１，３０１の撮影画像とするか、あるいは、撮影視点１よりもパッチ面Ｐ，３０３に対して正対していないが、パッチ面Ｐ，３０３までの距離が近い撮影視点２からのカメラ３，２０２の撮影画像を選択するかの判断は困難となる。
【００５５】図４に、パッチ面と撮影視点間の距離：Ｄと、パッチ面の法線方向ベクトルと撮影視点からパッチ面の重心に向かうベクトルとのなす角：θ、各値の変化に対応する撮影画像の劣化度としての画質劣化評価値：Ｅとの対応図を示した。画質劣化評価値：Ｅは、Ｅ＝０がエラー率が最小、Ｅ＝１．０がエラー率が高いことを示す。ここで、画質の劣化度は、視距離についての初期値＝Ｄ１、画像回転角θ＝０［ｄｅｇ］の時のマッピング結果を基準として算出し、以下に示す（式１）に示すように、各画素毎の違いを尺度にした平均二乗誤差を用いて算出した値Ｅ（Ｄ，θ）である。
【００５６】
【数１３】
…（式１）
【００５７】上記（式１）において、Ｉbase（ｉ、ｊ）は視距離が初期値＝Ｄ１、画像回転角θ＝０［ｄｅｇ］の時の基準画像であり、Ｉtarget（ｉ、ｊ）は基準画像を基に、視距離：Ｄを初期値：Ｄ１から初期値：Ｄ１の５倍の距離：Ｄ５まで変化させ、同時に縦軸を中心としてθ＝０〜８５［ｄｅｇ］まで回転させた投影画像を作成し、これらの画像を基準画像と同じ大きさの平面へマッピングしたものである。
【００５８】また、ここで用いた画像（Ｎ画素×Ｍ画素）はカラー画像であるが、検討を簡単化するために輝度値のみを用いて劣化度：Ｅを計算した。テクスチャを平面へマッピングする際の内挿法としては、拡大・縮小共に双一次内挿法を用いた。そこで、θが一定の時、Ｄの増加に対してＥ（Ｄ、θ）は線形に増加し、また、Ｄが一定の時、θが増加するとＥ（Ｄ、θ）は指数関数的に増加することが見られた。図４の指示部４０１に示すように、θを一定とした場合、距離（Ｄｉｓｔａｎｃｅ）の増加に伴い画質劣化評価値：Ｅは、線形増加を示し、図４の指示部４０２に示すように、Ｄが一定の時、θが増加するとＥ（Ｄ、θ）は指数関数的に増加する。
【００５９】次に、このようにして算出した評価値Ｅ（Ｄ、θ）を用いて、最適な画像選択基準を導入する。
【００６０】まず、図５に示すように、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル、図５に示すベクトル：Ｖと、注目しているパッチ面Ｐ，５０２の法線ベクトル：ｎのなす角がθである時、θを中心にθ±Δθの範囲にある他のカメラ５０４が取得した撮影画像を選択し、注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像を含め、これらをテクスチャ候補画像として設定する。
【００６１】この時、Δθの値は、θの変化に対するＥ（Ｄ、θ）の変化の大きさ｜ｄＥ（Ｄ、θ）／ｄθ｜に基づいて決定する。まず、先に図４を参照して説明した画質劣化評価値に基づいて、画質劣化評価値：Ｅの角度：θに対する変化率を見る。
【００６２】三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θが大きい場合、この場合は、パッチ面Ｐ，５０２をθの大きい斜め方向から撮影した画像のみを保持していることになる。図４のデータから明らかなように、θが大の領域では、角度：θの変化に対する画質劣化評価値：Ｅの変化率、すなわち、｜ｄＥ（Ｄ、θ）／ｄθ｜の値が大きくなる。
【００６３】従って、θが大の領域では、たとえ距離：Ｄが近くても、θ±Δθの範囲にある視点からの画像は、パッチ面に対する正対方向からのずれが大きく、さらに角度がずれることにより画質劣化の度合いが急激に上昇することになる。従って、カメラの方向を重視し候補を少なく絞る必要がある。すなわち、Δθを小さく設定する必要がある。
【００６４】また、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θが小さい場合、この場合は、パッチ面Ｐ，５０２をθの小さい正面付近から撮影した画像を保持していることになる。図４のデータから明らかなように、θが小の領域では、角度：θの変化に対する画質劣化評価値：Ｅの変化率、すなわち、｜ｄＥ（Ｄ、θ）／ｄθ｜の値が小さい。
【００６５】このように、θが小の領域では、θ±Δθの範囲にある視点からの画像は、パッチ面に対する正対方向からのずれが小さく、角度がずれた場合でも画質劣化の度合いが小さい。従って、カメラ距離と方向とを同時に考慮する必要がある。
【００６６】このように、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θの値に応じて最適なΔθの値を設定することが必要であり、次式（式２）によってΔθの値を決定する。
【００６７】
【数１４】
…（式２）
【００６８】上式において、｜ｄＥ（Ｄ、θ）／ｄθ｜θは、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の方向ベクトル：Ｖと、注目パッチ面Ｐ，５０２の法線ベクトル：ｎのなす角：θにおける、画質劣化評価値：Ｅのθに対する変化率である。｜ｄＥ（Ｄ、θ）／ｄθ｜ｍａｘと、｜ｄＥ（Ｄ、θ）／ｄθ｜ｍｉｎは、様々なθ値に対する画質劣化評価値：Ｅの変化率の最大値、最小値であり、例えばシミュレーション結果より得られる値を適用することができる。また、上記式中、Δθｍａｘは、カメラの設定条件に応じて定めた設定値を適用する。例えばΔθｍａｘの値として、Ｅ（Ｄ、θ）の値が急激に増加し始める角度である４５［ｄｅｇ］を採用する。
【００６９】上記（式２）において、Δθの値を設定し、例えば、図５に示す撮影環境において、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像と、上記（式２）において設定されたΔθの値に基づいて決められた領域であるθ±Δθの範囲にある視点からの撮影画像、これら複数の視点からの撮影画像を、注目パッチ面Ｐ，５０２に対するテクスチャマッビング用の候補画像とする。
【００７０】次に、これらの候補画像から、最適なテクスチャマッビング用画像を選択する。候補画像中からの最適画像の選択は、以下に示す（式３）によって算出する評価値：Ｖに基づいて決定する。評価値：Ｖが最大となる画像を注目パッチ面Ｐ，５０２に対する最適テクスチャ画像とする。
【００７１】
【数１５】
…（式３）
【００７２】上記（式３）を適用して、先に示した（式２）によって求められるΔθによって定義される領域にあるカメラによって特定される視点位置毎に評価値：Ｖを求める。例えば、図５に示す撮影環境において、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像と、上記（式２）において設定されたΔθの値に基づいて決められた領域であるθ±Δθの範囲にある複数のカメラ５０４の撮影画像、全てについて、その評価値を算出する。
【００７３】式３において、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値である。なお、図４の画質劣化評価値データを参照して説明したように、視距離Ｄの増加に対しＥ（Ｄ、θ）は線形に増加するという結果が得られているので、上記（式３）中のＤとＤｍａｘは０と１の間に正規化した値を用いることができる。式３において、ｃｏｓθのθは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θである。
【００７４】また、上記（式３）中のｗDとｗθは、候補画像、各画像中の距離：Ｄおよび角度：θに対応する、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜と、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜である。
【００７５】図４に示したグラフと上記（式３）から理解されるように、角度：θが大きければ角度変化の重みが大きくなり、カメラ方向を重視した評価値が計算され、θが小さければ距離変化の重みが大きくなり、カメラの距離を重視した評価値が計算されることになる。
【００７６】例えば、図５に示すように、三次元画像の生成対象物５０１における注目パッチ面Ｐ，５０２に最も正対しているカメラ５０３の撮影画像と、上記（式２）において設定されたΔθの値に基づいて決められた領域であるθ±Δθの範囲にある３台のカメラ５０４の撮影画像がある場合、上記（式３）に基づいて、各カメラの距離：Ｄ、角度：θに基づいて、４つの評価値Ｖ１〜Ｖ４が算出され、これら評価値Ｖ１〜Ｖ４から最大の評価値となったＶｘに対応するカメラの画像を注目パッチ面Ｐ，５０２に対応する最適なテクスチャ画像として選択する。
【００７７】上述したテクスチャ画像選択法を用いることで、三次元画像生成対象物における各パッチ面毎の最適画像を、複数の撮影画像から容易に選択することが可能となる。
【００７８】なお、パッチ面の作成、テクスチャ画像のマッピング手順としては、まず、上述した複数カメラによる撮影画像、すなわち、多視点画像系列の各フレーム画像における特徴点の追跡によって画像間の対応付けデータを求めて、これらの対応付けデータに基づいて対象物の三次元形状を構成してパッチ面の作成を行なう。次に、各パッチ面に対して、各フレームにおける特徴点の追跡結果をテクスチャマッピング時のテクスチャ座標として用いたマッピングを行なう。これらの処理によって、上述したテクスチャ画像選択法によって選択したテクスチャ画像の各パッチ面に対するマッピングが可能となる。
【００７９】［（２）隣接パッチの共有境界線における補正処理］しかし、多視点画像系列の各フレーム画像における特徴点の追跡結果には誤差が含まれ、マッピングの精度に影響を及ぼす場合がある。そこで、テクスチャ座標のずれに起因する稜線上での不連続性、すなわち各パッチ面の境界線における画像のずれを解消するために、共有している稜線にのみ注目し、その稜線上の画素値のマッチングをとることによって位置合わせを行う処理につていて、以下、説明する。
【００８０】図６を参照して、隣接パッチの共有境界線上の特徴点位置ずれが生じた場合の補正処理例について説明する。図６（ａ）に示すように、隣接するパッチ面５５１、５５２に対する貼り付け画像、すなわちテクスチャ画像を、異なる撮影画像Ｉｍａｇｅn５６１，Ｉｍａｇｅn５６２を適用しようとすると、隣接するパッチ面５５１、５５２における境界線、すなわち、共有稜線上の濃淡分布に差が発生する。例えば図６（ｂ）に示すように、撮影画像Ｉｍａｇｅn５６１，Ｉｍａｇｅn５６２の濃淡分布にずれが発生する。図６（ｂ）に示すグラフは、画像Ｉｍａｇｅn５６１，Ｉｍａｇｅn５６２の共有稜線上の端点からｉ番目の画素のもつ輝度値Ｉ（ｎ、ｉ）とＩ（ｍ、ｉ）を示した図である。
【００８１】この共有稜線上の画素値のずれを修正するため、下式（式４）の誤差値：Ｅが最小となるように隣接パッチの端点（特徴点）位置を相対的に動かす。ここで用いる誤差値：Ｅとしては、ＲＧＢ成分から得られる輝度値の誤差の二乗和を用いる。
【００８２】
【数１６】
…（式４）
【００８３】ここで、Ｉ（ｎ、ｉ）とＩ（ｍ、ｉ）はそれぞれ共有稜線上の画像Ｉｍａｇｅn、Ｉｍａｇｅmの端点からｉ番目の画素のもつ輝度値であり、Ｌは注目している稜線の長さである。隣接パッチの端点（特徴点）位置を相対的に動かして、上記（式４）によって算出される誤差値：Ｅが最小となる相対位置を設定する。
【００８４】しかし、上述の方法で、ある一つの共有稜線を補正すると、その端点につながる他の共有稜線上の画素値も変化する。従って、多数のパッチ面によって構成される三次元画像データ全体についての処理として実行する場合は、ある一つの共有稜線に注目した局所的な濃度誤差の最小化と、局所的な補正に伴う全体的な濃度誤差変化の最小化を同時に行う必要がある。
【００８５】そこで、ある三次元画像を構成するすべてのパッチ境界線上での誤差を最小化するため、エネルギー最小化問題として解く。具体的には、全境界線における誤差値の最大値のみに注目し、これを最小化する処理を行う。
【００８６】以下、この補正処理の手順について説明する。図７に三次元画像を構成するすべてのパッチ境界線における誤差値の最大値に注目し、これを最小化する処理による補正処理手順を説明するフローを示す。
【００８７】図７に示すパッチ面共有稜線補正処理の各ステップについて説明する。まず、ステップＳ１０１において初期設定を実行する。初期設定は、ｔ＝１、Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝＝０の設定とする。
【００８８】「ｔ」は、本フローにおける誤差値：Ｅの算出処理回数を示す数値であり、初期値＝１とする。「ＭＡＸ｛Ｅ（ｘ，ｔ−１）｝」は、補正対象となる三次元画像を構成するすべてのパッチ境界線中の、異なる画像が選択されているパッチ面間にある稜線の数を「ｘ」としたとき、これらのｘ本の稜線について、前述の（式４）を用いて算出した誤差値：Ｅの中での最大値を示す。（ｔ−１）は、（ｔ−１）回目の算出処理であることを示す。「ＭＡＸ｛Ｅ（ｘ，ｔ−１）｝」の初期値は０とする。
【００８９】ステップＳ１０２では、補正対象となる三次元画像を構成するすべてのパッチ境界線中の、異なる画像が選択されているパッチ面間のすべての境界線上の誤差値｛Ｅ（ｘ，ｔ）｜ｘ：稜線数｝を計算する。
【００９０】ステップＳ１０３では、ステップＳ１０２で算出した、誤差値｛Ｅ（ｘ，ｔ）｜ｘ：稜線数｝から、最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝を選択し、前回（ｔ−１）回目の最大誤差値算出処理において、取得した前回の最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝との差分：ＤEを下式に従って算出する。
ＤE＝Ｍａｘ｛Ｅ（ｘ，ｔ）｝−Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝
を算出する。
【００９１】ステップＳ１０４では、ステップＳ１０３で算出した差分：ＤEが予め定めた閾値より小であるか否かを判定する。Ｙｅｓである場合は、処理を終了し、この時点での端点補正処理を最終的な補正結果とする。ＤE＜閾値となったことは、最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝が収束していることを示し、新たな端点補正を行なっても、大きな変化は発生しないことを示している。
【００９２】ステップＳ１０４で、ＤE＜閾値となっていない場合は、以下のステップで、端点補正を実行する。まず、ステップＳ１０５において、前回（ｔ−１）回目の最大誤差値算出処理において、取得した前回の最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ−１）｝を、今回（ｔ）回目の最大誤差値算出処理において取得した最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝に更新し、また、ｔ＝ｔ＋１の更新を実行する。
【００９３】さらに、今回ステップＳ１０２において取得した、補正対象となる三次元画像を構成するすべてのパッチ境界線中の、異なる画像が選択されているパッチ面間のすべての境界線上の誤差値｛Ｅ（ｘ，ｔ）｜ｘ：稜線数｝を誤差値が大となるものから順に並べ替え（ソート）て、最大誤差を持つ共有稜線ＬE-MAXを決定する。
【００９４】次に、ステップＳ１０６において、最大誤差を持つ共有稜線ＬE-MAXについて、端点の移動により、前述の（式４）に基づいて算出される誤差値：Ｅを最小とするよう端点補正を実行する。
【００９５】さらに、ステップＳ１０２に戻り、更新されたｔに基づいて、補正後の三次元画像データについて、ステップＳ１０２以下の処理を繰り返し実行する。
【００９６】これらの処理を繰り返し実行して、ステップＳ１０４の判定、すなわち、ＤE＜閾値がＹｅｓとなった時点で、処理を終了し、この時点での端点補正処理を最終的な補正結果とする。ＤE＜閾値は、前述したように、最大誤差値：Ｍａｘ｛Ｅ（ｘ，ｔ）｝が収束したことを示し、新たな端点補正を行なっても、大きな変化は発生しないことを示している。
【００９７】上述したように、誤差の最大値が収束した時点で処理を終了する。この端点補正処理により、テクスチャマッピングにおいて、パッチ間のずれが補正され、三次元画像データの画質を高めることが出来る。
【００９８】［（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理］しかし、上述の端点補正を行っても隣接するパッチ間の画像に照明条件の差がある場合には、隣接するパッチ間に全体的な濃度値の不連続性が生じる。この不連続性をなくすために、共有境界線とパッチ面内の濃度値を補正することが必要となる。以下、共有境界線とパッチ面内の濃度値を補正する処理について、説明する。
【００９９】まず、共有稜線上の画素値は、カメラ方向とパッチ面の法線ベクトルのなす角のコサインを重みとした画素値の平均値で置き換える。図８において、異なる画像Ｉｍａｇｅn６１１、Ｉｍａｇｅm６１２が隣接するパッチ面６２１，６２２に対する貼り付け画像とされたとき、共有稜線上の点Ｐiの補正後の画素値Ｐi-newを、２つの異なる画像の対応点の画素値、すなわち、画像Ｉｍａｇｅn６１１に基づく画素値：Ｐi、および、画像Ｉｍａｇｅm６１２に基づく画素値：Ｐi’を用いて次式（式５）で求める。
【０１００】
【数１７】
…（式５）
【０１０１】ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
である。
【０１０２】θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影した時のカメラ方向ベクトルとパッチ面の法線ベクトルトのなす角である。
【０１０３】上述した隣接パッチの共有境界線における補正処理の後、パッチ面内の画素値補正処理を実行する。パッチ面内の画素値補正処理は、稜線上の元の画素値と、補正後の画素値の差ｄＰi＝Ｐi-new−Ｐi-oldを、稜線からの距離を重みとしてパッチ面内へ伝播させる方法を適用したパッチ面内の濃度補正として実行する。
【０１０４】三角領域として設定されるパッチ面では、図９に示すように、１つのパッチ面６５１に対して３つの隣接パッチ面６５２，６５３，６５４を有する。従って、パッチ面651ないの点：Ｑの画素値補正は、隣接する３つのパッチ面６５２，６５３，６５４に基づいて決定することが必要となる。
【０１０５】図９において、パッチ面内部の点Ｑにおける補正画素値Ｑｎｅｗは次式（式６）で設定される。
【０１０６】
【数１８】
…（式６）
【０１０７】ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である。
【０１０８】上述の（式６）に従った画素値補正を、三次元画像データを構成するすべてのパッチ面の共有稜線に注目して行う。上述の（式６）に従って、各パッチ面の補正画素値を求め、補正画素値を新たな画素値として設定することで、隣接パッチ面との画素値の不自然な差異を解消することが可能となり、撮影時の照明条件が未知の場合でもパッチ面間に生じる不連続性をなくすことができ、自然なテクスチャのマッピング結果を生成することができる。
【０１０９】図１０に上述した共有境界線とパッチ面内の画素値補正処理の手順を説明するフローチャートを示す。各ステップについて説明する。
【０１１０】ステップＳ２０１において、まず、隣接パッチに異なる視点画像を持つ共有稜線を選択し、選択した共有稜線について、前術した（式５）を適用して異なる画像から取得した隣接パッチ面の境界線（共有稜線）上の画素値補正を実行する。すなわち、共有稜線上の点Ｐiの補正後の画素値Ｐi-newを、２つの異なる画像の対応点の画素値、すなわち、画像Ｉｍａｇｅnに基づく画素値：Ｐi、および、画像Ｉｍａｇｅmに基づく画素値：Ｐi’を用いて式５を適用して求める。
【０１１１】ステップＳ２０２において、隣接パッチに異なる視点画像を持つ全ての共有稜線についての画素値補正が完了したか否かを判定する。し、完了していない場合は、ステップＳ２０１を続けて実行する。
【０１１２】隣接パッチ面の境界線（共有稜線）上の画素値補正をすべて終了したら、次にステップＳ２０２において、前述した（式６）を適用して、隣接する３つのパッチ面との３つの共有稜線：Ｌi，Ｌj，Ｌk上の補正前および補正後の画素値：Ｐi-old、Ｐi-new、Ｐj-old、Ｐj-new、Ｐk-old、Ｐk-newに基づいて、パッチ内の画素値Ｑnewを算出する。
【０１１３】ステップＳ２０４において、全てのパッチ内の画素値補正が完了したか否かを判定する。し、完了していない場合は、ステップＳ２０３を続けて実行する。全てのパッチ内の画素値補正が完了したら、処理終了とする。
【０１１４】このように、異なる視点からの画像をパッチ面を単位としてつなぎ合わせて三次元画像を生成するテクスチャマッピング処理において、パッチの境界線（共有稜線）上での画素値補正を（式５）に基づいて実行し、さらに、（式６）に基づいてパッチ内の画素値補正を実行することで、隣接パッチ面との画素値の不自然な差異を解消することが可能となり、撮影時の照明条件が未知の場合でもパッチ面間に生じる不連続性をなくすことができ、自然なテクスチャのマッピング結果を生成することができる。
【０１１５】（１）計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合の最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理について、説明した。次に、上述した本発明に従った処理の効果について、実例を示して説明する。
【０１１６】まず、（１）計測対象物とカメラの間の距離が変化し、同時にカメラの姿勢も任意に回転する場合の最適テクスチャマッピング画像選択処理の効果について、図１１、図１２を参照して説明する。
【０１１７】テクスチャマッピングによる三次元画像データの生成対象モデル、すなわち、撮影対象として、４枚の三角パッチ面からなる屏風型の三次元形状にＶｉｓｉｏｎ Ｔｅｘｔｕｒｅデータベース中の基準画像をそれぞれの面へ正面からテクスチャマッピングしたものを利用した。
【０１１８】この三次元物体をカメラ方向と位置を同時に変化させながら計算機内でシミュレーション画像系列、計１００枚を生成し、生成したシミュレーション画像系列からそれぞれのパッチ面に対して最適な画像を選択し、新たにテクスチャマッピング処理を実行した。
【０１１９】シミュレーション画像系列を構成する画像の撮影カメラ位置、方向と、撮影対象のパッチ面の法線方向との関係を図１１に示す。図１１に示すカメラ１〜カメラ５は、シミュレーション画像系列を構成する画像の撮影カメラ位置、方向の一部を示すものである。シミュレーション画像系列は、図１１のカメラ１〜カメラ５に示すように、撮影対象に対して異なる距離：Ｄおよび角度：θの設定を持ち、（Ｄ，θ）の異なる複数の画像データがシミュレーション画像系列として取得される。
【０１２０】これらの画像系列から、各パッチ面に最適な画像を選択する処理を実行する。図１２（ａ）には、パッチ面の法線ベクトル方向とカメラ方向の比較のみで最適テクスチャ画像を選択しし、選択したテクスチャ画像に基づいてテクスチャマッピングを実行した結果の画像を示す。
【０１２１】図１２（ｂ）は、前述した（１）最適テクスチャマッピング画像選択処理に従った画像選択処理、すなわち、パッチ面に最も正対する画像から±θの画像をテクスチャ画像の候補画像として選択し、各候補画像について、前述の（式３）に基づいて、距離：Ｄ、角度：θの双方を考慮した評価値：Ｖを算出し、候補画像中から最も評価値：Ｖが大きくなる画像をテクスチャ画像として選択する処理を実行して生成したテクスチャマッピング画像をに示す。
【０１２２】パッチ面の法線ベクトル方向とカメラ方向の比較のみに基づいて最適テクスチャ画像を選択した図１２（ａ）に示す画像の場合、カメラ方向が最もパッチ面に対して正対している遠くから撮影された画像が選択されてしまい、向って右側のパッチ面に対するマッピング結果７０１がぼやけてしまっているのが分かる。これに対し、本手法による画像選択を行った場合には、それぞれの面に視距離と方向との間のトレード・オフを考慮した適切な画像が選択され、ぼけと歪の少ないマッピング結果７０２が得られていることが分かる。
【０１２３】次に、上述した（２）隣接パッチの共有境界線における補正処理、および（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理の各処理の効果について実例を示して説明する。
【０１２４】照明条件変化や特徴点の追跡誤差に対する本手法の安定性を見るため、全体的な照明条件を大きく変化させた画像系列を用意し、さらに特徴点の追跡結果へ標準偏差が２画素相当のガウス分布に基づくノイズを加え実験を行った。この場合のテクスチャマッピング画像について、（ａ）未補正（補正前）、（ｂ）濃度補正のみ、（ｃ）テクスチャ座標の補正後に濃度補正を実行、これら３種類の異なる処理結果としてのテクスチャマッピング画像各々を図１３（ａ），（ｂ），（ｃ）に示す。
【０１２５】また、図１３中の矢印のライン７０３上における輝度値の分布を図１４に示す。図１４は、図１３の（ａ）未補正（補正前）、（ｂ）濃度補正のみ、（ｃ）テクスチャ座標の補正後に濃度補正を実行、の３画像のライン７０３に対応する画素の画素値を示すものである。横軸がライン７０３に対応する各画像の画素（３００ピクセル）であり、縦軸は、各画素の画素値（輝度値）正規化データを示す。
【０１２６】図１４（ｃ）のラインが他のラインに比較して、ぶれの少ない画素値を示しており、本手法、すなわち、（２）隣接パッチの共有境界線における補正処理、および（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理の各処理を実行することにより、濃度補正のみの場合よりも、より滑らかにテクスチャがつながるように濃度を補正できることが確認できる。
【０１２７】なお、上述した本発明の画像処理は、実施例に取り上げられた因子分解法による３Ｄ形状だけでなく、その他の様々な方法、例えば、レーザー光を照射し三角測量による３Ｄ形状計測法等を適用して計測された３Ｄ形状に対しても、その３Ｄ形状計測と共に観測された多視点画像を用いることによって、最適なテクスチャマッピングが可能となる。
【０１２８】［システム構成］上述した画像処理を実行するシステム構成例について、説明する。図１５に本発明の画像処理装置の一実施例構成のブロック図を示す。本実施例における画像処理装置は、かめらによって撮影された画像、あるいはＤＶＤ、ＣＤ等の記録媒体に格納された多視点画像データの処理、あるいはインターネット等のデータ通信網を介して配信される多視点画像データをＤＶＤ、ＣＤ、ハードディスク等の書き込み可能な記憶媒体に格納し、これらの画像データの処理を実行する。
【０１２９】図１５に示す画像処理装置７５０の構成について説明する。ＣＰＵ(Central processing Unit)７５６は、各種アプリケーションプログラムや、ＯＳ（Operating System）を実行する演算処理装置であり、上述した画像処理としての、（１）最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理、（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理等を実行する。さらに、各入力装置から入力されるコマンドに応じて記憶手段からのデータ読み出し処理あるいは表示処理の制御を実行する。
【０１３０】メモリ７５７は、ＲＯＭ（Read-Only-Memory）、ＲＡＭ（Random Access Memory）等から構成され、ＣＰＵ７５６が実行するプログラム、あるいは演算パラメータとしての固定データの格納、ＣＰＵ７５６の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。記録メディア７５８はＤＶＤ、ハードディスク、ＣＤ等の記録メディアであり、例えば処理対象となる多視点画像データを蓄積する。
【０１３１】さらに、画像処理装置７５０は、通信ネットワークとのインタフェースとして機能するネットワークインタフェース７５２を有し、ネットワークを介して多視点画像データの受信を行ない、受信されたデータは、ＤＶＤ、ハードディスク等の記録メディア７５８に格納する。
【０１３２】ユーザからのデータ処理コマンド、あるいはディスプレイ７３２における表示画像データに関する処理要求コマンドは、マウス７３７、キーボード７３６、コントローラ７３８の各種入力機器から入力インタフェース７５３を介して入力される。また、ビデオカメラ７３３、マイク７３４等のＡＶデータ入力機器からＡＶインタフェース７５４を介して入力されるデータは、処理要求コマンドに基づいて、上述した各処理が実行され、ＤＶＤ、ハードディスク等の記録メディア７５８に格納、あるいは、ディスプレイ７３２において表示される。
【０１３３】ＤＶＤ、ハードディスク等の記録メディア７５８に格納された画像データは、フレーム単位でフレームメモリ７６１に格納された後、Ｄ／Ａ変換器７６２を介した変換処理の後、ディスプレイ７３２において表示される。一方、音声データも、音声バッファ７６３に格納された後、Ｄ／Ａ変換器７６４を介した変換処理の後、スピーカ７３５において再生出力される。
【０１３４】次に、図１５に示すシステムにおいて、主としてＣＰＵ７５６によって実行する上述したテクスチャマッピング処理を実行するための機能構成を説明するブロック図を示す。
【０１３５】前述したように、本発明の画像処理装置は、（１）最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理、（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理等を実行する。これらの各処理を実行する対象となる多視点画像は、入出力インタフェース８０１を介してメモリ８０２に格納され、三次元形状データ生成部８０３において、複数パッチ面からなる三次元形状データが生成される。
【０１３６】三次元形状データに対するテクスチャマッピング処理は、テクスチャマッピング処理部８１０において実行される。テクスチャマッピング処理部８１０は、テクスチャ画像選択処理部８１１、マッチング処理部８１２、および画素値補正処理部８１３を有する。
【０１３７】テクスチャ画像選択処理部８１１は、上述した（１）最適テクスチャマッピング画像選択処理、すなわち、パッチ面に最も正対する画像から±θの画像をテクスチャ画像の候補画像として選択し、各候補画像について、前述の（式３）に基づいて、距離：Ｄ、角度：θの双方を考慮した評価値：Ｖを算出し、候補画像中から最も評価値：Ｖが大きくなる画像をテクスチャ画像として選択する処理を実行する。
【０１３８】マッチング処理部８１２は、テクスチャ画像選択処理部８１１の処理結果を受領し、受領画像データに基づいて、異なる視点からの画像をつなぎ合わせた２つのパッチのグループを抽出し、これらのパッチの境界線（共有稜線）の補正処理（マッチング処理）、すなわち、先に図７のフロー、および（式４）を参照して説明した端点移動による誤差の最小化処理を実行する。
【０１３９】画素値補正処理部８１３は、マッチング処理部８１２における端点移動によるマッチング処理後の画像を受領し、受領画像について、前述した（式５）に基づいたパッチの境界線（共有稜線）の画素値補正を実行し、さらに、前述の（式６）に基づいてパッチ内の画素値補正を実行する。
【０１４０】これらの各処理、すなわち、（１）最適テクスチャマッピング画像選択処理、（２）隣接パッチの共有境界線における補正処理、（３）共有境界線（共有稜線）上およびパッチ面内の画素値補正処理が実行された画像が、入出力インタフェース８２１を介して画像表示装置８２２に出力表示され、または、記憶装置８２３に格納される。
【０１４１】以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４２】なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４３】例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read OnlyMemory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１４４】なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４５】なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１４６】
【発明の効果】以上説明してきたように、本発明の画像処理装置および方法によれば、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行する構成であり、パッチ面毎に最も画質の劣化程度の低い最適な画像を容易に選択することが可能であり、高画質の三次元画像データの生成が実現される。
【０１４７】また、本発明の画像処理装置および方法によれば、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理を実行する構成であるので、異なる視点からの画像をテクスチャ画像として貼り付けたパッチ面境界においても、画像のずれが発生せず、高画質の三次元画像データの生成が実現される。
【０１４８】さらに、本発明の画像処理装置および方法によれば、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理を実行する構成であるので、異なる撮影条件のもとで撮影された異なる視点からの画像を隣接するパッチ面のテクスチャ画像として貼り付けた構成においても、パッチ面間の画像が滑らかに補正され、違和感のない高画質の三次元画像データの生成が実現される。
【図面の簡単な説明】
【図１】多視点画像撮影システムの構成例を示す図である。
【図２】多視点画像撮影システムにおける撮影視点とパッチ面との対応について説明する図である。
【図３】多視点画像撮影システムにおける撮影視点とパッチ面との対応、およびテクスチャ画像選択について説明する図である。
【図４】視点の距離および角度と、画質劣化評価値：Ｅとの対応を示す図である。
【図５】本発明の構成におけるテクスチャ画像選択処理について説明する図である。
【図６】本発明の構成におけるマッチング処理について説明する図である。
【図７】本発明の構成におけるマッチング処理について説明するフロー図である。
【図８】本発明の構成におけるパッチ面境界部の画素値補正処理について説明する図である。
【図９】本発明の構成におけるパッチ面内部の画素値補正処理について説明する図である。
【図１０】本発明の構成における画素値補正処理について説明するフロー図である。
【図１１】本発明の構成における多視点画像系列の構成例について説明する図である。
【図１２】本発明の構成を適用した場合の効果について説明する図である。
【図１３】本発明の構成を適用した場合の効果について説明する図である。
【図１４】本発明の構成を適用した場合の効果について説明する図である。
【図１５】本発明の画像処理装置の構成例について示すブロック図である。
【図１６】本発明の画像処理装置の機能構成について示す機能ブロック図である。
【符号の説明】
１０１ 対象物
１０２ 回転テーブル
１０３ カメラ
２０１，２０２ カメラ
２０３ 注目パッチ面
２０４ 重心
３０１，３０２ カメラ
３０３ 注目パッチ面
３０４ 重心
５０１ 対象物
５０２ パッチ面
５０３，５０４ カメラ
５５１，５５２ パッチ面
５６１，５６２ 撮影画像イメージ
６１１，６１２ 撮影画像イメージ
６２１，６２２ パッチ面
６５１〜６５４ パッチ面
７３２ ディスプレイ
７３３ ビデオカメラ
７３４ マイク
７３５ スピーカ
７３６ キーボード
７３７ マウス
７３８ コントローラ
７５０ 画像処理装置
７５１ コーデック
７５２ ネットワークインタフェース
７５３ 入力インタフェース
７５４ ＡＶインタフェース
７５６ ＣＰＵ
７５７ メモリ
７５８ 記録メディア
７６１ フレームメモリ
７６２ Ｄ／Ａ変換器
７６３ 音声バッファ
７６４ Ｄ／Ａ変換器
８０１ 入出力インタフェース
８０２ メモリ
８０３ 三次元形状データ生成部
８１０ テクスチャマッピング処理部
８１１ テクスチャ画像選択処理部
８１２ マッチング処理部
８１３ 画素値補正処理部
８２１ 入出力インタフェース
８２２ 表示装置
８２３ 記憶装置
【特許請求の範囲】
【請求項１】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段を有することを特徴とする画像処理装置。
【請求項２】前記テクスチャ画像選択処理手段は、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】前記演算式は、以下に示す評価値：Ｖの算出式、
【数１】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜である、であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理手段を有し、前記マッチング処理手段は、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行する構成であることを特徴とする画像処理装置。
【請求項６】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理手段を有し、前記画素値補正処理手段は、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出する構成を有することを特徴とする画像処理装置。
【請求項７】前記画素値補正処理手段は、以下に示す補正画素値：Ｐi-new算出式、
【数２】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出する構成を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する構成であることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、前記画素値補正処理手段は、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数３】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出する構成であることを特徴とする請求項６または７に記載の画像処理装置。
【請求項１０】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段と、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理手段と、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理手段と、を有することを特徴とする画像処理装置。
【請求項１１】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップを有することを特徴とする画像処理方法。
【請求項１２】前記テクスチャ画像選択処理ステップは、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行するステップを含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】前記演算式は、以下に示す評価値：Ｖの算出式、
【数４】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜、であることを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理ステップを有し、前記マッチング処理ステップは、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するステップを含むことを特徴とする画像処理方法。
【請求項１６】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理ステップを有し、前記画素値補正処理ステップは、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するステップであることを特徴とする画像処理方法。
【請求項１７】前記画素値補正処理ステップは、以下に示す補正画素値：Ｐi-new算出式、
【数５】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行することを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数６】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出することを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項２０】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を有することを特徴とする画像処理方法。
【請求項２１】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理を実行するコンピュータ・プログラムであって、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を具備することを特徴とするコンピュータ・プログラム。
【請求項１】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段を有することを特徴とする画像処理装置。
【請求項２】前記テクスチャ画像選択処理手段は、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】前記演算式は、以下に示す評価値：Ｖの算出式、
【数１】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜である、であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理手段を有し、前記マッチング処理手段は、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行する構成であることを特徴とする画像処理装置。
【請求項６】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理手段を有し、前記画素値補正処理手段は、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出する構成を有することを特徴とする画像処理装置。
【請求項７】前記画素値補正処理手段は、以下に示す補正画素値：Ｐi-new算出式、
【数２】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出する構成を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する構成であることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】前記画素値補正処理手段は、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行する構成であり、前記画素値補正処理手段は、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数３】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出する構成であることを特徴とする請求項６または７に記載の画像処理装置。
【請求項１０】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理装置において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理手段と、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理手段と、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理手段と、を有することを特徴とする画像処理装置。
【請求項１１】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップを有することを特徴とする画像処理方法。
【請求項１２】前記テクスチャ画像選択処理ステップは、三次元形状モデルを構成するパッチ面に最も正対する１つの視点画像を選択し、該選択画像の視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度をθとして、前記重心を中心としてθ±Δθの領域内の視点からの撮影画像を、前記パッチ面に対するテクスチャ画像の候補画像とし、該候補画像の中から、前記画質評価値に基づく最適テクスチャ画像の選択処理を実行するステップを含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】前記評価値は、パッチ面と視点間の距離をＤとし、視点から前記パッチ面の重心に向かう方向ベクトル：Ｖと、前記パッチ面の法線ベクトル：ｎとのなす角度：θを適用した演算式によって算出される値であることを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】前記演算式は、以下に示す評価値：Ｖの算出式、
【数４】
ただし、Ｄはパッチ面重心と評価対象となる画像を撮影したカメラの距離、Ｄｍａｘは候補画像となる複数のＤの最大距離の値、θは、評価対象となる画像を撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角：θ、ｗDは、距離：Ｄに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄＤ｜、ｗθは、角度：θに対する画質劣化評価値：Ｅの変化率：｜ｄＥ／ｄθ｜、であることを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値のマッチング処理を実行するマッチング処理ステップを有し、前記マッチング処理ステップは、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するステップを含むことを特徴とする画像処理方法。
【請求項１６】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界部における画素値補正処理を実行する画素値補正処理ステップを有し、前記画素値補正処理ステップは、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するステップであることを特徴とする画像処理方法。
【請求項１７】前記画素値補正処理ステップは、以下に示す補正画素値：Ｐi-new算出式、
【数５】
ただし、λ＝（ｃｏｓθｎ）／（ｃｏｓθｎ＋ｃｏｓθｍ）
であり、θｎとθｍはそれぞれ画像ＩｍａｇｅnとＩｍａｇｅmを撮影したカメラの方向ベクトル：Ｖと、注目パッチ面Ｐの法線ベクトル：ｎのなす角である、に従って、前記パッチ境界部における画素値を算出することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行することを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項１９】前記画素値補正処理ステップは、さらに、異なる視点からの画像をテクスチャ画像としてつなぎ合わせたパッチ境界を有するパッチ面内の画素値補正処理を実行するステップを含み、３つの共有稜線：Ｌi，Ｌj，Ｌkに囲まれた三角領域からなるパッチ面内の点：Ｑの画素値を、以下に示す補正画素値：Ｑnew算出式、
【数６】
ただし、Ｑoldは、点：Ｑの補正前の画素値、Ｑnewは、点：Ｑの補正後の画素値であり、Ｐi-old、Ｐi-new：共有線Ｌi上の補正前および補正後の画素値Ｐj-old、Ｐj-new：共有線Ｌj上の補正前および補正後の画素値Ｐk-old、Ｐk-new：共有線Ｌk上の補正前および補正後の画素値であり、ｗi，ｗj，ｗk：パッチ内の点Ｑと、各稜線Ｌi，Ｌj，Ｌk上の点Ｐi，Ｐj，Ｐkとの距離ｄi，ｄj，ｄkに反比例する重み係数Ｉ，Ｊ，Ｋ：各稜線Ｌi，Ｌj，Ｌk上の画素数である、に従って、前記パッチ面内の点：Ｑの画素値を算出することを特徴とする請求項１６または１７に記載の画像処理方法。
【請求項２０】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理方法において、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を有することを特徴とする画像処理方法。
【請求項２１】三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する画像処理を実行するコンピュータ・プログラムであって、三次元画像生成対象物に対する複数視点の撮影画像から、三次元形状モデルを構成するパッチ面毎に、パッチ面と各視点間の距離データ、および各視点のパッチ面に対する方向データとを適用した画質評価値に基づいて最適テクスチャ画像の選択処理を実行するテクスチャ画像選択処理ステップと、三次元画像の構成データ中、異なる視点からのテクスチャ画像を隣接テクスチャ画像として有するパッチ境界部におけるテクスチャ画像間の画素値誤差データを算出し、算出した画素値誤差データ中、最大の画素値誤差データを有するパッチ境界部を選択する選択処理、および選択パッチ境界部に対応するテクスチャ画像の端点移動によるマッチング処理を実行し、前記画素値誤差データが予め定めた閾値以下となるまで、前記選択処理およびマッチング処理を繰り返し実行するマッチング処理ステップと、パッチ境界部における隣接テクスチャ画像中、パッチ面に対して、正対した視点方向にあるテクスチャ画像の画素値に大きな重み付けを行ない、前記隣接テクスチャ画像の各画素値に基づいて、前記パッチ境界部における画素値を算出するとともに、パッチ面内の点：Ｑの画素値を、パッチ境界線の画素値に対して、前記点：Ｑからの距離：ｄｎに反比例した重み係数を適用して、パッチ境界線の画素値に基づいて算出する処理を実行する画素値補正処理ステップと、を具備することを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図１３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図１３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００３−３３７９５３（Ｐ２００３−３３７９５３Ａ）
【公開日】平成１５年１１月２８日（２００３．１１．２８）
【国際特許分類】
【出願番号】特願２００２−１４４１２７（Ｐ２００２−１４４１２７）
【出願日】平成１４年５月２０日（２００２．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１５年１１月２８日（２００３．１１．２８）
【国際特許分類】
【出願日】平成１４年５月２０日（２００２．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]