表面が変化する対象物を３次元デジタル化する方法
【課題】表面が変化する対象物を３次元デジタル化する方法を提供する。
【解決手段】対象物4の複数の部分的表面を示す複数のカメラ画像を撮影して統合して、対象物4の部分的表面の３次元座標を決定する。複数のカメラ画像は、それぞれの端部において互いに重なり合う。マッチング法により対象物4の部分的表面の３次元座標を照合して統合する。カメラ画像の各々をサブフレーム(1.1〜1.8，2.1〜2.9，3.1〜3.9)に分割する。複数のサブフレームは、それぞれの端部において互いに重なり合い、隣接するカメラ画像に含まれるサブフレームに重複する。サブフレーム(1.1〜3.9)に対して、カメラ画像からそのサブフレームに関連する３次元座標を割り当てる。マッチング法によりサブフレーム(1.1〜3.9)の３次元座標を照合して統合する。この方法を数回繰り返して実行する。
【解決手段】対象物4の複数の部分的表面を示す複数のカメラ画像を撮影して統合して、対象物4の部分的表面の３次元座標を決定する。複数のカメラ画像は、それぞれの端部において互いに重なり合う。マッチング法により対象物4の部分的表面の３次元座標を照合して統合する。カメラ画像の各々をサブフレーム(1.1〜1.8，2.1〜2.9，3.1〜3.9)に分割する。複数のサブフレームは、それぞれの端部において互いに重なり合い、隣接するカメラ画像に含まれるサブフレームに重複する。サブフレーム(1.1〜3.9)に対して、カメラ画像からそのサブフレームに関連する３次元座標を割り当てる。マッチング法によりサブフレーム(1.1〜3.9)の３次元座標を照合して統合する。この方法を数回繰り返して実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表面が変化する対象物を３次元デジタル化する方法に関し、さらに詳しくは、対象物の部分的表面を示すカメラ画像を撮影して統合することにより対象物表面の３次元座標を決定する方法に関する。
【背景技術】
【０００２】
表面が変化しない対象物を３次元デジタル化する方法（請求項１の包括部分（generic part）による方法）は、特許文献１により知られている。この方法では、表面が変化しない対象物に白色光ストライプ（white-light stripes）を照射する。カメラは、対象物の複数の部分的表面を示す複数の画像を撮影する。このようなカメラは、光学系と、平面センサ（例えば、ＣＣＤセンサや、ＣＭＯＳセンサなど）とを備えていても良い。複数のカメラ画像から対象物の複数の部分的表面の３次元座標を決定する。マッチング法により複数の部分的表面の３次元座標を統合する。
【０００３】
特許文献１では、対象物から多様な画像を撮影し、それらの画像から対象物の複数の２次元特徴点（2D feature points）を決定する。続いて、２次元特徴点の３次元座標を決定する。ある画像と別の画像との間における２次元特徴点の対応付け（２次元点対応：2D point correspondences）を決定する。これらの２次元点対応の中から複数の２次元点対応を選択し、選択された複数の２次元点対応に関連する３次元変換処理（an associated 3D transformation）を決定する。２次元特徴点の変換後の３次元座標を参照して、３次元変換処理の品質を決定し、２次元特徴点から有効な３次元特徴点（3D feature points）を決定する。有効な３次元特徴点の３次元座標を使用して、対象物を示すカメラ画像を組み合わせる。
【０００４】
この発明を実行することができる他のマッチング法（例えば、最小二乗誤差法や、その他のマッチング法）も知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】欧州特許出願公開第２１４４０３６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、表面が変化する対象物（例えば、生物、特に、人間）の場合、複数の部分的表面を示す複数のカメラ画像をそれぞれ時間間隔をおいて撮影するので、場面毎に対象物表面および部分的表面が変化する可能性があるという問題が生じる。
【０００７】
この発明は、表面が変化する対象物の３次元デジタル化にも適した前述の方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明によれば、この目的は請求項１の特徴により解決される。この方法によれば、対象物の複数の部分的表面を示す複数のカメラ画像を撮影する。それらの複数のカメラ画像は、それぞれの端部において互いに重なり合う。カメラ画像の各々について、そのカメラ画像に関連する対象物の部分的表面の３次元座標を決定する。これは、白色光投射法（method of white-light projection）によって実現することができるが、別の方法によって実施することも可能である。マッチング法により対象物の複数の部分的表面の３次元座標を照合して統合する。このために、欧州特許出願公開第２１４４０３６号明細書（特許文献１）によるマッチング法または別のマッチング法を採用しても良い。このマッチングにより、多様なカメラ画像の場面毎に対象物表面が変動し、結果として、所謂、アーティファクト（artifacts）が生じ、組み合わせられた対象物表面において段差として目立つ可能性がある。
【０００９】
この発明によれば、カメラ画像の各々を複数のサブフレームに分割する。それらの複数のサブフレームは、それぞれの端部において互いに重なり合い、隣接するカメラ画像に含まれるサブフレームに重複する。複数のサブフレームに対して、複数のカメラ画像からそれらの複数のサブフレームに関連する３次元座標を割り当てる。具体的には、これらの３次元座標は、マッチング法により対象物の複数の部分的表面の３次元座標から決定された３次元座標である。続いて、マッチング法により複数のサブフレームの３次元座標を照合して統合する。このために、欧州特許出願公開第２１４４０３６号明細書によるマッチング法または別のマッチング法を採用しても良い。すべてのカメラ画像に含まれるすべてのサブフレームをマッチング法に組み込むことができる。複数のサブフレームを照合することにより、アーティファクトを排除することができる。全表面の組み合わせられた３次元座標において段差が目立たなくなる。
【００１０】
上記方法を数回（好ましくは、繰り返して）実行することが有利である。満足できる結果が得られるまで、上記方法を繰り返し実行しても良い。
【図面の簡単な説明】
【００１１】
【図１】表面が変化する対象物（すなわち、人間の上半身）の正面図であり、対象物表面が３つの部分的表面に分割されている。
【図２】図１に示した対象物を示す図であり、複数のカメラ画像が複数のサブフレームに分割されている。
【発明を実施するための形態】
【００１２】
以下、この発明の例示的な実施の形態を、添付の図面を参照して詳しく説明する。
【００１３】
図１に示した対象物4は、それぞれの端部において互いに重なり合う３つの部分的表面1,2,3を備える。部分的表面1,2,3の各々を示すカメラ画像を順々に撮影する。これは、カメラと白色光ストライプ投射器（white-light stripe projector）とを備えたセンサ（図示せず）によって実現することができる。場面毎に、その場面に関連する部分的表面1,2,3に白色光ストライプを照射する。カメラ画像の各々について、そのカメラ画像に関連する対象物4の部分的表面1,2,3の３次元座標を決定する。
【００１４】
続いて、マッチング法（例えば、欧州特許出願公開第２１４４０３６号明細書によるマッチング法）により、対象物4の部分的表面1,2,3の３次元座標を照合して統合する。
【００１５】
図２に示すように、部分的表面1,2,3に属するカメラ画像の各々をサブフレーム1.1〜1.9，2.1〜2.9，3.1〜3.9に分割する。サブフレーム1.1〜1.9は、３行３列に配列される。サブフレーム1.1〜1.9は、それぞれの端部において互いに重なり合う。同様に、サブフレーム2.1〜2.9，3.1〜3.9も、３行３列に配列され、それぞれの端部において互いに重なり合う。さらに、隣接するカメラ画像に含まれる複数のサブフレームは、互いに重なり合う。例えば、サブフレーム1.3，1.6，1.9は、サブフレーム2.1，2.4，2.7に重複する。サブフレーム1.8，1.9は、サブフレーム3.1，3.2に重複する。サブフレーム2.7，2.8は、サブフレーム3.2，3.3に重複する。
【００１６】
サブフレーム1.1〜1.9，2.1〜2.9，3.1〜3.9に対して、部分的表面1,2,3のカメラ画像からそれらのサブフレームに関連する３次元座標を割り当てる。すなわち、サブフレーム1.1〜3.9に対して、上述のマッチング法により照合されて統合された部分的表面1,2,3の３次元画座標を割り当てる。続いて、マッチング法により、サブフレーム1.1〜1.9，2.1〜2.9，3.1〜3.9の３次元座標を照合して統合する。ここで、同様に、欧州特許出願公開第２１４４０３６号明細書によるマッチング法または別のマッチング法を再び採用しても良い。サブフレーム1.1〜3.9のすべてがマッチング法に取り込まれる。
【００１７】
この発明による方法（特に、サブフレーム1.1〜3.9の全体にわたるマッチング法）を数回実行しても良い。満足できる結果が得られるまで、この方法を数回繰り返して実行することが好ましい。
【符号の説明】
【００１８】
1,2,3 部分的表面
4 対象物
1.1〜1.9，2.1〜2.9，3.1〜3.9 サブフレーム
【技術分野】
【０００１】
この発明は、表面が変化する対象物を３次元デジタル化する方法に関し、さらに詳しくは、対象物の部分的表面を示すカメラ画像を撮影して統合することにより対象物表面の３次元座標を決定する方法に関する。
【背景技術】
【０００２】
表面が変化しない対象物を３次元デジタル化する方法（請求項１の包括部分（generic part）による方法）は、特許文献１により知られている。この方法では、表面が変化しない対象物に白色光ストライプ（white-light stripes）を照射する。カメラは、対象物の複数の部分的表面を示す複数の画像を撮影する。このようなカメラは、光学系と、平面センサ（例えば、ＣＣＤセンサや、ＣＭＯＳセンサなど）とを備えていても良い。複数のカメラ画像から対象物の複数の部分的表面の３次元座標を決定する。マッチング法により複数の部分的表面の３次元座標を統合する。
【０００３】
特許文献１では、対象物から多様な画像を撮影し、それらの画像から対象物の複数の２次元特徴点（2D feature points）を決定する。続いて、２次元特徴点の３次元座標を決定する。ある画像と別の画像との間における２次元特徴点の対応付け（２次元点対応：2D point correspondences）を決定する。これらの２次元点対応の中から複数の２次元点対応を選択し、選択された複数の２次元点対応に関連する３次元変換処理（an associated 3D transformation）を決定する。２次元特徴点の変換後の３次元座標を参照して、３次元変換処理の品質を決定し、２次元特徴点から有効な３次元特徴点（3D feature points）を決定する。有効な３次元特徴点の３次元座標を使用して、対象物を示すカメラ画像を組み合わせる。
【０００４】
この発明を実行することができる他のマッチング法（例えば、最小二乗誤差法や、その他のマッチング法）も知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】欧州特許出願公開第２１４４０３６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、表面が変化する対象物（例えば、生物、特に、人間）の場合、複数の部分的表面を示す複数のカメラ画像をそれぞれ時間間隔をおいて撮影するので、場面毎に対象物表面および部分的表面が変化する可能性があるという問題が生じる。
【０００７】
この発明は、表面が変化する対象物の３次元デジタル化にも適した前述の方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明によれば、この目的は請求項１の特徴により解決される。この方法によれば、対象物の複数の部分的表面を示す複数のカメラ画像を撮影する。それらの複数のカメラ画像は、それぞれの端部において互いに重なり合う。カメラ画像の各々について、そのカメラ画像に関連する対象物の部分的表面の３次元座標を決定する。これは、白色光投射法（method of white-light projection）によって実現することができるが、別の方法によって実施することも可能である。マッチング法により対象物の複数の部分的表面の３次元座標を照合して統合する。このために、欧州特許出願公開第２１４４０３６号明細書（特許文献１）によるマッチング法または別のマッチング法を採用しても良い。このマッチングにより、多様なカメラ画像の場面毎に対象物表面が変動し、結果として、所謂、アーティファクト（artifacts）が生じ、組み合わせられた対象物表面において段差として目立つ可能性がある。
【０００９】
この発明によれば、カメラ画像の各々を複数のサブフレームに分割する。それらの複数のサブフレームは、それぞれの端部において互いに重なり合い、隣接するカメラ画像に含まれるサブフレームに重複する。複数のサブフレームに対して、複数のカメラ画像からそれらの複数のサブフレームに関連する３次元座標を割り当てる。具体的には、これらの３次元座標は、マッチング法により対象物の複数の部分的表面の３次元座標から決定された３次元座標である。続いて、マッチング法により複数のサブフレームの３次元座標を照合して統合する。このために、欧州特許出願公開第２１４４０３６号明細書によるマッチング法または別のマッチング法を採用しても良い。すべてのカメラ画像に含まれるすべてのサブフレームをマッチング法に組み込むことができる。複数のサブフレームを照合することにより、アーティファクトを排除することができる。全表面の組み合わせられた３次元座標において段差が目立たなくなる。
【００１０】
上記方法を数回（好ましくは、繰り返して）実行することが有利である。満足できる結果が得られるまで、上記方法を繰り返し実行しても良い。
【図面の簡単な説明】
【００１１】
【図１】表面が変化する対象物（すなわち、人間の上半身）の正面図であり、対象物表面が３つの部分的表面に分割されている。
【図２】図１に示した対象物を示す図であり、複数のカメラ画像が複数のサブフレームに分割されている。
【発明を実施するための形態】
【００１２】
以下、この発明の例示的な実施の形態を、添付の図面を参照して詳しく説明する。
【００１３】
図１に示した対象物4は、それぞれの端部において互いに重なり合う３つの部分的表面1,2,3を備える。部分的表面1,2,3の各々を示すカメラ画像を順々に撮影する。これは、カメラと白色光ストライプ投射器（white-light stripe projector）とを備えたセンサ（図示せず）によって実現することができる。場面毎に、その場面に関連する部分的表面1,2,3に白色光ストライプを照射する。カメラ画像の各々について、そのカメラ画像に関連する対象物4の部分的表面1,2,3の３次元座標を決定する。
【００１４】
続いて、マッチング法（例えば、欧州特許出願公開第２１４４０３６号明細書によるマッチング法）により、対象物4の部分的表面1,2,3の３次元座標を照合して統合する。
【００１５】
図２に示すように、部分的表面1,2,3に属するカメラ画像の各々をサブフレーム1.1〜1.9，2.1〜2.9，3.1〜3.9に分割する。サブフレーム1.1〜1.9は、３行３列に配列される。サブフレーム1.1〜1.9は、それぞれの端部において互いに重なり合う。同様に、サブフレーム2.1〜2.9，3.1〜3.9も、３行３列に配列され、それぞれの端部において互いに重なり合う。さらに、隣接するカメラ画像に含まれる複数のサブフレームは、互いに重なり合う。例えば、サブフレーム1.3，1.6，1.9は、サブフレーム2.1，2.4，2.7に重複する。サブフレーム1.8，1.9は、サブフレーム3.1，3.2に重複する。サブフレーム2.7，2.8は、サブフレーム3.2，3.3に重複する。
【００１６】
サブフレーム1.1〜1.9，2.1〜2.9，3.1〜3.9に対して、部分的表面1,2,3のカメラ画像からそれらのサブフレームに関連する３次元座標を割り当てる。すなわち、サブフレーム1.1〜3.9に対して、上述のマッチング法により照合されて統合された部分的表面1,2,3の３次元画座標を割り当てる。続いて、マッチング法により、サブフレーム1.1〜1.9，2.1〜2.9，3.1〜3.9の３次元座標を照合して統合する。ここで、同様に、欧州特許出願公開第２１４４０３６号明細書によるマッチング法または別のマッチング法を再び採用しても良い。サブフレーム1.1〜3.9のすべてがマッチング法に取り込まれる。
【００１７】
この発明による方法（特に、サブフレーム1.1〜3.9の全体にわたるマッチング法）を数回実行しても良い。満足できる結果が得られるまで、この方法を数回繰り返して実行することが好ましい。
【符号の説明】
【００１８】
1,2,3 部分的表面
4 対象物
1.1〜1.9，2.1〜2.9，3.1〜3.9 サブフレーム
【特許請求の範囲】
【請求項１】
表面が変化する対象物を３次元デジタル化する方法であり、前記対象物(4)の複数の部分的表面(1,2,3)を示す複数のカメラ画像を撮影して統合することにより前記対象物(4)表面の３次元座標を決定する方法であって、
それぞれの端部において互いに重なり合う、前記対象物(4)の複数の部分的表面(1,2,3)を示す複数のカメラ画像を撮影し、
前記複数のカメラ画像の各々について、当該カメラ画像に関連する前記対象物(4)の部分的表面(1,2,3)の３次元座標を決定し、
マッチング法により、前記対象物(4)の部分的表面(1,2,3)の３次元座標を照合して統合し、
前記複数のカメラ画像の各々を、それぞれの端部において互いに重なり合いかつ隣接するカメラ画像に含まれるサブフレームに重複する複数のサブフレーム(1.1〜1.9，2.1〜2.9，3.1〜3.9)に分割し、
前記複数のサブフレーム(1.1〜3.9)に対して、前記複数のカメラ画像から当該サブフレームに関連する３次元座標を割り当て、
マッチング法により、前記複数のサブフレーム(1.1〜3.9)の３次元座標を照合して統合する
ことを特徴とする方法。
【請求項２】
請求項１に記載の方法を数回繰り返して実行する
ことを特徴とする方法。
【請求項１】
表面が変化する対象物を３次元デジタル化する方法であり、前記対象物(4)の複数の部分的表面(1,2,3)を示す複数のカメラ画像を撮影して統合することにより前記対象物(4)表面の３次元座標を決定する方法であって、
それぞれの端部において互いに重なり合う、前記対象物(4)の複数の部分的表面(1,2,3)を示す複数のカメラ画像を撮影し、
前記複数のカメラ画像の各々について、当該カメラ画像に関連する前記対象物(4)の部分的表面(1,2,3)の３次元座標を決定し、
マッチング法により、前記対象物(4)の部分的表面(1,2,3)の３次元座標を照合して統合し、
前記複数のカメラ画像の各々を、それぞれの端部において互いに重なり合いかつ隣接するカメラ画像に含まれるサブフレームに重複する複数のサブフレーム(1.1〜1.9，2.1〜2.9，3.1〜3.9)に分割し、
前記複数のサブフレーム(1.1〜3.9)に対して、前記複数のカメラ画像から当該サブフレームに関連する３次元座標を割り当て、
マッチング法により、前記複数のサブフレーム(1.1〜3.9)の３次元座標を照合して統合する
ことを特徴とする方法。
【請求項２】
請求項１に記載の方法を数回繰り返して実行する
ことを特徴とする方法。
【図１】
【図２】
【図２】
【公開番号】特開２０１２−９３３４４（Ｐ２０１２−９３３４４Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−１８０７１０（Ｐ２０１１−１８０７１０）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（５０１４６１９６６）シュタインビフラー オプトテヒニク ゲーエムベーハー (17)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−１８０７１０（Ｐ２０１１−１８０７１０）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（５０１４６１９６６）シュタインビフラー オプトテヒニク ゲーエムベーハー (17)
【Ｆターム（参考）】
[ Back to top ]