説明

3次元形状計測装置

【課題】対象物体の全周3次元モデルの計測に必要な情報を短時間に取得する。
【解決手段】スタジオ装置10は、パネル101〜105が側面及び上面に配置され接合されて底面が開放された形状の筐体に対して、筐体内部を複数方向から選択的に照射する照明装置111〜118を配備すると共に、筐体内部を複数方向から撮影する撮影装置121〜125を配置し、底面側から対象物体に被せて使用する。演算制御装置20は、照明装置111〜118に筐体内部を複数方向から選択的に照射させ、照射の切り替えに応じて任意の撮影装置の撮影画像を取得し、これらの撮影画像から対象物体の形状を示す3次元情報を演算し、この3次元情報に基づいて全周3次元モデルを作成する。表示装置30は演算制御装置20で作成された全周3次元モデルを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物体の全周3次元形状を計測する3次元形状計測装置に関する。
【背景技術】
【0002】
近年、対象物体を立体的に認識可能とするために、対象物体の3次元形状を全周に渡って計測する装置が提案されている。この装置は、対象物体を回転させながら撮影する、計測装置自体を対象物体の周りを移動させながら撮影する、複数台の撮影装置で同時に複数方向から撮影する、といった手法で対象物体全周の画像を取得し、その全周画像から3次元モデルを作成する構成となっている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−243497号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の3次元形状計測装置では、一度に得られる3次元モデルは撮影装置の方を向いている面だけであり、全周の3次元モデルを得るためには、対象物体を回転させるまたは撮影装置を移動させることが必要であり、計測に時間がかかるといった問題があった。
【0005】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、対象物体の全周3次元モデルの計測に必要な情報を、対象物体を回転させるまたは撮影装置を移動させることなく短時間に取得することができ、これによって短時間に対象物体の全周3次元モデルを表示することのできる3次元形状計測装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明に係る3次元形状計測装置は以下のような態様の構成とする。
(1)パネルが側面及び上面に配置され接合されて底面が開放された形状の筐体と、前記パネルの各内面に配置され前記筐体内部を撮影する撮影手段と、前記筐体内部を複数方向から選択的に照射する照明手段とを備え、前記底面側から対象物体に被せて使用するスタジオ装置と、前記照明手段に前記筐体内部を複数方向から選択的に照射させ、前記照射の切り替えに応じて前記パネルの各面に配置される複数の撮影手段の撮影画像を取得し、これらの撮影画像から前記対象物体の形状を示す3次元情報を演算し、この3次元情報に基づいて全周3次元モデルを作成する演算制御手段と、前記演算制御手段で作成された全周3次元モデルを表示する表示手段とを具備する態様とする。
【0007】
(2)(1)の構成において、前記撮影手段は、所定の倍率で拡大するレンズと、このレンズで拡大される画像を取得するイメージセンサとを備える態様とする。
(3)(1)において、前記撮影手段は、前記パネルの内面側に設けられ、複数のピンホールを所定間隔で形成してなるピンホールアレイと、前記ピンホールアレイのピンホールを透過して受光面に投影される画像を取得するイメージセンサを備える態様とする。
【0008】
(4)(1)において、前記スタジオ装置は、前記対象物体の載置面に置かれたことを検出する検出手段を備え、前記演算制御手段は前記検出手段の検出に基づいて前記処理の実行を開始する態様とする。
(5)(1)において、前記撮像手段は異なる波長に感度を持ち、前記照明手段は異なる波長で発光する照明群を備える態様とする。
【発明の効果】
【0009】
本発明によれば、撮影手段と照明手段の組み合わせを演算制御手段によって高速に制御して、各照明の点灯中に撮影手段によって撮影することにより、効率よく短時間で、各照明条件下での前後左右情報の対象物体の陰影情報、すなわち全周3次元形状計測に必要な情報を取得する。また、箱型筐体の側面及び上面に筐体内部に向かって撮影手段を配置して対象物体の全周囲から撮影を同時に行うことができるようにしているので、対象物体にスタジオ装置を被せるという簡単な操作によって、対象物体の全周3次元形状計測に必要な情報を短時間に取得することができる。
【0010】
また、撮影手段としてレンズとイメージセンサを用いることにより、レンズによって計測対象物体からの反射光がイメージセンサに集光されるために撮影手段が小型化され、撮影手段及び照明手段ともに小型な光学部品となり、3次元形状計測可能な範囲内で匡体の形状を自由に設計することを可能にする。
【0011】
また、撮影手段としてピンホールアレイとイメージセンサを用いることにより、撮影可能範囲を広げるために撮影手段を筐体中心部から離す必要がなくなり、計測装置の横幅を小型化することを可能にする。
また、スタジオ装置に対象物体の載置面に置かれたことを検出する検出手段を装備することで、対象物体に筐体を被せるというユーザにとってわかりやすい動作によって3次元形状計測を開始することを可能にする。
【0012】
また、スタジオ装置において、異なる波長を発光する照明手段と、この波長にピーク感度を持つ撮影手段を用いることにより、同時に異なる波長で計測を行うことができ、より短時間に3次元形状計測を行うことを可能にする。
以上のように、本発明によれば、対象物体の全周3次元形状モデルの計測に必要な情報を比較的短時間に取得して、対象物体の全周3次元形状モデルを表示することのできる3次元形状計測装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第1の実施形態に係る3次元形状計測装置の構成を示すブロック図である。
【図2】第1の実施形態の演算制御装置の具体的な構成を示すブロック図である。
【図3】第1の実施形態のスタジオ装置において3次元形状情報及びテクスチャ情報を取得する計測プロセスを示すフローチャートである。
【図4】第1の実施形態の計測プロセスによって取得される、3次元形状情報とテクスチャ情報の一例を示す概念図である。
【図5】第1の実施形態の演算制御装置において3次元モデルを復元する復元プロセスを示すフローチャートである。
【図6】第2の実施形態において、撮影可能な対象物体のサイズと撮影装置の画角の関係を示した図である。
【図7】本発明の第3の実施形態に係る3次元形状計測装置の構成を示すブロック図である。。
【図8】第3の実施形態において、ピンホールの直径とピンホールアレイ面の厚さとの関係を説明するための図である。
【発明を実施するための形態】
【0014】
添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。
(第1の実施形態)
図1は第1の実施形態に係る3次元形状計測装置の全体構成を示す図である。この3次元形状計測装置は、対象物体の3次元形状情報及びテクスチャ情報を取得するためのスタジオ装置10、取得された3次元形状情報及びテクスチャ情報から3次元モデルを生成する演算制御装置20、生成された3次元モデルを表示する表示装置30を備える。
【0015】
上記スタジオ装置10は、図2に示すように、5枚のパネル101〜105を4つの側面及び上面に配置し接合して箱型に形成したもので、8つの各頂点には、スタジオ内部を照らすように照明装置111〜118が配置され、各側面及び上面のパネルには図中矢印A1〜A5で示すように4方及び上方からスタジオ内部方向を撮影する撮影装置121〜125が配置される。このスタジオ装置10は、3次元モデルを得たい対象物体(図示せず)に被せるようにして使用される。上記照明装置111〜118及び撮影装置121〜125は、演算制御装置20によって駆動制御される。また、撮影装置121〜125で得られた画像データは演算制御装置20に送られる。
【0016】
演算制御装置20は、照明装置111〜118の点灯及び撮影装置121〜125の撮影をプログラム制御することによって得られる画像データを3次元形状情報及びテクスチャ情報として取り込み、これらの3次元形状情報及びテクスチャ情報に基づいて対象物体の3次元モデルを作成し、表示装置30に表示する。
【0017】
図2は上記演算制御装置20の具体的な構成を示すブロック図である。この演算制御装置20は、バス201上に上記照明装置111〜118、撮影装置121〜125及び表示装置30をそれぞれインターフェース(図示せず)を介して接続したものである。そして、本装置の制御及び情報処理を実行するCPU(演算処理装置)202、CPU202の処理プログラムを格納するためのプログラムメモリ203、情報処理の作業空間及び取得データ及び演算結果を格納する記憶装置204を備え、図3に示す3次元形状情報及びテクスチャ情報の取得処理(計測プロセス)と、図4に示す3次元モデルの復元処理(演算プロセス)を実行する。これらの処理については後述する。
【0018】
上記構成による計測装置を用いて対象物体を計測する場合には、スタジオ装置10を底面の開口から対象物体Tに被せ、スタジオ内部のほぼ中央に対象物体Tを配置する。スタジオ装置10を被せられた対象物体Tを照明装置111〜118のうちの一つを点灯して照らしたときに、対象物体Tを撮影装置121〜125のうち適切な方向の撮影装置で撮影する。照明装置111〜118と撮影装置121〜125の組み合わせを演算制御装置20によって高速に制御する。
【0019】
スタジオ装置10にて3次元モデル復元に必要な3次元形状情報及びテクスチャ情報を得た場合には、演算制御装置20において、3次元形状情報及びテクスチャ情報をもとに3次元モデルを作成し、得られた3次元モデルの情報を表示装置30に送り、所定の形式で表示させる。
【0020】
図3はスタジオ装置10において3次元形状情報及びテクスチャ情報を取得する計測プロセスを示すフローチャートである。まず、照明装置111を点灯して(ステップS1)撮影装置121,124,125で撮影を行う(ステップS2)。撮影が終了したら、照明装置111は消灯して照明装置112を点灯させ(ステップS3)、撮影装置121,124で撮影を行う(ステップS4)。撮影が終了したら、照明装置112は消灯して照明装置113を点灯させ(ステップS5)、撮影装置121,122,125で撮影を行う(ステップS6)。撮影が終了したら、照明装置113は消灯して照明装置114を点灯させ(ステップS7)、撮影装置121,122で撮影を行う(ステップS8)。撮影が終了したら、照明装置114は消灯して照明装置115を点灯させ(ステップS9)、撮影装置122,123,125で撮影を行う(ステップS10)。撮影が終了したら、照明装置115は消灯して照明装置116を点灯させ(ステップS11)、撮影装置122,123で撮影を行う(ステップS12)。撮影が終了したら、照明装置116は消灯して照明装置117を点灯させ(ステップS13)、撮影装置123,124,125で撮影を行う(ステップS14)。撮影が終了したら、照明装置117は消灯して照明装置118を点灯させ(ステップS15)、撮影装置123,124で撮影を行う(ステップS16)。撮影が終了したら、照明装置118は消灯して全照明装置111〜118を点灯させ(ステップS17)、全撮影装置121〜125で撮影を行う(ステップS18)。撮影が終了したら、全照明装置111〜118を消灯する(ステップS19)。最後に、得られた画像データ群を3次元形状情報及びテクスチャ情報として記憶装置204に格納する(ステップS20)。
【0021】
図4は上記計測プロセスによって取得される、3次元形状情報とテクスチャ情報の一例を示したものである。計測プロセスにおいて、撮影装置121〜125では、それぞれ方向A1〜A5から見た対象物体を4つの異なる照明条件で撮影する。各撮影装置121〜125で撮影された4枚の画像、すなわち計20枚の画像を各方向から見た3次元形状情報とする。また、各撮影装置121〜125で撮影された全照明点灯条件での画像、すなわち計5枚の画像を各方向から見たテクスチャ情報とする。例として、対象物体が立方体の場合の3次元形状情報を図4(a)に示し、テクスチャ情報を図4(b)に示す。
【0022】
図5は演算制御装置20において3次元モデルを復元する復元プロセスを示すフローチャートである。まず、記憶装置204から3次元形状情報とテクスチャ情報を読み出し(ステップS21)、方向A1〜A5の各方向から見た対象物体の3次元形状を、撮影装置121〜125でそれぞれ撮影された4枚の画像セットである3次元形状情報から算出し復元する(ステップS22)。このとき用いる3次元形状復元アルゴリズムは、異なる照明条件下で撮影された複数画像から3次元形状を算出する照度差ステレオ法などの既存のアルゴリズムを用いてよい。
【0023】
各方向から見た対象物体の3次元形状を算出し復元したら、3次元形状の座標にテクスチャ情報をマッピングして(ステップS23)これを統合して全周3次元座標を演算する(ステップS24)。具体的には、統合された全周3次元座標において、3次元ドロネー分割などを用いて三角メッシュ化し、各メッシュに対してテクスチャ情報で得たテクスチャを貼り、全周3次元モデルを得る。
【0024】
最後に、復元された全周3次元モデルを表示装置30に送り、ユーザ指定の方向から見た映像を表示する。表示装置30には、モニタやタッチパネル等の2次元ディスプレイを用いてもよいし、AR(Augmented Reality:拡張現実)で表示をしてディスプレイやHMD(Head Mounted Display:ヘッド・マウント・ディスプレイ)で閲覧してもよいし、3次元ディスプレイで表示してもよい。
【0025】
尚、本実施形態では立方体の筐体に実装した例を挙げたが、三角錐等の他の多面体でも応用は可能である。また、本実施形態では3次元形状復元アルゴリズムに照度差ステレオを用いる例を挙げたが、shape from shading等の陰影から形状を求めるアルゴリズムを適用してもよい。
【0026】
(第2の実施形態)
続いて、第2の実施形態について説明する。尚、基本的な構成は第1の実施形態と同じであるので、ここでは構成に関する説明を省略する。
本実施形態における撮影装置121〜125には、レンズとイメージセンサで構成されたカメラを用いる。この場合、撮影可能な対象物体のサイズや筐体のサイズは、カメラの画角や被写界深度によって決定される。図6は撮影可能な対象物体のサイズと撮影装置の画角の関係を示した図である。つまり、視野の画角θのカメラ121〜123を3次元計測が可能である領域から距離dだけ離して設置すると、3次元形状を計測可能な領域の大きさ(幅)はO3となる。ただし、Oは次式により表される。
O=2dtan(θ/2)
(第3の実施形態)
図7は、第3の実施形態の構成図である。第1の実施形態における撮影装置を、図7に示すようにピンホールアレイ131とイメージセンサ132によって構成してもよい。各ピンホール131にはピンホール面の法線方向からの光線のみが入り、この像がイメージセンサ132に結像する。この場合、スタジオ装置10の壁面と対象物体の距離が近くても対象物体の前後左右上方の撮影を行うことができる。また、ピンホール効果によって被写界深度が深くなるので、どこにでも焦点のあった像を得ることができる。この様子を図8に示す。ここで、ピンホール131の直径sとピンホールアレイ面の厚さdには以下の関係式が成り立つ。
θ=2tan-1(s/d)
ここで、隣り合うピンホール131で撮影される像が重ならないようにするために、ピンホールアレイ131の背面からイメージセンサ面までの距離をLとすると、図8に示すように、隣り合うピンホール同士の距離xは、以下の関係式が成り立つように設定するとよい。
x≧(2L+d)tan(θ/2)
このようにすることで、像が重ならないため、滲みのような不具合を回避することが可能となる。
【0027】
(第4の実施形態)
続いて、第4の実施形態について説明する。尚、基本的な構成は第1の実施形態と同じであるので、ここでは構成に関する説明を省略する。
本実施形態は計測プロセスの開始の制御に関する。すなわち、計測プロセスの開始は、計測を開始する際にユーザがボタン等の入力操作を行うように設計してもよいが、本実施形態は、この計測プロセスの開始制御を自動化するものである。まず、スタジオ装置10に内部の明るさを検知する明るさセンサや設置の際に生じる衝撃を検知する加速度センサ等の各種センサを設ける。そして、演算制御装置20において、スタジオ装置10に装備した各種センサによりスタジオ装置10が対象物体の載置面に設置したことをセンシングし、自動的に計測プロセスを開始する。この形態は、対象物体にスタジオ装置10を被せるだけというユーザにとってわかりやすい動作によって3次元形状計測を開始することを可能にする。
【0028】
(第5の実施形態)
さらに、第5の実施形態について説明する。尚、基本的な構成は第1の実施形態と同じであるので、ここでは構成に関する説明を省略する。
本実施形態は、照明装置111〜118として、複数種類の異なる波長を発光する照明群を用いる。この照明群の各波長帯域にピーク感度を持つ撮影装置121〜125を用いることによって、同時に異なる波長で計測を行うことができるようになり、これによって、より短時間に3次元形状を計測することができる。あるいはマルチバンドのイメージセンサで撮影した後に、画像処理によって波長帯域ごとに分割して複数の照明条件の画像群を得てもよい。
【0029】
具体的には、例えば、RGBの光源によって、異なる方向から同時に対象物体を照らし、カラーイメージセンサで撮影した後に、画像処理によってRGB画像に分割して、異なる方向からの照明条件の画像に分割することが可能である。この場合、異なる3方向の光源を点滅させて撮影し、3枚の画像を得るのと同じ効果がある。また、異なる波長帯域の撮影装置を複数用いて複数の照明条件の画像群を得てもよい。具体的には、例えば、紫外線、可視光線、赤外線の光源によって、異なる方向から同時に対象物体を照らし、これを紫外カメラ、カラーカメラ、赤外カメラで撮影することによっても、同じ効果が得られる。
【0030】
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。
【符号の説明】
【0031】
10…スタジオ装置、101〜105…パネル、111〜118…照明装置、121〜125…撮影装置、131…ピンホールアレイ、132…イメージセンサ、20…演算制御装置、201…バス、202…CPU、203…プログラムメモリ、204…記憶装置。

【特許請求の範囲】
【請求項1】
パネルが側面及び上面に配置され接合されて底面が開放された形状の筐体と、前記パネルの各内面に配置され前記筐体内部を撮影する撮影手段と、前記筐体内部を複数方向から選択的に照射する照明手段とを備え、前記底面側から対象物体に被せて使用するスタジオ装置と、
前記照明手段に前記筐体内部を複数方向から選択的に照射させ、前記照射の切り替えに応じて前記パネルの各面に配置される複数の撮影手段の撮影画像を取得し、これらの撮影画像から前記対象物体の形状を示す3次元情報を演算し、この3次元情報に基づいて全周3次元モデルを作成する演算制御手段と、
前記演算制御手段で作成された全周3次元モデルを表示する表示手段と
を具備することを特徴とする3次元形状計測装置。
【請求項2】
前記撮影手段は、所定の倍率で拡大するレンズと、このレンズで拡大される画像を取得するイメージセンサとを備えることを特徴とする請求項1記載の3次元形状計測装置。
【請求項3】
前記撮影手段は、前記パネルの内面側に設けられ、複数のピンホールを所定間隔で形成してなるピンホールアレイと、前記ピンホールアレイのピンホールを透過して受光面に投影される画像を取得するイメージセンサを備えることを特徴とする請求項1記載の3次元形状計測装置。
【請求項4】
前記スタジオ装置は、前記対象物体の載置面に置かれたことを検出する検出手段を備え、前記演算制御手段は前記検出手段の検出に基づいて前記処理の実行を開始することを特徴とする請求項1記載の3次元形状計測装置。
【請求項5】
前記撮像手段は異なる波長に感度を持ち、前記照明手段は異なる波長で発光する照明群を備えることを特徴とする請求項1記載の3次元形状計測装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−92878(P2013−92878A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−234018(P2011−234018)
【出願日】平成23年10月25日(2011.10.25)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】