パターン光投影装置
【課題】パターン投影法による人の頭部等の3次元計測に用いられるパターン光を、簡易な装置で明るく、高精細に投影する。
【解決手段】フラッシュを光源とする事で簡易な構造とし、投影する直線状のパターンと平行な方向には広く、垂直な方向には狭いスリット状の絞りを設ける事により、投影された像のパターンと垂直な方向のぼけ幅を小さくし、高精細なパターン光を得る。また、ライトパイプを用いる事により明るいパターン光を得、高精度な3次元計測を行う。
【解決手段】フラッシュを光源とする事で簡易な構造とし、投影する直線状のパターンと平行な方向には広く、垂直な方向には狭いスリット状の絞りを設ける事により、投影された像のパターンと垂直な方向のぼけ幅を小さくし、高精細なパターン光を得る。また、ライトパイプを用いる事により明るいパターン光を得、高精度な3次元計測を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、静物や人の頭部や上半身、全身等の被写体をパターン投影法を用いて3次元計測する場合に用いるパターン光投影装置に関するものである。
【背景技術】
【0002】
物体の形状を3次元データにするための3次元計測システムとしては、被写体にレーザースリット光やパターン光を投影した状態で、投影源とは異なる角度から被写体をカメラで撮影し、三角測量の原理で計測する光切断法やパターン投影法などの方法を用いたものが知られている。これらのシステムでは、通常はカメラの他にレーザーやプロジェクタ等、パターン光を投影するための専用のパターン光投影装置を必要とするために大がかりなものになる。しかし、特開2002−250613号公報に記載された発明の様に、カメラの内蔵フラッシュを光源として用い、市販のコンパクトカメラの内蔵フラッシュの前に、パターンマスクと投影レンズを備えた着脱可能なアタッチメントを装着するだけで手軽にパターン光を投影することが出来るものも提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−250613号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1の発明では、カメラの内蔵フラッシュから発せられたフラッシュ光を、直線状の縞模様が描かれたパターンマスクに導き、パターンマスクを透過した後に投影レンズを用いて被写体上に縞模様のパターンを結像させている。その状態でカメラで撮影し、得られた画像上での被写体上に投影されたパターンの、投影レンズとカメラの視差による歪みを解析する事により、被写体の3次元形状を求める事が出来る。
【0005】
この従来例は、近距離に置かれた凹凸の程度が小さい被写体を低い解像度で3次元データ化する場合には有効で有るが、下記の理由により、人の顔を3次元計測する場合の様に、鼻の先端から耳まで含めると10Cmに及ぶ奥行きの差が有り、且つ有る程度高精度な計測が必要とされる場合に適用する事は難しい。
【0006】
まず第1の問題は、カメラから数10Cm以上離れた被写体の高精度な3次元計測が行える程に大きな視差を取ると、被写体上に投影されるパターン光が非常に暗くなる事である。数10Cm離れた人の顔を、目鼻立ちが分かる程度の精密さで計測するためには、カメラとパターン光照射源の視差は最低10〜20Cm以上は必要であり、また、この視差を大きく取れば取るほど高精度な3次元計測が可能になる。上記従来例にも視差を大きくした実施例が記載されているが、その具体的な構造については記載がない。仮に、潜望鏡の様に2枚の反射鏡を使用して光路を折り曲げて視差を大きくしたものだとすると、光源となる内蔵フラッシュと投影レンズとの距離が拡大するため、その距離の2乗に反比例して投影レンズまで到達する光の光量が減少し、明るい像を得ることが出来ない。
【0007】
図12は上記従来のパターン光投影装置の光の進み方を模式的に描いた光路図である。実際には潜望鏡の様に光軸が2度折り曲げられているはずであるが、ここでは、フラッシュ光の距離による広がりのみに注目するため、折り曲げ部分は省略して真っ直ぐな光路としてとして模式的に描いた。図において、3はフラッシュ、12はパターンマスク、13は投影レンズ、4はフラッシュ3から放射されたフラッシュ光である。フラッシュ光はフラッシュ3から広い角度で放射状に放射されるが、比較対象となる、後述する図13が煩雑になるのを避けるために図では上半分の光線のみを示してある。図12に示した光線のうち、被写体上の像の明るさに寄与する有効な部分を実線で、寄与しない無効な部分を破線で描いた。
【0008】
有効な光線は、パターンマスク12を通過し、且つ投影レンズ13の有効範囲内に到達した光線のみである。図12より、視差を大きく取るためにフラッシュ3と投影レンズ13の距離を大きく取ると、有効な光線の割合が非常に小さくなることが分かる。
【0009】
第2の問題は、像の明るさを向上させるために、従来例の特許文献の図に有るほどの開口の大きなレンズを用いると、焦点深度が非常に浅くなるため、人の顔の様に凹凸の大きな被写体の全面にシャープな像を結ぶ事が出来ない事である。
【0010】
図4は従来のパターン光投影装置の、フラッシュ光の進み方を模式的に描いた光路図である。図において、20は被写体の表面、21はこの結像光学系の焦点面、12P、12Qはそれぞれパターンマスク12に描かれたパターン上の点、12P1,12Q1はそれぞれ点12P、12Qがこの結像光学系によって被写体20上に投影された像である。
【0011】
結像光学系においては、シャープな像を得るためには、パターンマスク上の1点から出た光は1点に結像しなければならないが、レンズ径が大きく、被写体の凹凸が大きい場合には、焦点面21が被写体20の凹凸の中央付近になる様に被写体の位置を調節したとしても、像12P1、12Q1の出来る位置は焦点面21から前後に大きく外れるため、ぼけた像しか得る事ができない。この焦点深度に起因するぼけの直径は図より幾何学的に求める事が出来る。
【0012】
人の顔を3次元計測する場合には、カメラと被写体の距離は50Cm〜100Cm程度が好ましいので、例えば、投影レンズ13の有効径を、特許文献1に記載された図の程度の20mm、投影レンズから焦点面21までの距離を50Cm、被写体の、焦点面からの前後ずれを、プラスマイナス5Cmとすると、この前後ずれは焦点面までの距離の10%であるので、焦点面から最も外れた位置ではこの焦点深度に起因するぼけの直径も投影レンズ直径の10%、つまり2mmとなる。ぼけの径が2mmも有ると、被写体上には2mm間隔より細かいピッチのパターン光を投影する事が出来ないため、精度の高い3次元計測を行う事は出来ない。
【課題を解決するための手段】
【0013】
本発明は、上記の課題を解決するためのもので、カメラ内蔵または外付けのフラッシュから放射されたフラッシュ光を受け入れる手段と、視差方向と垂直な方向に伸びる直線状の縞模様のパターン光を投影する手段と、そのパターン光の縞模様と平行な方向には広く、垂直な方向には狭い光路を持つ結像光学手段を備えた事を最も主要な特徴とする。
【発明の効果】
【0014】
本発明のパターン光投影装置は、外付けフラッシュやコンパクトカメラの内蔵フラッシュに取り付けるだけの簡単な操作で、凹凸の大きな被写体上にも明るく精細なパターンを投影する事が出来るので、精度の高い3次元計測が可能になるという利点がある。
【図面の簡単な説明】
【0015】
【図1】図1はパターン光投影装置を示す一部断面上面図である。(実施例1)
【図2】図2はパターン光投影装置のパターンマスクのパターンを示す模式図である。(実施例1)
【図3】図3はパターン光投影装置の光の進み方を示す光路図である。(実施例1)
【図4】図4は従来のパターン光投影装置の光の進み方を示す光路図である。(従来例)
【図5】図5はパターン光投影装置の光の進み方を示す光路図である。(実施例1)
【図6】図6はパターン光投影装置を用いた第1の撮影シーンを示す上面図である。(実施例1)
【図7】図7はパターン光投影装置を用いて撮影された画像である。(実施例1)
【図8】図8はパターン光投影装置を用いた第2の撮影シーンを示す上面図である。(実施例1)
【図9】図9はパターン光投影装置を用いた第3の撮影シーンを示す上面図である。(実施例1)
【図10】図10はパターン光投影装置を示す一部断面上面図である。(実施例2)
【図11】図11はパターン光投影装置を示す正面図である。(実施例2)
【図12】図12は従来のパターン光投影装置の光の進み方を模式的に描いた光路図である。(従来例)
【図13】図13はパターン光投影装置の光の進み方を模式的に描いた光路図である。(実施例2)
【発明を実施するための形態】
【0016】
簡単な構造で凹凸の大きな被写体上にも明るく精細なパターン光を投影する事が出来るパターン光投影装置を実現した。
【実施例1】
【0017】
図1は、本発明の実施例1を示す一部断面上面図である。図において、2はカメラ、3はカメラのアクセサリーシューに取り付けられた背の高いフラッシュ、8はパターン光投影装置の鏡筒、16は反射率の高い内壁を備えたフラッシュ光導入口、12はフラッシュ光導入口16の後段に設置されたフィルム状のパターンマスクであり、被写体によって交換可能になっている。13は投影レンズ、14は投影レンズ13の前方に設けられた、図の上下方向には狭く、図の紙面に垂直な方向には広いスリットが設けられた絞り、15は較正板、4はパターン光の光軸、5はカメラ2の光軸であり、この2つの光軸の根本どうしの距離が3次元計測の計算の元となる視差である。
【0018】
図2は、本発明の実施例1のパターンマスクをパターン光の光軸4の方向から見たときのパターンを示す模式図である。パターンマスク12は透明なフィルムからなり、斜線の無い領域12bと斜線で示した領域12cが区別出来る様に、異なる色で着色されている。12aはパターンマスク上に描かれた、視差方向と垂直な方向に伸びる複数のライン、12Mは中央のライン12aを切り欠いたもので、投影されたパターン光の位置の基準となる基準マークである。12Pは、ライン12aのうち、最もカメラの光軸から遠いもの、12Qは、同じく最もカメラの光軸に近いものである。図2では構成を分かりやすくするために、ラインを模式的に粗いピッチで描いたが、実用的にはもっと細かいピッチで描かれる。
【0019】
図3は、ライン12Pを投影する光線がフラッシュ3から放射されて投影レンズ13に入射するまでの光の進み方を示す光路図である。ライン12Pを結像させるのに有効な光線は、ライン12Pを通り、投影レンズで屈折した後に絞り14の開口部を通り抜ける、図に斜線で示した範囲の光線だけである。したがって、フラッシュ3から直接ライン12Pに照射される直接光は有効ではなく、フラッシュ光導入口16の内面で1度反射されたものだけが有効である事が分かる。フラッシュ光導入口16の内面は反射率が高く作られているので、フラッシュ光を効率よく反射させ、ライン12Pを明るく照射する。
【0020】
図5は本発明の実施例1のパターン光投影装置の光の進み方を示す光路図であり、図の上下方向が視差方向である。パターンマスク12を通過した光は、視差方向に狭いスリットを備えた絞り14で薄いビームに絞られるため、視差方向の焦点深度が深くなり、被写体20の表面が焦点面から前後に大きくずれても像ライン12P、12Qの像12P1,12Q1はそれぞれそれほど大きくはぼけず、極めてシャープな像が得られる。
【0021】
従来例の場合と同じく、投影レンズから焦点面21までの距離を50Cm、被写体の、焦点面からの前後ずれをプラスマイナス5Cmとし、スリット幅を2mmとすると、焦点深度に起因するぼけの幅はスリット幅の10%、つまり0.2mmとなる。
【0022】
絞り14のスリット幅は狭ければ狭いほど上記焦点深度に起因するぼけ幅は狭くなるが、スリット幅をあまり狭くすると、今度は狭くすればするほど回折に起因するぼけが大きくなる。上記パラメタで回折に起因するぼけ幅を計算すると、焦点深度によるぼけと同じく幅0.2mm程度、投影レンズから焦点面21までの距離を1mとした場合には回折に起因するぼけ幅は0.4mm程度になる。また、スリット幅を狭くする事は、被写体上の像を暗くする事にも直接繋がるので、この意味からもスリットをあまり狭くする事は好ましくない。
【0023】
したがって、これらを勘案すると、人の頭部を計測する場合の様に、被写体の距離が50〜100Cm程度の場合は、スリット幅は2〜3mm程度にするのがバランスが良く、この範囲の幅のスリットを用いれば、被写体上に1mmピッチ程度、光学系をより注意深く設計すれば0.5mmピッチ程度の精細なパターン光を投影する事が可能である。この程度の解像度が実現できれば人の顔の特徴がつかめる程度の3次元計測には十分である。スリット幅が1mmより小さい場合や4mmより大きい場合は、それぞれ回折によるぼけ、焦点深度によるぼけが大きくなるので、精細なパターン光を投影する事が出来ず、人の顔の3次元計測には適さない。
【0024】
被写体に投影するパターン光は明るいに越した事はない。スリットの視差方向の幅は上記理由により4mm以下にしておく必要があるが、視差と垂直方向に伸びる直線状の縞模様を投影する場合には、視差と垂直方向にはいくらぼけても害が無いため、像を明るくするためには開口の大きな投影レンズと、視差と垂直方向に広いスリットを持つ絞りを用いた方が良い。
【0025】
図6はこの実施例によるパターン光投影装置を用いた第1の撮影シーンの例を示す上面図である。カメラを横向きで使い、被写体である人20の顔を、向かって右下から仰ぎ見る様なアングルで撮影している。
【0026】
図7は、図6の状態で撮影した画像である。20Pは縦縞状のパターン光が投影された被写体の画像、20MPは基準マーク12Mが投影されたものである。パターンマスク上では直線だったライン12aは、被写体の凹凸と視差によって歪められている。基準マークの画像20MPを基準にこの歪みを画像解析する事により、被写体の3次元形状を求める事が出来る。
【0027】
図8はパターン光投影装置を用いた第2の撮影シーンの例を示す上面図である。図において、30は垂直な壁に固定された鏡、20Rは被写体20が鏡30に映った虚像である。パターン光とカメラの光軸は被写体20と被写体20の虚像20Rの中間を向いており、直視するフラッシュ光とカメラ視線で主に被写体の顔の左半分を、鏡30に反射させたフラッシュ光とカメラ視線で主に被写体の顔の右半分を計測する様にしている。この際、被写体上では、直接投影する光路を通ったパターン光と鏡で反射された光路を通ったパターン光が重なって投影されるが、パターンマスク上のそれぞれのパターン光に対応する領域12bと12cは異なる色で着色されているため、画像解析時にはそれぞれの光路を通って投影されたパターン光を色で区別する事が出来る。
【0028】
図9はパターン光投影装置の第3の撮影シーンを示す上面図である。図において、15は円形の面が正面に向くようにパターン光投影装置に取り付けられた較正板、30は鏡であり、撮影者は、鏡を用いて自分自身の撮影を行っている。カメラの画角は、被写体の他に較正板も写す様に調整されている。較正板の形状は既知なので、この撮影シーンで得られた画像に被写体と同時に較正板が写っていれば、その形状から、カメラの角度、被写体との距離などのカメラパラメタを計算し、画像解析の基礎データとする事が出来る。
【0029】
短い時間間隔で、フラッシュ以外の照明光を用いた撮影と、フラッシュを発光させた状態での撮影を行い、それら2枚の差分を求める操作を行なえば、投影されたパターンをより鮮明に検出する事が出来る。
【0030】
上記実施例では、円形の凸レンズと細長いスリット状の絞りを備える事により直線状の縞模様と平行な方向には長く、垂直な方向には狭い光路を持つ結像光学手段を形成したが、細長い形状のレンズや細長いフレネルレンズ、細長い凹面反射鏡等を用いても同様の効果を得る事が出来る。
【0031】
また、上記実施例では、2つの光路に対応したフラッシュ光を区別するためにパターンマスクの2つの領域を異なる色で着色したが、複数の鏡を用いる場合など、区別すべき光路の数が多い時には、それぞれの光路に対応したフラッシュ光を区別するために、それぞれ対応するパターンマスクの領域を異なる色で色分けしても良い。
【0032】
また、上記実施例では2つの領域12bと12cが区別出来る様に、それぞれの領域を異なる色で着色したが、12bと12cの地は何れも透明とし、領域毎に区別出来る色でライン12aを着色しても良い。また、ライン12aや地の色は、単一領域内でも単一の色に揃える必要はなく、それぞれのラインが区別出来る様に、各種の色を取り混ぜて使っても良い。
【0033】
また、上記実施例では、ライン12aを切り欠く事により基準マークを形成したが、ラインやラインが描かれていない場所の太さや色、間隔、長さ等を変える事によって他のラインと区別出来る様にしても良い。
【0034】
また、上記実施例では、パターンマスクはフィルムで構成したが、フィルムを使わずに、糸を張る事によってライン12aを構成しても良い。
【実施例2】
【0035】
図10は本発明の実施例2を示すパターン光投影装置の一部断面上面図、図11その正面図である。図において、2はコンパクトカメラ、3はコンパクトカメラ2に内蔵された内蔵フラッシュ、4はフラッシュから放射されたフラッシュ光の光軸、11は透明素材からなり、滑らかな表面を備えたライトパイプ、11aは内蔵フラッシュと正対する様に配置されたライトパイプ11のフラッシュ光導入口、11bは集光手段となる、断面が放物線形状である反射面を備えた光軸折り曲げ部、11cは第2の光軸折り曲げ部、11dはフラッシュ光放射口であり、その他は実施例1と同様である。
【0036】
なお、フラッシュ光導入口周辺その他から幾分かのフラッシュ光が漏れるので、実際にはこの漏れたフラッシュ光が前方に放射されるのを防ぐためのカバーやパターン光投影装置をカメラと一定の位置関係になるように固定するためのブラケット等が必要であるが、本質的な部分ではないので図では省略した。
【0037】
コンパクトカメラの内蔵フラッシュは、一般に長手方向がカメラ本体の左右方向に向いた細長い発光管の上に細かい凹凸を備えた拡散板が被せられた構造になっているが、拡散板の幅は数mm以下と狭いものが多い。従って、拡散板の効果を無視し、光は発光管の半径方向に放射状に放射されると考えてもライトパイプの集光効果にはそれほど大きな違いはないと思われる。これを前提とすると、発光管の中心軸が光軸折り曲げ部11bの放物線形状の反射面の焦点位置に来る様に配置すれば、フラッシュ光は光軸折り曲げ部11bでコリメートされ、平行光に近くなって図の右側の、視差を拡大する方向に導かれる。平行光になるのは、発光管の半径方向に正確に放射された光のみに成り立つ効果であるが、拡散板で光の方向が多少散乱されたとしても、光の多くは光軸からあまり大きな角度差を持たずに視差を拡大する方向に進行する。ライトパイプの側面に入射する場合も浅い角度で入射するため、効率的にライトパイプの内側に向かって全反射される。このため、ライトパイプの外に漏れる率は小さくなる。
【0038】
光軸折り曲げ部11bでは、フラッシュ発光管の長手方向の側面も断面が放物線形状の反射面となっており、フラッシュ発光管から長手方向に角度を持って放射されたフラッシュ光も効率的にコリメートされる様になっている。
【0039】
図13はライトパイプ内のフラッシュ光の進み方を模式的に描いた光路図である。図12と同様に、折り返し部分は省略して真っ直ぐな光路として上半分の光線のみを示し、被写体上の像の明るさに寄与する有効な部分を実線で、寄与しない無効な部分を破線で描いた。図13より、光軸からの角度差があまりに大きい光はライトパイプの壁面で全反射されずにライトパイプから漏れるが、壁面への入射角が臨界角になるまでの光は全反射されてライトパイプ内に閉じこめられたままフラッシュ光放射口の方向に進行する事が分かる。このため、ライトパイプを用いない場合に比べて有効に利用できる光の割合を大幅に増やす事が出来る。
【0040】
光軸折り曲げ部11bと11cにおいて、光軸の方向を大きく折り曲げようとすると、多くの光の反射面への入射角は小さくなるため、全反射されずに漏れてしまう割合が増えてしまう。そこで、何れの光軸折り曲げ部においても、光軸の方向変化は直角よりも小さくなる様にした。
【0041】
上記実施例2では、光軸折り曲げ部11bに、集光手段として断面が放物線形状の反射面を備えたが、回転放物面をフラッシュ発光管の長手方向に引き延ばした様な面や球面の反射面を備える様にしてもよい。また、光軸折り曲げ部11cにも凹面鏡を備えても良い。また、集光手段は単一の凹面鏡である必要はなく、フレネルミラーの様に細かく分割された鏡面を用いても良い。
【0042】
上記実施例では透明なフィルムによりパターンマスクを構成したが、ライトパイプのフラッシュ光放射口に凹凸パターンを刻み、その凹凸パターンにおける屈折や反射を利用してパターンマスクの機能を持たせても良い。
【産業上の利用可能性】
【0043】
計測されたデータを元に人物や静物の3次元モデルを構築し、インターネット上で公開したり、親しい友人や家族に送って観て貰っても良い。また、ネット上のビジネスとして拡大しつつある3次元バーチャル空間の中で、リアルなアバターとして存在させても良い。
【符号の説明】
【0044】
2 カメラ
3 フラッシュ
11 ライトパイプ
12 パターンマスク
12a ライン
12M 基準マーク
13 投影レンズ
14 絞り
15 較正板
16 フラッシュ光導入口
20 被写体
30 鏡
【技術分野】
【0001】
本発明は、静物や人の頭部や上半身、全身等の被写体をパターン投影法を用いて3次元計測する場合に用いるパターン光投影装置に関するものである。
【背景技術】
【0002】
物体の形状を3次元データにするための3次元計測システムとしては、被写体にレーザースリット光やパターン光を投影した状態で、投影源とは異なる角度から被写体をカメラで撮影し、三角測量の原理で計測する光切断法やパターン投影法などの方法を用いたものが知られている。これらのシステムでは、通常はカメラの他にレーザーやプロジェクタ等、パターン光を投影するための専用のパターン光投影装置を必要とするために大がかりなものになる。しかし、特開2002−250613号公報に記載された発明の様に、カメラの内蔵フラッシュを光源として用い、市販のコンパクトカメラの内蔵フラッシュの前に、パターンマスクと投影レンズを備えた着脱可能なアタッチメントを装着するだけで手軽にパターン光を投影することが出来るものも提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−250613号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1の発明では、カメラの内蔵フラッシュから発せられたフラッシュ光を、直線状の縞模様が描かれたパターンマスクに導き、パターンマスクを透過した後に投影レンズを用いて被写体上に縞模様のパターンを結像させている。その状態でカメラで撮影し、得られた画像上での被写体上に投影されたパターンの、投影レンズとカメラの視差による歪みを解析する事により、被写体の3次元形状を求める事が出来る。
【0005】
この従来例は、近距離に置かれた凹凸の程度が小さい被写体を低い解像度で3次元データ化する場合には有効で有るが、下記の理由により、人の顔を3次元計測する場合の様に、鼻の先端から耳まで含めると10Cmに及ぶ奥行きの差が有り、且つ有る程度高精度な計測が必要とされる場合に適用する事は難しい。
【0006】
まず第1の問題は、カメラから数10Cm以上離れた被写体の高精度な3次元計測が行える程に大きな視差を取ると、被写体上に投影されるパターン光が非常に暗くなる事である。数10Cm離れた人の顔を、目鼻立ちが分かる程度の精密さで計測するためには、カメラとパターン光照射源の視差は最低10〜20Cm以上は必要であり、また、この視差を大きく取れば取るほど高精度な3次元計測が可能になる。上記従来例にも視差を大きくした実施例が記載されているが、その具体的な構造については記載がない。仮に、潜望鏡の様に2枚の反射鏡を使用して光路を折り曲げて視差を大きくしたものだとすると、光源となる内蔵フラッシュと投影レンズとの距離が拡大するため、その距離の2乗に反比例して投影レンズまで到達する光の光量が減少し、明るい像を得ることが出来ない。
【0007】
図12は上記従来のパターン光投影装置の光の進み方を模式的に描いた光路図である。実際には潜望鏡の様に光軸が2度折り曲げられているはずであるが、ここでは、フラッシュ光の距離による広がりのみに注目するため、折り曲げ部分は省略して真っ直ぐな光路としてとして模式的に描いた。図において、3はフラッシュ、12はパターンマスク、13は投影レンズ、4はフラッシュ3から放射されたフラッシュ光である。フラッシュ光はフラッシュ3から広い角度で放射状に放射されるが、比較対象となる、後述する図13が煩雑になるのを避けるために図では上半分の光線のみを示してある。図12に示した光線のうち、被写体上の像の明るさに寄与する有効な部分を実線で、寄与しない無効な部分を破線で描いた。
【0008】
有効な光線は、パターンマスク12を通過し、且つ投影レンズ13の有効範囲内に到達した光線のみである。図12より、視差を大きく取るためにフラッシュ3と投影レンズ13の距離を大きく取ると、有効な光線の割合が非常に小さくなることが分かる。
【0009】
第2の問題は、像の明るさを向上させるために、従来例の特許文献の図に有るほどの開口の大きなレンズを用いると、焦点深度が非常に浅くなるため、人の顔の様に凹凸の大きな被写体の全面にシャープな像を結ぶ事が出来ない事である。
【0010】
図4は従来のパターン光投影装置の、フラッシュ光の進み方を模式的に描いた光路図である。図において、20は被写体の表面、21はこの結像光学系の焦点面、12P、12Qはそれぞれパターンマスク12に描かれたパターン上の点、12P1,12Q1はそれぞれ点12P、12Qがこの結像光学系によって被写体20上に投影された像である。
【0011】
結像光学系においては、シャープな像を得るためには、パターンマスク上の1点から出た光は1点に結像しなければならないが、レンズ径が大きく、被写体の凹凸が大きい場合には、焦点面21が被写体20の凹凸の中央付近になる様に被写体の位置を調節したとしても、像12P1、12Q1の出来る位置は焦点面21から前後に大きく外れるため、ぼけた像しか得る事ができない。この焦点深度に起因するぼけの直径は図より幾何学的に求める事が出来る。
【0012】
人の顔を3次元計測する場合には、カメラと被写体の距離は50Cm〜100Cm程度が好ましいので、例えば、投影レンズ13の有効径を、特許文献1に記載された図の程度の20mm、投影レンズから焦点面21までの距離を50Cm、被写体の、焦点面からの前後ずれを、プラスマイナス5Cmとすると、この前後ずれは焦点面までの距離の10%であるので、焦点面から最も外れた位置ではこの焦点深度に起因するぼけの直径も投影レンズ直径の10%、つまり2mmとなる。ぼけの径が2mmも有ると、被写体上には2mm間隔より細かいピッチのパターン光を投影する事が出来ないため、精度の高い3次元計測を行う事は出来ない。
【課題を解決するための手段】
【0013】
本発明は、上記の課題を解決するためのもので、カメラ内蔵または外付けのフラッシュから放射されたフラッシュ光を受け入れる手段と、視差方向と垂直な方向に伸びる直線状の縞模様のパターン光を投影する手段と、そのパターン光の縞模様と平行な方向には広く、垂直な方向には狭い光路を持つ結像光学手段を備えた事を最も主要な特徴とする。
【発明の効果】
【0014】
本発明のパターン光投影装置は、外付けフラッシュやコンパクトカメラの内蔵フラッシュに取り付けるだけの簡単な操作で、凹凸の大きな被写体上にも明るく精細なパターンを投影する事が出来るので、精度の高い3次元計測が可能になるという利点がある。
【図面の簡単な説明】
【0015】
【図1】図1はパターン光投影装置を示す一部断面上面図である。(実施例1)
【図2】図2はパターン光投影装置のパターンマスクのパターンを示す模式図である。(実施例1)
【図3】図3はパターン光投影装置の光の進み方を示す光路図である。(実施例1)
【図4】図4は従来のパターン光投影装置の光の進み方を示す光路図である。(従来例)
【図5】図5はパターン光投影装置の光の進み方を示す光路図である。(実施例1)
【図6】図6はパターン光投影装置を用いた第1の撮影シーンを示す上面図である。(実施例1)
【図7】図7はパターン光投影装置を用いて撮影された画像である。(実施例1)
【図8】図8はパターン光投影装置を用いた第2の撮影シーンを示す上面図である。(実施例1)
【図9】図9はパターン光投影装置を用いた第3の撮影シーンを示す上面図である。(実施例1)
【図10】図10はパターン光投影装置を示す一部断面上面図である。(実施例2)
【図11】図11はパターン光投影装置を示す正面図である。(実施例2)
【図12】図12は従来のパターン光投影装置の光の進み方を模式的に描いた光路図である。(従来例)
【図13】図13はパターン光投影装置の光の進み方を模式的に描いた光路図である。(実施例2)
【発明を実施するための形態】
【0016】
簡単な構造で凹凸の大きな被写体上にも明るく精細なパターン光を投影する事が出来るパターン光投影装置を実現した。
【実施例1】
【0017】
図1は、本発明の実施例1を示す一部断面上面図である。図において、2はカメラ、3はカメラのアクセサリーシューに取り付けられた背の高いフラッシュ、8はパターン光投影装置の鏡筒、16は反射率の高い内壁を備えたフラッシュ光導入口、12はフラッシュ光導入口16の後段に設置されたフィルム状のパターンマスクであり、被写体によって交換可能になっている。13は投影レンズ、14は投影レンズ13の前方に設けられた、図の上下方向には狭く、図の紙面に垂直な方向には広いスリットが設けられた絞り、15は較正板、4はパターン光の光軸、5はカメラ2の光軸であり、この2つの光軸の根本どうしの距離が3次元計測の計算の元となる視差である。
【0018】
図2は、本発明の実施例1のパターンマスクをパターン光の光軸4の方向から見たときのパターンを示す模式図である。パターンマスク12は透明なフィルムからなり、斜線の無い領域12bと斜線で示した領域12cが区別出来る様に、異なる色で着色されている。12aはパターンマスク上に描かれた、視差方向と垂直な方向に伸びる複数のライン、12Mは中央のライン12aを切り欠いたもので、投影されたパターン光の位置の基準となる基準マークである。12Pは、ライン12aのうち、最もカメラの光軸から遠いもの、12Qは、同じく最もカメラの光軸に近いものである。図2では構成を分かりやすくするために、ラインを模式的に粗いピッチで描いたが、実用的にはもっと細かいピッチで描かれる。
【0019】
図3は、ライン12Pを投影する光線がフラッシュ3から放射されて投影レンズ13に入射するまでの光の進み方を示す光路図である。ライン12Pを結像させるのに有効な光線は、ライン12Pを通り、投影レンズで屈折した後に絞り14の開口部を通り抜ける、図に斜線で示した範囲の光線だけである。したがって、フラッシュ3から直接ライン12Pに照射される直接光は有効ではなく、フラッシュ光導入口16の内面で1度反射されたものだけが有効である事が分かる。フラッシュ光導入口16の内面は反射率が高く作られているので、フラッシュ光を効率よく反射させ、ライン12Pを明るく照射する。
【0020】
図5は本発明の実施例1のパターン光投影装置の光の進み方を示す光路図であり、図の上下方向が視差方向である。パターンマスク12を通過した光は、視差方向に狭いスリットを備えた絞り14で薄いビームに絞られるため、視差方向の焦点深度が深くなり、被写体20の表面が焦点面から前後に大きくずれても像ライン12P、12Qの像12P1,12Q1はそれぞれそれほど大きくはぼけず、極めてシャープな像が得られる。
【0021】
従来例の場合と同じく、投影レンズから焦点面21までの距離を50Cm、被写体の、焦点面からの前後ずれをプラスマイナス5Cmとし、スリット幅を2mmとすると、焦点深度に起因するぼけの幅はスリット幅の10%、つまり0.2mmとなる。
【0022】
絞り14のスリット幅は狭ければ狭いほど上記焦点深度に起因するぼけ幅は狭くなるが、スリット幅をあまり狭くすると、今度は狭くすればするほど回折に起因するぼけが大きくなる。上記パラメタで回折に起因するぼけ幅を計算すると、焦点深度によるぼけと同じく幅0.2mm程度、投影レンズから焦点面21までの距離を1mとした場合には回折に起因するぼけ幅は0.4mm程度になる。また、スリット幅を狭くする事は、被写体上の像を暗くする事にも直接繋がるので、この意味からもスリットをあまり狭くする事は好ましくない。
【0023】
したがって、これらを勘案すると、人の頭部を計測する場合の様に、被写体の距離が50〜100Cm程度の場合は、スリット幅は2〜3mm程度にするのがバランスが良く、この範囲の幅のスリットを用いれば、被写体上に1mmピッチ程度、光学系をより注意深く設計すれば0.5mmピッチ程度の精細なパターン光を投影する事が可能である。この程度の解像度が実現できれば人の顔の特徴がつかめる程度の3次元計測には十分である。スリット幅が1mmより小さい場合や4mmより大きい場合は、それぞれ回折によるぼけ、焦点深度によるぼけが大きくなるので、精細なパターン光を投影する事が出来ず、人の顔の3次元計測には適さない。
【0024】
被写体に投影するパターン光は明るいに越した事はない。スリットの視差方向の幅は上記理由により4mm以下にしておく必要があるが、視差と垂直方向に伸びる直線状の縞模様を投影する場合には、視差と垂直方向にはいくらぼけても害が無いため、像を明るくするためには開口の大きな投影レンズと、視差と垂直方向に広いスリットを持つ絞りを用いた方が良い。
【0025】
図6はこの実施例によるパターン光投影装置を用いた第1の撮影シーンの例を示す上面図である。カメラを横向きで使い、被写体である人20の顔を、向かって右下から仰ぎ見る様なアングルで撮影している。
【0026】
図7は、図6の状態で撮影した画像である。20Pは縦縞状のパターン光が投影された被写体の画像、20MPは基準マーク12Mが投影されたものである。パターンマスク上では直線だったライン12aは、被写体の凹凸と視差によって歪められている。基準マークの画像20MPを基準にこの歪みを画像解析する事により、被写体の3次元形状を求める事が出来る。
【0027】
図8はパターン光投影装置を用いた第2の撮影シーンの例を示す上面図である。図において、30は垂直な壁に固定された鏡、20Rは被写体20が鏡30に映った虚像である。パターン光とカメラの光軸は被写体20と被写体20の虚像20Rの中間を向いており、直視するフラッシュ光とカメラ視線で主に被写体の顔の左半分を、鏡30に反射させたフラッシュ光とカメラ視線で主に被写体の顔の右半分を計測する様にしている。この際、被写体上では、直接投影する光路を通ったパターン光と鏡で反射された光路を通ったパターン光が重なって投影されるが、パターンマスク上のそれぞれのパターン光に対応する領域12bと12cは異なる色で着色されているため、画像解析時にはそれぞれの光路を通って投影されたパターン光を色で区別する事が出来る。
【0028】
図9はパターン光投影装置の第3の撮影シーンを示す上面図である。図において、15は円形の面が正面に向くようにパターン光投影装置に取り付けられた較正板、30は鏡であり、撮影者は、鏡を用いて自分自身の撮影を行っている。カメラの画角は、被写体の他に較正板も写す様に調整されている。較正板の形状は既知なので、この撮影シーンで得られた画像に被写体と同時に較正板が写っていれば、その形状から、カメラの角度、被写体との距離などのカメラパラメタを計算し、画像解析の基礎データとする事が出来る。
【0029】
短い時間間隔で、フラッシュ以外の照明光を用いた撮影と、フラッシュを発光させた状態での撮影を行い、それら2枚の差分を求める操作を行なえば、投影されたパターンをより鮮明に検出する事が出来る。
【0030】
上記実施例では、円形の凸レンズと細長いスリット状の絞りを備える事により直線状の縞模様と平行な方向には長く、垂直な方向には狭い光路を持つ結像光学手段を形成したが、細長い形状のレンズや細長いフレネルレンズ、細長い凹面反射鏡等を用いても同様の効果を得る事が出来る。
【0031】
また、上記実施例では、2つの光路に対応したフラッシュ光を区別するためにパターンマスクの2つの領域を異なる色で着色したが、複数の鏡を用いる場合など、区別すべき光路の数が多い時には、それぞれの光路に対応したフラッシュ光を区別するために、それぞれ対応するパターンマスクの領域を異なる色で色分けしても良い。
【0032】
また、上記実施例では2つの領域12bと12cが区別出来る様に、それぞれの領域を異なる色で着色したが、12bと12cの地は何れも透明とし、領域毎に区別出来る色でライン12aを着色しても良い。また、ライン12aや地の色は、単一領域内でも単一の色に揃える必要はなく、それぞれのラインが区別出来る様に、各種の色を取り混ぜて使っても良い。
【0033】
また、上記実施例では、ライン12aを切り欠く事により基準マークを形成したが、ラインやラインが描かれていない場所の太さや色、間隔、長さ等を変える事によって他のラインと区別出来る様にしても良い。
【0034】
また、上記実施例では、パターンマスクはフィルムで構成したが、フィルムを使わずに、糸を張る事によってライン12aを構成しても良い。
【実施例2】
【0035】
図10は本発明の実施例2を示すパターン光投影装置の一部断面上面図、図11その正面図である。図において、2はコンパクトカメラ、3はコンパクトカメラ2に内蔵された内蔵フラッシュ、4はフラッシュから放射されたフラッシュ光の光軸、11は透明素材からなり、滑らかな表面を備えたライトパイプ、11aは内蔵フラッシュと正対する様に配置されたライトパイプ11のフラッシュ光導入口、11bは集光手段となる、断面が放物線形状である反射面を備えた光軸折り曲げ部、11cは第2の光軸折り曲げ部、11dはフラッシュ光放射口であり、その他は実施例1と同様である。
【0036】
なお、フラッシュ光導入口周辺その他から幾分かのフラッシュ光が漏れるので、実際にはこの漏れたフラッシュ光が前方に放射されるのを防ぐためのカバーやパターン光投影装置をカメラと一定の位置関係になるように固定するためのブラケット等が必要であるが、本質的な部分ではないので図では省略した。
【0037】
コンパクトカメラの内蔵フラッシュは、一般に長手方向がカメラ本体の左右方向に向いた細長い発光管の上に細かい凹凸を備えた拡散板が被せられた構造になっているが、拡散板の幅は数mm以下と狭いものが多い。従って、拡散板の効果を無視し、光は発光管の半径方向に放射状に放射されると考えてもライトパイプの集光効果にはそれほど大きな違いはないと思われる。これを前提とすると、発光管の中心軸が光軸折り曲げ部11bの放物線形状の反射面の焦点位置に来る様に配置すれば、フラッシュ光は光軸折り曲げ部11bでコリメートされ、平行光に近くなって図の右側の、視差を拡大する方向に導かれる。平行光になるのは、発光管の半径方向に正確に放射された光のみに成り立つ効果であるが、拡散板で光の方向が多少散乱されたとしても、光の多くは光軸からあまり大きな角度差を持たずに視差を拡大する方向に進行する。ライトパイプの側面に入射する場合も浅い角度で入射するため、効率的にライトパイプの内側に向かって全反射される。このため、ライトパイプの外に漏れる率は小さくなる。
【0038】
光軸折り曲げ部11bでは、フラッシュ発光管の長手方向の側面も断面が放物線形状の反射面となっており、フラッシュ発光管から長手方向に角度を持って放射されたフラッシュ光も効率的にコリメートされる様になっている。
【0039】
図13はライトパイプ内のフラッシュ光の進み方を模式的に描いた光路図である。図12と同様に、折り返し部分は省略して真っ直ぐな光路として上半分の光線のみを示し、被写体上の像の明るさに寄与する有効な部分を実線で、寄与しない無効な部分を破線で描いた。図13より、光軸からの角度差があまりに大きい光はライトパイプの壁面で全反射されずにライトパイプから漏れるが、壁面への入射角が臨界角になるまでの光は全反射されてライトパイプ内に閉じこめられたままフラッシュ光放射口の方向に進行する事が分かる。このため、ライトパイプを用いない場合に比べて有効に利用できる光の割合を大幅に増やす事が出来る。
【0040】
光軸折り曲げ部11bと11cにおいて、光軸の方向を大きく折り曲げようとすると、多くの光の反射面への入射角は小さくなるため、全反射されずに漏れてしまう割合が増えてしまう。そこで、何れの光軸折り曲げ部においても、光軸の方向変化は直角よりも小さくなる様にした。
【0041】
上記実施例2では、光軸折り曲げ部11bに、集光手段として断面が放物線形状の反射面を備えたが、回転放物面をフラッシュ発光管の長手方向に引き延ばした様な面や球面の反射面を備える様にしてもよい。また、光軸折り曲げ部11cにも凹面鏡を備えても良い。また、集光手段は単一の凹面鏡である必要はなく、フレネルミラーの様に細かく分割された鏡面を用いても良い。
【0042】
上記実施例では透明なフィルムによりパターンマスクを構成したが、ライトパイプのフラッシュ光放射口に凹凸パターンを刻み、その凹凸パターンにおける屈折や反射を利用してパターンマスクの機能を持たせても良い。
【産業上の利用可能性】
【0043】
計測されたデータを元に人物や静物の3次元モデルを構築し、インターネット上で公開したり、親しい友人や家族に送って観て貰っても良い。また、ネット上のビジネスとして拡大しつつある3次元バーチャル空間の中で、リアルなアバターとして存在させても良い。
【符号の説明】
【0044】
2 カメラ
3 フラッシュ
11 ライトパイプ
12 パターンマスク
12a ライン
12M 基準マーク
13 投影レンズ
14 絞り
15 較正板
16 フラッシュ光導入口
20 被写体
30 鏡
【特許請求の範囲】
【請求項1】
撮影用のフラッシュより発せられたフラッシュ光を導入するフラッシュ光導入手段と、被写体上に視差方向と垂直な方向に伸びる直線状のパターン光を投影するための、直線状のパターンが描かれた透過型のパターンマスクと、パターンマスクによって形成される直線状のパターン光と平行な方向には広く、垂直な方向には狭い光路を持つ結像光学手段を備える事を特徴とするパターン光投影装置。
【請求項2】
フラッシュから発せられたフラッシュ光がパターンマスクに至るまでの光路の側面に、フラッシュ光を光路の内側方向に反射させる機能を備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項3】
直線状のパターン光と垂直な方向の幅が1mmから4mmまでの範囲の細長いスリット状の開口を持った絞りを備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項4】
パターンマスク上に、投影されるパターン光の位置の基準となる基準マークを備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項5】
撮影用のフラッシュより発せられたフラッシュ光を導入するフラッシュ光導入口と、反射によりフラッシュ光の光軸を折り曲げる複数の光軸折り曲げ部と、視差を拡大する方向にフラッシュ光を導く光路を備え、透明な素材よりなり、全反射を利用して光の漏れを防ぐライトパイプを備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項6】
フラッシュ光を導く光路内に集光手段を備える事を特徴とする請求項5に記載のパターン光投影装置。
【請求項7】
全ての光軸折り曲げ部における光軸の方向変化を直角よりも小さくする事を特徴とする請求項5に記載のパターン光投影装置。
【請求項8】
ライトパイプのフラッシュ光放射口に刻まれた凹凸によりパターンマスクを形成した事を特徴とする請求項5に記載のパターン光投影装置。
【請求項9】
色の違いによってそれぞれ他の領域と区別する事が出来る複数の領域を備えたパターン光を投影する機能を備える事を特徴とするパターン光投影装置。
【請求項1】
撮影用のフラッシュより発せられたフラッシュ光を導入するフラッシュ光導入手段と、被写体上に視差方向と垂直な方向に伸びる直線状のパターン光を投影するための、直線状のパターンが描かれた透過型のパターンマスクと、パターンマスクによって形成される直線状のパターン光と平行な方向には広く、垂直な方向には狭い光路を持つ結像光学手段を備える事を特徴とするパターン光投影装置。
【請求項2】
フラッシュから発せられたフラッシュ光がパターンマスクに至るまでの光路の側面に、フラッシュ光を光路の内側方向に反射させる機能を備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項3】
直線状のパターン光と垂直な方向の幅が1mmから4mmまでの範囲の細長いスリット状の開口を持った絞りを備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項4】
パターンマスク上に、投影されるパターン光の位置の基準となる基準マークを備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項5】
撮影用のフラッシュより発せられたフラッシュ光を導入するフラッシュ光導入口と、反射によりフラッシュ光の光軸を折り曲げる複数の光軸折り曲げ部と、視差を拡大する方向にフラッシュ光を導く光路を備え、透明な素材よりなり、全反射を利用して光の漏れを防ぐライトパイプを備える事を特徴とする請求項1に記載のパターン光投影装置。
【請求項6】
フラッシュ光を導く光路内に集光手段を備える事を特徴とする請求項5に記載のパターン光投影装置。
【請求項7】
全ての光軸折り曲げ部における光軸の方向変化を直角よりも小さくする事を特徴とする請求項5に記載のパターン光投影装置。
【請求項8】
ライトパイプのフラッシュ光放射口に刻まれた凹凸によりパターンマスクを形成した事を特徴とする請求項5に記載のパターン光投影装置。
【請求項9】
色の違いによってそれぞれ他の領域と区別する事が出来る複数の領域を備えたパターン光を投影する機能を備える事を特徴とするパターン光投影装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2011−163988(P2011−163988A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2010−28337(P2010−28337)
【出願日】平成22年2月12日(2010.2.12)
【出願人】(707002802)
【Fターム(参考)】
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願日】平成22年2月12日(2010.2.12)
【出願人】(707002802)
【Fターム(参考)】
[ Back to top ]