３次元コンピュータグラフィックス用モデル生成装置
【課題】対象物の形状が簡単でなくても、また、至近距離での撮影でなくても、また、 対象物表面での光の反射が弱かったり強かったりしても、撮影に長い時間をかけずに、対象物の形状に正確な形状の３ＤＣＧ用モデルを自動的に生成することが、本発明が解決しようとする課題である。
【解決手段】レンズを前または後ろにスライドさせて移動させながら連続的に画像を撮影し、どの画像でピントが合っているかを計算して各画素の位置における奥行き座標を割り出し、三次元形状を求める。
【解決手段】レンズを前または後ろにスライドさせて移動させながら連続的に画像を撮影し、どの画像でピントが合っているかを計算して各画素の位置における奥行き座標を割り出し、三次元形状を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズとエリアイメージセンサで構成される画像撮影装置の撮影結果を用いて計算を行い、撮影対象と同様の形状を持つ３次元コンピュータグラフィックス（３ＤＣＧ）用モデルを自動的に生成する装置に関するものである。
【背景技術】
【０００２】
従来、カメラで撮影した画像を用いて計算を行い、撮影対象と同様の形状を持つ３ＤＣＧ用モデルを自動的に生成する方法（撮影対象の三次元形状をデータ化する方法）として、例えば、複数の方向から対象物を撮影し、それらの撮影画像における角度差（視差）から三次元形状を求める方法が存在したが（特開２００８−６５６８４号公報や特開２００６−３１５９５号公報など参照）、この方法は三次元データ化（３ＤＣＧ用モデル化）の精度が低く、簡単な形状、または、角度差が大きく写るような至近距離での撮影でないと、正確に三次元データ化できないという欠点があった。
【０００３】
このため、対象物が限定されてしまい、例えば、屋外の大きな建物や木などを三次元データ化することができなかった。
【０００４】
また、３Ｄレーザースキャナと呼ばれる、対象物にレーザーを照射して反射させ、帰ってくるまでの時間を計測して、計算で奥行き座標を割り出し、三次元形状を求める方法もあり（特開２００８−２７６７１２号公報など参照）、こちらは遠くの対象物も正確に三次元データ化できたが、レーザー光の反射が弱い（対象物が黒っぽい）場合や強すぎる（水面などで鏡状になっている）場合、奥行き座標の取得が困難であり、対象物が限定されていた。また、面をスキャンするのに多くの回数の測定を繰り返す必要があるため、スキャンに長い（通常、分単位以上の）時間がかかり（例えば、縦５００地点×横５００地点でスキャンを行う場合、２５万回の測定が必要になるなど）、多くの対象物の三次元データ化をまとめて行う場合などに不便であった。
【０００５】
また、従来、通常の写真撮影用カメラにおいて、オートフォーカスという、自動的にピント合わせを行うための機能が使用されてきた。
【０００６】
このオートフォーカスには大きくアクティブ方式とパッシブ方式の２つがあり、この内、パッシブ方式は、レンズが捉えた画像を利用してピント合わせを行う。
【０００７】
そして、パッシブ方式に分類されるコントラスト検出方式では、計算によってピントを合わせる（物理的にレンズを動かしながら計算によって画像のコントラストが高くなる位置を探し、そこをピントが合っている位置とする）ことなどを特徴とする。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６５６８４号公報
【特許文献２】特開２００６−３１５９５号公報
【特許文献３】特開２００８−２７６７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
対象物の形状が簡単でなくても、また、至近距離での撮影でなくても、また、対象物表面での光の反射が弱かったり強かったりしても、撮影に長い時間をかけずに、対象物の形状に正確な形状の３ＤＣＧ用モデルを自動的に生成することが、本発明が解決しようとする課題である。
【課題を解決するための手段】
【００１０】
本発明は、レンズを使って画像を撮影する場合に、ピントがあった時の焦点距離と、レンズの材質の屈折率・レンズの曲率などから、撮影対象の位置を計算により求めることができることを応用したもので、「エリアイメージセンサ（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら（図１参照）、動画撮影のように連続的に画像を撮影し、撮影後、撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを計算により求め、それを用いて計算し、それぞれの画素の位置における奥行き座標（「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離）を求めることを主な特徴とする。
【００１１】
ピントが合っているかどうかの判断は、対象物の形状が簡単でなくても、至近距離での撮影でなくても、対象物表面での光の反射が弱かったり強かったりしても、正確に行えるため、多くの対象物に対して精度の高い三次元データ化が実現できる。
【００１２】
また、本発明では、奥行きの検出可能数だけ撮影を繰り返せば良いため（例えば、奥行きを５００通り（５００段階）検出できるように撮影を行う場合、５００回の撮影で済むなど）、撮影が短時間で終わる。
【発明の効果】
【００１３】
本発明を用いれば、対象物の形状が簡単でなくても、また、至近距離での撮影でなくても、また、対象物表面での光の反射が弱かったり強かったりしても、対象物の形状に正確な形状の３ＤＣＧ用モデルを自動的に生成することができる。
【００１４】
また、特に、撮影した画像を一旦半導体デジタルメモリに記録した後、記録されたデータをハードディスクドライブやフラッシュメモリや光学ドライブなどの補助記憶装置に移すなどして、必要な数の画像を撮りだめすることができるようにした場合、多くの撮影対象の撮影をまとめて行う場合などでも撮影をすぐに済ませることができる（００４８参照）。
【図面の簡単な説明】
【００１５】
【図１】レンズを移動させる仕組みの構成例（エリアイメージセンサを固定し、レンズを「撮影対象の在る方向」へ移動させる場合）を示した図である。なお、抽象図であるため、尺や形状などは正確ではない。
【図２】本発明の撮影・三次元データ化のおおまかな手順を簡単な例について説明した概念図である。なお、抽象図であるため、尺や形状などは正確ではない。（１コマ目）
【図３】図２に同じ。（２コマ目）
【図４】図２に同じ。（３コマ目）
【図５】図２に同じ。（４コマ目）
【図６】図２に同じ。（５コマ目）
【図７】図２に同じ。（６コマ目）
【発明を実施するための最良の形態】
【００１６】
本発明では、「エリアイメージセンサ（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら、動画撮影のように連続的に画像を撮影し、撮影後、撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを計算により求め、それを用いて計算し、それぞれの画素の位置における奥行き座標（「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離）を求める。
【００１７】
例えば、ＣＭＯＳイメージセンサを三脚で地面に固定し、モーターを用いてレンズを「撮影対象の在る方向、または、その逆の方向」へスライドさせて移動させながら、ハイスピードカメラと同様に連続的に画像を撮影し、撮影が終わった後、パソコンなどのコンピュータを使って、まとめて画像を構成する各画素の位置における奥行き座標を計算で求め、三次元データ化する。
【００１８】
なお、「ピントが合っているかを求める計算」は、例えば、撮影画像を構成する画素の位置それぞれにおいて、その位置の画素と周囲の位置の画素における「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定して、その画像でピントが合っていると判断することを特徴とする計算を指す。
【００１９】
また、「撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを求める計算」は、例えば、「何枚目の画像の撮影時に、エリアイメージセンサとレンズとの距離がどの値か」を実測などにより調べておき、それと「何枚目の画像でピントが合っているか」を照らし合わせて、ピントが合っている時のエリアイメージセンサとレンズとの距離を求めることを特徴とする計算を指す。
【００２０】
また、「それぞれの画素の位置における奥行き座標（「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離）を求める計算」とは、例えば、「エリアイメージセンサとレンズとの距離」と「レンズの素材の屈折率」と「レンズの曲率」を用いて、「エリアイメージセンサとレンズとの距離」を焦点距離として、それらを公式に当てはめて求めることを特徴とする計算を指す。
【００２１】
本発明においては、以上のように、撮影対象が在る「現実三次元空間」、「エリアイメージセンサ上の二次元空間」、「撮影画像内の二次元空間」、３ＤＣＧ用モデルが在る「仮想三次元空間」の４つの空間を対応させながら、必要な値を求めていく。
【００２２】
なお、図２〜図７において、本発明の撮影・三次元データ化のおおまかな手順を、撮影時にエリアイメージセンサを固定してレンズを「撮影対象の在る方向」へ移動させ、画像の撮影枚数を４枚のみとした例について説明してある。
【００２３】
なお、図７の３ＤＣＧ用モデルは、起伏が見やすいように、三次元棒グラフ状にして描いてある。
【００２４】
また、後述の通り、正確には、奥行きが遠くなるほど（ＡよりＢ、ＢよりＣ、ＣよりＤの方が）、３ＤＣＧモデルに変換する時に、３ＤＣＧモデル中の「エリアイメージセンサ上の１画素に対応する部分」が大きくなる、即ち、図７の変換後の３ＤＣＧ用モデルにおいて、凹んだ部分ほど縦横が大きくなるが、図２〜図７は手順の理解のための抽象図であるため、このことを考慮していない。
【００２５】
以上などを要点とする本発明の実施の形態を、以下、順を追って説明する。
【００２６】
以下は、本発明の、３ＤＣＧ用モデルを自動的に生成する装置である。
【００２７】
Ａ．エリアイメージセンサとレンズを備えている。
【００２８】
Ｂ．「エリアイメージセンサ」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら連続的に画像を撮影する仕組みを備えている。
【００２９】
Ｃ．Ｂによって撮影した画像を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを計算により求める仕組みを備えている。
【００３０】
Ｄ．「レンズの素材の屈折率」と「レンズの曲率」と「Ｃで求めた、ピントが合っている時のエリアイメージセンサとレンズとの距離」を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離を計算によって求める仕組みを備えている。
【００３１】
Ｅ．Ｂによって撮影した画像を構成する画素それぞれの「画像上の二次元座標」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｘ軸・ｙ軸・ｚ軸の３つの軸の内の２つの軸における値」を対応させる仕組みを備えている。
【００３２】
Ｆ．Ｂによって撮影した画像を構成する画素の位置それぞれの「Ｄによって求まった距離」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、Ｅの「２つの軸」以外の軸における値」を対応させる仕組みを備えている。
【００３３】
Ｇ．「「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」と「その「エリアイメージセンサ上の或る画素」」との距離」がいくつである時に、「その「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」」の「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」がいくつになるかを求めておき、それを用いて、撮影対象表面上における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での線αと、Ｅの「２つの軸」以外の軸に対応する方向での線βで、長さが同じ場合、仮想三次元空間内の撮影対象に対応した３次元コンピュータグラフィックス用モデルにおいても、線αに対応した線と線βに対応した線が同じ長さで表されるように、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、Ｅの「２つの軸」における値」」と、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、Ｅの「２つの軸」以外の軸における値」」を決める仕組みを備えている。
【００３４】
以上のＡ〜Ｇのごとき特徴を持った、３次元コンピュータグラフィックス用モデル生成装置。
【００３５】
なお、本発明における画像の撮影は、デジタルハイスピードカメラで行っても良い（Ａの「エリアイメージセンサとレンズ」は、デジタルハイスピードカメラのものでも良い。Ｂの「連続的に画像を撮影する仕組み」は、デジタルハイスピードカメラでも良い）。また、そのデジタルハイスピードカメラは、一体型でも良いし、分離型でも良い。
【００３６】
なお、デジタルハイスピードカメラを用いる場合、一般的な構造のものでも２０万コマ／秒、特殊な構造のものも含めると２０００万コマ／秒の撮影を行える。
【００３７】
また、本発明においては、高速に連続撮影が行えるほど、より細かな単位の奥行きで、または、より長い範囲の奥行きで、または、より短い時間で撮影を行えるようになるため、一般に、撮影速度が速いものの方が有利であるが、高速になるほどノイズが増えるため、その兼ね合いを考えて撮影速度を決めると良い。
【００３８】
また、本発明で用いるエリアイメージセンサは、ＣＣＤイメージセンサでも良いし、ＭＯＳ（ＣＭＯＳなど）イメージセンサでも良い。
【００３９】
なお、本発明には、高速に電荷を読み出せるＣＭＯＳがより適している。
【００４０】
また、一般に、レンズは、焦点距離が長いものほど、また、絞りを絞らないものほど（即ち、望遠よりなものほど、被写界深度が浅いものほど）、奥行きの変化に対してのピントの変化が急になり、検出しやすくなるため、本発明により適している。
【００４１】
なお、この場合、圧縮効果（遠くのものも大きく見える効果）によって、奥行き座標の変化に対してのＧの「全長」の変化が小さくなる。
【００４２】
また、Ｂの「もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させる仕組み」は、ズームレンズのように、筒の中でレンズを前または後ろにスライドさせて移動させる仕組みでも良い（図１参照）。
【００４３】
なお、その場合、画像を撮影している間は、エリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）が静止するようになっていても良い。例えば、レンズを静止したまま画像を１枚撮影し、その後、少しだけレンズを前または後ろに動かして再び静止させた後、また画像を１枚撮影する、ということを繰り返しても良い。これにより、撮影画像のブレを抑えることができる。また、この場合、静止時は、ブレーキとなる物（変形しにくい固い物など）でレンズを押さえ付けて、レンズが移動しないように固定しても良い。
【００４４】
また、より正確にレンズの位置決めを行うために、レンズの位置を調べることができる位置センサを取り付けても良い。
【００４５】
また、Ｂの「「エリアイメージセンサ」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら連続的に画像を撮影する仕組み」は、例えば、ズームレンズに用いられているもののような、モーターの動力を歯車によって伝え、それによってエリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）を移動するものでも良い。具体例を１つ挙げれば、モーターの回転軸に歯車を取り付け、その歯車を、さらにもう１つの歯車を挟んで「ボディ（ボディは手や三脚などで固定されるものとする）に固定されたラック」に繋ぎ、モーターの軸受けにエリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）を固定するものが考えられる。この場合、間に挟んだ歯車の径を大きくすることにより、容易に「エリアイメージセンサまたはレンズの移動の単位距離（最小で移動をどれくらいの長さに抑えられるか）」を小さくでき（歯車の微細化には限界があるが、歯車の巨大化には制限があまり無いため）、より細かくエリアイメージセンサまたはレンズを動かしやすくなる。例えば、歯車が、モーターの回転軸に取り付けられたもの、ボディに固定されたラック、それらを繋ぐ歯車の３つであり、それらを繋ぐ歯車の径が、他の２つの歯車の径よりも大きくなっていても良い。
【００４６】
また、一般に、Ｂの仕組みによるエリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）の移動の単位距離（最小で移動をどれくらいの長さに抑えられるか）は、小さい方が良い（小さいほど、より細かく奥行き座標を検出できるようになる）。
【００４７】
また、Ｂにおいて撮影した画像は、ＤＲＡＭなどの半導体デジタルメモリに記録しても良い。また、コンピュータに転送しても良い。
【００４８】
また、その場合、一旦半導体デジタルメモリに記録した後、記録されたデータをハードディスクドライブやフラッシュメモリや光学ドライブなどの補助記憶装置などに移しても（コピーまたは移動しても）良い。これにより、必要な画像の数が多い場合でも（多くの撮影対象の撮影をまとめて行う場合などでも）画像を撮りだめすることができるので、撮影をすぐに済ませることができる（例えば、屋外で１つのプロジェクトに必要な撮影をまとめて行う時に、撮影をすぐに済ませて帰ることができる）。これは、本発明においては、撮影現場で時間のかかる「計算」という作業を一緒に行う必要が無く、連続的な画像撮影のみを行えば良いためである（例えば、屋外で画像を撮りだめした後、屋内に戻ってから、まとめてコンピュータで奥行き座標を求める計算などを行っても良い）。
【００４９】
また、Ｂの「「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら」とは、正確に「撮影対象の在る方向、または、その逆の方向」に移動させることだけを指すのではなく、移動の速度成分に少しでも「撮影対象の在る方向、または、その逆の方向」の速度を含んだ移動であれば良い。
【００５０】
例えば、撮影対象に対して斜めとなる向きでの移動でも良い。
【００５１】
また、Ｂにおいてレンズを移動させるときは、それぞれの画素に映り込む現実空間内の範囲が直線的に変化するように、正確にレンズの軸の向きと一致するような方向で、または、正確にエリアイメージセンサと垂直な方向で、直線的に移動させることが望ましい。
【００５２】
また、撮影対象は動かないものにすることが望ましい。よって、例えば、屋外で木や草原などの撮影を行う場合は、枝や葉が全く動かないくらい風が静かな日にした方が良い。
【００５３】
また、撮影時、エリアイメージセンサやレンズなどが取り付けられた本体は、三脚などを使って地面と固定しても良い（「エリアイメージセンサとレンズの内、移動させない方」が三脚に固定されていても良い）。
【００５４】
また、Ｂの撮影は、屋内で行っても良いし、屋外で行っても良い。なお、一般に、屋外の方が長時間の滞在に労力が必要となるため、本発明の「撮影をすぐに済ませることができる」という特徴をより活かすことができる。
【００５５】
また、Ｃの「ピントが合っているかを求める計算」は、例えば、撮影画像を構成する画素の位置それぞれにおいて、その位置の画素と周囲の位置の画素における「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定して、その画像でピントが合っていると判断することを特徴とする計算でも良い。
【００５６】
通常、本発明においては、撮影対象単位でピントを合わせる場合（カメラのオートフォーカスなど）と異なり、画素単位でピントを合わせるため、周りの画素のピントボケにより生じる拡散光（よりピントがぼけるほど、より撮影対象表面上の一点から進んできた光が広く拡散する）の影響が大きい（ピントが合っているかどうかの判定を行っている画素に余計な光が入り込んで、色が不規則に狂ってしまう）。しかし、「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定すれば、それらの余計な光の影響を抑えることができる。なお、このコントラスト変化の傾きによるピーク位置の推測でのピント合わせは、画素単位ではなく撮影対象単位のものではあるが、近年、フォーカスの高速化のために、カメラのオートフォーカスにおいて実用化されている。
【００５７】
また、この場合、ＣＭＯＳエリアイメージセンサ固有のノイズの影響も、ある程度抑えることができる。
【００５８】
なお、００５５〜００５７の計算は、画素ごとの計算となるため計算量が多くなるが、本発明においては、通常、画像を撮りだめした後に、まとめて高性能なコンピュータを使って計算を行うため（カメラのオートフォーカスのように、性能の低い内臓小型回路を使ってリアルタイムに計算するわけではないので）、問題とならない。
【００５９】
また、Ｃの「撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを求める計算」は、例えば、「何枚目の画像の撮影時に、エリアイメージセンサとレンズとの距離がどの値か」を実測などにより調べておき、それと「何枚目の画像でピントが合っているか」を照らし合わせて、ピントが合っている時のエリアイメージセンサとレンズとの距離を求めることを特徴とする計算でも良い。
【００６０】
例えば、何枚目の画像の撮影時に「エリアイメージセンサとレンズとの距離」がどの値になっているかを実測して表にしておき、参照できるようにしておいても良い。また、その場合、撮影開始から撮影終了までのレンズの位置が、何回撮影を行っても同じになるようにレンズ移動装置を作っておくと良い（撮影開始時点では常に位置ａとなり、撮影開始時点から０．１秒後では常に位置ｂとなり、撮影開始時点から０．２秒後では常に位置ｃとなり、、、など）。
【００６１】
また、Ｄで奥行き座標を求める時、「撮影距離の最小値」を下回ると予測される場合（「或る画素の位置における画像の違いによるコントラストの変化を表す線形の式」などにより判断できる）、奥行き座標を「撮影距離の最小値」に対応させても良い。同様に、「撮影距離の最大値」を上回ると予測される場合、奥行き座標を「撮影距離の最大値」に対応させても良い。
【００６２】
また、Ｄの奥行き座標を求める計算は、 例えば、「エリアイメージセンサとレンズとの距離」と「レンズの素材の屈折率」と「レンズの曲率」を用いて、「エリアイメージセンサとレンズとの距離」を焦点距離として、それらを公式に当てはめて求めることを特徴とする計算でも良い。
【００６３】
また、「ＡをＢに対応させる」とは、Ａが表現しようとするものと、Ｂが表現しようとするものが同じであるということなどを指す。
【００６４】
例えば、ＡとＢが両方とも座標や距離などの「値」である場合、ＡとＡ以外の「Ａと同種の値（例えば、Ａが或る画像上の二次元座標だった場合は、同じ画像上の二次元座標）」との比率と、ＢとＢ以外の「Ｂと同種の値」との比率が、同じになることなどを指す。
【００６５】
また、例えば、Ａが画素、Ｂが頂点だった場合、Ｂは、Ａを表すような頂点などを指す。
【００６６】
また、例えば、Ａが仮想三次元空間内の軸、Ｂが現実空間における方向であった場合、仮想三次元空間内における「表現しようとする対象物に対応したモデル」を基準としたＡの軸の向きが、現実空間内における表現されるべき対象物を基準としたＢの向きと同じになることなどを指す。
【００６７】
また、Ｇは、簡単に言えば、エリアイメージセンサ上の画素（フォトダイオード）の大きさが全て同じであっても、それぞれの画素に映り込む現実空間内の撮影対象の範囲（幅や高さ）は奥行き座標によって異なるため、それらを３ＤＣＧ用モデルを構成する頂点の位置を決める計算時に考慮する（それらに応じて頂点の間隔を調節する）という意味である。
【００６８】
例えば、同じ２０マイクロメートル四方の画素であっても、片方には奥行き１メートル地点にある撮影対象が映り込んでいて、もう片方には奥行き１０メートル地点にある撮影対象が映りこんでいる場合、後者の方がより広い範囲（幅や高さ）が映り込む（遠近法と同様の理屈）ので、３ＤＣＧ用モデルを生成する時に、後者の方が「１つの画素に対応する部分」がより大きくなり、より広い範囲において頂点の奥行き座標が同じになる。
【００６９】
また、Ｇの「「「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」と「その「エリアイメージセンサ上の或る画素」」との距離」がいくつである時に、「その「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」」の「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」がいくつになるかを求め」とは、例えば、何枚目の撮影画像の時に、エリアイメージセンサ上の１つの画素にどれだけの範囲の現実空間が映り込むかを実測して表にしておき、それを求める時はその表を参照するものでも良い。
【００７０】
また、「レンズの素材の屈折率」と「レンズの曲率」と「エリアイメージセンサ、レンズ、撮影対象の位置」などを公式に当てはめて計算で求めるものでも良い。
【００７１】
また、「レンズの素材の屈折率」と「レンズの曲率」と「エリアイメージセンサ、レンズ、撮影対象の位置」などを公式に当てはめて計算で求めて表にしておき、それを求める時はその表を参照するものでも良い。
【００７２】
また、レンズの色収差の影響を抑えるため、ＣやＤやＧなどにおいて、画像として赤または青または緑の単色での画像を使用したり、それと同じ単色での「レンズの素材の屈折率」を用いたり、それと同じ単色での「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」を用いても良い。また、さらに、より正確な結果が得られるように、赤または青または緑の内の２色以上において、それぞれ、単色での画像や単色での「レンズの素材の屈折率」や単色での「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」を使用してＦとＧで奥行き座標を求めた後、それらを照合しても良い（例えば、色によって或る頂点の奥行き座標が異なる場合（結果がずれている場合）は、それらの奥行き座標の中間の座標または平均に該当する座標を、その頂点の奥行き座標とするなど）。
【００７３】
また、レンズの色収差の影響を抑えるため、レンズの代わりに反射光学系を使用しても良い。
【００７４】
また、レンズの単色収差の影響を抑えるため、撮影時に、レンズとして、半導体露光装置などに用いられる、収差を補正した光学系（組み合わせたレンズなど）を用いても良い。
【００７５】
また、本発明を用いて、どの角度に視点を回転させても立体となっている３ＤＣＧ用モデルを作りたい場合は、例えば、本発明を用いて、複数の方向（漏れなく全体を撮影するためには、３方向以上が望ましい）から撮影・三次元データ化を繰り返して、別々に「それぞれの角度から見える部分の３ＤＣＧ用モデル」を作り、それらを張り合わせても良い。例えば、撮影対象に対して水平な位置から、撮影対象に対して１２０度ずつずれた３方向において、本発明による撮影・三次元データ化を行い、それらをそれぞれ適切に回転・移動させて（さらに、必要な場合は拡大・縮小も行い）貼り合わせても良い。
【００７６】
なお、その場合、従来の「３ＤＣＧ用モデルを生成する装置」で行われている手順と同様な手順で、形状や色の変化（模様など）などを利用してコンピュータで計算を行って自動的に張り合わせても良い。
【００７７】
また、本発明は、コンピューターゲーム用３ＤＣＧ生成装置であっても良いし、映画用３ＤＣＧ生成装置であっても良いし、地形や建造物などの計測用の３ＤＣＧ生成装置であっても良い。
【００７８】
また、本発明における「計算」は、パソコンで行っても良いし、ワークステーションで行っても良いし、スーパーコンピュータで行っても良い。
【００７９】
本発明では、以上のごとき装置を使って、撮影対象を撮影・三次元データ化する。
【００８０】
例えば、奥行き座標を１ミリメートル幅で検出できるほど、エリアイメージセンサまたはレンズを細かな単位で移動させることができ、また、エリアイメージセンサまたはレンズの移動範囲内で等幅１万段階の位置切り替えを行うことができ、また、エリアイメージセンサまたはレンズを１秒で移動範囲の最初から最後まで移動させることができ、また、三脚で地面に固定した１万コマ／秒のハイスピードカメラを使って撮影を行う場合、１秒で、奥行き１０メートルの範囲（例えば、「カメラから２メートル奥」〜「カメラから１２メートル奥」）の撮影を行えるので、手軽に精巧な木などの３ＤＣＧ用モデルを作ることができる。
【符号の説明】
【００８１】
１ レンズ
２ 筒
３ エリアイメージセンサ
【技術分野】
【０００１】
本発明は、レンズとエリアイメージセンサで構成される画像撮影装置の撮影結果を用いて計算を行い、撮影対象と同様の形状を持つ３次元コンピュータグラフィックス（３ＤＣＧ）用モデルを自動的に生成する装置に関するものである。
【背景技術】
【０００２】
従来、カメラで撮影した画像を用いて計算を行い、撮影対象と同様の形状を持つ３ＤＣＧ用モデルを自動的に生成する方法（撮影対象の三次元形状をデータ化する方法）として、例えば、複数の方向から対象物を撮影し、それらの撮影画像における角度差（視差）から三次元形状を求める方法が存在したが（特開２００８−６５６８４号公報や特開２００６−３１５９５号公報など参照）、この方法は三次元データ化（３ＤＣＧ用モデル化）の精度が低く、簡単な形状、または、角度差が大きく写るような至近距離での撮影でないと、正確に三次元データ化できないという欠点があった。
【０００３】
このため、対象物が限定されてしまい、例えば、屋外の大きな建物や木などを三次元データ化することができなかった。
【０００４】
また、３Ｄレーザースキャナと呼ばれる、対象物にレーザーを照射して反射させ、帰ってくるまでの時間を計測して、計算で奥行き座標を割り出し、三次元形状を求める方法もあり（特開２００８−２７６７１２号公報など参照）、こちらは遠くの対象物も正確に三次元データ化できたが、レーザー光の反射が弱い（対象物が黒っぽい）場合や強すぎる（水面などで鏡状になっている）場合、奥行き座標の取得が困難であり、対象物が限定されていた。また、面をスキャンするのに多くの回数の測定を繰り返す必要があるため、スキャンに長い（通常、分単位以上の）時間がかかり（例えば、縦５００地点×横５００地点でスキャンを行う場合、２５万回の測定が必要になるなど）、多くの対象物の三次元データ化をまとめて行う場合などに不便であった。
【０００５】
また、従来、通常の写真撮影用カメラにおいて、オートフォーカスという、自動的にピント合わせを行うための機能が使用されてきた。
【０００６】
このオートフォーカスには大きくアクティブ方式とパッシブ方式の２つがあり、この内、パッシブ方式は、レンズが捉えた画像を利用してピント合わせを行う。
【０００７】
そして、パッシブ方式に分類されるコントラスト検出方式では、計算によってピントを合わせる（物理的にレンズを動かしながら計算によって画像のコントラストが高くなる位置を探し、そこをピントが合っている位置とする）ことなどを特徴とする。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６５６８４号公報
【特許文献２】特開２００６−３１５９５号公報
【特許文献３】特開２００８−２７６７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
対象物の形状が簡単でなくても、また、至近距離での撮影でなくても、また、対象物表面での光の反射が弱かったり強かったりしても、撮影に長い時間をかけずに、対象物の形状に正確な形状の３ＤＣＧ用モデルを自動的に生成することが、本発明が解決しようとする課題である。
【課題を解決するための手段】
【００１０】
本発明は、レンズを使って画像を撮影する場合に、ピントがあった時の焦点距離と、レンズの材質の屈折率・レンズの曲率などから、撮影対象の位置を計算により求めることができることを応用したもので、「エリアイメージセンサ（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら（図１参照）、動画撮影のように連続的に画像を撮影し、撮影後、撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを計算により求め、それを用いて計算し、それぞれの画素の位置における奥行き座標（「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離）を求めることを主な特徴とする。
【００１１】
ピントが合っているかどうかの判断は、対象物の形状が簡単でなくても、至近距離での撮影でなくても、対象物表面での光の反射が弱かったり強かったりしても、正確に行えるため、多くの対象物に対して精度の高い三次元データ化が実現できる。
【００１２】
また、本発明では、奥行きの検出可能数だけ撮影を繰り返せば良いため（例えば、奥行きを５００通り（５００段階）検出できるように撮影を行う場合、５００回の撮影で済むなど）、撮影が短時間で終わる。
【発明の効果】
【００１３】
本発明を用いれば、対象物の形状が簡単でなくても、また、至近距離での撮影でなくても、また、対象物表面での光の反射が弱かったり強かったりしても、対象物の形状に正確な形状の３ＤＣＧ用モデルを自動的に生成することができる。
【００１４】
また、特に、撮影した画像を一旦半導体デジタルメモリに記録した後、記録されたデータをハードディスクドライブやフラッシュメモリや光学ドライブなどの補助記憶装置に移すなどして、必要な数の画像を撮りだめすることができるようにした場合、多くの撮影対象の撮影をまとめて行う場合などでも撮影をすぐに済ませることができる（００４８参照）。
【図面の簡単な説明】
【００１５】
【図１】レンズを移動させる仕組みの構成例（エリアイメージセンサを固定し、レンズを「撮影対象の在る方向」へ移動させる場合）を示した図である。なお、抽象図であるため、尺や形状などは正確ではない。
【図２】本発明の撮影・三次元データ化のおおまかな手順を簡単な例について説明した概念図である。なお、抽象図であるため、尺や形状などは正確ではない。（１コマ目）
【図３】図２に同じ。（２コマ目）
【図４】図２に同じ。（３コマ目）
【図５】図２に同じ。（４コマ目）
【図６】図２に同じ。（５コマ目）
【図７】図２に同じ。（６コマ目）
【発明を実施するための最良の形態】
【００１６】
本発明では、「エリアイメージセンサ（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら、動画撮影のように連続的に画像を撮影し、撮影後、撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを計算により求め、それを用いて計算し、それぞれの画素の位置における奥行き座標（「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離）を求める。
【００１７】
例えば、ＣＭＯＳイメージセンサを三脚で地面に固定し、モーターを用いてレンズを「撮影対象の在る方向、または、その逆の方向」へスライドさせて移動させながら、ハイスピードカメラと同様に連続的に画像を撮影し、撮影が終わった後、パソコンなどのコンピュータを使って、まとめて画像を構成する各画素の位置における奥行き座標を計算で求め、三次元データ化する。
【００１８】
なお、「ピントが合っているかを求める計算」は、例えば、撮影画像を構成する画素の位置それぞれにおいて、その位置の画素と周囲の位置の画素における「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定して、その画像でピントが合っていると判断することを特徴とする計算を指す。
【００１９】
また、「撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを求める計算」は、例えば、「何枚目の画像の撮影時に、エリアイメージセンサとレンズとの距離がどの値か」を実測などにより調べておき、それと「何枚目の画像でピントが合っているか」を照らし合わせて、ピントが合っている時のエリアイメージセンサとレンズとの距離を求めることを特徴とする計算を指す。
【００２０】
また、「それぞれの画素の位置における奥行き座標（「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離）を求める計算」とは、例えば、「エリアイメージセンサとレンズとの距離」と「レンズの素材の屈折率」と「レンズの曲率」を用いて、「エリアイメージセンサとレンズとの距離」を焦点距離として、それらを公式に当てはめて求めることを特徴とする計算を指す。
【００２１】
本発明においては、以上のように、撮影対象が在る「現実三次元空間」、「エリアイメージセンサ上の二次元空間」、「撮影画像内の二次元空間」、３ＤＣＧ用モデルが在る「仮想三次元空間」の４つの空間を対応させながら、必要な値を求めていく。
【００２２】
なお、図２〜図７において、本発明の撮影・三次元データ化のおおまかな手順を、撮影時にエリアイメージセンサを固定してレンズを「撮影対象の在る方向」へ移動させ、画像の撮影枚数を４枚のみとした例について説明してある。
【００２３】
なお、図７の３ＤＣＧ用モデルは、起伏が見やすいように、三次元棒グラフ状にして描いてある。
【００２４】
また、後述の通り、正確には、奥行きが遠くなるほど（ＡよりＢ、ＢよりＣ、ＣよりＤの方が）、３ＤＣＧモデルに変換する時に、３ＤＣＧモデル中の「エリアイメージセンサ上の１画素に対応する部分」が大きくなる、即ち、図７の変換後の３ＤＣＧ用モデルにおいて、凹んだ部分ほど縦横が大きくなるが、図２〜図７は手順の理解のための抽象図であるため、このことを考慮していない。
【００２５】
以上などを要点とする本発明の実施の形態を、以下、順を追って説明する。
【００２６】
以下は、本発明の、３ＤＣＧ用モデルを自動的に生成する装置である。
【００２７】
Ａ．エリアイメージセンサとレンズを備えている。
【００２８】
Ｂ．「エリアイメージセンサ」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら連続的に画像を撮影する仕組みを備えている。
【００２９】
Ｃ．Ｂによって撮影した画像を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを計算により求める仕組みを備えている。
【００３０】
Ｄ．「レンズの素材の屈折率」と「レンズの曲率」と「Ｃで求めた、ピントが合っている時のエリアイメージセンサとレンズとの距離」を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、「エリアイメージセンサ上の或る画素」と「撮影対象表面上におけるその「エリアイメージセンサ上の或る画素」に映った部分」との距離を計算によって求める仕組みを備えている。
【００３１】
Ｅ．Ｂによって撮影した画像を構成する画素それぞれの「画像上の二次元座標」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｘ軸・ｙ軸・ｚ軸の３つの軸の内の２つの軸における値」を対応させる仕組みを備えている。
【００３２】
Ｆ．Ｂによって撮影した画像を構成する画素の位置それぞれの「Ｄによって求まった距離」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、Ｅの「２つの軸」以外の軸における値」を対応させる仕組みを備えている。
【００３３】
Ｇ．「「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」と「その「エリアイメージセンサ上の或る画素」」との距離」がいくつである時に、「その「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」」の「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」がいくつになるかを求めておき、それを用いて、撮影対象表面上における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での線αと、Ｅの「２つの軸」以外の軸に対応する方向での線βで、長さが同じ場合、仮想三次元空間内の撮影対象に対応した３次元コンピュータグラフィックス用モデルにおいても、線αに対応した線と線βに対応した線が同じ長さで表されるように、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、Ｅの「２つの軸」における値」」と、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、Ｅの「２つの軸」以外の軸における値」」を決める仕組みを備えている。
【００３４】
以上のＡ〜Ｇのごとき特徴を持った、３次元コンピュータグラフィックス用モデル生成装置。
【００３５】
なお、本発明における画像の撮影は、デジタルハイスピードカメラで行っても良い（Ａの「エリアイメージセンサとレンズ」は、デジタルハイスピードカメラのものでも良い。Ｂの「連続的に画像を撮影する仕組み」は、デジタルハイスピードカメラでも良い）。また、そのデジタルハイスピードカメラは、一体型でも良いし、分離型でも良い。
【００３６】
なお、デジタルハイスピードカメラを用いる場合、一般的な構造のものでも２０万コマ／秒、特殊な構造のものも含めると２０００万コマ／秒の撮影を行える。
【００３７】
また、本発明においては、高速に連続撮影が行えるほど、より細かな単位の奥行きで、または、より長い範囲の奥行きで、または、より短い時間で撮影を行えるようになるため、一般に、撮影速度が速いものの方が有利であるが、高速になるほどノイズが増えるため、その兼ね合いを考えて撮影速度を決めると良い。
【００３８】
また、本発明で用いるエリアイメージセンサは、ＣＣＤイメージセンサでも良いし、ＭＯＳ（ＣＭＯＳなど）イメージセンサでも良い。
【００３９】
なお、本発明には、高速に電荷を読み出せるＣＭＯＳがより適している。
【００４０】
また、一般に、レンズは、焦点距離が長いものほど、また、絞りを絞らないものほど（即ち、望遠よりなものほど、被写界深度が浅いものほど）、奥行きの変化に対してのピントの変化が急になり、検出しやすくなるため、本発明により適している。
【００４１】
なお、この場合、圧縮効果（遠くのものも大きく見える効果）によって、奥行き座標の変化に対してのＧの「全長」の変化が小さくなる。
【００４２】
また、Ｂの「もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させる仕組み」は、ズームレンズのように、筒の中でレンズを前または後ろにスライドさせて移動させる仕組みでも良い（図１参照）。
【００４３】
なお、その場合、画像を撮影している間は、エリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）が静止するようになっていても良い。例えば、レンズを静止したまま画像を１枚撮影し、その後、少しだけレンズを前または後ろに動かして再び静止させた後、また画像を１枚撮影する、ということを繰り返しても良い。これにより、撮影画像のブレを抑えることができる。また、この場合、静止時は、ブレーキとなる物（変形しにくい固い物など）でレンズを押さえ付けて、レンズが移動しないように固定しても良い。
【００４４】
また、より正確にレンズの位置決めを行うために、レンズの位置を調べることができる位置センサを取り付けても良い。
【００４５】
また、Ｂの「「エリアイメージセンサ」と「レンズ」の内の一方の三次元空間上の位置を固定しておき、もう一方を「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら連続的に画像を撮影する仕組み」は、例えば、ズームレンズに用いられているもののような、モーターの動力を歯車によって伝え、それによってエリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）を移動するものでも良い。具体例を１つ挙げれば、モーターの回転軸に歯車を取り付け、その歯車を、さらにもう１つの歯車を挟んで「ボディ（ボディは手や三脚などで固定されるものとする）に固定されたラック」に繋ぎ、モーターの軸受けにエリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）を固定するものが考えられる。この場合、間に挟んだ歯車の径を大きくすることにより、容易に「エリアイメージセンサまたはレンズの移動の単位距離（最小で移動をどれくらいの長さに抑えられるか）」を小さくでき（歯車の微細化には限界があるが、歯車の巨大化には制限があまり無いため）、より細かくエリアイメージセンサまたはレンズを動かしやすくなる。例えば、歯車が、モーターの回転軸に取り付けられたもの、ボディに固定されたラック、それらを繋ぐ歯車の３つであり、それらを繋ぐ歯車の径が、他の２つの歯車の径よりも大きくなっていても良い。
【００４６】
また、一般に、Ｂの仕組みによるエリアイメージセンサまたはレンズ（仕組みを用いて移動させる方）の移動の単位距離（最小で移動をどれくらいの長さに抑えられるか）は、小さい方が良い（小さいほど、より細かく奥行き座標を検出できるようになる）。
【００４７】
また、Ｂにおいて撮影した画像は、ＤＲＡＭなどの半導体デジタルメモリに記録しても良い。また、コンピュータに転送しても良い。
【００４８】
また、その場合、一旦半導体デジタルメモリに記録した後、記録されたデータをハードディスクドライブやフラッシュメモリや光学ドライブなどの補助記憶装置などに移しても（コピーまたは移動しても）良い。これにより、必要な画像の数が多い場合でも（多くの撮影対象の撮影をまとめて行う場合などでも）画像を撮りだめすることができるので、撮影をすぐに済ませることができる（例えば、屋外で１つのプロジェクトに必要な撮影をまとめて行う時に、撮影をすぐに済ませて帰ることができる）。これは、本発明においては、撮影現場で時間のかかる「計算」という作業を一緒に行う必要が無く、連続的な画像撮影のみを行えば良いためである（例えば、屋外で画像を撮りだめした後、屋内に戻ってから、まとめてコンピュータで奥行き座標を求める計算などを行っても良い）。
【００４９】
また、Ｂの「「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら」とは、正確に「撮影対象の在る方向、または、その逆の方向」に移動させることだけを指すのではなく、移動の速度成分に少しでも「撮影対象の在る方向、または、その逆の方向」の速度を含んだ移動であれば良い。
【００５０】
例えば、撮影対象に対して斜めとなる向きでの移動でも良い。
【００５１】
また、Ｂにおいてレンズを移動させるときは、それぞれの画素に映り込む現実空間内の範囲が直線的に変化するように、正確にレンズの軸の向きと一致するような方向で、または、正確にエリアイメージセンサと垂直な方向で、直線的に移動させることが望ましい。
【００５２】
また、撮影対象は動かないものにすることが望ましい。よって、例えば、屋外で木や草原などの撮影を行う場合は、枝や葉が全く動かないくらい風が静かな日にした方が良い。
【００５３】
また、撮影時、エリアイメージセンサやレンズなどが取り付けられた本体は、三脚などを使って地面と固定しても良い（「エリアイメージセンサとレンズの内、移動させない方」が三脚に固定されていても良い）。
【００５４】
また、Ｂの撮影は、屋内で行っても良いし、屋外で行っても良い。なお、一般に、屋外の方が長時間の滞在に労力が必要となるため、本発明の「撮影をすぐに済ませることができる」という特徴をより活かすことができる。
【００５５】
また、Ｃの「ピントが合っているかを求める計算」は、例えば、撮影画像を構成する画素の位置それぞれにおいて、その位置の画素と周囲の位置の画素における「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定して、その画像でピントが合っていると判断することを特徴とする計算でも良い。
【００５６】
通常、本発明においては、撮影対象単位でピントを合わせる場合（カメラのオートフォーカスなど）と異なり、画素単位でピントを合わせるため、周りの画素のピントボケにより生じる拡散光（よりピントがぼけるほど、より撮影対象表面上の一点から進んできた光が広く拡散する）の影響が大きい（ピントが合っているかどうかの判定を行っている画素に余計な光が入り込んで、色が不規則に狂ってしまう）。しかし、「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定すれば、それらの余計な光の影響を抑えることができる。なお、このコントラスト変化の傾きによるピーク位置の推測でのピント合わせは、画素単位ではなく撮影対象単位のものではあるが、近年、フォーカスの高速化のために、カメラのオートフォーカスにおいて実用化されている。
【００５７】
また、この場合、ＣＭＯＳエリアイメージセンサ固有のノイズの影響も、ある程度抑えることができる。
【００５８】
なお、００５５〜００５７の計算は、画素ごとの計算となるため計算量が多くなるが、本発明においては、通常、画像を撮りだめした後に、まとめて高性能なコンピュータを使って計算を行うため（カメラのオートフォーカスのように、性能の低い内臓小型回路を使ってリアルタイムに計算するわけではないので）、問題とならない。
【００５９】
また、Ｃの「撮影画像を構成する画素の位置それぞれにおいて、エリアイメージセンサとレンズとの距離がどの値の時にピントが合っているかを求める計算」は、例えば、「何枚目の画像の撮影時に、エリアイメージセンサとレンズとの距離がどの値か」を実測などにより調べておき、それと「何枚目の画像でピントが合っているか」を照らし合わせて、ピントが合っている時のエリアイメージセンサとレンズとの距離を求めることを特徴とする計算でも良い。
【００６０】
例えば、何枚目の画像の撮影時に「エリアイメージセンサとレンズとの距離」がどの値になっているかを実測して表にしておき、参照できるようにしておいても良い。また、その場合、撮影開始から撮影終了までのレンズの位置が、何回撮影を行っても同じになるようにレンズ移動装置を作っておくと良い（撮影開始時点では常に位置ａとなり、撮影開始時点から０．１秒後では常に位置ｂとなり、撮影開始時点から０．２秒後では常に位置ｃとなり、、、など）。
【００６１】
また、Ｄで奥行き座標を求める時、「撮影距離の最小値」を下回ると予測される場合（「或る画素の位置における画像の違いによるコントラストの変化を表す線形の式」などにより判断できる）、奥行き座標を「撮影距離の最小値」に対応させても良い。同様に、「撮影距離の最大値」を上回ると予測される場合、奥行き座標を「撮影距離の最大値」に対応させても良い。
【００６２】
また、Ｄの奥行き座標を求める計算は、 例えば、「エリアイメージセンサとレンズとの距離」と「レンズの素材の屈折率」と「レンズの曲率」を用いて、「エリアイメージセンサとレンズとの距離」を焦点距離として、それらを公式に当てはめて求めることを特徴とする計算でも良い。
【００６３】
また、「ＡをＢに対応させる」とは、Ａが表現しようとするものと、Ｂが表現しようとするものが同じであるということなどを指す。
【００６４】
例えば、ＡとＢが両方とも座標や距離などの「値」である場合、ＡとＡ以外の「Ａと同種の値（例えば、Ａが或る画像上の二次元座標だった場合は、同じ画像上の二次元座標）」との比率と、ＢとＢ以外の「Ｂと同種の値」との比率が、同じになることなどを指す。
【００６５】
また、例えば、Ａが画素、Ｂが頂点だった場合、Ｂは、Ａを表すような頂点などを指す。
【００６６】
また、例えば、Ａが仮想三次元空間内の軸、Ｂが現実空間における方向であった場合、仮想三次元空間内における「表現しようとする対象物に対応したモデル」を基準としたＡの軸の向きが、現実空間内における表現されるべき対象物を基準としたＢの向きと同じになることなどを指す。
【００６７】
また、Ｇは、簡単に言えば、エリアイメージセンサ上の画素（フォトダイオード）の大きさが全て同じであっても、それぞれの画素に映り込む現実空間内の撮影対象の範囲（幅や高さ）は奥行き座標によって異なるため、それらを３ＤＣＧ用モデルを構成する頂点の位置を決める計算時に考慮する（それらに応じて頂点の間隔を調節する）という意味である。
【００６８】
例えば、同じ２０マイクロメートル四方の画素であっても、片方には奥行き１メートル地点にある撮影対象が映り込んでいて、もう片方には奥行き１０メートル地点にある撮影対象が映りこんでいる場合、後者の方がより広い範囲（幅や高さ）が映り込む（遠近法と同様の理屈）ので、３ＤＣＧ用モデルを生成する時に、後者の方が「１つの画素に対応する部分」がより大きくなり、より広い範囲において頂点の奥行き座標が同じになる。
【００６９】
また、Ｇの「「「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」と「その「エリアイメージセンサ上の或る画素」」との距離」がいくつである時に、「その「撮影対象表面上における、エリアイメージセンサ上の或る画素に映った部分」」の「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」がいくつになるかを求め」とは、例えば、何枚目の撮影画像の時に、エリアイメージセンサ上の１つの画素にどれだけの範囲の現実空間が映り込むかを実測して表にしておき、それを求める時はその表を参照するものでも良い。
【００７０】
また、「レンズの素材の屈折率」と「レンズの曲率」と「エリアイメージセンサ、レンズ、撮影対象の位置」などを公式に当てはめて計算で求めるものでも良い。
【００７１】
また、「レンズの素材の屈折率」と「レンズの曲率」と「エリアイメージセンサ、レンズ、撮影対象の位置」などを公式に当てはめて計算で求めて表にしておき、それを求める時はその表を参照するものでも良い。
【００７２】
また、レンズの色収差の影響を抑えるため、ＣやＤやＧなどにおいて、画像として赤または青または緑の単色での画像を使用したり、それと同じ単色での「レンズの素材の屈折率」を用いたり、それと同じ単色での「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」を用いても良い。また、さらに、より正確な結果が得られるように、赤または青または緑の内の２色以上において、それぞれ、単色での画像や単色での「レンズの素材の屈折率」や単色での「現実空間における、Ｅの「２つの軸」の一方またはもう一方に対応する方向での全長」を使用してＦとＧで奥行き座標を求めた後、それらを照合しても良い（例えば、色によって或る頂点の奥行き座標が異なる場合（結果がずれている場合）は、それらの奥行き座標の中間の座標または平均に該当する座標を、その頂点の奥行き座標とするなど）。
【００７３】
また、レンズの色収差の影響を抑えるため、レンズの代わりに反射光学系を使用しても良い。
【００７４】
また、レンズの単色収差の影響を抑えるため、撮影時に、レンズとして、半導体露光装置などに用いられる、収差を補正した光学系（組み合わせたレンズなど）を用いても良い。
【００７５】
また、本発明を用いて、どの角度に視点を回転させても立体となっている３ＤＣＧ用モデルを作りたい場合は、例えば、本発明を用いて、複数の方向（漏れなく全体を撮影するためには、３方向以上が望ましい）から撮影・三次元データ化を繰り返して、別々に「それぞれの角度から見える部分の３ＤＣＧ用モデル」を作り、それらを張り合わせても良い。例えば、撮影対象に対して水平な位置から、撮影対象に対して１２０度ずつずれた３方向において、本発明による撮影・三次元データ化を行い、それらをそれぞれ適切に回転・移動させて（さらに、必要な場合は拡大・縮小も行い）貼り合わせても良い。
【００７６】
なお、その場合、従来の「３ＤＣＧ用モデルを生成する装置」で行われている手順と同様な手順で、形状や色の変化（模様など）などを利用してコンピュータで計算を行って自動的に張り合わせても良い。
【００７７】
また、本発明は、コンピューターゲーム用３ＤＣＧ生成装置であっても良いし、映画用３ＤＣＧ生成装置であっても良いし、地形や建造物などの計測用の３ＤＣＧ生成装置であっても良い。
【００７８】
また、本発明における「計算」は、パソコンで行っても良いし、ワークステーションで行っても良いし、スーパーコンピュータで行っても良い。
【００７９】
本発明では、以上のごとき装置を使って、撮影対象を撮影・三次元データ化する。
【００８０】
例えば、奥行き座標を１ミリメートル幅で検出できるほど、エリアイメージセンサまたはレンズを細かな単位で移動させることができ、また、エリアイメージセンサまたはレンズの移動範囲内で等幅１万段階の位置切り替えを行うことができ、また、エリアイメージセンサまたはレンズを１秒で移動範囲の最初から最後まで移動させることができ、また、三脚で地面に固定した１万コマ／秒のハイスピードカメラを使って撮影を行う場合、１秒で、奥行き１０メートルの範囲（例えば、「カメラから２メートル奥」〜「カメラから１２メートル奥」）の撮影を行えるので、手軽に精巧な木などの３ＤＣＧ用モデルを作ることができる。
【符号の説明】
【００８１】
１ レンズ
２ 筒
３ エリアイメージセンサ
【特許請求の範囲】
【請求項１】
Ａ．ＣＣＤイメージセンサとレンズを備えている。
Ｂ．ＣＣＤイメージセンサの三次元空間上の位置を固定しておき、レンズを「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら連続的に画像を撮影する仕組みを備えている。
Ｃ．Ｂによって撮影した画像を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、「ＣＣＤイメージセンサとレンズとの距離」がどの値の時にピントが合っているかを計算により求める仕組みを備えている。
Ｄ．「レンズの素材の屈折率」と「レンズの曲率」と「Ｃで求めた、ピントが合っている時のＣＣＤイメージセンサとレンズとの距離」を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、「ＣＣＤイメージセンサ上の或る画素」と「撮影対象表面上におけるその「ＣＣＤイメージセンサ上の或る画素」に映った部分」との距離を計算によって求める仕組みを備えている。
Ｅ．Ｂによって撮影した画像を構成する画素それぞれの「画像上の二次元座標」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｘ軸・ｙ軸の２つの軸における値」を対応させる仕組みを備えている。
Ｆ．Ｂによって撮影した画像を構成する画素の位置それぞれの「Ｄによって求まった距離」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｚ軸における値」を対応させる仕組みを備えている。
Ｇ．「「撮影対象表面上における、ＣＣＤイメージセンサ上の或る画素に映った部分」と「その「ＣＣＤイメージセンサ上の或る画素」」との距離」がいくつである時に、「その「撮影対象表面上における、ＣＣＤイメージセンサ上の或る画素に映った部分」」の「現実空間における、「ｘ軸・ｙ軸の２つの軸」に対応する方向での全長」がいくつになるかを求めておき、それを用いて、撮影対象表面上における、「ｘ軸・ｙ軸の２つの軸」に対応する方向での線αと、ｚ軸に対応する方向での線βで、長さが同じ場合、仮想三次元空間内の撮影対象に対応した３次元コンピュータグラフィックス用モデルにおいても、線αに対応した線と線βに対応した線が同じ長さで表されるように、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、「ｘ軸・ｙ軸の２つの軸」における値」」と、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｚ軸における値」」を決める仕組みを備えている。
Ｈ．Ｂの「連続的に画像を撮影する仕組み」が、撮影した画像をＤＲＡＭに記録し、また、コンピュータに転送可能な、デジタルハイスピードカメラである。
Ｉ．撮影した画像を一旦ＤＲＡＭに記録した後、記録されたデータをハードディスクドライブまたはフラッシュメモリに移す仕組みを備えている。
Ｊ．Ｂのレンズを「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させる仕組みが、筒の中でレンズを前または後ろにスライドさせて移動させる仕組みである。
Ｋ．Ｂのレンズを「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させる仕組みが、歯車によって伝えたモーターの動力によってレンズを移動させる仕組みである。また、その歯車は、モーターの回転軸に取り付けられたもの、ボディに固定されたラック、それらを繋ぐ歯車の３つであり、それらを繋ぐ歯車の径が、他の２つの歯車の径よりも大きい。
Ｌ．Ｂで、画像を撮影している間はレンズを静止させ、ブレーキとなる固い物で押さえ付ける仕組みを備えている。
Ｍ．レンズの位置を調べることができる位置センサを備えている。
Ｎ．Ｂでレンズを移動させる時、正確にレンズの軸の向きの方向と一致するように、または、正確にＣＣＤイメージセンサと垂直な方向で、直線的に移動させる仕組みを備えている。
Ｏ．デジタルハイスピードカメラに三脚が取り付けられている。
Ｐ．Ｃの「ピントが合っているかを求める計算」が、撮影画像を構成する画素の位置それぞれにおいて、その位置の画素と周囲の位置の画素における「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定して、その画像でピントが合っていると判断することを特徴とする計算である。
Ｑ．レンズを、収差を補正した光学系としてある。
Ｒ．Ｂの撮影は、屋外で行う。
以上のＡ〜Ｒのごとき特徴を持った、コンピューターゲーム用の３次元コンピュータグラフィックス用モデル生成装置。
【請求項１】
Ａ．ＣＣＤイメージセンサとレンズを備えている。
Ｂ．ＣＣＤイメージセンサの三次元空間上の位置を固定しておき、レンズを「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させながら連続的に画像を撮影する仕組みを備えている。
Ｃ．Ｂによって撮影した画像を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、「ＣＣＤイメージセンサとレンズとの距離」がどの値の時にピントが合っているかを計算により求める仕組みを備えている。
Ｄ．「レンズの素材の屈折率」と「レンズの曲率」と「Ｃで求めた、ピントが合っている時のＣＣＤイメージセンサとレンズとの距離」を用いて、Ｂによって撮影した画像を構成する画素の位置それぞれについて、「ＣＣＤイメージセンサ上の或る画素」と「撮影対象表面上におけるその「ＣＣＤイメージセンサ上の或る画素」に映った部分」との距離を計算によって求める仕組みを備えている。
Ｅ．Ｂによって撮影した画像を構成する画素それぞれの「画像上の二次元座標」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｘ軸・ｙ軸の２つの軸における値」を対応させる仕組みを備えている。
Ｆ．Ｂによって撮影した画像を構成する画素の位置それぞれの「Ｄによって求まった距離」に、画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｚ軸における値」を対応させる仕組みを備えている。
Ｇ．「「撮影対象表面上における、ＣＣＤイメージセンサ上の或る画素に映った部分」と「その「ＣＣＤイメージセンサ上の或る画素」」との距離」がいくつである時に、「その「撮影対象表面上における、ＣＣＤイメージセンサ上の或る画素に映った部分」」の「現実空間における、「ｘ軸・ｙ軸の２つの軸」に対応する方向での全長」がいくつになるかを求めておき、それを用いて、撮影対象表面上における、「ｘ軸・ｙ軸の２つの軸」に対応する方向での線αと、ｚ軸に対応する方向での線βで、長さが同じ場合、仮想三次元空間内の撮影対象に対応した３次元コンピュータグラフィックス用モデルにおいても、線αに対応した線と線βに対応した線が同じ長さで表されるように、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、「ｘ軸・ｙ軸の２つの軸」における値」」と、Ｂによって撮影した画像を構成する画素の位置それぞれの「画素に対応した「仮想三次元空間における頂点」の「仮想三次元空間内の座標系における、ｚ軸における値」」を決める仕組みを備えている。
Ｈ．Ｂの「連続的に画像を撮影する仕組み」が、撮影した画像をＤＲＡＭに記録し、また、コンピュータに転送可能な、デジタルハイスピードカメラである。
Ｉ．撮影した画像を一旦ＤＲＡＭに記録した後、記録されたデータをハードディスクドライブまたはフラッシュメモリに移す仕組みを備えている。
Ｊ．Ｂのレンズを「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させる仕組みが、筒の中でレンズを前または後ろにスライドさせて移動させる仕組みである。
Ｋ．Ｂのレンズを「撮影対象の在る方向、または、その逆の方向」へ直線的に移動させる仕組みが、歯車によって伝えたモーターの動力によってレンズを移動させる仕組みである。また、その歯車は、モーターの回転軸に取り付けられたもの、ボディに固定されたラック、それらを繋ぐ歯車の３つであり、それらを繋ぐ歯車の径が、他の２つの歯車の径よりも大きい。
Ｌ．Ｂで、画像を撮影している間はレンズを静止させ、ブレーキとなる固い物で押さえ付ける仕組みを備えている。
Ｍ．レンズの位置を調べることができる位置センサを備えている。
Ｎ．Ｂでレンズを移動させる時、正確にレンズの軸の向きの方向と一致するように、または、正確にＣＣＤイメージセンサと垂直な方向で、直線的に移動させる仕組みを備えている。
Ｏ．デジタルハイスピードカメラに三脚が取り付けられている。
Ｐ．Ｃの「ピントが合っているかを求める計算」が、撮影画像を構成する画素の位置それぞれにおいて、その位置の画素と周囲の位置の画素における「画像の違いによるコントラストの変化」を線形の式とし、何枚目の画像でコントラストが最も高くなるかを推定して、その画像でピントが合っていると判断することを特徴とする計算である。
Ｑ．レンズを、収差を補正した光学系としてある。
Ｒ．Ｂの撮影は、屋外で行う。
以上のＡ〜Ｒのごとき特徴を持った、コンピューターゲーム用の３次元コンピュータグラフィックス用モデル生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１１８８５４（Ｐ２０１１−１１８８５４Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２０１０−３４０１（Ｐ２０１０−３４０１）
【出願日】平成２２年１月８日（２０１０．１．８）
【分割の表示】特願２００９−２７６００８（Ｐ２００９−２７６００８）の分割
【原出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（３０１０３７６６０）
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２２年１月８日（２０１０．１．８）
【分割の表示】特願２００９−２７６００８（Ｐ２００９−２７６００８）の分割
【原出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（３０１０３７６６０）
【Ｆターム（参考）】
[ Back to top ]