立体模型の作製装置
【課題】建築物等といった立体物の立体模型を、立体プリンタを用いることなく、簡単に、しかも自動的に作製できるようにする。
【解決手段】立体物の多視点の撮影画像データ１、立体物のＣＡＤ図面データ、立体物の製造図面からのスキャナデータ等を入力する手段１１と、入力画像データから三次元モデルデータを生成する手段１２と、生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち忠実に描画する線とディフォルメする線の閾値を設定する手段１３と、該設定に基づき立体模型の立体プリント用のデータを作成する手段１４と、立体模型のペーパークラフト用展開図２のプリント出力する手段１５を具備する。そして、この展開図から各部を切り取って組み立てることにより、立体模型３を作製する。
【解決手段】立体物の多視点の撮影画像データ１、立体物のＣＡＤ図面データ、立体物の製造図面からのスキャナデータ等を入力する手段１１と、入力画像データから三次元モデルデータを生成する手段１２と、生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち忠実に描画する線とディフォルメする線の閾値を設定する手段１３と、該設定に基づき立体模型の立体プリント用のデータを作成する手段１４と、立体模型のペーパークラフト用展開図２のプリント出力する手段１５を具備する。そして、この展開図から各部を切り取って組み立てることにより、立体模型３を作製する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建築物等といった立体物の立体模型を作製するために用いて好適な立体模型の作製装置に関する。
【背景技術】
【０００２】
たとえば、建築物等の立体物の立体模型をできるだけ簡単に、しかも手軽に作製できることが望まれている。
すなわち、この種の建築用の立体模型は、たとえば個人の住宅や集合住宅を始め、ビルや工場、公共施設、橋、都市計画等というように規模の大小を問わず、建築や土木工事を行う際において、実際の施工前のシミュレーションや評価、検討に利用される。また、施工後においても、模型として展示案内用や記念品としても有用である。
【０００３】
特に、大規模開発などにあっては、リアルで立体的な模型などが、展示用や開発状況の説明用として制作、準備されることが多い。
しかし、個人住宅用などでは、製作者が少なく、外注製作費や手間がかかるなどから、建築業者側でもなかなか製作しにくく、また顧客側も大規模な物件でないと頼みにくいなど問題があった。
【０００４】
このような観点から、従来一般には、実際の敷地の風景と建設予定の建造物の三次元ＣＧとを合成して表示するもの（例えば、特許文献１参照）から、入力画像から背景画像と被写体画像の三次元位置を求め、その相当位置に立て看板のような台紙を貼り付け、台紙に背景や被写体の画像を貼り付け、簡単な立体模型とするもの（例えば、特許文献２参照）など、種々の手法が必要に応じて適宜採用されている。
【０００５】
【特許文献１】特開平５−２４２２０４号公報
【特許文献２】特開２０００−１３２６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述した従来の手法では、現実感に乏しく、住宅やビル、施設等の建築物を、視覚的に立体感をもって把握することが難しいといった問題があり、実際の建築物にできるだけ近づけた建築用立体模型を手軽に、また安価に、しかも自動的に作製し得る、何らかの対策を講じることが望まれている。
【０００７】
この種の立体模型を作製するために、立体プリンタを用いることも考えられている。この種の立体プリンタとしては、たとえば３Ｄ模型を立体プリントできる３Ｄ粉体プリンタなども実用化されている。
【０００８】
しかし、現状では、装置が大掛かりで高価で設置場所が限られる。また、レンタル使用でも使用料金が高額で、細かな形状まで再現するには製造に数時間と時間がかかり、一般ユーザや個人住宅用の模型などには利用しにくかった。さらに、出来上がった模型は、石膏の固まり状で、木造建築などとは質感が異なり、大きさの割に重量が重く、しかも壊れやすいなど、建築用の模型の作製方法としては問題があった。
【０００９】
本発明はこのような事情に鑑みてなされたものであり、建築物等といった立体物の立体模型を、立体プリンタを用いることなく、簡単に、しかも自動的に制作することができる立体模型の作製装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
このような目的に応えるために本発明（請求項１記載の発明）に係る立体模型の作製装置は、立体物の多視点の撮影画像データ、立体物のＣＡＤ図面データ、または立体物の製造図面からのスキャナデータを入力する手段と、該入力された画像データから三次元モデルデータを生成する手段と、該生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段と、該設定に基づき立体模型の立体プリント用のデータを作成する手段と、立体模型のペーパークラフト用の展開図のプリント出力する手段と、を具備したことを特徴とする。
【００１１】
本発明（請求項２記載の発明）に係る立体模型の作製装置は、請求項１において、前記三次元モデルデータのうち、作製する立体模型またはそのペーパークラフトの作製寸法、縮小率、プリンタの印刷分解能や解像度、印刷素材の細かさ等の仕様諸元に応じて、所定の寸法以下のディティールを、省略するか、あるいは近接部位として一体（グループ）として扱い、ディティールの一部を省略してディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする。
【００１２】
本発明（請求項３記載の発明）に係る立体模型の作製装置は、請求項１または請求項２において、前記三次元モデルデータのうち、立体物の正面、特徴となる部位、主要なディティールについては省略しないが、ディティールの一部寸法を拡大して、部位グループの大きさは変えずに、ディティール毎の寸法は印刷分解能以上の寸法に、拡大ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする。
【００１３】
本発明（請求項４記載の発明）に係る立体模型の作製装置は、請求項１ないし請求項３のいずれか１項において、ディティールのうち、同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループの寸法内で、グループ内の単位ディティールの寸法が所定寸法以上の大きさになるように拡大ディフォルメするとともに、個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更した立体プリント用のデータを生成するように構成したことを特徴とする。
【発明の効果】
【００１４】
以上説明したように本発明に係る立体模型の作製装置によれば、複数枚の多視点の撮影画像データ、ＣＡＤ図面データまたは製造図面を用い、立体模型を制作するためのペーパークラフト用の展開図を簡単にプリントすることができ、これにより該展開図を適宜切り取って組み立てることで、立体プリンタを用いなくとも、立体模型を手軽に、しかも簡単に制作することができる。
【００１５】
特に、本発明によれば、簡単なデータ入力だけの簡単な操作で作製できるから、ユーザにとっても、業者にとっても手間もコストも掛からず、立体模型を制作することができる。
【００１６】
このようにして得られた立体模型によれば、建築前のシミュレーションや評価が具体的にリアルな模型を用いて確認できるだけでなく、建築後も展示案内や記念品として利用できる。また、小規模な一般住宅などでも、外注製作費や手間がかからず、データを送るだけの簡単操作で作成できるので、業者も顧客も模型製作気軽に受発注できる。
【発明を実施するための最良の形態】
【００１７】
図１ないし図９は本発明に係る立体模型の作製装置の一実施形態を示す。
ここで、この実施形態では、図７に示す建造物の多視点の撮影画像１を用い、これに基づいて、図８に示すような立体模型を作製するためのペーパークラフト用展開図２を印刷し、これを切り取り、組立手順等を説明した組立情報（文、図）にしたがって組み立てることにより、図９に示す建築用立体模型３を組み立てて作製するものである。
【００１８】
本発明によれば、建築用立体模型３の作製装置は、図２に示すように、立体物の多視点による複数枚の撮影画像データ、立体物のＣＡＤ図面データ、または立体物の製造図面からのスキャナデータを入力する手段１１と、該入力された画像データから三次元モデルデータを生成する手段１２と、該生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段１３と、該設定に基づき立体模型の立体プリント用のデータを作成する手段１４と、立体模型のペーパークラフト用の展開図のプリント出力する手段１５と、を具備している。
【００１９】
そして、上述した構成において、図１に示すステップにより、上述した撮影画像１等の建造物の基本データの入力に基づき、立体物の一側面に描画されている線、もしくはディティールのうち、忠実に再現（描画）する線と、ディフォルメ（省略）する線の閾値を決めており、これに基づいて立体模型３の基本となる３Ｄデータを作製し、これに基づきペーパークラフト用展開図２を印刷出力し、さらにこれを切り取って組み立てることにより、建築用立体模型３を作製するようにしている。
【００２０】
ここで、上記の立体模型またはそのペーパークラフト展開図２の自動作成方法は、一般のＰＣ（パーソナルコンピュータ）上のアプリケーションソフト、またはウェブ上のアプリケーションソフト、ウェブを用いた受注製作サービス等として提供する。あるいは、多視点の撮影画像データから、三次元モデルデータを自動作成し、立体（三次元）印刷用データやペーパークラフト展開図の二次元印刷用データに変換して生成し、メモリ媒体に保存したり、プリンタなど外部機器に出力するまでの処理を実行するソフトウェアを、カメラなど撮影機器に、組み込みソフトウェアとして内蔵や実装して、デジタルカメラ製品やプログラム記憶媒体として提供するものである。
【００２１】
上述したような建築用立体模型３の作製装置による作製動作を、図１のフローチャート等にしたがって以下に説明する。
【００２２】
すなわち、始めに、Ｓ０１において立体物を複数視点（多視点）からカメラで撮影し、Ｓ０２で該カメラの撮影画像データを入力（または受信）する。ここで、このようにカメラによる立体物の撮影で撮影画像データを用いる手法では、立体物（建造物）が既に建築されている建物や中古の物件などおいて、建築用立体模型３を作製する際に用いて好適なものである。
【００２３】
そして、Ｓ０３において複数視点の画像データから、子分解法等により三次元形状データを生成し、Ｓ０４に進む。
なお、上述した立体物の基本データとしては、撮影画像に限らず、Ｓ０５のように建物などの立面図（正面図、平面図、側面図など）の画像をスキャナ読み取り入力で行い、Ｓ０６において立面図データから、視体積交差法等により、三次元形状データを生成してもよい。あるいは、Ｓ０７のように建物などのＣＡＤ図面データを入力し、Ｓ０８のように三次元形状に変換してもよい。
【００２４】
Ｓ０４では、立体模型の所望の実寸外形または縮小／拡大率を設定し、Ｓ１０において３Ｄプリンタなどの立体成形機が使用可能か否かを判定する。そうであれば、Ｓ１１で３Ｄプリンタなどの立体成形機の解像力、分解能から、立体模型の最小寸法条件を設定し、Ｓ１２で縮小／拡大率にしたがって、立体模型の実寸三次元形状データを作成し、Ｓ１３において、立体模型（またはペーパークラフト模型の展開図）の寸法が所定以下の長さ、幅、面積となる部位があるか否かを判定する。
【００２５】
Ｓ１０において３Ｄプリンタなどが使用不能であれば、Ｓ１４でプリンタの解像力、分解能の条件に応じて、ペーパークラフト模型の最小寸法条件を設定し、Ｓ１５において縮小／拡大率にしたがって、ペーパークラフト模型の実寸三次元形状データを作成する。そして、Ｓ１６において、立体模型の実寸三次元形状データから、外面部分の三次元曲面データ、および、正規立面図データを生成し、Ｓ１７において、最も広い面積の曲面または平面を探索し、Ｓ１８において、最も広い曲平面を中心に、外面部分の曲面データと対象物の種類に応じたモデルに基づいた、面曲面の展開図を生成し、Ｓ１３に進む。
【００２６】
Ｓ１３においてＹｅｓであれば、Ｓ２０で対象物の種類に応じて、省略可の部分、省略不可の部分を判定する。そして、Ｓ２１で省略不可の部位であると判定されると、Ｓ２２において該当する標準モデルデータがあるか否かを判定し、そうであればＳ２３において、標準モデルに基づいて、当該部位の寸法が所定寸法以上となるように拡大ディフォルメ処理し、Ｓ２４で全ての部位が所定寸法以上の長さ、幅、面積になったか否かを判定する。
【００２７】
Ｓ２１、Ｓ２５において省略可の部位であると判断されると、Ｓ２６において所定寸法以下となる部分を省略し、隣接部分と一体化して、ディフォルメ処理し、Ｓ２４に進む。
また、Ｓ２２において該当する標準モデルデータがないと判断されると、Ｓ２７で当該部位が所定寸法以上となるように、自由拡大ディフォルメ処理し、Ｓ２４に進む。
【００２８】
Ｓ２４で全ての部位が所定寸法以上になったと判断されると、Ｓ２９において３Ｄプリンタ等の立体成形機で立体成形加工か否かを判断する。そして、Ｓ３０でディフォルメ処理された三次元形状データを立体成形機応じた加工用データに変換する。
そして、Ｓ３１での三次元粉体プリンタへ出力、Ｓ３２での紫外線硬化樹脂成形機へ出力、Ｓ３３での自動切削加工機に出力のいずれかに進む。すなわち、使用できる立体プリンタがある場合には、上述したようにして得られる三次元形状データに基づいて立体プリンタ用のデータを生成し、該立体プリンタを用いて立体印刷により三次元モデル（立体模型）を作製するようにする。
【００２９】
Ｓ２４で３Ｄプリンタなどでの立体成形加工ができないと判断されると、Ｓ３４でディフォルメ処理された外面の展開図に、組立て用のりしろ部分を付加する。そして、Ｓ３５において、展開図に、撮影画像に基づいて外面の色・柄・模様など、デクスチャー画像を貼り付け、山折り線、谷折り線を付加する。さらに、Ｓ３６で組立て手順などの説明情報（文、図）を作成する。そして、Ｓ３７において、ペーパークラフト展開図と説明情報をプリンタに出力（印刷）する。
【００３０】
ここで、上述した多視点による撮影画像データからの三次元モデルデータの自動作成について説明するに先だって、建造物の建築図面やＣＡＤ図面からの物体の三次元モデルや三次元形状データの作成について説明する。
【００３１】
１．平面図からの三次元形状データの作成方法
建造物などの平面図を表す図面の２値化画像を入力し、この平面図から、対象の幾何モデルを生成するために、特徴点を抽出し、平面図の構造を解析して、各特徴点間の接続関係を記述する。
【００３２】
構造解析には、エッジ検出や特徴点抽出を用いるが、エッジ検出方法では、画像のノイズに弱く、平面図によっては、エッジが途切れてしまう場合がある。
また、特徴点を自動的に検出する方法には、マスクパターンを適用する方法があるが、誤検出したり、構造物の角（コーナー）のような特徴点をうまく検出できなかったりする場合がある。
【００３３】
そこで、平面図をブロックに分割して、ブロック毎に特徴解析し、それらブロックを統合することにより、平面図を記述すると、上記の課題もクリアできる。
１）入力された平面図画像の傾きを補正する。
２）平面図画像を（ｍ×ｎ）のブロックに分割する。
３）各ブロック内の画素値の平均値Ａveを次式で求める。
【００３４】
【数１】
ただし、P（i,j）は、点（i,j）における画素値。
【００３５】
４）平均値Ａveが、所定の閾値thより小さければ、建物部分の領域として、そのブロック位置を記述し、大きければ、領域外とみなしブロック位置を記述しない。
【００３６】
次に、ブロックで記述された平面図に対して、ポリゴン数が多くなりすぎないように、ブロックを統合し、ブロック数を削減する。
１）ブロックで記述された平面図情報に対して、ｘ方向に探索し、隣り合うブロックを統合する。
２）上記１）の統合処理が終了するまで繰り返す。
３）ｘ方向のブロックが統合された平面図情報に対して、ｙ方向に探索し、ブロックが隣り合い、かつブロックサイズが同じものを統合する。
４）上記３）の統合処理が終了するまで繰り返す。
【００３７】
さらに、上記で記述された平面図情報（二次元形状データ）に、既知の高さ情報を加えることにより、三次元モデル、および、それを記述する三次元形状データを生成することができる。
【００３８】
２．立面図からの三次元形状データの作成方法
すなわち、建造物などの図面を、図４（ａ）に示すように、正面図、側面図、平面図が描かれている立面図の画像を入力（または撮影）して、立面図画像から建造物などの三次元形状データを作成する方法について説明する。
【００３９】
ここで、立面図画像からの三次元形状データの生成処理のフロー図と生成例を図３と図４とに示す。
なお、図４中、符号６は立面図の画像を入力した状態を、７は立面図を正面図、平面図、側面図に分離した状態を、８は視体積交差法の概略を、９は三次元形状データの概略をそれぞれ示す。
【００４０】
まず、前処理として、図３中、Ｓ４１で示すように立面図（正面図、側面図、平面図）の画像を入力し、その入力（または撮影）された立面図の画像を、Ｓ４２に示すように傾きなどを補正し、さらにＳ４３に示すように白黒に２値化する。
【００４１】
次に、Ｓ４４に示すように、１枚の立面図に、正面図、側面図、平面図が描かれている場合には、これを図４（ｂ）に示すように、３枚の画像（正面画像、側面画像、平面図画像）に分離する。それには、各画像が白画素（または黒画素）で塗りつぶされた画像とすると、画像のｘ軸、ｙ軸に対して、それぞれ白画素（または黒画素）の分布を調べ、画像のｘ軸、ｙ軸に対する各ヒストグラムについて、谷となる点を対象領域の境界として、立面図の分離を行えば良い。
【００４２】
次に、分離された正面図、側面図、平面図の３枚の画像に対して、「視体積交差法」を用いて、三次元モデルの生成を行う。
視体積交差法では、実空間内に複数設置したカメラで撮影した画像から物体のシルエットを抽出し、あらかじめカメラキャリブレーションにより求まるカメラパラメータを用いて、空間に逆投影し、シルエットの交わりを計算することによって、三次元モデルを求める。
【００４３】
使用する立面図（正面図、平面図、側面図）を、画像面に垂直な軸に沿って投影された正射影図法によるものとした場合には、奥行情報のみが失われる。このため、視体積交差法を用いて、三次元モデルを生成する場合に、必要とされるカメラパラメータを求める必要がない。
【００４４】
たとえば立面図から三次元モデルを生成する手順は、次の通りである。
１）形状を構成する三次元空間（ボクセル空間）を立方体格子に分割する（Ｓ４５）。
２）立面図のシルエット画像を入力し、各ボクセルに対して、正射影による逆投影を行い（Ｓ４６）、立面図上にシルエットが存在するか、しないかを判定する（Ｓ４７）。
そして、存在する場合には「存在する」として該当ボクセルを残し（Ｓ４８）、しない場合には「存在しない」として該当ボクセルを削除する（Ｓ５０）。なお、Ｓ４９，Ｓ５３で全ての立方格子を順次判定し、以下のＳ５１に進む。
【００４５】
３）最終的に存在するボクセル集合を、三次元形状とみなす（Ｓ５１）。
４）三次元形状の内部にあるボクセルを削除する（Ｓ５２）。
【００４６】
ここで、視体積交差法と射影グリッド空間については、以下の通りである。
三次元モデルは、「視体積交差法」に基づいて復元することができる。視体積とは、視点を頂点と、対象物のシルエットを断面とする錐体のことで、「視体積交差法」は、全ての視点における対象物の視体積の共通部分を求めることにより、対象物の形状を復元する手法である。
【００４７】
視体積交差法について、図４（ｃ）等に示すように、やや詳しく説明すると、複数台のカメラ（または複数位置からのカメラ画像）のうち、任意の２つを基底カメラ（または基底位置からのカメラ画像）１、２として、２台の基底カメラのそれぞれの視点から、中心投影によって三次元空間を定義する。ここで、三次元空間を、射影グリッド空間（ＰＧＳ：Projective Grid Space）として考え、空間中のボクセルＡ（ｐ，ｑ，ｒ）は、基底カメラ１から撮影画像１上の点ａ１（ｐ，ｑ）へ基底カメラ２からの撮影画像２上の点ａ２（ｒ，ｓ）へ投影されるものと定義する。
【００４８】
交差計算をする際には、画像間の幾何関係や、カメラ座標と空間座標との対応関係が必要であり、それらはＦ（Fundamental）行列を算出することで既知となる。（Ｆ行列では、２画像間の９点以上の点対応によって決定できる）
【００４９】
Ｆ行列を利用して以下のような投影を行なう。
１）まず、空間上のＡ（ｐ，ｑ，ｒ）に対する画像１上の投影点ａ１については、射影グリッド空間ＰＧＳの定義より、ａ１（ｐ，ｑ）に投影される。
２）次に、画像２上の投影点ａ２については、Ｆ行列Ｆ21を用いて画像２にエピポーラ線Ｌ21として投影すると、ａ２はＬ21上に存在するため、直線Ｌ21は次式で定義できる。
【００５０】
【数２】
ａ２のｘ座標は射影グリッド空間ＰＧＳの定義よりｒであるから、ｙ座標ｓも定まる。
【００５１】
３）そして、基底カメラ以外のカメラからの撮影画像（または、基底位置以外からのカメラ画像）ｉに対する投影点の座標ｘｉ，ｙｉは、次のようにして定まる。
基底カメラ２への投影と同様に、Ｆｉ１を用いて点ａ１を画像ｉ上に直線Ｌｉ１として投影する。
また、Ｆｉ２を用いて、点ａ２を画像ｉ上に直線Ｌｉ２として投影する。
【００５２】
４）２本のエピポーラ線Ｌｉ１、Ｌｉ２の交点が、画像ｉの投影点の座標である。
５）この処理を、全視点の画像に対して行なう。
このようにして、注目ボクセルに対する全視点の画像の座標値を求めることができ、三次元モデルが復元できる。
【００５３】
交差計算による三次元モデル復元は、定義された射影グリッド空間ＰＧＳ上で、空間に含まれるボクセルを一枚のシルエット上に投影し、シルエット上にないボクセルを全て削除し、次のシルエット画像に投影するという処理を、基底カメラ１、基底カメラ２、その他のカメラの順に行ない、全ての入力視点画像のシルエットに含まれるボクセルだけを「存在」とみなし、最終的に図４（ｄ）に示すように、三次元モデルを復元することができる。
【００５４】
３．ＣＡＤ図面データからの入力
建造物のＣＡＤ図面データや三次元ＣＡＤデータなどがある場合には、これらから、三次元粉体プリンタや紫外線硬化樹脂成形機、自動切削加工機などの三次元成形加工機などの加工用データに変換して出力する。
【００５５】
図５および図６は多視点カメラ画像からの三次元形状データの生成処理のフロー図と生成例を示す。
すなわち、建築用図面やＣＡＤデータなどが用意できない場合や、既に建設済みや中古の建物、その他の対象などの場合には、異なる複数の視点から対象物を撮影し、多視点の複数画像から、以下の手法により、対象物の三次元形状データを生成することができる。
【００５６】
なお、図６（ａ）は対象物を異なる視点（位置）から複数枚カメラで撮影した状態を、同図（ｂ）は対象物の多視点からの複数のカメラ画像を、同図（ｃ）はそれによる三次元形状データ９をそれぞれ示す。
【００５７】
１．画素座標、カメラ座標、画像座標
図６（ａ）に示すように、カメラを基準とした三次元空間座標を「カメラ（Camera）座標」と、二次元画像を表現する「画像（Image）座標」とを、カメラ座標系（Ｘ，Ｙ，Ｚ）の原点（０，０，０）を光軸上のカメラ中心とし、撮像画像面に平行なＸ軸、Ｙ軸と光軸方向のＺ軸との正規直交座標系として設定すると、カメラ座標が（Ｘ，Ｙ，Ｚ）Tである三次元空間の点と、その透視射影として得られる二次元画像の画像座標（ｘ、ｙ）Tには、次式が成り立つ。
【００５８】
ｘ＝l×Ｘ／Ｚ、ｙ＝l×Ｙ／Ｚ（ただし、l：カメラの焦点距離）…（１）
ここで、透視射影による三次元空間の像を記述する「画像（Image）座標」と、モニター表示画面などの「画素（Pixel）座標」の間には、個々のカメラに固有の１対１の写像関係がある。
【００５９】
複数の画像における点対応からカメラ運動と相対的位置関係（三次元形状）とを復元する場合には、点対応は、まず「画像座標」で与えられるので、全てのカメラに対して統一的に扱うためには、この「画素（Pixel）座標」と「画像（Image）座標」間の１対１の写像関係を求めること（「カメラキャリブレーション」と呼ばれる）ができれば、「画素（Pixel）座標」と「画像（Image）座標」とを自由に変換できることになる。
【００６０】
カメラモデルを表現する透視射影において、複数の画像における点対応からカメラ運動と三次元形状とを求める問題は、非線形写像の逆問題となるので、非線形最適化問題に帰着し、非線形最適化問題はノイズに敏感で、初期値依存性が高く、数値計算が不安定であるなど、問題があるため、安定して三次元形状を復元することは難しい。
【００６１】
そこで、１）「デジタルカメラ画像から簡単に三次元データを生成するソフトウェア技術」、三洋電機技報（SANYO TECHNICAL REVIEW）、VOL.35、No.１、JUNE 2003．にあるように、カメラの位置や姿勢、視点方向などに関する外部情報、すなわち、カメラ運動情報を入力するか、参照マーカーなど人工的特徴を付加することによって、カメラ運動情報を求めやすくする。あるいは、２）特開２００４−２２０３１２号公報、あるいは、前述の視体積交差法の説明にあるように、複数の多視点カメラ（または視点）の中から、なるべく直交する関係の２台のカメラ（または視点）を基底カメラとして選択して、基底カメラによる射影グリッド空間を用いて、複数のカメラ間または視点間の相互関係情報を付加するか、制限して、例えば、カメラ間のエピポーラ幾何関係を表す基底行列Ｆ（Fundamental）行列等を用いて、射影グリッド空間上の点を各カメラ画像へ投影し、各カメラ画像のシルエット画像において、対象物の内部に存在するか外部かを判定して、三次元形状データを復元することができる。あるいは、３）「因子分解法による物体形状とカメラ運動の復元」、電子通信学会論文誌、J76−D−II、No.8（19930825）、pp．1497−1505、「点対応を用いた複数の二次元画像からの三次元形状復元−因子分解法の数理−」、統計数理、第４９巻第１号、pp77〜107、2001年にあるように、Tomasi and Kanadeによる「因子分解法」などにより、理想的カメラモデルである透視射影をアフィン射影に近似して、正射影モデル等のアフィン近似射影に基づいた複数の二次元画像からカメラ運動情報と三次元形状情報とを同時に復元する手法などを用いることができる。
【００６２】
二次元画像がアフィン近似射影で得られると仮定すると、複数のアフィン近似射影画像における点対応からのカメラ運動と三次元形状の復元問題は、線形写像の逆問題となるので、復元の精度は劣るが、非線形写像の場合に比べ数値計算上安定して解くことができるようになる。
【００６３】
２．複数の画像間における点の対応付け
まず、複数の画像間における点特徴（輝度や色、輪郭形状、テクスチャーなど）の対応付けを行なう。
三次元空間では遠く離れた点も、二次元画像では近くに投影されることがある。二次元画像におけるわずかな誤差が三次元空間での認識や理解に重大な影響を及ぼすので、複数の画像間における点の対応を精度良く行なう必要がある。
【００６４】
複数の画像間における特徴点の対応付けには、「Lucas-Kanade法（勾配法）」（1981年）や、「Kanade-Lucas-Tomasiトラッカー」（Shi and Tomasi、1994年）などの手法を用いることができる。時間的に離れた画像を事前知識無しに対応付けるのは難しいが、複数の点で対応が既知であれば、同一の三次元空間を撮影した多視点の複数画像間の幾何的な関係（エピポーラ幾何学）を用いて、他の対応点の存在可能な領域を絞りこむことができる。
【００６５】
例えば、複数のフレーム画像間における対応や追跡には、一般に、見え方（局所画像）、または、エッジ（輪郭）、色ヒストグラムなどの画像特徴の類似（相関）や相違に基づいて、隣接する他フレーム画像との間で、最も類似する領域を探索し、探索された点へ対象物が移動したと判定する方法（ブロックマッチング）が良く用いられる。
【００６６】
つまり、座標ｘ＝（ｘ，ｙ）における画素値Ｉ（ｘ）毎に、移動量（変位）ｄ＝（ｄｘ，ｄｙ）を逐次変えながら、次式であらわされるような
【数３】
などを計算し、その中から、
【数４】
となる変位ｄを求めれば良い。しかし、これを全探索すると、計算量が多くなったり、変位量が離散的で連続しないなどの難点があった。局所画像を回転や拡大縮小してマッチングする場合には、さらに膨大な計算が必要になる。
【００６７】
このとき、「Lucas-Kanade法（勾配法）」では、暫定解の周りの勾配（傾き）にもとづいて、山登り（または山降り）することにより、極大値（または極小値）を効率よく求めることができる。
すなわち、差分二乗和（二乗誤差、SSD）の勾配を、
【数５】
とすると、この第１項のテーラー展開は、
【数６】
【００６８】
このとき、２次以降の項を、変位が微小であるとして無視できる（ｘ周辺で線形近似できる）とすると、
δｘ＝ｄｘ、δｙ＝ｄｙ、δｔ＝１として、
【数７】
ただし、上式で、Iｘ（x,y,t）＝∂I（x,y,t）/δｘ、 Iｙ（x,y,t）＝∂I（x,y,t）/δｙ、 Iｔ（x,y,t）＝∂I（x,y,t）/δｔである。
【００６９】
相違度最小の変位ｄ＾=minｄεは、∂ε/∂ｄｘ＝0、∂ε/∂ｄｙ＝0となるｄを求めれば良いので、
【数８】
【００７０】
ここで、
【数９】
とおくと、
【数１０】
であり、
【数１１】
となるので、ＡTＡが正則なとき、ｄ＾は解を持ち、
ｄ＾＝mindε＝（ＡTＡ）-1ＡTｂ ・・・・（10）
となり、全探索しなくても、相違度最小となる変位量を求めることができる。
特徴点検出と上記のような追跡法とを統合した手法は、「Kanade-Lucas-Tomasi（KLT）トラッカー」と呼ばれる。
【００７１】
３．三次元形状データの生成
（１）カメラ位置情報や参照マーカーを用いる方法
次に、三次元形状データの生成方法について、説明する。
例えば、全周囲３６０度からの多視点角度から、または、周囲に配した複数台のカメラから撮影した画像データを入力して、対象物の三次元形状データを作成するソフトウェアが各種開発されている。
【００７２】
これらでは、予めカメラを所定の位置や角度に配して撮影したカメラ位置情報が既知のカメラで撮影された複数枚の多視点画像を用いるか、または、例えば、前記「デジタルカメラ画像から簡単に三次元データを生成するソフトウェア技術」などにあるように、回転台に印刷された参照マーカーと、回転台に載せた対象物体とを一緒に撮影した複数枚のカメラ画像から、撮影時のカメラ位置を自動計算する。
【００７３】
また、得られたカメラ位置情報と物体画像とから、形状とテクスチャーの三次元情報を自動計算し、その三次元情報をユーザが適宜修正して、デジタルカメラで手持ち撮影した画像から、三次元データを生成する。対象物を撮影した視点の異なる１０〜２０枚程度以上のＪＰＥＧフォーマットの撮影画像データを入力して、カメラ位置の計算、形状情報の生成などの一連の処理を実行して、三次元形状データを作成する。
【００７４】
すなわち、
１）カメラ位置の計算では、例えば、座標系におけるカメラの三次元位置パラメータ（回転成分α，β，γと平行移動成分（ｘ，ｙ，ｚ）をHough変換（ハフ変換、ヒュー変換）などに基づいて計算する。つまり、撮影された画像から、参照マーカーを抽出し、抽出された参照マーカーの任意の３点と、あらかじめ登録されている参照マーカー中の任意の３点の位置関係を組合せて決定される連立方程式を解くことにより、位置パラメータを計算する。
２）形状情報の生成では、単色の背景紙などを使用して対象を撮影し、指定した背景の色情報を用いて物体と背景を分離し、対象物のシルエット（輪郭）の抽出を行う。
【００７５】
３）次に、カメラの位置情報と対象物の二次元輪郭情報に基づいて、三次元ボクセル空間へのボーティング（投票）処理により、三次元形状を再構成し、得られたボクセルデータから、ポリゴン（多角形）データへ変換し、三角ポリゴン表現形式やＳＳＦ形式など、三次元形状データとして出力する。もしくは、ＶＲＭＬやＸＶＬ、ＩＧＥＳ、ＳＴＬ、ＰＬＹなど、三次元ＣＡＤや三次元ＣＧで用いられている出力形式に準拠した三次元形状データ形式に変換して出力してもよい。
【００７６】
ここで、Hough変換（ハフ変換、ヒュー変換）とは、エッジ画像から直線を求める問題等において多く用いられる方法で、エッジ画像中の各々の点（ｘ，ｙ）について、それがある直線上にある点と仮定した場合に可能性のある全ての直線を、極座標ρ＝ｘｃｏｓθ＋ｙｓｉｎθによるパラメータ空間（ρ，θ）へ曲線として投票し、最終的にパラメータ空間においてピークとなる（ρ，θ）が、求める直線のパラメータとして得られる。
【００７７】
上記の方法では、カメラの位置情報（カメラの外部情報）の算出に、人工的な特徴として回転台に印刷された参照マーカーを用いてキャリブレーションを行なっているが、建造物など大きな対象物の場合には、このような対象物を載せる回転台や参照マーカー等は用いにくい。
【００７８】
そこで、カメラに内蔵して設けたＧＰＳ受信測位装置や、三次元加速度センサ、傾斜センサ、電子コンパスなど、位置や角度、姿勢を検出するセンサ計測装置など、別のマーカーや人工的特徴を用いる必要がある。つまり、カメラの配置とは無関係にユークリッド空間を定義し、三次元ユークリッド空間上の位置座標と各カメラ画像上の二次元座標とをカメラ毎に関連づける、カメラ位置のキャリブレーション（校正）処理が必要になる。
【００７９】
また、カメラの光学情報（カメラの内部情報）も、あらかじめキャリブレーション設定された所定のカメラを用いるか、または、撮影距離、撮影時のレンズ焦点距離などを入力し、キャリブレーション・シートなど専用チャートを撮影した画像等から、カメラ光学情報の計算を行い、（カメラの内部情報の）キャリブレーションを行なったカメラを用いる必要がある。
【００８０】
（２）因子分解法
上記のような参照マーカーやカメラ位置のキャリブレーション処理を用いずに、複数の多視点カメラ画像データや連続動画像データだけから三次元形状データを生成する方法として、因子分解法がある。
一般に、カメラ位置や視点方向の制限も設けずに、対象物周囲の任意の複数枚の二次元画像から、対象物の三次元形状を求めるには、膨大な計算処理が必要で、解も不安定になる。
【００８１】
「因子分解法（Factorization）」（Tomasi and Kanade（金出武雄）、1992年）では、実際のカメラモデルである透視射影をアフィン射影で近似することにより、問題を簡略化し、数値計算を高速かつ解を安定化させることができる。また、複数のアフィン近似射影画像から、カメラ運動と対象物体の立体形状とを同時に復元できる優れた方法として知られている。
【００８２】
ここで、「因子分解法」については、前述した文献等に詳述されているから、以下、概略のみ説明する。
すなわち、すでに、上記の２．複数の画像間における点の対応付けのステップにより、複数の画像における点特徴の対応付けが既に求められ、画像座標として与えられているとする。
【００８３】
アフィン近似射影においては、カメラ撮影による写像は、三次元空間の対象物から、二次元画像へのカメラの位置と方向によって決まるアフィン射影となる。
画像がＦ枚、特徴点がＰ個与えられるとき、Ｐ個の三次元座標のＦ個のアフィン射影によるＦＰ個の画像座標が得られるとすると、因子分解法では、このＦＰ個の条件を行列の形に並べて、複数の二次元画像からの三次元形状復元問題を単純な形で表現することができる。
【００８４】
すなわち、
（計測行列）＝（運動行列）×（形状行列） ・・・（11）
ここで、計測行列はＦＰ個の画像座標を並べた２Ｆ×Ｐ行列、運動行列はＦ個のアフィン射影の表現行列を並べた２Ｆ×３行列、形状行列はＰ個の特徴点の三次元座標を並べた３×Ｐ行列である。つまり、複数の二次元画像からの三次元形状の復元問題は、計測行列の因子分解に帰着できる。
【００８５】
このように、透視射影によって得られた計測行列の成分からアフィン近似射影により投影されたとき得られる計測行列を推定できれば、後は、（因子分解法のアルゴリズムにしたがって）計測行列を運動行列と形状行列の積に分解するだけで、カメラの運動情報と物体の三次元形状とを復元することができる。
ただし、画像座標が正規直交基底による表現であるため、正しい復元解を得るには、画像座標の基底が正規直交基底となるように分解する必要がある。
【００８６】
アフィン射影モデル（Mundy and Zisserman,1992）は、校正されていないカメラに対するモデルとして、Xfpからｘfpへの変換が次式のアフィン射影の形で表される。
ｘfp＝Af Xfp＋uf ・・・・（12）
ここで、Afとufは未知パラメータである。アフィン射影モデルでは、Afには何の仮定もされていないので、対象物のアフィン空間における位置関係を知ること（アフィン復元）はできても、対象物体の対象物体の長さや角度など計量情報を知ること（ユークリッド復元）はできない。
そこで、対象物体のユークリッド復元を行なうためのモデルとして、計量アフィン射影モデル（MAPモデル）が考えられた。対象物体のユークリッド復元を行なうには、Ａfから奥行きパラメータλ*f＝ｔZ*fをくくりだした残りである行列Bfの成分が既知である必要がある。
【００８７】
【数１２】
【００８８】
さらに、カメラの位置の復元を行なうためには、ufが既知である必要がある。
以上の仮定より、
【数１３】
【００８９】
このような仮定を加えたアフィン射影モデルを、「計量アフィン射影」（ＭＡＰ：Metric Affine Projection）モデルと呼ぶ。また、ＡfをＭＡＰ行列と呼ぶ。
【００９０】
立体（対象物体）が固定され、カメラが運動していると仮定すると、カメラの運動情報と物体の三次元形状とを復元するためには、カメラモデルを立体に固定された座標系（世界座標系）で表す必要がある。
【００９１】
第ｆ画像におけるカメラ位置の世界座標をｔf、第ｆ画像面上の正規直交基底を｛if,jf｝、カメラ光軸方向の単位ベクトルをｋfとして、
世界座標におけるカメラの向きを表す行列（カメラの基底行列）をC＝（if，jf，ｋf）T、
また、第ｐ特徴点の世界座標をｓp、第ｆ画像のカメラ座標系における空間座標をXfpとすると、
ｓp＝ｔf＋CfT Xfp ・・・（15）
この表現を、ある特徴点ｓ0からの相対座標ｓ*p＝ｓp−ｓ0、ｔ*f＝ｔf−ｓ0で表すと、
ｓ*p＝ｔ*f＋CfT Xfp、Xfp＝Cf（ｓ*p−ｔ*f） ・・・・（16）
となる。
【００９２】
上記のＭＡＰモデルを世界座標系で表すと、
【数１４】
【００９３】
Ｐ個の点特徴の画像がＦ枚得られたとき、複数の二次元画像から、カメラの運動情報と物体の三次元形状情報とを復元する問題は、上式（１７）から｛Ｃf｝と、｛ｓ*p｝を求める問題になる。
因子分解法では、ＦＰ個の上式（ｆ=１〜F、ｐ＝１〜P）から作られた行列を分解することによって、カメラの向きを表す行列｛Ｃf｝（ｆ＝１〜F）と、対象物の特徴点の世界座標｛ｓ*p｝（ｐ＝１〜Ｐ）を求める。
【００９４】
ここで、計測行列Ｗ*、運動行列Ｍ、形状行列Ｓ*を、
【数１５】
と定義すると、
Ｗ*＝Ｍ（２Ｆ×３行列）・Ｓ*（３×Ｐ行列） ・・・・（19）
が成立する。
【００９５】
Ｍには、カメラ運動に関する未知数｛Ｃf｝（ｆ＝１〜F）および｛λ*f｝（ｆ＝１〜F）のみが、S*には、三次元形状に関する未知数｛ｓ*p｝（ｐ＝１〜P）のみが含まれていることから、計測行列Ｗ*を、運動行列Ｍと形状行列Ｓ*の積に分解することができれば、カメラの運動情報と物体の三次元形状とが復元できる。
ここで、Ｗ*のＭとＳ*の積への分解において、｛Ｃf｝が三次元回転行列であることから、次の条件（計量拘束）が満たされる必要がある。
ＭfＭfT＝ＡfＡfT＝（１／λ2*f）ＢfＢfT ・・・・（20）
【００９６】
因子分解法のアルゴリズム
実際の因子分解法のアルゴリズムでは、「Affine復元」、「Euclid復元」の順に、計測行列Ｗ*を分解して、カメラの運動情報と物体の三次元形状情報を復元する。
１）まず、特異的分解（SVD）などにより、計測行列Ｗ*を、Ｍ＾（２F×３）と、Ｓ＾*（３×P）の積に一時的に（暫定的に）分解して、Affine復元する。
【００９７】
【数１６】
【００９８】
このとき、Ｍ、Ｓ*、とその暫定解のＭ＾、Ｓ＾*の間には、
Ｍ＝Ｍ＾・Ａ、Ｓ*＝Ａ-1・Ｓ＾*（ただし、Ａ-1はＡの逆行列）・・・（22）
の関係を満たす３×３可逆行列Ａが存在するので、この暫定的な分解によって、運動と形状がアフィン復元されていることになる。
【００９９】
２）暫定解のアフィン復元解からユークリッド復元解を求めることは、３×３可逆行列Ａを求めることに帰着する。Q＝ＡＡTとおくと、前記の計量拘束条件から、Ａの満たすべき条件は、
Ｍ＾ｆＱＭ＾ｆT＝ＡfＡfT＝（１／λ2*f）ＢfＢfT ・・・・（23）
ここで、式（14）における未知量は｛λ*f｝（ｆ＝１〜F）とQとであり、Bfは既知であるから、
Bfの特異値分解をBf＝RfΣfDfとすると、Rf、Σfは既知であり、
P＾f＝（ｐ＾f，ｑ＾f）T＝RfTM＾f、Pf＝RfTMf・・・（24）
とおくと、式（14）の拘束条件は、
P＾f Q P＾fT＝（1/λ2*f）Σ2f ・・・・（25）
と単純になる。
【０１００】
このとき、
【数１７】
すなわち、
【数１８】
【０１０１】
よって、次式のように、｛λ*f｝を含まない、Qに関する線型同次連立方程式が得られる。
【数１９】
この連立方程式を解くことによって、｛λ*f｝による定数倍の不定性を除いて、３×３の正値対称行列であるＱを一意的に求めることができる。
【０１０２】
３）対称行列Qのコレスキー分解を、Q＝LLTとすると、
Aの一般解は、A=LTU となり、
運動行列M、形状行列S*の一般解は、
M＝M＾LTU、 S*＝UTL S＾*・・・・（28）
で求まる。
【０１０３】
上記のようにして、計測行列Ｗ*（ＦＰ個の画像座標を並べた２Ｆ×Ｐ行列）データから、カメラの運動情報を含む運動行列Ｍデータ（Ｆ個のアフィン射影の表現行列を並べた２Ｆ×３行列）と、物体の三次元形状情報を含む形状行列Ｓ*データ（Ｐ個の特徴点の三次元座標を並べた３×Ｐ行列）を同時に復元することができる。
【０１０４】
因子分解法アルゴリズムの詳細は、前記（文献４）などに詳しい。また、因子分解法をリアルタイム処理に対応するために逐次的に計算する「逐次型因子分解法」や、アフィン近似射影による画像を因子分解法を用いて反復的に推定して、カメラ運動と立体形状とをより高精度に復元する「Ｃ−Ｈ法」（Christy and Horaud，1996年）など、様々な改良法も提案されているが、ここでは、省略する。
【０１０５】
次に、三次元データのディフォルメ、補正処理を、以下のようにして行う。
上記のような方法により、建造物などの対象物の図面データや複数枚の多視点の撮影画像データから、三次元形状データが抽出されたならば、補正処理を行う。
すなわち、本発明の特徴として、製作する立体模型（やそのペーパークラフト）の作成寸法や縮小率、および立体模型の作成仕様、すなわち、あらかじめ設定または記憶された、立体プリンタ等の立体印刷の分解能や解像度、印刷素材の細かさなどの諸元に応じて、三次元形状データのうち、所定の寸法以下のディティールについては、以下のいずれかを行う。
１）所定の寸法以下のディテール（詳細部分の寸法）は省略するか、もしくは、近接する部位と一体（グループ）として扱い、ディティールの一部を省略してディフォルメした立体プリント用のデータを生成する。
【０１０６】
２）建物の玄関や窓、ドアなど、建物の正面（ファサード）や顔となる特徴部位や、そのディティール（ドアノブ、窓サッシ、障子の桟、壁のタイルなど）については、省略はしないが、ディティールの一部寸法を拡大して、部位グループ全体の大きさは変えずに、各ディティールの寸法は印刷分解能以上の寸法になるように、拡大デフォルメ（変形処理）した立体プリント用のデータを自動生成する。
【０１０７】
３）ディティールのうち、（窓サッシの枠、障子の桟、壁のタイルなど）同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループ全体の寸法内で、グループ内の単位ディティールの寸法を所定寸法以上の大きさになるように拡大ディフォルメするとともに、その個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更する。
【０１０８】
４）窓やドアのサッシやタイル、レンガ、屋根の瓦やスレートなど、所定の部位について、そのディティールやテクスチャー（肌理や模様）について、標準パターンを予め複数種用意しておき、その中から類似するものを自動的に選択して、それに代えて配置するよう変形処理した立体プリント用のデータを生成する。
【０１０９】
次に、ペーパークラフト模型の展開図の作成を行う。
すなわち、高価な３Ｄプリンタや立体プリンタなどが無い場合や、利用できない場合には、立体模型を立体プリントして製作する代りに、建築用のＣＡＤ図面データ、あるいは、建築図面のスキャナ読み取りデータから、あるいは、同じ対象物を複数の視点位置からカメラで複数枚撮影した画像データから、上記の立体プリントの場合と同様に、三次元形状データを抽出生成し、建造物など対象物の三次元形状データに基づいて、建造物の外観のペーパークラフトによる紙製立体模型を作成するための展開図の印刷用画像データを自動的に生成して、ユーザのＰＣやプリンタに出力し、プリンタで紙に印刷された展開図から、ユーザが切り貼りして組み立て、ペーパークラフトの立体模型を簡単に作成できるように提供する。
【０１１０】
この際、ディティールの処理やディフォルメ処理については、上記の方法（立体プリントにおけるディティールの処理やディフォルメ処理）が、同様に利用できる。
また、窓サッシやタイル、レンガ、瓦など、所定の部位について、そのディティールやテクスチャー（肌理や模様）について、標準パターンを予め複数種用意しておき、その中からディティールやテクスチャーが類似するものを自動的に選択して、それに代えて配置するように変形処理した立体プリント用のデータを生成する。
【０１１１】
ここで、図５中、Ｓ６１で建物など対象物を複数の異なる視点から撮影し、Ｓ６２で撮影された複数の多視点画像データまたは連続動画像データを入力すると、Ｓ６３において、その前処理（傾き補正、ノイズ除去、鮮鋭化処理）を行い、Ｓ６４において撮影位置などのカメラ情報が既知か否かが判断される。
そうであれば、Ｓ６５でカメラ位置パラメータの計算、Ｓ６６で各画像からシルエット（輪郭）画像データを抽出し、Ｓ６７でカメラ位置と各輪郭画像に基づいて、対象物の三次元形状モデルを復元し、Ｓ６８の対象物の三次元形状データを生成するようになっている。
【０１１２】
一方、既知でなければ、Ｓ７１に進み、各画像から、対象物の輪郭外形や特徴を表す、線分や曲線、特徴点を検出し、Ｓ７２で各画像の主要点の点特徴を抽出し、Kanade-Lucas-Tomasi法等を用いて、各特徴点を対応付け、Ｓ７３で多視点画像における各点座標（計測行列）から、因子分解法等により、カメラ動き情報（運動行列）と対象物の三次元形状情報（形状行列）とを復元し、Ｓ６８において、対象物の三次元形状データの生成が行われる。
【０１１３】
以上の説明から明らかなように、本発明に係る立体模型の作製装置によれば、建造物の複数枚の画像をカメラで撮影するだけで、手軽に、しかも安価に立体模型３のペーパークラフト用展開図２をプリントすることができる。これにより、建築前のシミュレーションや評価が具体的にリアルな模型を用いて確認できるだけでなく、建築後も展示案内や記念品として利用できる。また、小規模な一般住宅などでも、外注製作費や手間がかからず、データを送るだけの簡単操作で作成できるので、業者も顧客も模型製作を気軽に受発注できる。
【０１１４】
特に、本発明装置によれば、小規模な一般住宅などでも、外注製作費や手間がかからず、データを送るだけの簡単操作で作製できるので、業者も顧客も模型製作を気軽に受発注できる。
【０１１５】
また、本発明装置では、立体プリンタや三次元成形加工機など、高価で大掛かりな設備が利用できない場合でも、簡単にペーパークラフト型の立体模型３の展開図２を自動生成して、印刷してくれるので、誰でもが、容易にかつ安価に立体モデル（立体模型３）を作製することができる。
【０１１６】
また、本発明装置によれば、縮小サイズの模型を作成する場合でも、三次元成形加工機やプリンタなどの解像力や分解能が粗くて、対象物のディティールの詳細が再現できないような場合でも、建物の正面（ファサード）や対象物の顔や特徴となるような、省略できない部位のディティールについては、当該部位の特徴を残し、かつ、加工機やプリンタなどの解像力や分解能より大きな寸法制限を満たすように、自動的にディフォルメ変形して三次元形状データを変形処理するので、当該部位の特徴となるディティールを再現した立体模型やペーパークラフト模型を容易に作成できる。
【０１１７】
なお、本発明は上述した実施の形態で説明した構造には限定されず、立体模型の作製装置を構成する各部の形状、構造等を適宜変形、変更し得ることはいうまでもない。
【０１１８】
たとえば上述した実施形態では、図３ないし図５に示すように、立体模型として建築用立体模型３を例示し、また建築物の撮影画像１に基づいてペーパークラフト用展開図２を印刷した場合を説明したが、本発明はこれに限定されない。すなわち、上述した立体物の基本的なデータとしては、ＣＡＤ図面データや建築図面等を入力、またはスキャナ等による取り込み入力で行うように構成してもよい。
【０１１９】
また、上述した実施形態では、建造物の立体模型３を作製する場合を説明したが、これに限定されない。すなわち、建造物だけでなく、自分の愛車や、人物、ペットなどでも、複数の多視点位置からカメラで複数枚の画像を撮影するだけで、できる限りリアルな立体模型（銅像や胸像代り）を作製する場合に、同様に利用できる。
たとえば自動車の例を図１０ないし図１２に示している。
【図面の簡単な説明】
【０１２０】
【図１】本発明に係る立体模型の作製装置一実施形態を示し、主な作製手順を説明するためのフローチャートである。
【図２】本発明に係る立体模型の作製装置の概略構成を示す図である。
【図３】立面図の画像から三次元データの作成処理を説明するためのフローチャートである。
【図４】（ａ）は立面図の画像を入力した状態を、（ｂ）は立面図を正面図、平面図、側面図に分離した状態を、（ｃ）は視体積交差法の概略を、（ｄ）は三次元形状データの概略をそれぞれ示す概略説明図である。
【図５】カメラ画像からの三次元データの作成処理を説明するためのフローチャートである。
【図６】（ａ）は対象物を異なる視点（位置）から複数枚カメラで撮影した状態を、（ｂ）は対象物の多視点からの複数のカメラ画像を、（ｃ）はそれによる三次元形状データ９をそれぞれ示す概略説明図である。
【図７】本発明に係る立体模型の作製装置において、立体模型の基本データとして用いる撮影画像を説明するための図である。
【図８】本発明に係る立体模型の作製装置において、立体模型を作製するためにプリントしたペーパークラフト用の展開図である。
【図９】本発明に係る立体模型の作製装置を用いてプリントしたペーパークラフト用の展開図から作製した立体模型の概略図である。
【図１０】本発明に係る立体模型の作製装置の別の実施形態を示し、立体物として建造物以外を選択した場合の撮影画像を示す図である。
【図１１】図１０の場合のペーパークラフト用の展開図である。
【図１２】図１１のペーパークラフト用の展開図から作製した立体模型の概略図である。
【符号の説明】
【０１２１】
１…撮影画像、２…ペーパークラフト用展開図、３…立体模型、１１…入力手段、１２…三次元モデルデータ生成手段、１３…閾値設定手段、１４…立体プリント用のデータ作成手段、１５…プリント出力手段。
【技術分野】
【０００１】
本発明は、建築物等といった立体物の立体模型を作製するために用いて好適な立体模型の作製装置に関する。
【背景技術】
【０００２】
たとえば、建築物等の立体物の立体模型をできるだけ簡単に、しかも手軽に作製できることが望まれている。
すなわち、この種の建築用の立体模型は、たとえば個人の住宅や集合住宅を始め、ビルや工場、公共施設、橋、都市計画等というように規模の大小を問わず、建築や土木工事を行う際において、実際の施工前のシミュレーションや評価、検討に利用される。また、施工後においても、模型として展示案内用や記念品としても有用である。
【０００３】
特に、大規模開発などにあっては、リアルで立体的な模型などが、展示用や開発状況の説明用として制作、準備されることが多い。
しかし、個人住宅用などでは、製作者が少なく、外注製作費や手間がかかるなどから、建築業者側でもなかなか製作しにくく、また顧客側も大規模な物件でないと頼みにくいなど問題があった。
【０００４】
このような観点から、従来一般には、実際の敷地の風景と建設予定の建造物の三次元ＣＧとを合成して表示するもの（例えば、特許文献１参照）から、入力画像から背景画像と被写体画像の三次元位置を求め、その相当位置に立て看板のような台紙を貼り付け、台紙に背景や被写体の画像を貼り付け、簡単な立体模型とするもの（例えば、特許文献２参照）など、種々の手法が必要に応じて適宜採用されている。
【０００５】
【特許文献１】特開平５−２４２２０４号公報
【特許文献２】特開２０００−１３２６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述した従来の手法では、現実感に乏しく、住宅やビル、施設等の建築物を、視覚的に立体感をもって把握することが難しいといった問題があり、実際の建築物にできるだけ近づけた建築用立体模型を手軽に、また安価に、しかも自動的に作製し得る、何らかの対策を講じることが望まれている。
【０００７】
この種の立体模型を作製するために、立体プリンタを用いることも考えられている。この種の立体プリンタとしては、たとえば３Ｄ模型を立体プリントできる３Ｄ粉体プリンタなども実用化されている。
【０００８】
しかし、現状では、装置が大掛かりで高価で設置場所が限られる。また、レンタル使用でも使用料金が高額で、細かな形状まで再現するには製造に数時間と時間がかかり、一般ユーザや個人住宅用の模型などには利用しにくかった。さらに、出来上がった模型は、石膏の固まり状で、木造建築などとは質感が異なり、大きさの割に重量が重く、しかも壊れやすいなど、建築用の模型の作製方法としては問題があった。
【０００９】
本発明はこのような事情に鑑みてなされたものであり、建築物等といった立体物の立体模型を、立体プリンタを用いることなく、簡単に、しかも自動的に制作することができる立体模型の作製装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
このような目的に応えるために本発明（請求項１記載の発明）に係る立体模型の作製装置は、立体物の多視点の撮影画像データ、立体物のＣＡＤ図面データ、または立体物の製造図面からのスキャナデータを入力する手段と、該入力された画像データから三次元モデルデータを生成する手段と、該生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段と、該設定に基づき立体模型の立体プリント用のデータを作成する手段と、立体模型のペーパークラフト用の展開図のプリント出力する手段と、を具備したことを特徴とする。
【００１１】
本発明（請求項２記載の発明）に係る立体模型の作製装置は、請求項１において、前記三次元モデルデータのうち、作製する立体模型またはそのペーパークラフトの作製寸法、縮小率、プリンタの印刷分解能や解像度、印刷素材の細かさ等の仕様諸元に応じて、所定の寸法以下のディティールを、省略するか、あるいは近接部位として一体（グループ）として扱い、ディティールの一部を省略してディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする。
【００１２】
本発明（請求項３記載の発明）に係る立体模型の作製装置は、請求項１または請求項２において、前記三次元モデルデータのうち、立体物の正面、特徴となる部位、主要なディティールについては省略しないが、ディティールの一部寸法を拡大して、部位グループの大きさは変えずに、ディティール毎の寸法は印刷分解能以上の寸法に、拡大ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする。
【００１３】
本発明（請求項４記載の発明）に係る立体模型の作製装置は、請求項１ないし請求項３のいずれか１項において、ディティールのうち、同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループの寸法内で、グループ内の単位ディティールの寸法が所定寸法以上の大きさになるように拡大ディフォルメするとともに、個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更した立体プリント用のデータを生成するように構成したことを特徴とする。
【発明の効果】
【００１４】
以上説明したように本発明に係る立体模型の作製装置によれば、複数枚の多視点の撮影画像データ、ＣＡＤ図面データまたは製造図面を用い、立体模型を制作するためのペーパークラフト用の展開図を簡単にプリントすることができ、これにより該展開図を適宜切り取って組み立てることで、立体プリンタを用いなくとも、立体模型を手軽に、しかも簡単に制作することができる。
【００１５】
特に、本発明によれば、簡単なデータ入力だけの簡単な操作で作製できるから、ユーザにとっても、業者にとっても手間もコストも掛からず、立体模型を制作することができる。
【００１６】
このようにして得られた立体模型によれば、建築前のシミュレーションや評価が具体的にリアルな模型を用いて確認できるだけでなく、建築後も展示案内や記念品として利用できる。また、小規模な一般住宅などでも、外注製作費や手間がかからず、データを送るだけの簡単操作で作成できるので、業者も顧客も模型製作気軽に受発注できる。
【発明を実施するための最良の形態】
【００１７】
図１ないし図９は本発明に係る立体模型の作製装置の一実施形態を示す。
ここで、この実施形態では、図７に示す建造物の多視点の撮影画像１を用い、これに基づいて、図８に示すような立体模型を作製するためのペーパークラフト用展開図２を印刷し、これを切り取り、組立手順等を説明した組立情報（文、図）にしたがって組み立てることにより、図９に示す建築用立体模型３を組み立てて作製するものである。
【００１８】
本発明によれば、建築用立体模型３の作製装置は、図２に示すように、立体物の多視点による複数枚の撮影画像データ、立体物のＣＡＤ図面データ、または立体物の製造図面からのスキャナデータを入力する手段１１と、該入力された画像データから三次元モデルデータを生成する手段１２と、該生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段１３と、該設定に基づき立体模型の立体プリント用のデータを作成する手段１４と、立体模型のペーパークラフト用の展開図のプリント出力する手段１５と、を具備している。
【００１９】
そして、上述した構成において、図１に示すステップにより、上述した撮影画像１等の建造物の基本データの入力に基づき、立体物の一側面に描画されている線、もしくはディティールのうち、忠実に再現（描画）する線と、ディフォルメ（省略）する線の閾値を決めており、これに基づいて立体模型３の基本となる３Ｄデータを作製し、これに基づきペーパークラフト用展開図２を印刷出力し、さらにこれを切り取って組み立てることにより、建築用立体模型３を作製するようにしている。
【００２０】
ここで、上記の立体模型またはそのペーパークラフト展開図２の自動作成方法は、一般のＰＣ（パーソナルコンピュータ）上のアプリケーションソフト、またはウェブ上のアプリケーションソフト、ウェブを用いた受注製作サービス等として提供する。あるいは、多視点の撮影画像データから、三次元モデルデータを自動作成し、立体（三次元）印刷用データやペーパークラフト展開図の二次元印刷用データに変換して生成し、メモリ媒体に保存したり、プリンタなど外部機器に出力するまでの処理を実行するソフトウェアを、カメラなど撮影機器に、組み込みソフトウェアとして内蔵や実装して、デジタルカメラ製品やプログラム記憶媒体として提供するものである。
【００２１】
上述したような建築用立体模型３の作製装置による作製動作を、図１のフローチャート等にしたがって以下に説明する。
【００２２】
すなわち、始めに、Ｓ０１において立体物を複数視点（多視点）からカメラで撮影し、Ｓ０２で該カメラの撮影画像データを入力（または受信）する。ここで、このようにカメラによる立体物の撮影で撮影画像データを用いる手法では、立体物（建造物）が既に建築されている建物や中古の物件などおいて、建築用立体模型３を作製する際に用いて好適なものである。
【００２３】
そして、Ｓ０３において複数視点の画像データから、子分解法等により三次元形状データを生成し、Ｓ０４に進む。
なお、上述した立体物の基本データとしては、撮影画像に限らず、Ｓ０５のように建物などの立面図（正面図、平面図、側面図など）の画像をスキャナ読み取り入力で行い、Ｓ０６において立面図データから、視体積交差法等により、三次元形状データを生成してもよい。あるいは、Ｓ０７のように建物などのＣＡＤ図面データを入力し、Ｓ０８のように三次元形状に変換してもよい。
【００２４】
Ｓ０４では、立体模型の所望の実寸外形または縮小／拡大率を設定し、Ｓ１０において３Ｄプリンタなどの立体成形機が使用可能か否かを判定する。そうであれば、Ｓ１１で３Ｄプリンタなどの立体成形機の解像力、分解能から、立体模型の最小寸法条件を設定し、Ｓ１２で縮小／拡大率にしたがって、立体模型の実寸三次元形状データを作成し、Ｓ１３において、立体模型（またはペーパークラフト模型の展開図）の寸法が所定以下の長さ、幅、面積となる部位があるか否かを判定する。
【００２５】
Ｓ１０において３Ｄプリンタなどが使用不能であれば、Ｓ１４でプリンタの解像力、分解能の条件に応じて、ペーパークラフト模型の最小寸法条件を設定し、Ｓ１５において縮小／拡大率にしたがって、ペーパークラフト模型の実寸三次元形状データを作成する。そして、Ｓ１６において、立体模型の実寸三次元形状データから、外面部分の三次元曲面データ、および、正規立面図データを生成し、Ｓ１７において、最も広い面積の曲面または平面を探索し、Ｓ１８において、最も広い曲平面を中心に、外面部分の曲面データと対象物の種類に応じたモデルに基づいた、面曲面の展開図を生成し、Ｓ１３に進む。
【００２６】
Ｓ１３においてＹｅｓであれば、Ｓ２０で対象物の種類に応じて、省略可の部分、省略不可の部分を判定する。そして、Ｓ２１で省略不可の部位であると判定されると、Ｓ２２において該当する標準モデルデータがあるか否かを判定し、そうであればＳ２３において、標準モデルに基づいて、当該部位の寸法が所定寸法以上となるように拡大ディフォルメ処理し、Ｓ２４で全ての部位が所定寸法以上の長さ、幅、面積になったか否かを判定する。
【００２７】
Ｓ２１、Ｓ２５において省略可の部位であると判断されると、Ｓ２６において所定寸法以下となる部分を省略し、隣接部分と一体化して、ディフォルメ処理し、Ｓ２４に進む。
また、Ｓ２２において該当する標準モデルデータがないと判断されると、Ｓ２７で当該部位が所定寸法以上となるように、自由拡大ディフォルメ処理し、Ｓ２４に進む。
【００２８】
Ｓ２４で全ての部位が所定寸法以上になったと判断されると、Ｓ２９において３Ｄプリンタ等の立体成形機で立体成形加工か否かを判断する。そして、Ｓ３０でディフォルメ処理された三次元形状データを立体成形機応じた加工用データに変換する。
そして、Ｓ３１での三次元粉体プリンタへ出力、Ｓ３２での紫外線硬化樹脂成形機へ出力、Ｓ３３での自動切削加工機に出力のいずれかに進む。すなわち、使用できる立体プリンタがある場合には、上述したようにして得られる三次元形状データに基づいて立体プリンタ用のデータを生成し、該立体プリンタを用いて立体印刷により三次元モデル（立体模型）を作製するようにする。
【００２９】
Ｓ２４で３Ｄプリンタなどでの立体成形加工ができないと判断されると、Ｓ３４でディフォルメ処理された外面の展開図に、組立て用のりしろ部分を付加する。そして、Ｓ３５において、展開図に、撮影画像に基づいて外面の色・柄・模様など、デクスチャー画像を貼り付け、山折り線、谷折り線を付加する。さらに、Ｓ３６で組立て手順などの説明情報（文、図）を作成する。そして、Ｓ３７において、ペーパークラフト展開図と説明情報をプリンタに出力（印刷）する。
【００３０】
ここで、上述した多視点による撮影画像データからの三次元モデルデータの自動作成について説明するに先だって、建造物の建築図面やＣＡＤ図面からの物体の三次元モデルや三次元形状データの作成について説明する。
【００３１】
１．平面図からの三次元形状データの作成方法
建造物などの平面図を表す図面の２値化画像を入力し、この平面図から、対象の幾何モデルを生成するために、特徴点を抽出し、平面図の構造を解析して、各特徴点間の接続関係を記述する。
【００３２】
構造解析には、エッジ検出や特徴点抽出を用いるが、エッジ検出方法では、画像のノイズに弱く、平面図によっては、エッジが途切れてしまう場合がある。
また、特徴点を自動的に検出する方法には、マスクパターンを適用する方法があるが、誤検出したり、構造物の角（コーナー）のような特徴点をうまく検出できなかったりする場合がある。
【００３３】
そこで、平面図をブロックに分割して、ブロック毎に特徴解析し、それらブロックを統合することにより、平面図を記述すると、上記の課題もクリアできる。
１）入力された平面図画像の傾きを補正する。
２）平面図画像を（ｍ×ｎ）のブロックに分割する。
３）各ブロック内の画素値の平均値Ａveを次式で求める。
【００３４】
【数１】
ただし、P（i,j）は、点（i,j）における画素値。
【００３５】
４）平均値Ａveが、所定の閾値thより小さければ、建物部分の領域として、そのブロック位置を記述し、大きければ、領域外とみなしブロック位置を記述しない。
【００３６】
次に、ブロックで記述された平面図に対して、ポリゴン数が多くなりすぎないように、ブロックを統合し、ブロック数を削減する。
１）ブロックで記述された平面図情報に対して、ｘ方向に探索し、隣り合うブロックを統合する。
２）上記１）の統合処理が終了するまで繰り返す。
３）ｘ方向のブロックが統合された平面図情報に対して、ｙ方向に探索し、ブロックが隣り合い、かつブロックサイズが同じものを統合する。
４）上記３）の統合処理が終了するまで繰り返す。
【００３７】
さらに、上記で記述された平面図情報（二次元形状データ）に、既知の高さ情報を加えることにより、三次元モデル、および、それを記述する三次元形状データを生成することができる。
【００３８】
２．立面図からの三次元形状データの作成方法
すなわち、建造物などの図面を、図４（ａ）に示すように、正面図、側面図、平面図が描かれている立面図の画像を入力（または撮影）して、立面図画像から建造物などの三次元形状データを作成する方法について説明する。
【００３９】
ここで、立面図画像からの三次元形状データの生成処理のフロー図と生成例を図３と図４とに示す。
なお、図４中、符号６は立面図の画像を入力した状態を、７は立面図を正面図、平面図、側面図に分離した状態を、８は視体積交差法の概略を、９は三次元形状データの概略をそれぞれ示す。
【００４０】
まず、前処理として、図３中、Ｓ４１で示すように立面図（正面図、側面図、平面図）の画像を入力し、その入力（または撮影）された立面図の画像を、Ｓ４２に示すように傾きなどを補正し、さらにＳ４３に示すように白黒に２値化する。
【００４１】
次に、Ｓ４４に示すように、１枚の立面図に、正面図、側面図、平面図が描かれている場合には、これを図４（ｂ）に示すように、３枚の画像（正面画像、側面画像、平面図画像）に分離する。それには、各画像が白画素（または黒画素）で塗りつぶされた画像とすると、画像のｘ軸、ｙ軸に対して、それぞれ白画素（または黒画素）の分布を調べ、画像のｘ軸、ｙ軸に対する各ヒストグラムについて、谷となる点を対象領域の境界として、立面図の分離を行えば良い。
【００４２】
次に、分離された正面図、側面図、平面図の３枚の画像に対して、「視体積交差法」を用いて、三次元モデルの生成を行う。
視体積交差法では、実空間内に複数設置したカメラで撮影した画像から物体のシルエットを抽出し、あらかじめカメラキャリブレーションにより求まるカメラパラメータを用いて、空間に逆投影し、シルエットの交わりを計算することによって、三次元モデルを求める。
【００４３】
使用する立面図（正面図、平面図、側面図）を、画像面に垂直な軸に沿って投影された正射影図法によるものとした場合には、奥行情報のみが失われる。このため、視体積交差法を用いて、三次元モデルを生成する場合に、必要とされるカメラパラメータを求める必要がない。
【００４４】
たとえば立面図から三次元モデルを生成する手順は、次の通りである。
１）形状を構成する三次元空間（ボクセル空間）を立方体格子に分割する（Ｓ４５）。
２）立面図のシルエット画像を入力し、各ボクセルに対して、正射影による逆投影を行い（Ｓ４６）、立面図上にシルエットが存在するか、しないかを判定する（Ｓ４７）。
そして、存在する場合には「存在する」として該当ボクセルを残し（Ｓ４８）、しない場合には「存在しない」として該当ボクセルを削除する（Ｓ５０）。なお、Ｓ４９，Ｓ５３で全ての立方格子を順次判定し、以下のＳ５１に進む。
【００４５】
３）最終的に存在するボクセル集合を、三次元形状とみなす（Ｓ５１）。
４）三次元形状の内部にあるボクセルを削除する（Ｓ５２）。
【００４６】
ここで、視体積交差法と射影グリッド空間については、以下の通りである。
三次元モデルは、「視体積交差法」に基づいて復元することができる。視体積とは、視点を頂点と、対象物のシルエットを断面とする錐体のことで、「視体積交差法」は、全ての視点における対象物の視体積の共通部分を求めることにより、対象物の形状を復元する手法である。
【００４７】
視体積交差法について、図４（ｃ）等に示すように、やや詳しく説明すると、複数台のカメラ（または複数位置からのカメラ画像）のうち、任意の２つを基底カメラ（または基底位置からのカメラ画像）１、２として、２台の基底カメラのそれぞれの視点から、中心投影によって三次元空間を定義する。ここで、三次元空間を、射影グリッド空間（ＰＧＳ：Projective Grid Space）として考え、空間中のボクセルＡ（ｐ，ｑ，ｒ）は、基底カメラ１から撮影画像１上の点ａ１（ｐ，ｑ）へ基底カメラ２からの撮影画像２上の点ａ２（ｒ，ｓ）へ投影されるものと定義する。
【００４８】
交差計算をする際には、画像間の幾何関係や、カメラ座標と空間座標との対応関係が必要であり、それらはＦ（Fundamental）行列を算出することで既知となる。（Ｆ行列では、２画像間の９点以上の点対応によって決定できる）
【００４９】
Ｆ行列を利用して以下のような投影を行なう。
１）まず、空間上のＡ（ｐ，ｑ，ｒ）に対する画像１上の投影点ａ１については、射影グリッド空間ＰＧＳの定義より、ａ１（ｐ，ｑ）に投影される。
２）次に、画像２上の投影点ａ２については、Ｆ行列Ｆ21を用いて画像２にエピポーラ線Ｌ21として投影すると、ａ２はＬ21上に存在するため、直線Ｌ21は次式で定義できる。
【００５０】
【数２】
ａ２のｘ座標は射影グリッド空間ＰＧＳの定義よりｒであるから、ｙ座標ｓも定まる。
【００５１】
３）そして、基底カメラ以外のカメラからの撮影画像（または、基底位置以外からのカメラ画像）ｉに対する投影点の座標ｘｉ，ｙｉは、次のようにして定まる。
基底カメラ２への投影と同様に、Ｆｉ１を用いて点ａ１を画像ｉ上に直線Ｌｉ１として投影する。
また、Ｆｉ２を用いて、点ａ２を画像ｉ上に直線Ｌｉ２として投影する。
【００５２】
４）２本のエピポーラ線Ｌｉ１、Ｌｉ２の交点が、画像ｉの投影点の座標である。
５）この処理を、全視点の画像に対して行なう。
このようにして、注目ボクセルに対する全視点の画像の座標値を求めることができ、三次元モデルが復元できる。
【００５３】
交差計算による三次元モデル復元は、定義された射影グリッド空間ＰＧＳ上で、空間に含まれるボクセルを一枚のシルエット上に投影し、シルエット上にないボクセルを全て削除し、次のシルエット画像に投影するという処理を、基底カメラ１、基底カメラ２、その他のカメラの順に行ない、全ての入力視点画像のシルエットに含まれるボクセルだけを「存在」とみなし、最終的に図４（ｄ）に示すように、三次元モデルを復元することができる。
【００５４】
３．ＣＡＤ図面データからの入力
建造物のＣＡＤ図面データや三次元ＣＡＤデータなどがある場合には、これらから、三次元粉体プリンタや紫外線硬化樹脂成形機、自動切削加工機などの三次元成形加工機などの加工用データに変換して出力する。
【００５５】
図５および図６は多視点カメラ画像からの三次元形状データの生成処理のフロー図と生成例を示す。
すなわち、建築用図面やＣＡＤデータなどが用意できない場合や、既に建設済みや中古の建物、その他の対象などの場合には、異なる複数の視点から対象物を撮影し、多視点の複数画像から、以下の手法により、対象物の三次元形状データを生成することができる。
【００５６】
なお、図６（ａ）は対象物を異なる視点（位置）から複数枚カメラで撮影した状態を、同図（ｂ）は対象物の多視点からの複数のカメラ画像を、同図（ｃ）はそれによる三次元形状データ９をそれぞれ示す。
【００５７】
１．画素座標、カメラ座標、画像座標
図６（ａ）に示すように、カメラを基準とした三次元空間座標を「カメラ（Camera）座標」と、二次元画像を表現する「画像（Image）座標」とを、カメラ座標系（Ｘ，Ｙ，Ｚ）の原点（０，０，０）を光軸上のカメラ中心とし、撮像画像面に平行なＸ軸、Ｙ軸と光軸方向のＺ軸との正規直交座標系として設定すると、カメラ座標が（Ｘ，Ｙ，Ｚ）Tである三次元空間の点と、その透視射影として得られる二次元画像の画像座標（ｘ、ｙ）Tには、次式が成り立つ。
【００５８】
ｘ＝l×Ｘ／Ｚ、ｙ＝l×Ｙ／Ｚ（ただし、l：カメラの焦点距離）…（１）
ここで、透視射影による三次元空間の像を記述する「画像（Image）座標」と、モニター表示画面などの「画素（Pixel）座標」の間には、個々のカメラに固有の１対１の写像関係がある。
【００５９】
複数の画像における点対応からカメラ運動と相対的位置関係（三次元形状）とを復元する場合には、点対応は、まず「画像座標」で与えられるので、全てのカメラに対して統一的に扱うためには、この「画素（Pixel）座標」と「画像（Image）座標」間の１対１の写像関係を求めること（「カメラキャリブレーション」と呼ばれる）ができれば、「画素（Pixel）座標」と「画像（Image）座標」とを自由に変換できることになる。
【００６０】
カメラモデルを表現する透視射影において、複数の画像における点対応からカメラ運動と三次元形状とを求める問題は、非線形写像の逆問題となるので、非線形最適化問題に帰着し、非線形最適化問題はノイズに敏感で、初期値依存性が高く、数値計算が不安定であるなど、問題があるため、安定して三次元形状を復元することは難しい。
【００６１】
そこで、１）「デジタルカメラ画像から簡単に三次元データを生成するソフトウェア技術」、三洋電機技報（SANYO TECHNICAL REVIEW）、VOL.35、No.１、JUNE 2003．にあるように、カメラの位置や姿勢、視点方向などに関する外部情報、すなわち、カメラ運動情報を入力するか、参照マーカーなど人工的特徴を付加することによって、カメラ運動情報を求めやすくする。あるいは、２）特開２００４−２２０３１２号公報、あるいは、前述の視体積交差法の説明にあるように、複数の多視点カメラ（または視点）の中から、なるべく直交する関係の２台のカメラ（または視点）を基底カメラとして選択して、基底カメラによる射影グリッド空間を用いて、複数のカメラ間または視点間の相互関係情報を付加するか、制限して、例えば、カメラ間のエピポーラ幾何関係を表す基底行列Ｆ（Fundamental）行列等を用いて、射影グリッド空間上の点を各カメラ画像へ投影し、各カメラ画像のシルエット画像において、対象物の内部に存在するか外部かを判定して、三次元形状データを復元することができる。あるいは、３）「因子分解法による物体形状とカメラ運動の復元」、電子通信学会論文誌、J76−D−II、No.8（19930825）、pp．1497−1505、「点対応を用いた複数の二次元画像からの三次元形状復元−因子分解法の数理−」、統計数理、第４９巻第１号、pp77〜107、2001年にあるように、Tomasi and Kanadeによる「因子分解法」などにより、理想的カメラモデルである透視射影をアフィン射影に近似して、正射影モデル等のアフィン近似射影に基づいた複数の二次元画像からカメラ運動情報と三次元形状情報とを同時に復元する手法などを用いることができる。
【００６２】
二次元画像がアフィン近似射影で得られると仮定すると、複数のアフィン近似射影画像における点対応からのカメラ運動と三次元形状の復元問題は、線形写像の逆問題となるので、復元の精度は劣るが、非線形写像の場合に比べ数値計算上安定して解くことができるようになる。
【００６３】
２．複数の画像間における点の対応付け
まず、複数の画像間における点特徴（輝度や色、輪郭形状、テクスチャーなど）の対応付けを行なう。
三次元空間では遠く離れた点も、二次元画像では近くに投影されることがある。二次元画像におけるわずかな誤差が三次元空間での認識や理解に重大な影響を及ぼすので、複数の画像間における点の対応を精度良く行なう必要がある。
【００６４】
複数の画像間における特徴点の対応付けには、「Lucas-Kanade法（勾配法）」（1981年）や、「Kanade-Lucas-Tomasiトラッカー」（Shi and Tomasi、1994年）などの手法を用いることができる。時間的に離れた画像を事前知識無しに対応付けるのは難しいが、複数の点で対応が既知であれば、同一の三次元空間を撮影した多視点の複数画像間の幾何的な関係（エピポーラ幾何学）を用いて、他の対応点の存在可能な領域を絞りこむことができる。
【００６５】
例えば、複数のフレーム画像間における対応や追跡には、一般に、見え方（局所画像）、または、エッジ（輪郭）、色ヒストグラムなどの画像特徴の類似（相関）や相違に基づいて、隣接する他フレーム画像との間で、最も類似する領域を探索し、探索された点へ対象物が移動したと判定する方法（ブロックマッチング）が良く用いられる。
【００６６】
つまり、座標ｘ＝（ｘ，ｙ）における画素値Ｉ（ｘ）毎に、移動量（変位）ｄ＝（ｄｘ，ｄｙ）を逐次変えながら、次式であらわされるような
【数３】
などを計算し、その中から、
【数４】
となる変位ｄを求めれば良い。しかし、これを全探索すると、計算量が多くなったり、変位量が離散的で連続しないなどの難点があった。局所画像を回転や拡大縮小してマッチングする場合には、さらに膨大な計算が必要になる。
【００６７】
このとき、「Lucas-Kanade法（勾配法）」では、暫定解の周りの勾配（傾き）にもとづいて、山登り（または山降り）することにより、極大値（または極小値）を効率よく求めることができる。
すなわち、差分二乗和（二乗誤差、SSD）の勾配を、
【数５】
とすると、この第１項のテーラー展開は、
【数６】
【００６８】
このとき、２次以降の項を、変位が微小であるとして無視できる（ｘ周辺で線形近似できる）とすると、
δｘ＝ｄｘ、δｙ＝ｄｙ、δｔ＝１として、
【数７】
ただし、上式で、Iｘ（x,y,t）＝∂I（x,y,t）/δｘ、 Iｙ（x,y,t）＝∂I（x,y,t）/δｙ、 Iｔ（x,y,t）＝∂I（x,y,t）/δｔである。
【００６９】
相違度最小の変位ｄ＾=minｄεは、∂ε/∂ｄｘ＝0、∂ε/∂ｄｙ＝0となるｄを求めれば良いので、
【数８】
【００７０】
ここで、
【数９】
とおくと、
【数１０】
であり、
【数１１】
となるので、ＡTＡが正則なとき、ｄ＾は解を持ち、
ｄ＾＝mindε＝（ＡTＡ）-1ＡTｂ ・・・・（10）
となり、全探索しなくても、相違度最小となる変位量を求めることができる。
特徴点検出と上記のような追跡法とを統合した手法は、「Kanade-Lucas-Tomasi（KLT）トラッカー」と呼ばれる。
【００７１】
３．三次元形状データの生成
（１）カメラ位置情報や参照マーカーを用いる方法
次に、三次元形状データの生成方法について、説明する。
例えば、全周囲３６０度からの多視点角度から、または、周囲に配した複数台のカメラから撮影した画像データを入力して、対象物の三次元形状データを作成するソフトウェアが各種開発されている。
【００７２】
これらでは、予めカメラを所定の位置や角度に配して撮影したカメラ位置情報が既知のカメラで撮影された複数枚の多視点画像を用いるか、または、例えば、前記「デジタルカメラ画像から簡単に三次元データを生成するソフトウェア技術」などにあるように、回転台に印刷された参照マーカーと、回転台に載せた対象物体とを一緒に撮影した複数枚のカメラ画像から、撮影時のカメラ位置を自動計算する。
【００７３】
また、得られたカメラ位置情報と物体画像とから、形状とテクスチャーの三次元情報を自動計算し、その三次元情報をユーザが適宜修正して、デジタルカメラで手持ち撮影した画像から、三次元データを生成する。対象物を撮影した視点の異なる１０〜２０枚程度以上のＪＰＥＧフォーマットの撮影画像データを入力して、カメラ位置の計算、形状情報の生成などの一連の処理を実行して、三次元形状データを作成する。
【００７４】
すなわち、
１）カメラ位置の計算では、例えば、座標系におけるカメラの三次元位置パラメータ（回転成分α，β，γと平行移動成分（ｘ，ｙ，ｚ）をHough変換（ハフ変換、ヒュー変換）などに基づいて計算する。つまり、撮影された画像から、参照マーカーを抽出し、抽出された参照マーカーの任意の３点と、あらかじめ登録されている参照マーカー中の任意の３点の位置関係を組合せて決定される連立方程式を解くことにより、位置パラメータを計算する。
２）形状情報の生成では、単色の背景紙などを使用して対象を撮影し、指定した背景の色情報を用いて物体と背景を分離し、対象物のシルエット（輪郭）の抽出を行う。
【００７５】
３）次に、カメラの位置情報と対象物の二次元輪郭情報に基づいて、三次元ボクセル空間へのボーティング（投票）処理により、三次元形状を再構成し、得られたボクセルデータから、ポリゴン（多角形）データへ変換し、三角ポリゴン表現形式やＳＳＦ形式など、三次元形状データとして出力する。もしくは、ＶＲＭＬやＸＶＬ、ＩＧＥＳ、ＳＴＬ、ＰＬＹなど、三次元ＣＡＤや三次元ＣＧで用いられている出力形式に準拠した三次元形状データ形式に変換して出力してもよい。
【００７６】
ここで、Hough変換（ハフ変換、ヒュー変換）とは、エッジ画像から直線を求める問題等において多く用いられる方法で、エッジ画像中の各々の点（ｘ，ｙ）について、それがある直線上にある点と仮定した場合に可能性のある全ての直線を、極座標ρ＝ｘｃｏｓθ＋ｙｓｉｎθによるパラメータ空間（ρ，θ）へ曲線として投票し、最終的にパラメータ空間においてピークとなる（ρ，θ）が、求める直線のパラメータとして得られる。
【００７７】
上記の方法では、カメラの位置情報（カメラの外部情報）の算出に、人工的な特徴として回転台に印刷された参照マーカーを用いてキャリブレーションを行なっているが、建造物など大きな対象物の場合には、このような対象物を載せる回転台や参照マーカー等は用いにくい。
【００７８】
そこで、カメラに内蔵して設けたＧＰＳ受信測位装置や、三次元加速度センサ、傾斜センサ、電子コンパスなど、位置や角度、姿勢を検出するセンサ計測装置など、別のマーカーや人工的特徴を用いる必要がある。つまり、カメラの配置とは無関係にユークリッド空間を定義し、三次元ユークリッド空間上の位置座標と各カメラ画像上の二次元座標とをカメラ毎に関連づける、カメラ位置のキャリブレーション（校正）処理が必要になる。
【００７９】
また、カメラの光学情報（カメラの内部情報）も、あらかじめキャリブレーション設定された所定のカメラを用いるか、または、撮影距離、撮影時のレンズ焦点距離などを入力し、キャリブレーション・シートなど専用チャートを撮影した画像等から、カメラ光学情報の計算を行い、（カメラの内部情報の）キャリブレーションを行なったカメラを用いる必要がある。
【００８０】
（２）因子分解法
上記のような参照マーカーやカメラ位置のキャリブレーション処理を用いずに、複数の多視点カメラ画像データや連続動画像データだけから三次元形状データを生成する方法として、因子分解法がある。
一般に、カメラ位置や視点方向の制限も設けずに、対象物周囲の任意の複数枚の二次元画像から、対象物の三次元形状を求めるには、膨大な計算処理が必要で、解も不安定になる。
【００８１】
「因子分解法（Factorization）」（Tomasi and Kanade（金出武雄）、1992年）では、実際のカメラモデルである透視射影をアフィン射影で近似することにより、問題を簡略化し、数値計算を高速かつ解を安定化させることができる。また、複数のアフィン近似射影画像から、カメラ運動と対象物体の立体形状とを同時に復元できる優れた方法として知られている。
【００８２】
ここで、「因子分解法」については、前述した文献等に詳述されているから、以下、概略のみ説明する。
すなわち、すでに、上記の２．複数の画像間における点の対応付けのステップにより、複数の画像における点特徴の対応付けが既に求められ、画像座標として与えられているとする。
【００８３】
アフィン近似射影においては、カメラ撮影による写像は、三次元空間の対象物から、二次元画像へのカメラの位置と方向によって決まるアフィン射影となる。
画像がＦ枚、特徴点がＰ個与えられるとき、Ｐ個の三次元座標のＦ個のアフィン射影によるＦＰ個の画像座標が得られるとすると、因子分解法では、このＦＰ個の条件を行列の形に並べて、複数の二次元画像からの三次元形状復元問題を単純な形で表現することができる。
【００８４】
すなわち、
（計測行列）＝（運動行列）×（形状行列） ・・・（11）
ここで、計測行列はＦＰ個の画像座標を並べた２Ｆ×Ｐ行列、運動行列はＦ個のアフィン射影の表現行列を並べた２Ｆ×３行列、形状行列はＰ個の特徴点の三次元座標を並べた３×Ｐ行列である。つまり、複数の二次元画像からの三次元形状の復元問題は、計測行列の因子分解に帰着できる。
【００８５】
このように、透視射影によって得られた計測行列の成分からアフィン近似射影により投影されたとき得られる計測行列を推定できれば、後は、（因子分解法のアルゴリズムにしたがって）計測行列を運動行列と形状行列の積に分解するだけで、カメラの運動情報と物体の三次元形状とを復元することができる。
ただし、画像座標が正規直交基底による表現であるため、正しい復元解を得るには、画像座標の基底が正規直交基底となるように分解する必要がある。
【００８６】
アフィン射影モデル（Mundy and Zisserman,1992）は、校正されていないカメラに対するモデルとして、Xfpからｘfpへの変換が次式のアフィン射影の形で表される。
ｘfp＝Af Xfp＋uf ・・・・（12）
ここで、Afとufは未知パラメータである。アフィン射影モデルでは、Afには何の仮定もされていないので、対象物のアフィン空間における位置関係を知ること（アフィン復元）はできても、対象物体の対象物体の長さや角度など計量情報を知ること（ユークリッド復元）はできない。
そこで、対象物体のユークリッド復元を行なうためのモデルとして、計量アフィン射影モデル（MAPモデル）が考えられた。対象物体のユークリッド復元を行なうには、Ａfから奥行きパラメータλ*f＝ｔZ*fをくくりだした残りである行列Bfの成分が既知である必要がある。
【００８７】
【数１２】
【００８８】
さらに、カメラの位置の復元を行なうためには、ufが既知である必要がある。
以上の仮定より、
【数１３】
【００８９】
このような仮定を加えたアフィン射影モデルを、「計量アフィン射影」（ＭＡＰ：Metric Affine Projection）モデルと呼ぶ。また、ＡfをＭＡＰ行列と呼ぶ。
【００９０】
立体（対象物体）が固定され、カメラが運動していると仮定すると、カメラの運動情報と物体の三次元形状とを復元するためには、カメラモデルを立体に固定された座標系（世界座標系）で表す必要がある。
【００９１】
第ｆ画像におけるカメラ位置の世界座標をｔf、第ｆ画像面上の正規直交基底を｛if,jf｝、カメラ光軸方向の単位ベクトルをｋfとして、
世界座標におけるカメラの向きを表す行列（カメラの基底行列）をC＝（if，jf，ｋf）T、
また、第ｐ特徴点の世界座標をｓp、第ｆ画像のカメラ座標系における空間座標をXfpとすると、
ｓp＝ｔf＋CfT Xfp ・・・（15）
この表現を、ある特徴点ｓ0からの相対座標ｓ*p＝ｓp−ｓ0、ｔ*f＝ｔf−ｓ0で表すと、
ｓ*p＝ｔ*f＋CfT Xfp、Xfp＝Cf（ｓ*p−ｔ*f） ・・・・（16）
となる。
【００９２】
上記のＭＡＰモデルを世界座標系で表すと、
【数１４】
【００９３】
Ｐ個の点特徴の画像がＦ枚得られたとき、複数の二次元画像から、カメラの運動情報と物体の三次元形状情報とを復元する問題は、上式（１７）から｛Ｃf｝と、｛ｓ*p｝を求める問題になる。
因子分解法では、ＦＰ個の上式（ｆ=１〜F、ｐ＝１〜P）から作られた行列を分解することによって、カメラの向きを表す行列｛Ｃf｝（ｆ＝１〜F）と、対象物の特徴点の世界座標｛ｓ*p｝（ｐ＝１〜Ｐ）を求める。
【００９４】
ここで、計測行列Ｗ*、運動行列Ｍ、形状行列Ｓ*を、
【数１５】
と定義すると、
Ｗ*＝Ｍ（２Ｆ×３行列）・Ｓ*（３×Ｐ行列） ・・・・（19）
が成立する。
【００９５】
Ｍには、カメラ運動に関する未知数｛Ｃf｝（ｆ＝１〜F）および｛λ*f｝（ｆ＝１〜F）のみが、S*には、三次元形状に関する未知数｛ｓ*p｝（ｐ＝１〜P）のみが含まれていることから、計測行列Ｗ*を、運動行列Ｍと形状行列Ｓ*の積に分解することができれば、カメラの運動情報と物体の三次元形状とが復元できる。
ここで、Ｗ*のＭとＳ*の積への分解において、｛Ｃf｝が三次元回転行列であることから、次の条件（計量拘束）が満たされる必要がある。
ＭfＭfT＝ＡfＡfT＝（１／λ2*f）ＢfＢfT ・・・・（20）
【００９６】
因子分解法のアルゴリズム
実際の因子分解法のアルゴリズムでは、「Affine復元」、「Euclid復元」の順に、計測行列Ｗ*を分解して、カメラの運動情報と物体の三次元形状情報を復元する。
１）まず、特異的分解（SVD）などにより、計測行列Ｗ*を、Ｍ＾（２F×３）と、Ｓ＾*（３×P）の積に一時的に（暫定的に）分解して、Affine復元する。
【００９７】
【数１６】
【００９８】
このとき、Ｍ、Ｓ*、とその暫定解のＭ＾、Ｓ＾*の間には、
Ｍ＝Ｍ＾・Ａ、Ｓ*＝Ａ-1・Ｓ＾*（ただし、Ａ-1はＡの逆行列）・・・（22）
の関係を満たす３×３可逆行列Ａが存在するので、この暫定的な分解によって、運動と形状がアフィン復元されていることになる。
【００９９】
２）暫定解のアフィン復元解からユークリッド復元解を求めることは、３×３可逆行列Ａを求めることに帰着する。Q＝ＡＡTとおくと、前記の計量拘束条件から、Ａの満たすべき条件は、
Ｍ＾ｆＱＭ＾ｆT＝ＡfＡfT＝（１／λ2*f）ＢfＢfT ・・・・（23）
ここで、式（14）における未知量は｛λ*f｝（ｆ＝１〜F）とQとであり、Bfは既知であるから、
Bfの特異値分解をBf＝RfΣfDfとすると、Rf、Σfは既知であり、
P＾f＝（ｐ＾f，ｑ＾f）T＝RfTM＾f、Pf＝RfTMf・・・（24）
とおくと、式（14）の拘束条件は、
P＾f Q P＾fT＝（1/λ2*f）Σ2f ・・・・（25）
と単純になる。
【０１００】
このとき、
【数１７】
すなわち、
【数１８】
【０１０１】
よって、次式のように、｛λ*f｝を含まない、Qに関する線型同次連立方程式が得られる。
【数１９】
この連立方程式を解くことによって、｛λ*f｝による定数倍の不定性を除いて、３×３の正値対称行列であるＱを一意的に求めることができる。
【０１０２】
３）対称行列Qのコレスキー分解を、Q＝LLTとすると、
Aの一般解は、A=LTU となり、
運動行列M、形状行列S*の一般解は、
M＝M＾LTU、 S*＝UTL S＾*・・・・（28）
で求まる。
【０１０３】
上記のようにして、計測行列Ｗ*（ＦＰ個の画像座標を並べた２Ｆ×Ｐ行列）データから、カメラの運動情報を含む運動行列Ｍデータ（Ｆ個のアフィン射影の表現行列を並べた２Ｆ×３行列）と、物体の三次元形状情報を含む形状行列Ｓ*データ（Ｐ個の特徴点の三次元座標を並べた３×Ｐ行列）を同時に復元することができる。
【０１０４】
因子分解法アルゴリズムの詳細は、前記（文献４）などに詳しい。また、因子分解法をリアルタイム処理に対応するために逐次的に計算する「逐次型因子分解法」や、アフィン近似射影による画像を因子分解法を用いて反復的に推定して、カメラ運動と立体形状とをより高精度に復元する「Ｃ−Ｈ法」（Christy and Horaud，1996年）など、様々な改良法も提案されているが、ここでは、省略する。
【０１０５】
次に、三次元データのディフォルメ、補正処理を、以下のようにして行う。
上記のような方法により、建造物などの対象物の図面データや複数枚の多視点の撮影画像データから、三次元形状データが抽出されたならば、補正処理を行う。
すなわち、本発明の特徴として、製作する立体模型（やそのペーパークラフト）の作成寸法や縮小率、および立体模型の作成仕様、すなわち、あらかじめ設定または記憶された、立体プリンタ等の立体印刷の分解能や解像度、印刷素材の細かさなどの諸元に応じて、三次元形状データのうち、所定の寸法以下のディティールについては、以下のいずれかを行う。
１）所定の寸法以下のディテール（詳細部分の寸法）は省略するか、もしくは、近接する部位と一体（グループ）として扱い、ディティールの一部を省略してディフォルメした立体プリント用のデータを生成する。
【０１０６】
２）建物の玄関や窓、ドアなど、建物の正面（ファサード）や顔となる特徴部位や、そのディティール（ドアノブ、窓サッシ、障子の桟、壁のタイルなど）については、省略はしないが、ディティールの一部寸法を拡大して、部位グループ全体の大きさは変えずに、各ディティールの寸法は印刷分解能以上の寸法になるように、拡大デフォルメ（変形処理）した立体プリント用のデータを自動生成する。
【０１０７】
３）ディティールのうち、（窓サッシの枠、障子の桟、壁のタイルなど）同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループ全体の寸法内で、グループ内の単位ディティールの寸法を所定寸法以上の大きさになるように拡大ディフォルメするとともに、その個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更する。
【０１０８】
４）窓やドアのサッシやタイル、レンガ、屋根の瓦やスレートなど、所定の部位について、そのディティールやテクスチャー（肌理や模様）について、標準パターンを予め複数種用意しておき、その中から類似するものを自動的に選択して、それに代えて配置するよう変形処理した立体プリント用のデータを生成する。
【０１０９】
次に、ペーパークラフト模型の展開図の作成を行う。
すなわち、高価な３Ｄプリンタや立体プリンタなどが無い場合や、利用できない場合には、立体模型を立体プリントして製作する代りに、建築用のＣＡＤ図面データ、あるいは、建築図面のスキャナ読み取りデータから、あるいは、同じ対象物を複数の視点位置からカメラで複数枚撮影した画像データから、上記の立体プリントの場合と同様に、三次元形状データを抽出生成し、建造物など対象物の三次元形状データに基づいて、建造物の外観のペーパークラフトによる紙製立体模型を作成するための展開図の印刷用画像データを自動的に生成して、ユーザのＰＣやプリンタに出力し、プリンタで紙に印刷された展開図から、ユーザが切り貼りして組み立て、ペーパークラフトの立体模型を簡単に作成できるように提供する。
【０１１０】
この際、ディティールの処理やディフォルメ処理については、上記の方法（立体プリントにおけるディティールの処理やディフォルメ処理）が、同様に利用できる。
また、窓サッシやタイル、レンガ、瓦など、所定の部位について、そのディティールやテクスチャー（肌理や模様）について、標準パターンを予め複数種用意しておき、その中からディティールやテクスチャーが類似するものを自動的に選択して、それに代えて配置するように変形処理した立体プリント用のデータを生成する。
【０１１１】
ここで、図５中、Ｓ６１で建物など対象物を複数の異なる視点から撮影し、Ｓ６２で撮影された複数の多視点画像データまたは連続動画像データを入力すると、Ｓ６３において、その前処理（傾き補正、ノイズ除去、鮮鋭化処理）を行い、Ｓ６４において撮影位置などのカメラ情報が既知か否かが判断される。
そうであれば、Ｓ６５でカメラ位置パラメータの計算、Ｓ６６で各画像からシルエット（輪郭）画像データを抽出し、Ｓ６７でカメラ位置と各輪郭画像に基づいて、対象物の三次元形状モデルを復元し、Ｓ６８の対象物の三次元形状データを生成するようになっている。
【０１１２】
一方、既知でなければ、Ｓ７１に進み、各画像から、対象物の輪郭外形や特徴を表す、線分や曲線、特徴点を検出し、Ｓ７２で各画像の主要点の点特徴を抽出し、Kanade-Lucas-Tomasi法等を用いて、各特徴点を対応付け、Ｓ７３で多視点画像における各点座標（計測行列）から、因子分解法等により、カメラ動き情報（運動行列）と対象物の三次元形状情報（形状行列）とを復元し、Ｓ６８において、対象物の三次元形状データの生成が行われる。
【０１１３】
以上の説明から明らかなように、本発明に係る立体模型の作製装置によれば、建造物の複数枚の画像をカメラで撮影するだけで、手軽に、しかも安価に立体模型３のペーパークラフト用展開図２をプリントすることができる。これにより、建築前のシミュレーションや評価が具体的にリアルな模型を用いて確認できるだけでなく、建築後も展示案内や記念品として利用できる。また、小規模な一般住宅などでも、外注製作費や手間がかからず、データを送るだけの簡単操作で作成できるので、業者も顧客も模型製作を気軽に受発注できる。
【０１１４】
特に、本発明装置によれば、小規模な一般住宅などでも、外注製作費や手間がかからず、データを送るだけの簡単操作で作製できるので、業者も顧客も模型製作を気軽に受発注できる。
【０１１５】
また、本発明装置では、立体プリンタや三次元成形加工機など、高価で大掛かりな設備が利用できない場合でも、簡単にペーパークラフト型の立体模型３の展開図２を自動生成して、印刷してくれるので、誰でもが、容易にかつ安価に立体モデル（立体模型３）を作製することができる。
【０１１６】
また、本発明装置によれば、縮小サイズの模型を作成する場合でも、三次元成形加工機やプリンタなどの解像力や分解能が粗くて、対象物のディティールの詳細が再現できないような場合でも、建物の正面（ファサード）や対象物の顔や特徴となるような、省略できない部位のディティールについては、当該部位の特徴を残し、かつ、加工機やプリンタなどの解像力や分解能より大きな寸法制限を満たすように、自動的にディフォルメ変形して三次元形状データを変形処理するので、当該部位の特徴となるディティールを再現した立体模型やペーパークラフト模型を容易に作成できる。
【０１１７】
なお、本発明は上述した実施の形態で説明した構造には限定されず、立体模型の作製装置を構成する各部の形状、構造等を適宜変形、変更し得ることはいうまでもない。
【０１１８】
たとえば上述した実施形態では、図３ないし図５に示すように、立体模型として建築用立体模型３を例示し、また建築物の撮影画像１に基づいてペーパークラフト用展開図２を印刷した場合を説明したが、本発明はこれに限定されない。すなわち、上述した立体物の基本的なデータとしては、ＣＡＤ図面データや建築図面等を入力、またはスキャナ等による取り込み入力で行うように構成してもよい。
【０１１９】
また、上述した実施形態では、建造物の立体模型３を作製する場合を説明したが、これに限定されない。すなわち、建造物だけでなく、自分の愛車や、人物、ペットなどでも、複数の多視点位置からカメラで複数枚の画像を撮影するだけで、できる限りリアルな立体模型（銅像や胸像代り）を作製する場合に、同様に利用できる。
たとえば自動車の例を図１０ないし図１２に示している。
【図面の簡単な説明】
【０１２０】
【図１】本発明に係る立体模型の作製装置一実施形態を示し、主な作製手順を説明するためのフローチャートである。
【図２】本発明に係る立体模型の作製装置の概略構成を示す図である。
【図３】立面図の画像から三次元データの作成処理を説明するためのフローチャートである。
【図４】（ａ）は立面図の画像を入力した状態を、（ｂ）は立面図を正面図、平面図、側面図に分離した状態を、（ｃ）は視体積交差法の概略を、（ｄ）は三次元形状データの概略をそれぞれ示す概略説明図である。
【図５】カメラ画像からの三次元データの作成処理を説明するためのフローチャートである。
【図６】（ａ）は対象物を異なる視点（位置）から複数枚カメラで撮影した状態を、（ｂ）は対象物の多視点からの複数のカメラ画像を、（ｃ）はそれによる三次元形状データ９をそれぞれ示す概略説明図である。
【図７】本発明に係る立体模型の作製装置において、立体模型の基本データとして用いる撮影画像を説明するための図である。
【図８】本発明に係る立体模型の作製装置において、立体模型を作製するためにプリントしたペーパークラフト用の展開図である。
【図９】本発明に係る立体模型の作製装置を用いてプリントしたペーパークラフト用の展開図から作製した立体模型の概略図である。
【図１０】本発明に係る立体模型の作製装置の別の実施形態を示し、立体物として建造物以外を選択した場合の撮影画像を示す図である。
【図１１】図１０の場合のペーパークラフト用の展開図である。
【図１２】図１１のペーパークラフト用の展開図から作製した立体模型の概略図である。
【符号の説明】
【０１２１】
１…撮影画像、２…ペーパークラフト用展開図、３…立体模型、１１…入力手段、１２…三次元モデルデータ生成手段、１３…閾値設定手段、１４…立体プリント用のデータ作成手段、１５…プリント出力手段。
【特許請求の範囲】
【請求項１】
立体物の多視点の撮影画像データ、立体物のＣＡＤ図面データ、または立体物の製造図面からのスキャナデータを入力する手段と、
該入力された画像データから三次元モデルデータを生成する手段と、
該生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段と、
該設定に基づき立体模型の立体プリント用のデータを作成する手段と、
立体模型のペーパークラフト用の展開図のプリント出力する手段と、
を具備したことを特徴とする立体模型の作製装置。
【請求項２】
請求項１記載の立体模型の作製装置において、
前記三次元モデルデータのうち、作製する立体模型またはそのペーパークラフトの作製寸法、縮小率、プリンタの印刷分解能や解像度、印刷素材の細かさ等の仕様諸元に応じて、所定の寸法以下のディティールを、省略するか、あるいは近接部位として一体として扱い、
ディティールを省略ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。
【請求項３】
請求項１または請求項２記載の立体模型の作製装置において、
前記三次元モデルデータのうち、立体物の正面、特徴となる部位、主要なディティールについては省略しないが、ディティールの一部寸法を拡大して、部位グループの大きさは変えずに、ディティール毎の寸法は印刷分解能以上の寸法に、拡大ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の立体模型の作製装置において、
ディティールのうち、同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループの寸法内で、グループ内の単位ディティールの寸法が所定寸法以上の大きさになるように拡大ディフォルメするとともに、個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更した立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。
【請求項１】
立体物の多視点の撮影画像データ、立体物のＣＡＤ図面データ、または立体物の製造図面からのスキャナデータを入力する手段と、
該入力された画像データから三次元モデルデータを生成する手段と、
該生成した三次元モデルデータから立体物の外側面に描画されている線、もしくはディティールのうち、忠実に描画する線と、ディフォルメする線の閾値を設定する手段と、
該設定に基づき立体模型の立体プリント用のデータを作成する手段と、
立体模型のペーパークラフト用の展開図のプリント出力する手段と、
を具備したことを特徴とする立体模型の作製装置。
【請求項２】
請求項１記載の立体模型の作製装置において、
前記三次元モデルデータのうち、作製する立体模型またはそのペーパークラフトの作製寸法、縮小率、プリンタの印刷分解能や解像度、印刷素材の細かさ等の仕様諸元に応じて、所定の寸法以下のディティールを、省略するか、あるいは近接部位として一体として扱い、
ディティールを省略ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。
【請求項３】
請求項１または請求項２記載の立体模型の作製装置において、
前記三次元モデルデータのうち、立体物の正面、特徴となる部位、主要なディティールについては省略しないが、ディティールの一部寸法を拡大して、部位グループの大きさは変えずに、ディティール毎の寸法は印刷分解能以上の寸法に、拡大ディフォルメした立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の立体模型の作製装置において、
ディティールのうち、同じパターンの連続や繰り返し配置の場合には、部位グループの大きさは変えずに、グループの寸法内で、グループ内の単位ディティールの寸法が所定寸法以上の大きさになるように拡大ディフォルメするとともに、個数や繰り返し回数を実際より少なくなるように変形処理して、グループ内で単位ディティールを繰り返し配置するように変更した立体プリント用のデータを生成するように構成したことを特徴とする立体模型の作製装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−８６２３７（Ｐ２０１０−８６２３７Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５３８７５（Ｐ２００８−２５３８７５）
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]