三次元画像生成方法
【課題】低コストで三次元モデルを作成する。
【解決手段】本発明の実施形態に係る三次元モデル作成システム１によれば、各クライアント１０の備えるカメラのカメラ情報や視線情報が、クライアント１０毎に、事前にサーバ２０に保存される。そして、各クライアント１０は、撮像したペア画像から三次元モデルを作成したい場合、当該ペア画像をサーバ２０に送信し、サーバ２０が受信したペア画像と事前に記憶されているカメラ情報とに基づいて三次元モデルを作成する。従って、膨大な演算処理が必要な三次元モデル作成の処理は、サーバ２０が全クライアント１０の処理を代行して実施するため、クライアント１０内の端末装置は、比較的安価に構成することができる。
【解決手段】本発明の実施形態に係る三次元モデル作成システム１によれば、各クライアント１０の備えるカメラのカメラ情報や視線情報が、クライアント１０毎に、事前にサーバ２０に保存される。そして、各クライアント１０は、撮像したペア画像から三次元モデルを作成したい場合、当該ペア画像をサーバ２０に送信し、サーバ２０が受信したペア画像と事前に記憶されているカメラ情報とに基づいて三次元モデルを作成する。従って、膨大な演算処理が必要な三次元モデル作成の処理は、サーバ２０が全クライアント１０の処理を代行して実施するため、クライアント１０内の端末装置は、比較的安価に構成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元モデル作成システムに関する。
【背景技術】
【０００２】
被写体を複数のカメラで撮影した画像から、被写体の三次元モデルを作成し、立体的に
表示する機能を有する撮像装置が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−３０３６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数のカメラで撮像した画像から三次元モデルを作成するためには、膨大な演算処理を実行する必要がかかるため、上記撮像装置では、比較的高性能なコンピュータが必要であり、比較的高いコストがかかった。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、低コストで三次元モデルを作成することを可能にした三次元モデル作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため本発明の第１の観点に係る三次元モデル作成システムは、
複数の撮像装置を備えた複数のクライアントシステムと、該クライアントシステムのそれぞれとネットワークを介して接続されたサーバと、を備える三次元モデル作成システムであって、
前記クライアントシステムは、
各前記撮像装置が異なる方向から撮像した被写体の画像データを劣化させた画像データの組から三次元モデルを作成することを要求する、当該劣化させた画像データ及び当該撮像した撮像装置の識別情報を少なくとも含む三次元モデル作成要求データを作成する三次元モデル作成要求データ作成手段と、
前記ネットワークを介して、三次元モデル作成要求データ作成手段が作成した三次元モデル作成要求データを前記サーバに送信する三次元モデル作成要求手段と、を備え、
前記サーバは、
前記クライアントシステム毎に、該クライアントシステムが備える各撮像装置の識別情報と各撮像装置の属性及び撮像パラメータを含む撮像装置情報とを対応付けて記憶するクライアントシステム記憶手段と、
前記三次元モデル作成要求データの受信に応答して、該三次元モデル作成要求データに含まれる識別情報を有する撮像装置の撮像装置情報を前記クライアントシステム記憶手段から取得する撮像装置情報取得手段と、
前記撮像装置情報取得手段が取得した撮像装置情報に基づいて、三次元モデル作成要求データが要求する被写体の画像データの組からポリゴンによって構成される三次元モデルを作成する、三次元モデル作成手段と、
前記三次元モデル作成手段が作成した三次元モデルを、前記三次元モデル作成要求データの送信元であるクライアントシステムに送信する三次元モデル送信手段と、を備え、
前記クライアントシステムは、
前記サーバから受信した三次元モデルに、前記撮像装置が撮像した劣化前の画像をテクスチャとして貼り付けるテクスチャ貼付手段と、
前記テクスチャ貼付手段によりテクスチャが貼り付けられた三次元モデルを表示する表示手段をさらに備える、
ことを特徴とする。
【０００７】
前記クライアントシステムは、
各撮像装置が所定の時間間隔で連続的に撮像した画像データを、当該画像の撮影された順番を示すフレーム番号と該撮像装置の識別情報とともに前記サーバに送信する連続画像送信手段、をさらに備え、
前記サーバは、前記連続画像送信手段が送信した画像データとフレーム番号と撮像装置の識別情報とを対応付けて蓄積記憶する画像記憶手段、をさらに備え、
前記三次元モデル作成要求データ作成手段は、三次元モデルの作成を要求する画像データのフレーム番号を含む前記三次元モデル作成要求データを作成し、
前記三次元モデル作成手段は、前記三次元モデル作成要求データに含まれる撮像装置の識別情報とフレーム番号とで特定される画像データの組を前記画像記憶手段から取得し、取得した画像データの組から三次元モデルを作成してもよい。
【０００８】
前記三次元モデル作成要求データ作成手段は、前記クライアントシステムの認証用の情報を少なくとも含む三次元モデル作成要求データを作成し、
前記サーバは、
前記クライアントシステムから受信した前記三次元モデル作成要求データに含まれる認証用の情報に基づいて、当該クライアントシステムを認証する認証手段をさらに備えてもよい。
【発明の効果】
【０００９】
本発明によれば、各クライアントシステムが撮像した画像から三次元モデルを作成する処理をサーバが行う。従って、低コストで三次元モデルを作成をすることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る三次元モデル作成システムの構成を示す図である。
【図２】クライアントシステムの構成を示す図である。
【図３】被写体と各カメラの位置関係を示す図である。
【図４】サーバの構成を示す図である。
【図５】クライアントＤＢの構成例を示す図である。
【図６】クライアント登録処理を説明するためのフローチャートである。
【図７】登録要求データ及び登録応答データの構成例を示す図である。
【図８】パラメータ取得処理を説明するためのフローチャートである。
【図９】パラメータ取得処理を説明するためのフローチャートである。
【図１０】被写体と表示装置の位置関係を示す図である。
【図１１】カメラのパラメータ算出用のパターン画像の例を示した図である。
【図１２】三次元モデル作成処理を説明するためのフローチャートである。
【図１３】３次元モデル作成要求データ及び３次元モデル作成応答データの構成例を示す図である。
【図１４】モデリング処理を説明するためのフローチャートである。
【図１５】三次元モデル合成処理を説明するためのフローチャートである。
【図１６】３次元モデル合成要求データ及び３次元モデル合成応答データの構成例を示す図である。
【図１７】合成処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。
【００１２】
本発明の実施形態に係る三次元モデル作成システム１について説明する。三次元モデル作成システム１は、図１に示すように、複数のクライアントシステム１０（以下、単にクライアント１０とする）と、サーバ２０とを備える。各クライアント１０とサーバ２０とは、インターネットを介して相互通信可能に接続されている。
【００１３】
各クライアント１０は、図２に示すように、複数のカメラ１１Ａ〜１１Ｆと、端末装置１２と、表示装置１３と、入力装置１４を備える。
【００１４】
各カメラ１１Ａ〜１１Ｆは、レンズ、絞り機構、シャッタ機構、ＣＣＤ（Charge Coupled Device）等を備え、被写体を撮像し、撮像した画像データを端末装置１２に送信する。なお、カメラ１１Ａ〜１１Ｆは、それぞれ、クライアント１０内でそれぞれを識別可能なカメラＩＤが設定されている。
【００１５】
なお、カメラ１１Ａ〜１１Ｆのそれぞれを区別しない場合は、単にカメラ１１と呼称する。また、必要に応じて、カメラ１１Ａ〜１１Ｆが撮像した画像をそれぞれ、画像Ａ〜画像Ｆとして説明する。なお、カメラ１１の数は６に限定するものではなく、２以上の任意の数でよい。
【００１６】
ここで、カメラ１１の配置について説明する。各カメラ１１Ａ〜１１Ｆは、図３に示すように被写体を取り囲むように配置されている。従って、カメラ１１Ａ〜１１Ｆは、それぞれ、被写体を異なる方向から撮像することができる。なお、カメラ１１は床やステージ等に固定されており、容易に動かせないものとするのが望ましい。
【００１７】
図２に戻り、端末装置１２は、例えば、ＰＣ（Personal Computer）等のコンピュータである。端末装置１２は、外部Ｉ／Ｆ部１２１と通信部１２２と記憶部１２３と制御部１２４とを備える。
【００１８】
外部Ｉ／Ｆ部１２１は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４等の規格に準拠したコネクタ、又は、拡張スロットに挿入されるカメラ接続用のボード（基板）等から構成され、各カメラ１１と接続するためのインタフェースである。
【００１９】
通信部１２２は、ＮＩＣ（Network Interface Card）等を備え、制御部１２４の指示に基づいて、インターネットを介して、サーバ２０と情報の送受信を行う。
【００２０】
記憶部は１２３は、ＲＡＭ（Read Only Memory）、ＲＯＭ（Rondom Access Memory）、ハードディスク装置等から構成され、各種の情報、各カメラ１１が撮影した画像データ、及び、制御部１２４が実行するためのプログラム等を記憶する。また、記憶部１２３は、制御部１２４が処理を実行するためのワークエリアとして機能する。また、記憶部１２３は、サーバ２０から送信された三次元モデル（ポリゴン情報）を保存する。
【００２１】
制御部１２４は、ＣＰＵ（Central Processing Unit）等を備え、記憶部１２３に記憶されているプログラムを実行することにより、端末装置１２の各部を制御する。また、制御部１２４は、各カメラ１１が撮像した画像から三次元モデルを作成することをサーバ２０に要求し、サーバ２０から受信した三次元モデルを表示装置１３に表示させる。また、制御部１２４は、複数の三次元モデルを合成することをサーバ２０に要求し、サーバ２０から受信した合成された三次元モデルを表示装置１３に表示させる。なお、制御部１２４の行う処理の詳細については後述する。
【００２２】
表示装置１３は、ＰＣ用のモニター等であり、制御部１２４の指示に基づいて、各種の情報を表示する。例えば、表示装置１３は、サーバ２０から受信した三次元モデルを表示する。
【００２３】
入力装置１４は、キーボードやマウス等であり、ユーザによる操作に応じた入力信号を生成して制御部１２４に供給する。
【００２４】
続いて、サーバ２０について説明する。サーバ２０は、端末装置１２から受信した画像データから三次元モデルを作成したり、複数の三次元モデルを合成する機能を有する。サーバ２０は、図４（Ａ）に示すように、通信部２１と、記憶部２２と、制御部２３とを備える。
【００２５】
通信部２１は、ＮＩＣ（Network Interface Card）等を備え、インターネットを介して、端末装置１２と情報の送受信を行う。
【００２６】
記憶部２２は、ハードディスク装置等から構成され、各種の情報、及び、制御部２３が実行するためのプログラム等を記憶する。また、記憶部２２は、制御部２３が処理を実行するためのワークエリアとして機能する。また、記憶部２２は、カメラ１１の撮像パラメータ算出用にクライアント１０の表示装置１３に表示させるパターン画像を記憶する。また、記憶部２２は、図４（Ｂ）に示すように、クライアントＤＢ（データベース）２２１と、三次元モデルＤＢ２２２とを備える。
【００２７】
クライアントＤＢ２２１は、後述する登録処理で登録されたクライアント１０に関する各種の情報が格納されるデータベースである。クライアントＤＢ２２１には、図５に示すように、登録されたクライアント１０毎に、クライアント１０を識別するクライアントＩＤと、認証用のパスワードと、当該クライアント１０が備える各カメラ１１のカメラ情報と、視線情報と、が記憶される。カメラ情報は、カメラＩＤと、基本属性、内部パラメータ、外部パラメータ等から構成される情報であり、クライアント１０内のカメラ１１毎に登録される。
【００２８】
基本属性は、経年劣化等の影響を受けにくい不変的なカメラ１１の属性（性能）を示す。
従って、同じ種類のカメラ１１であれば、ほぼ同一の基本属性を有する。基本属性は、例えば、カメラ１１の解像度、画角、フォーカス距離等である。
【００２９】
内部パラメータは、経年劣化等の影響を受けて時間と共に変化するカメラ１１の撮像パラメータである。従って、同じ種類のカメラ１１であっても、それぞれで内部パラメータは異なる。内部パラメータは、例えば、焦点距離係数、画像の角度係数、レンズの歪み係数等である。
【００３０】
外部パラメータは、被写体に対するカメラ１１の位置関係を示す撮像パラメータである。外部パラメータは、例えば、被写体からみたカメラ１１の位置座標（ｘ，ｙ，ｚ）、カメラ１１の上下方向の角度（チルト）、左右方向の角度（パン）、回転角度（ロール）などを示す情報から構成される。
【００３１】
視線情報は、クライアント１０内のカメラ１１のうち、どのカメラ１１同士が三次元モデルを作成するための視線となるかを定義する情報である。具体的には、視線情報は、視線を構成するカメラ１１のカメラＩＤ同士を対応付けた情報となる。例えば、図３に示すようにカメラ１１が配置されており、隣り合うカメラ１１同士で１つの視線を構成するとした場合を考える。この場合、視線情報として、カメラ１１Ａとカメラ１１Ｂとを対応付けた情報、カメラ１１Ｂとカメラ１１Ｃとを対応付けた情報、カメラ１１Ｃとカメラ１１Ｄとを対応付けた情報、カメラ１１Ｄとカメラ１１Ｅとを対応付けた情報、及び、カメラ１１Ｅとカメラ１１Ｆとを対応付けた情報が視線情報となる。
【００３２】
図４（Ｂ）に戻り、三次元モデルＤＢ２２２には、端末装置１２からの依頼を受けて作成した三次元モデル（ポリゴン情報）が、当該三次元モデルを識別するポリゴンＩＤ、当該三次元モデル作成の元となったペア画像を撮影した各カメラ１１のカメラＩＤ等と対応付けられて格納される。
【００３３】
図４（Ａ）に戻り、制御部２３は、ＣＰＵ（Central Processing Unit）等を備え、記憶部２２に記憶されているプログラムを実行することにより、サーバ２０の各部を制御する。また、制御部２３は、クライアント１０からの依頼を受けて、当該クライアント１０のカメラ情報等を登録する処理（クライアント登録処理）、三次元モデルを作成する処理（三次元モデル作成処理）、及び、既に作成されている複数の三次元モデルを合成する処理（三次元モデル合成処理）などを実行する。制御部２３の行うこれら処理の詳細については後述する。
【００３４】
続いて、三次元モデル作成システム１の動作について説明する。
【００３５】
（クライアント登録処理）
始めに、クライアント登録処理について説明する。
サーバ２０は、クライアント１０内の各カメラ１１が撮像した画像から三次元モデルを作成するために、当該クライアント１０および、当該クライアント１０内の各カメラ１１のカメラ情報等を事前に登録する処理（クライアント登録処理）を行う必要がある。このクライアント登録処理について、図６のフローチャートを参照して、詳細に説明する。
【００３６】
クライアント１０のユーザは、入力装置１４を操作して、クライアント登録用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該クライアント登録用の画面から、端末装置１２に接続されている各カメラ１１の基本属性を入力する。なお、カメラ１１の基本属性は、カメラ１１のマニュアル等を参照することで取得すればよい。また、ユーザは、入力装置１４を操作して、どのカメラ１１同士が視線を構成しているのかを示す視線情報も入力する。そして、ユーザは、入力が完了した後、クライアント１０登録用の画面に表示されている登録用のボタンをクリックする。このクリック操作に応答して、制御部１２４は、入力されたこれらの情報を含む登録要求データを作成する（ステップＳ１０１）。
【００３７】
図７（Ａ）に登録要求データの構成を示す。登録要求データは、当該データが登録要求データであることを示すコマンド識別子、各カメラ１１のカメラＩＤと基本属性、及び、視線情報等を含むデータである。
【００３８】
図６に戻り、続いて、制御部１２４は、作成した登録要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ１０２）。
【００３９】
登録要求データを受信すると（ステップＳ１０３）、サーバ２０の制御部２３は、当該要求データに含まれる各カメラ１１のカメラＩＤと基本属性、及び、視線情報をクライントＤＢ２２１に新規エントリとして登録する（ステップＳ１０４）。なお、この登録される新規エントリには、新たに作成したクライアントＩＤと認証用のパスワードとを付与する。また、この時点では、新規登録されたエントリ内の各カメラ１１の内部パラメータ、および、外部パラメータの値は空欄である。
【００４０】
続いて、制御部２３は、ステップＳ１０４で登録した視線情報が示す視線のなかから１つを選択する（ステップＳ１０５）。そして、制御部２３は、選択した視線を構成する各カメラ１１の撮像パラメータ（内部パラメータ、外部パラメータ）を取得する処理（パラメータ取得処理）を行う（ステップＳ１０６）
【００４１】
パラメータ取得処理の詳細について、図８と図９のフローチャートを参照して説明する。
【００４２】
まず、制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１が表示装置１３の表示面全体を撮像可能となるような位置に当該表示装置１３を移動させることを指示するメッセージ情報をクライアント１０に送信する（ステップＳ２０１）。
【００４３】
そして、クライアント１０の端末装置１２の制御部１２４は、サーバ２０から受信したメッセージ情報が示すメッセージを表示装置１３に表示させる（ステップＳ２０２）。クライアント１０のユーザは、このメッセージに従い、被写体が設置されている位置に表示装置１３を移動させ、且つ、表示面の向きを、ステップＳ１０５で選択した視線を構成する各カメラ１１が撮像可能な位置に移動させる。
【００４４】
例えば、図３に示す視線１を構成するカメラ１１Ａ、１１Ｂの撮像パラメータを算出したい場合、クライアント１０のユーザは、図１０に示すような位置に表示装置１３を移動させる。
【００４５】
図８に戻り、表示装置１３の移動が完了すると、ユーザは入力装置１４を介してその旨を通知するための操作入力を行う。端末装置１２の制御部１２４は、この操作入力に応答して、インターネットを介して、移動完了通知をサーバ２０に送信する（ステップＳ２０３）。
【００４６】
移動完了通知を受信すると、サーバ２０の制御部２３は、カメラ１１の内部パラメータ算出用のパターン画像をインターネットを介してクライアント１０の端末装置１２に送信するとともに、該パターン画像を表示装置１３に表示させることを指示する（ステップＳ２０４）。この指示に応じて、端末装置１２の制御部１２４は、受信した内部パラメータ算出用のパターン画像を、表示装置１３に表示させる（ステップＳ２０５）。内部パラメータ算出用のパターン画像は、例えば、図１１に示すような、個々の点が格子状に等間隔に配置されている画像である。
【００４７】
図８に戻り、端末装置１２の制御部１２４は、内部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ２０に送信する（ステップＳ２０６）。
【００４８】
表示完了通知を受信すると、サーバ２０の制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１の撮像を端末装置１２に指示する（ステップＳ２０７）。
【００４９】
端末装置１２の制御部１２４は、サーバ２０のからの指示を受けて、内部パラメータ算出対象の各カメラ１１に撮像を実行させ、撮像した画像のペア（ペア画像）を取得する（ステップＳ２０８）。そして、制御部１２４は、取得したペア画像をインターネットを介してサーバ２０に送信する（ステップＳ２０９）。
【００５０】
サーバ２０の制御部２３は、内部パラメータ算出用のパターン画像を撮像したペア画像を受信すると、当該パターン画像が適切な位置で撮像されたか否かを判別する（ステップＳ２１０）。例えば、予めパターン画像の四隅に印を付しておき、受信したペア画像内の所定位置に当該印が正しく位置しているか否かを判別することで、パターン画像が適切な位置で撮影されたか否かを判別すればよい。
【００５１】
パターン画像が適切な位置で撮像されていないと判別した場合（ステップＳ２１０；Ｎｏ）、ステップＳ２０１に処理は移り、制御部２３は、表示装置１３の移動を再度指示し、以降の処理を繰り返す。
【００５２】
パターン画像が適切な位置で撮像されていると判別した場合（ステップＳ２１０；Ｙｅｓ）、制御部２３は、ペア画像内に表示されているパターン画像に基づいて、公知の手法により、当該ペア画像を撮像した各カメラ１１の内部パラメータを求める（ステップＳ２１１）。例えば、ペア画像の各画像内で同じ点を示す特徴点の視差を算出し、その視差ら内部パラメータを求めればよい。
【００５３】
ここで、カメラ１１に対するパターン画像の位置合わせが不十分であったり、パターン画像の一部に汚れ等があり、特徴点の抽出精度が悪くなるなど、何らかの不備により、内部パラメータの精度が確保されていない可能性がある。従って、制御部２３は、公知の手法により、ステップＳ２１１で求めた内部パラメータの精度を求める（ステップＳ２１２）。そして、制御部２３は、求めた精度が所定の閾値以上であるか否かを判別する（ステップＳ２１３）。
なお、内部パラメータの精度は、例えば、文献"A Flexible New Technique for Camera Calibration, Zhengyou Zhang, December 2, 1998"に記載されている手法を用いて算出すればよい。より具体的には、同文献に記載の下記式の値（０に近い程精度が高い）を算出することで、パラメータの精度を算出すればよい。
【数１】
【００５４】
閾値以上の精度でない場合（ステップＳ２１３；Ｎｏ）、ステップＳ２０１に処理は移り、制御部２３は、表示装置１３の移動を再度指示し、以降の処理を繰り返す。
【００５５】
閾値以上の精度である場合（ステップＳ２１３；Ｙｅｓ）、制御部２３は、カメラ１１の外部パラメータ算出用のパターン画像をインターネットを介して、クライアント１０の端末装置１２に送信するとともに、該パターン画像を表示装置１３に表示させることを指示する（図９：ステップＳ２１４）。この指示に応じて、端末装置１２の制御部１２４は、受信した外部パラメータ算出用のパターン画像を、表示装置１３に表示させる（ステップＳ２１５）。
【００５６】
端末装置１２の制御部１２４は、外部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ２０に送信する（ステップＳ２１６）。
【００５７】
表示完了通知を受信すると、サーバ２０の制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１の撮像を端末装置１２に指示する（ステップＳ２１７）。
【００５８】
端末装置１２の制御部１２４は、サーバ２０のからの指示を受けて、外部パラメータ算出対象の各カメラ１１に撮像を実行させ、撮像したペア画像を取得する（ステップＳ２１８）。そして、制御部１２４は、取得したペア画像をインターネットを介してサーバ２０に送信する（ステップＳ２１９）。
【００５９】
サーバ２０の制御部２３は、外部パラメータ算出用パターン画像を撮像したペア画像を受信すると、当該ペア画像内に表示されているパターン画像に基づいて、内部パラメータと同様に、公知の手法により、当該ペア画像を撮像した各カメラ１１の外部パラメータを求める（ステップＳ２２０）。
【００６０】
続いて、制御部２３は、公知の手法により、ステップＳ２２０で求めた外部パラメータの精度を求める（ステップＳ２２１）。そして、制御部２３は、求めた精度が所定の閾値以上であるか否かを判別する（ステップＳ２２２）。
【００６１】
閾値以上の精度でない場合（ステップＳ２２２；Ｎｏ）、ステップＳ２１４に処理は移り、制御部２３は、外部パラメータ算出用のパターン画像の表示を再度指示し、以降の処理を繰り返す。なお、この際、前回の処理とは異なる外部パラメータ算出用のパターン画像を表示させるのが望ましい。
【００６２】
閾値以上の精度である場合（ステップＳ２２２；Ｙｅｓ）、制御部は２３、ステップＳ２１１で求めた内部パラメータとステップＳ２２０で求めた外部パラメータとをクライアントＤＢ２２１に保存する（ステップＳ２２３）。以上でパラメータ取得処理は終了する。
【００６３】
図６に戻り、パラメータ取得処理が終了すると、制御部２３は、ステップＳ１０３で登録した視線情報が示す全ての視線を選択したか否かを判別する（ステップＳ１０７）。未選択の視線がある場合（ステップＳ１０７；Ｎｏ）、ステップＳ１０５に処理は移り、未選択の視線を選択して、その視線を構成する２つのカメラ１１について撮像パラメータを取得する処理を繰り返す。
【００６４】
全ての視線を選択した場合（ステップＳ１０７；Ｙｅｓ）、制御部２３は、ステップＳ１０４で新規登録したエントリに含まれるクライアントＩＤ、及び、パスワードを含む、図７（Ｂ）に示すような登録応答データを、クライアント１０登録要求の送信元である端末装置１２に送信する（ステップＳ１０８）。
【００６５】
図６に戻り、端末装置１２の制御部２３は、登録応答データを受信すると（ステップＳ１０９）、当該登録応答データに含まれるクライアントＩＤとパスワードとを記憶部２２に記憶する（ステップＳ１１０）。以上でクライアント登録処理は終了する。
【００６６】
このように、登録処理により、クライアント１０毎に、クライアント１０内の各カメラ１１のカメラ情報や視線情報がサーバ２０に登録（記憶）される。そして、登録が完了すると、クライアント１０の端末装置１２は、サーバ２０からクライアントＩＤとパスワードを受信する。そして、以降の各処理（三次元モデル作成処理、三次元モデル合成処理）を行う際に、端末装置１２は、クライアントＩＤとパスワードとをサーバ２０に送信して、認証を受けることが可能となる。
【００６７】
（三次元モデル作成処理）
始めに、クライアント登録処理について説明する。
サーバ２０は、クライアント１０から送信された画像ペアから三次元モデルを作成する三次元モデル作成処理を実行する。この三次元モデル作成処理の詳細について、カメラ１１Ａが撮像した画像Ａとカメラ１１Ｂが撮像した画像Ｂとからなるペア画像から三次元モデルを作成する場合を例に、図１２のフローチャートを参照して説明する。
【００６８】
まず、クライアント１０のユーザは、入力装置１４を操作して、三次元モデル作成用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該三次元モデル作成用の画面から、クライアントＩＤとパスワードの入力、及び、三次元モデルを作成したいカメラ１１Ａおよびカメラ１１Ｂが撮像した画像の選択行い、当該三次元モデル作成用の画面に表示されている作成ボタン等をクリックする。このクリック操作に応答して、制御部１２４は、三次元モデル作成要求データを作成する（ステップＳ３０１）。なお、クライアントＩＤとパスワードとは、前述した登録処理でサーバ２０から受信したものを入力すればよい。
【００６９】
三次元モデル作成要求データの構成例を図１３（Ａ）に示す。三次元モデル作成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントＩＤと、パスワードと、要求ＩＤと、３Ｄモデルを作成したいペア画像（画像Ａと画像Ｂ）の各画像データと、該各画像を撮影した各カメラ１１Ａ、１１ＢのカメラＩＤ等を含むデータである。なお、要求ＩＤは、同一のクライアント１０から連続して三次元モデル作成要求データを受信した場合に、各要求データを識別するためにクライアント１０が生成したユニークなＩＤである。
【００７０】
図１２に戻り、続いて、制御部１２４は、作成した三次元モデル作成要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ３０２）。
【００７１】
三次元モデル作成要求データを受信すると（ステップＳ３０３）、サーバ２０の制御部２３は、三次元モデル作成要求データの送信元であるクライアント１０が前述の登録処理により事前に登録されているクライアント１０であるか否かを判別する（ステップＳ３０４）。具体的には、制御部２３は、三次元モデル作成要求データに含まれるクライアントＩＤとパスワードとの組が、クライアントＤＢ２２１に記憶されているか否かを判別し、記憶されている場合に、登録されているクライアント１０であると判別すればよい。
【００７２】
登録されていないクライアント１０であると判別した場合（ステップＳ３０４；Ｎｏ）、未認証のクライアント１０からの要求であり、三次元モデル作成処理はエラー終了する。
【００７３】
登録されているクライアント１０であると判別した場合（ステップＳ３０４；Ｎｏ）、制御部２３は、三次元モデル作成要求データに含まれている画像データから三次元モデルを生成するモデリング処理を実行する（ステップＳ３０５）。
【００７４】
ここで、図１４に示すフローチャートを参照して、モデリング処理について詳細に説明する。なお、モデリング処理は、一組のペア画像から三次元モデルを生成する処理である。つまり、モデリング処理は、一つの視線から見た三次元モデルを生成する処理と考えることができる。
【００７５】
まず、制御部２３は、特徴点の候補を抽出する（ステップＳ４０１）。例えば、制御部２３は、画像Ａに対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
【００７６】
続いて、制御部２３は、ステレオマッチングを実行し、画像Ａの特徴点に対応する点（対応点）を画像Ｂから探す（ステップＳ４０２）。具体的には、制御部２３は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの（相違度が所定閾値以下かつ最小のもの）を対応点とする。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関など、様々な既知の技法が利用可能である。
【００７７】
続いて、制御部２３は、三次元モデル作成要求データに含まれているカメラ１１Ａと１１ＢのカメラＩＤをキーにクライアントＤＢ２２１を検索して、ペア画像（画像Ａと画像Ｂ）のそれぞれを撮像したカメラ１１Ａ、１１Ｂのカメラ情報を取得する（ステップＳ４０３）。
【００７８】
続いて、制御部２３は、ステップＳ４０２で検出された対応点の視差情報と、ステップＳ４０３で取得したカメラ情報とに基づいて、特徴点の位置情報（三次元位置座標）を算出する（ステップＳ４０４）。生成された特徴点の位置情報は、例えば、記憶部２２に記憶される。
【００７９】
続いて、制御部２３は、ステップＳ４０４において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行し、三次元モデル（ポリゴン情報）を生成する（ステップＳ４０５）。
【００８０】
そして、制御部２３は、ステップＳ４０５で生成した三次元モデル（ポリゴン情報）に対して新規のポリゴンＩＤを付し、該三次元モデルの作成の元となった画像Ａ、画像Ｂを作成したカメラ１１Ａ，１１ＢのカメラＩＤと対応付けて三次元モデルＤＢ２２２に保存する（ステップＳ４０６）。以上でモデリング処理は終了する。
【００８１】
図１２に戻り、モデルリング処理が終了すると、制御部２３は、三次元モデル作成要求データに対するレスポンスとして、三次元モデル作成応答データを作成する（ステップＳ３０６）。
【００８２】
図１３（Ｂ）に三次元モデル作成応答データの構成を示す。三次元モデル作成応答データは、当該データが三次元モデル作成応答データであることを示すコマンド識別子、応答ＩＤ、モデリング処理（ステップＳ３０５）で生成された三次元モデル、及び、そのポリゴンＩＤを含むデータである。なお、応答ＩＤは、同一のクライアント１０から連続して三次元モデル作成要求データを受信した場合に、クライアント１０がどの要求データに対する応答データなのかを識別するために付与されたＩＤである。応答ＩＤは、要求ＩＤと同一のものでよい。
【００８３】
図１２に戻り、続いて、制御部２３は、三次元モデル作成要求データの送信元であるクライアント１０の端末装置１２に、作成した三次元モデル作成応答データを送信する（ステップＳ３０７）。
【００８４】
三次元モデル作成応答データを受信すると（ステップＳ３０８）、端末装置１２の制御部１２４は、応答データに含まれる三次元モデルとポリゴンＩＤとを対応付けて記憶部１２３に保存する（ステップＳ３０９）。そして、制御部１２４は、保存した三次元モデルを表示装置１３に表示させる（ステップＳ３１０）。以上で、三次元モデリング処理は終了する。
【００８５】
（三次元モデル合成処理）
続いて、前述した三次元モデル作成処理によって作成された複数の三次元モデルを合成して、より精度の高い三次元モデルを作成する三次元モデル合成処理について、図１５のフローチャートを参照して説明する。
【００８６】
まず、クライアント１０のユーザは、入力装置１４を操作して、三次元モデル合成用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該三次元モデル作成用の画面から、クライアントＩＤとパスワードの入力、及び、合成したい複数の三次元モデル（ポリゴン情報）のポリゴンＩＤの入力を行い、当該三次元モデル合成用の画面に表示されている合成ボタン等をクリックする。このクリック操作に応答して、制御部１２４は、三次元モデル合成要求データを作成する（ステップＳ５０１）。なお、クライアントＩＤとパスワードとは、前述した登録処理でサーバ２０から受信したものを入力すればよい。また、ポリゴンＩＤは、前述の三次元モデル作成処理、または、過去の三次元モデル合成処理でサーバ２０から受信したものを入力すればよい。また、過去の三次元モデル作成処理や三次元モデル合成処理で取得した三次元モデルをそのポリゴンＩＤとともに作成の元となった視線毎に記憶部１２３に記憶しておき、各視線の三次元モデルを表示装置１３に一覧表示させ、そのなかから合成したい三次元モデルを選択させることで、合成したい三次元モデルのＩＤを取得するようにしてもよい。
【００８７】
三次元モデル合成要求データの構成例を図１６（Ａ）に示す。三次元モデル合成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントＩＤと、パスワードと、要求ＩＤと、合成したい三次元モデルを特定する複数のポリゴンＩＤ等を含むデータである。なお、要求ＩＤは、同一のクライアント１０から連続して三次元モデル合成要求データを受信した場合に、各要求データを識別するためにクライアント１０が生成したユニークなＩＤである。
【００８８】
図１５に戻り、続いて、制御部１２４は、作成した三次元モデル合成要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ５０２）。
【００８９】
三次元モデル作成合成データを受信すると（ステップＳ５０３）、サーバ２０の制御部２３は、三次元モデル合成要求データの送信元であるクライアント１０が前述の登録処理により事前に登録されているクライアント１０であるか否かを判別する（ステップＳ５０４）。
【００９０】
登録されていないクライアント１０であると判別した場合（ステップＳ５０４；Ｎｏ）、未認証のクライアント１０からの要求であり、三次元モデル作成処理はエラー終了する。
【００９１】
登録されているクライアント１０であると判別した場合（ステップＳ５０４；Ｎｏ）、制御部２３は、合成処理を実行する（ステップＳ５０５）。合成処理の詳細について、図１７のフローチャートを参照して説明する。
【００９２】
まず、制御部２３は、三次元モデル作成要求データに含まれる複数のポリゴンＩＤのうちから、２つを選択する（ステップＳ６０１）。ここでは、２つのポリゴンＩＤｐ１、ｐ２を選択したものとして以下説明する。
【００９３】
そして、制御部２３は、選択した２つのポリゴンＩＤのそれぞれに対して、当該ポリゴンＩＤが示すポリゴン情報（三次元モデル）の作成の元となったペア画像を撮影した各カメラ１１の外部パラメータを取得する（ステップＳ６０２）。具体的には、選択した各ポリゴンＩＤをキーに三次元モデルＤＢ２２２を検索してカメラＩＤを取得する。そして、取得したカメラＩＤに対応するカメラ１１の外部パラメータをクライアントＤＢ２２１から取得すればよい。
【００９４】
続いて、制御部２３は、取得した外部パラメータに基づいて、ステップステップＳ６０１で選択した一方のポリゴンＩＤｐ１が示す三次元モデルの座標を、選択した他方のポリゴンＩＤｐ２が示す三次元モデルの座標に変換するための、座標変換パラメータを取得する（ステップＳ６０３）。
具体的には、この処理は、式（１）を満たす回転行列Ｒと移動ベクトルｔとを求める処理である。なお、ＸはポリゴンＩＤｐ１が示す三次元モデルの座標を示し、Ｘ’は、ポリゴンＩＤｐ２が示す三次元モデルの座標を示す。
【数２】
【００９５】
前述したように、外部パラメータは、被写体からみたカメラ１１の位置を示す情報（座標、チルト、パン、ロール）である。従って、制御部２３は、これらの外部パラメータに基づいて、当該外部パラメータを有するカメラペアの撮像画像から作成された被写体の三次元モデルの座標変換パラメータを公知の座標変換式等を用いて算出すればよい。
【００９６】
続いて、制御部２３は、取得した座標変換パラメータを用いて、ポリゴンＩＤｐ１で特定される三次元モデルと、ポリゴンＩＤｐ２で特定される三次元モデルとを重ねる（ステップＳ６０４）。
【００９７】
続いて、制御部２３は、ポリゴンＩＤｐ１で特定される三次元モデルの特徴点とポリゴンＩＤｐ２で特定される三次元モデルの特徴点との重なり具合から信頼性の低い特徴点を除去する（ステップＳ６０５）。例えば、ある三次元モデルの注目特徴点に対する他の三次元モデルの最近傍の特徴点の分布から、当該注目特徴点のマハラノビス距離が計算され、このマハラノビス距離が所定値以上の場合は当該注目特徴点の信頼性が低いと判別される。なお、注目特徴点からの距離が所定値以上の特徴点は、最近傍の特徴点に含めないようにしても良い。また、最近傍の特徴点の数が少ない場合、信頼性が低いものと見なされてもよい。なお、特徴点を実際に除去する処理は、全ての特徴点に対して、除去するか否かが判別された後に、実行されるものとする。
【００９８】
続いて、制御部２３は、同一と見なせる特徴点を統合する（ステップＳ６０６）。例えば、所定距離以内の特徴点は、全て同一の特徴点を表すグループに属するものとして扱われ、これらの特徴点の重心が新たな特徴点とされる。
【００９９】
続いて、制御部２３は、ポリゴンメッシュを再構成する（ステップＳ６０７）。つまり、ステップＳ６０６において求められた新たな特徴点に基づいて、三次元モデル（ポリゴン情報）が生成される。
【０１００】
続いて、制御部２３は、三次元モデル作成要求データに含まれる複数のポリゴンＩＤのうち、未選択のもの（即ち、合成していないもの）が有るか否かを判別する（ステップＳ６０８）。
【０１０１】
未選択のポリゴンＩＤが有る場合（ステップＳ６０８；Ｙｅｓ）、制御部２３は、当該ポリゴンＩＤを１つ選択する（ステップＳ６０９）。そして、ステップＳ６０２に処理は移り、制御部２３は、ステップＳ６０９で選択したポリゴンＩＤが示す三次元モデルとステップＳ６０７で再構成した三次元モデルとの間で、同様に、座標変換パラメータを取得して、両三次元モデルを重ね、ポリゴンを再構成する処理を繰り返す。
【０１０２】
未選択のポリゴンＩＤが無い場合（ステップＳ６０８；Ｎｏ）、三次元モデル作成要求データに含まれるポリゴンＩＤが示す三次元モデルは全て合成されたことになる。従って、制御部２３は、ステップＳ６０７で再構成した三次元モデル（ポリゴン情報）に対して新規のポリゴンＩＤを付し、三次元モデルＤＢ２２２に登録する（ステップＳ６１０）。以上で合成処理は終了する。
【０１０３】
図１５に戻り、合成処理が終了すると、制御部２３は、三次元モデル合成要求データに対するレスポンスとして、三次元モデル合成応答データを作成する（ステップＳ５０６）。
【０１０４】
図１６（Ｂ）に三次元モデル合成応答データの構成を示す。三次元モデル合成応答データは、当該データが三次元モデル合成応答データであることを示すコマンド識別子、応答ＩＤ、合成処理（ステップＳ５０５）で生成（再構成）された三次元モデルと、当該三次元モデルのポリゴンＩＤと、を含むデータである。なお、応答ＩＤは、同一のクライアント１０から連続して三次元モデル合成要求データを受信した場合に、クライアント１０がどの要求データに対する応答データなのかを識別するために付与されたＩＤである。応答ＩＤは、要求ＩＤと同一のものでよい。
【０１０５】
図１５に戻り、続いて、制御部２３は、三次元モデル合成要求データの送信元であるクライアント１０の端末装置１２に、作成した三次元モデル合成応答データを送信する（ステップＳ５０７）。
【０１０６】
三次元モデル合成応答データを受信すると（ステップＳ５０８）、端末装置１２の制御部１２４は、三次元モデル合成応答データに含まれるポリゴン情報とポリゴンＩＤとを対応付けて記憶部１２３に保存する（ステップＳ５０９）。そして、制御部１２４は、保存した三次元モデルを表示装置１３に表示させる（ステップＳ５１０）。以上で、三次元モデル合成処理は終了する。
【０１０７】
このように、三次元モデル合成処理により、複数の三次元モデルが合成されるので、形状情報の欠損を抑えつつ、高精度な三次元モデリングが可能になる。
【０１０８】
本発明の実施形態に係る三次元モデル作成システム１によれば、各クライアント１０の備えるカメラ１１のカメラ情報や視線情報が、クライアント１０毎に、事前にサーバ２０に保存される。そして、各クライアント１０は、撮像したペア画像から三次元モデルを作成したい場合、当該ペア画像をサーバ２０に送信し、サーバ２０が受信したペア画像と事前に記憶されているカメラ情報とに基づいて三次元モデルを作成する。従って、膨大な演算処理が必要な三次元モデル作成の処理は、１台のサーバ２０が全クライアント１０の処理を代行して実施するため、クライアント１０内の端末装置１２は、比較的安価なＣＰＵ等で実現可能である。従って、システム全体として、比較的低コストで、撮像画像から三次元モデルを作成することが可能となる。
【０１０９】
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【０１１０】
例えば、クライアント１０内の端末装置１２の制御部１２４は、所定のフレーム周期（例えば、１／３０秒）で各カメラ１１に被写体を撮像させ、撮像させた画像をサーバ２０にストリーミング送信するようにした構成にも、本発明を適用することが可能である。この場合、サーバ２０の制御部２３は、連続的に受信した画像を、当該画像を撮像したカメラ１１のカメラＩＤ及び連続受信した各画像を一意に識別するフレーム番号と対応付けて記憶部２２に逐次保存する。そして、三次元モデル作成処理を実施する場合、クライアント１０の端末装置１２のユーザは、三次元モデルを作成したい画像をカメラＩＤとフレーム番号で指定する図１３（Ｃ）に示すような三次元モデル作成要求データを作成して、サーバ２０に三次元モデルの作成を実行させればよい。
このようにすることで、三次元モデル作成要求データにサイズの大きな画像データを含めなくて済むため、三次元モデル作成要求データのサーバ２０への転送時間を少なくすることが可能となる。
【０１１１】
また、三次元モデル作成処理において、端末装置１２が三次元モデル作成要求データに含めて送信する画像データを、カメラ１１が撮像した画像を劣化させた（例えば、画素数を減じた）画像データとしてもよい。この場合、サーバ２０は、劣化された画像データから三次元モデルを作成して、端末装置１２に送信する。端末装置１２は、受信した三次元モデルに、劣化させる前の画像データをテクスチャーとして貼り付け、貼り付けた三次元モデルを表示装置１３に表示させる。
このようにすることで、端末装置１２は、劣化させた画像をサーバ２０に送信するため、転送時間を少なくすることができる。さらに、劣化画像から作成された三次元モデルに、劣化されていない画像をテクスチャーとして貼り付けて三次元モデルを表示するため、三次元モデル自体の劣化はある程度抑えることが可能となる。
【０１１２】
また、例えば、本発明に係るサーバ２０の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係るサーバ２０として機能させることも可能である。
【０１１３】
また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
【符号の説明】
【０１１４】
１…三次元モデル作成システム、１０…クライアントシステム、２０…サーバ、１１…カメラ、１２…端末装置、１３…表示装置、１４…入力装置
【技術分野】
【０００１】
本発明は、三次元モデル作成システムに関する。
【背景技術】
【０００２】
被写体を複数のカメラで撮影した画像から、被写体の三次元モデルを作成し、立体的に
表示する機能を有する撮像装置が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−３０３６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数のカメラで撮像した画像から三次元モデルを作成するためには、膨大な演算処理を実行する必要がかかるため、上記撮像装置では、比較的高性能なコンピュータが必要であり、比較的高いコストがかかった。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、低コストで三次元モデルを作成することを可能にした三次元モデル作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため本発明の第１の観点に係る三次元モデル作成システムは、
複数の撮像装置を備えた複数のクライアントシステムと、該クライアントシステムのそれぞれとネットワークを介して接続されたサーバと、を備える三次元モデル作成システムであって、
前記クライアントシステムは、
各前記撮像装置が異なる方向から撮像した被写体の画像データを劣化させた画像データの組から三次元モデルを作成することを要求する、当該劣化させた画像データ及び当該撮像した撮像装置の識別情報を少なくとも含む三次元モデル作成要求データを作成する三次元モデル作成要求データ作成手段と、
前記ネットワークを介して、三次元モデル作成要求データ作成手段が作成した三次元モデル作成要求データを前記サーバに送信する三次元モデル作成要求手段と、を備え、
前記サーバは、
前記クライアントシステム毎に、該クライアントシステムが備える各撮像装置の識別情報と各撮像装置の属性及び撮像パラメータを含む撮像装置情報とを対応付けて記憶するクライアントシステム記憶手段と、
前記三次元モデル作成要求データの受信に応答して、該三次元モデル作成要求データに含まれる識別情報を有する撮像装置の撮像装置情報を前記クライアントシステム記憶手段から取得する撮像装置情報取得手段と、
前記撮像装置情報取得手段が取得した撮像装置情報に基づいて、三次元モデル作成要求データが要求する被写体の画像データの組からポリゴンによって構成される三次元モデルを作成する、三次元モデル作成手段と、
前記三次元モデル作成手段が作成した三次元モデルを、前記三次元モデル作成要求データの送信元であるクライアントシステムに送信する三次元モデル送信手段と、を備え、
前記クライアントシステムは、
前記サーバから受信した三次元モデルに、前記撮像装置が撮像した劣化前の画像をテクスチャとして貼り付けるテクスチャ貼付手段と、
前記テクスチャ貼付手段によりテクスチャが貼り付けられた三次元モデルを表示する表示手段をさらに備える、
ことを特徴とする。
【０００７】
前記クライアントシステムは、
各撮像装置が所定の時間間隔で連続的に撮像した画像データを、当該画像の撮影された順番を示すフレーム番号と該撮像装置の識別情報とともに前記サーバに送信する連続画像送信手段、をさらに備え、
前記サーバは、前記連続画像送信手段が送信した画像データとフレーム番号と撮像装置の識別情報とを対応付けて蓄積記憶する画像記憶手段、をさらに備え、
前記三次元モデル作成要求データ作成手段は、三次元モデルの作成を要求する画像データのフレーム番号を含む前記三次元モデル作成要求データを作成し、
前記三次元モデル作成手段は、前記三次元モデル作成要求データに含まれる撮像装置の識別情報とフレーム番号とで特定される画像データの組を前記画像記憶手段から取得し、取得した画像データの組から三次元モデルを作成してもよい。
【０００８】
前記三次元モデル作成要求データ作成手段は、前記クライアントシステムの認証用の情報を少なくとも含む三次元モデル作成要求データを作成し、
前記サーバは、
前記クライアントシステムから受信した前記三次元モデル作成要求データに含まれる認証用の情報に基づいて、当該クライアントシステムを認証する認証手段をさらに備えてもよい。
【発明の効果】
【０００９】
本発明によれば、各クライアントシステムが撮像した画像から三次元モデルを作成する処理をサーバが行う。従って、低コストで三次元モデルを作成をすることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る三次元モデル作成システムの構成を示す図である。
【図２】クライアントシステムの構成を示す図である。
【図３】被写体と各カメラの位置関係を示す図である。
【図４】サーバの構成を示す図である。
【図５】クライアントＤＢの構成例を示す図である。
【図６】クライアント登録処理を説明するためのフローチャートである。
【図７】登録要求データ及び登録応答データの構成例を示す図である。
【図８】パラメータ取得処理を説明するためのフローチャートである。
【図９】パラメータ取得処理を説明するためのフローチャートである。
【図１０】被写体と表示装置の位置関係を示す図である。
【図１１】カメラのパラメータ算出用のパターン画像の例を示した図である。
【図１２】三次元モデル作成処理を説明するためのフローチャートである。
【図１３】３次元モデル作成要求データ及び３次元モデル作成応答データの構成例を示す図である。
【図１４】モデリング処理を説明するためのフローチャートである。
【図１５】三次元モデル合成処理を説明するためのフローチャートである。
【図１６】３次元モデル合成要求データ及び３次元モデル合成応答データの構成例を示す図である。
【図１７】合成処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。
【００１２】
本発明の実施形態に係る三次元モデル作成システム１について説明する。三次元モデル作成システム１は、図１に示すように、複数のクライアントシステム１０（以下、単にクライアント１０とする）と、サーバ２０とを備える。各クライアント１０とサーバ２０とは、インターネットを介して相互通信可能に接続されている。
【００１３】
各クライアント１０は、図２に示すように、複数のカメラ１１Ａ〜１１Ｆと、端末装置１２と、表示装置１３と、入力装置１４を備える。
【００１４】
各カメラ１１Ａ〜１１Ｆは、レンズ、絞り機構、シャッタ機構、ＣＣＤ（Charge Coupled Device）等を備え、被写体を撮像し、撮像した画像データを端末装置１２に送信する。なお、カメラ１１Ａ〜１１Ｆは、それぞれ、クライアント１０内でそれぞれを識別可能なカメラＩＤが設定されている。
【００１５】
なお、カメラ１１Ａ〜１１Ｆのそれぞれを区別しない場合は、単にカメラ１１と呼称する。また、必要に応じて、カメラ１１Ａ〜１１Ｆが撮像した画像をそれぞれ、画像Ａ〜画像Ｆとして説明する。なお、カメラ１１の数は６に限定するものではなく、２以上の任意の数でよい。
【００１６】
ここで、カメラ１１の配置について説明する。各カメラ１１Ａ〜１１Ｆは、図３に示すように被写体を取り囲むように配置されている。従って、カメラ１１Ａ〜１１Ｆは、それぞれ、被写体を異なる方向から撮像することができる。なお、カメラ１１は床やステージ等に固定されており、容易に動かせないものとするのが望ましい。
【００１７】
図２に戻り、端末装置１２は、例えば、ＰＣ（Personal Computer）等のコンピュータである。端末装置１２は、外部Ｉ／Ｆ部１２１と通信部１２２と記憶部１２３と制御部１２４とを備える。
【００１８】
外部Ｉ／Ｆ部１２１は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４等の規格に準拠したコネクタ、又は、拡張スロットに挿入されるカメラ接続用のボード（基板）等から構成され、各カメラ１１と接続するためのインタフェースである。
【００１９】
通信部１２２は、ＮＩＣ（Network Interface Card）等を備え、制御部１２４の指示に基づいて、インターネットを介して、サーバ２０と情報の送受信を行う。
【００２０】
記憶部は１２３は、ＲＡＭ（Read Only Memory）、ＲＯＭ（Rondom Access Memory）、ハードディスク装置等から構成され、各種の情報、各カメラ１１が撮影した画像データ、及び、制御部１２４が実行するためのプログラム等を記憶する。また、記憶部１２３は、制御部１２４が処理を実行するためのワークエリアとして機能する。また、記憶部１２３は、サーバ２０から送信された三次元モデル（ポリゴン情報）を保存する。
【００２１】
制御部１２４は、ＣＰＵ（Central Processing Unit）等を備え、記憶部１２３に記憶されているプログラムを実行することにより、端末装置１２の各部を制御する。また、制御部１２４は、各カメラ１１が撮像した画像から三次元モデルを作成することをサーバ２０に要求し、サーバ２０から受信した三次元モデルを表示装置１３に表示させる。また、制御部１２４は、複数の三次元モデルを合成することをサーバ２０に要求し、サーバ２０から受信した合成された三次元モデルを表示装置１３に表示させる。なお、制御部１２４の行う処理の詳細については後述する。
【００２２】
表示装置１３は、ＰＣ用のモニター等であり、制御部１２４の指示に基づいて、各種の情報を表示する。例えば、表示装置１３は、サーバ２０から受信した三次元モデルを表示する。
【００２３】
入力装置１４は、キーボードやマウス等であり、ユーザによる操作に応じた入力信号を生成して制御部１２４に供給する。
【００２４】
続いて、サーバ２０について説明する。サーバ２０は、端末装置１２から受信した画像データから三次元モデルを作成したり、複数の三次元モデルを合成する機能を有する。サーバ２０は、図４（Ａ）に示すように、通信部２１と、記憶部２２と、制御部２３とを備える。
【００２５】
通信部２１は、ＮＩＣ（Network Interface Card）等を備え、インターネットを介して、端末装置１２と情報の送受信を行う。
【００２６】
記憶部２２は、ハードディスク装置等から構成され、各種の情報、及び、制御部２３が実行するためのプログラム等を記憶する。また、記憶部２２は、制御部２３が処理を実行するためのワークエリアとして機能する。また、記憶部２２は、カメラ１１の撮像パラメータ算出用にクライアント１０の表示装置１３に表示させるパターン画像を記憶する。また、記憶部２２は、図４（Ｂ）に示すように、クライアントＤＢ（データベース）２２１と、三次元モデルＤＢ２２２とを備える。
【００２７】
クライアントＤＢ２２１は、後述する登録処理で登録されたクライアント１０に関する各種の情報が格納されるデータベースである。クライアントＤＢ２２１には、図５に示すように、登録されたクライアント１０毎に、クライアント１０を識別するクライアントＩＤと、認証用のパスワードと、当該クライアント１０が備える各カメラ１１のカメラ情報と、視線情報と、が記憶される。カメラ情報は、カメラＩＤと、基本属性、内部パラメータ、外部パラメータ等から構成される情報であり、クライアント１０内のカメラ１１毎に登録される。
【００２８】
基本属性は、経年劣化等の影響を受けにくい不変的なカメラ１１の属性（性能）を示す。
従って、同じ種類のカメラ１１であれば、ほぼ同一の基本属性を有する。基本属性は、例えば、カメラ１１の解像度、画角、フォーカス距離等である。
【００２９】
内部パラメータは、経年劣化等の影響を受けて時間と共に変化するカメラ１１の撮像パラメータである。従って、同じ種類のカメラ１１であっても、それぞれで内部パラメータは異なる。内部パラメータは、例えば、焦点距離係数、画像の角度係数、レンズの歪み係数等である。
【００３０】
外部パラメータは、被写体に対するカメラ１１の位置関係を示す撮像パラメータである。外部パラメータは、例えば、被写体からみたカメラ１１の位置座標（ｘ，ｙ，ｚ）、カメラ１１の上下方向の角度（チルト）、左右方向の角度（パン）、回転角度（ロール）などを示す情報から構成される。
【００３１】
視線情報は、クライアント１０内のカメラ１１のうち、どのカメラ１１同士が三次元モデルを作成するための視線となるかを定義する情報である。具体的には、視線情報は、視線を構成するカメラ１１のカメラＩＤ同士を対応付けた情報となる。例えば、図３に示すようにカメラ１１が配置されており、隣り合うカメラ１１同士で１つの視線を構成するとした場合を考える。この場合、視線情報として、カメラ１１Ａとカメラ１１Ｂとを対応付けた情報、カメラ１１Ｂとカメラ１１Ｃとを対応付けた情報、カメラ１１Ｃとカメラ１１Ｄとを対応付けた情報、カメラ１１Ｄとカメラ１１Ｅとを対応付けた情報、及び、カメラ１１Ｅとカメラ１１Ｆとを対応付けた情報が視線情報となる。
【００３２】
図４（Ｂ）に戻り、三次元モデルＤＢ２２２には、端末装置１２からの依頼を受けて作成した三次元モデル（ポリゴン情報）が、当該三次元モデルを識別するポリゴンＩＤ、当該三次元モデル作成の元となったペア画像を撮影した各カメラ１１のカメラＩＤ等と対応付けられて格納される。
【００３３】
図４（Ａ）に戻り、制御部２３は、ＣＰＵ（Central Processing Unit）等を備え、記憶部２２に記憶されているプログラムを実行することにより、サーバ２０の各部を制御する。また、制御部２３は、クライアント１０からの依頼を受けて、当該クライアント１０のカメラ情報等を登録する処理（クライアント登録処理）、三次元モデルを作成する処理（三次元モデル作成処理）、及び、既に作成されている複数の三次元モデルを合成する処理（三次元モデル合成処理）などを実行する。制御部２３の行うこれら処理の詳細については後述する。
【００３４】
続いて、三次元モデル作成システム１の動作について説明する。
【００３５】
（クライアント登録処理）
始めに、クライアント登録処理について説明する。
サーバ２０は、クライアント１０内の各カメラ１１が撮像した画像から三次元モデルを作成するために、当該クライアント１０および、当該クライアント１０内の各カメラ１１のカメラ情報等を事前に登録する処理（クライアント登録処理）を行う必要がある。このクライアント登録処理について、図６のフローチャートを参照して、詳細に説明する。
【００３６】
クライアント１０のユーザは、入力装置１４を操作して、クライアント登録用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該クライアント登録用の画面から、端末装置１２に接続されている各カメラ１１の基本属性を入力する。なお、カメラ１１の基本属性は、カメラ１１のマニュアル等を参照することで取得すればよい。また、ユーザは、入力装置１４を操作して、どのカメラ１１同士が視線を構成しているのかを示す視線情報も入力する。そして、ユーザは、入力が完了した後、クライアント１０登録用の画面に表示されている登録用のボタンをクリックする。このクリック操作に応答して、制御部１２４は、入力されたこれらの情報を含む登録要求データを作成する（ステップＳ１０１）。
【００３７】
図７（Ａ）に登録要求データの構成を示す。登録要求データは、当該データが登録要求データであることを示すコマンド識別子、各カメラ１１のカメラＩＤと基本属性、及び、視線情報等を含むデータである。
【００３８】
図６に戻り、続いて、制御部１２４は、作成した登録要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ１０２）。
【００３９】
登録要求データを受信すると（ステップＳ１０３）、サーバ２０の制御部２３は、当該要求データに含まれる各カメラ１１のカメラＩＤと基本属性、及び、視線情報をクライントＤＢ２２１に新規エントリとして登録する（ステップＳ１０４）。なお、この登録される新規エントリには、新たに作成したクライアントＩＤと認証用のパスワードとを付与する。また、この時点では、新規登録されたエントリ内の各カメラ１１の内部パラメータ、および、外部パラメータの値は空欄である。
【００４０】
続いて、制御部２３は、ステップＳ１０４で登録した視線情報が示す視線のなかから１つを選択する（ステップＳ１０５）。そして、制御部２３は、選択した視線を構成する各カメラ１１の撮像パラメータ（内部パラメータ、外部パラメータ）を取得する処理（パラメータ取得処理）を行う（ステップＳ１０６）
【００４１】
パラメータ取得処理の詳細について、図８と図９のフローチャートを参照して説明する。
【００４２】
まず、制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１が表示装置１３の表示面全体を撮像可能となるような位置に当該表示装置１３を移動させることを指示するメッセージ情報をクライアント１０に送信する（ステップＳ２０１）。
【００４３】
そして、クライアント１０の端末装置１２の制御部１２４は、サーバ２０から受信したメッセージ情報が示すメッセージを表示装置１３に表示させる（ステップＳ２０２）。クライアント１０のユーザは、このメッセージに従い、被写体が設置されている位置に表示装置１３を移動させ、且つ、表示面の向きを、ステップＳ１０５で選択した視線を構成する各カメラ１１が撮像可能な位置に移動させる。
【００４４】
例えば、図３に示す視線１を構成するカメラ１１Ａ、１１Ｂの撮像パラメータを算出したい場合、クライアント１０のユーザは、図１０に示すような位置に表示装置１３を移動させる。
【００４５】
図８に戻り、表示装置１３の移動が完了すると、ユーザは入力装置１４を介してその旨を通知するための操作入力を行う。端末装置１２の制御部１２４は、この操作入力に応答して、インターネットを介して、移動完了通知をサーバ２０に送信する（ステップＳ２０３）。
【００４６】
移動完了通知を受信すると、サーバ２０の制御部２３は、カメラ１１の内部パラメータ算出用のパターン画像をインターネットを介してクライアント１０の端末装置１２に送信するとともに、該パターン画像を表示装置１３に表示させることを指示する（ステップＳ２０４）。この指示に応じて、端末装置１２の制御部１２４は、受信した内部パラメータ算出用のパターン画像を、表示装置１３に表示させる（ステップＳ２０５）。内部パラメータ算出用のパターン画像は、例えば、図１１に示すような、個々の点が格子状に等間隔に配置されている画像である。
【００４７】
図８に戻り、端末装置１２の制御部１２４は、内部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ２０に送信する（ステップＳ２０６）。
【００４８】
表示完了通知を受信すると、サーバ２０の制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１の撮像を端末装置１２に指示する（ステップＳ２０７）。
【００４９】
端末装置１２の制御部１２４は、サーバ２０のからの指示を受けて、内部パラメータ算出対象の各カメラ１１に撮像を実行させ、撮像した画像のペア（ペア画像）を取得する（ステップＳ２０８）。そして、制御部１２４は、取得したペア画像をインターネットを介してサーバ２０に送信する（ステップＳ２０９）。
【００５０】
サーバ２０の制御部２３は、内部パラメータ算出用のパターン画像を撮像したペア画像を受信すると、当該パターン画像が適切な位置で撮像されたか否かを判別する（ステップＳ２１０）。例えば、予めパターン画像の四隅に印を付しておき、受信したペア画像内の所定位置に当該印が正しく位置しているか否かを判別することで、パターン画像が適切な位置で撮影されたか否かを判別すればよい。
【００５１】
パターン画像が適切な位置で撮像されていないと判別した場合（ステップＳ２１０；Ｎｏ）、ステップＳ２０１に処理は移り、制御部２３は、表示装置１３の移動を再度指示し、以降の処理を繰り返す。
【００５２】
パターン画像が適切な位置で撮像されていると判別した場合（ステップＳ２１０；Ｙｅｓ）、制御部２３は、ペア画像内に表示されているパターン画像に基づいて、公知の手法により、当該ペア画像を撮像した各カメラ１１の内部パラメータを求める（ステップＳ２１１）。例えば、ペア画像の各画像内で同じ点を示す特徴点の視差を算出し、その視差ら内部パラメータを求めればよい。
【００５３】
ここで、カメラ１１に対するパターン画像の位置合わせが不十分であったり、パターン画像の一部に汚れ等があり、特徴点の抽出精度が悪くなるなど、何らかの不備により、内部パラメータの精度が確保されていない可能性がある。従って、制御部２３は、公知の手法により、ステップＳ２１１で求めた内部パラメータの精度を求める（ステップＳ２１２）。そして、制御部２３は、求めた精度が所定の閾値以上であるか否かを判別する（ステップＳ２１３）。
なお、内部パラメータの精度は、例えば、文献"A Flexible New Technique for Camera Calibration, Zhengyou Zhang, December 2, 1998"に記載されている手法を用いて算出すればよい。より具体的には、同文献に記載の下記式の値（０に近い程精度が高い）を算出することで、パラメータの精度を算出すればよい。
【数１】
【００５４】
閾値以上の精度でない場合（ステップＳ２１３；Ｎｏ）、ステップＳ２０１に処理は移り、制御部２３は、表示装置１３の移動を再度指示し、以降の処理を繰り返す。
【００５５】
閾値以上の精度である場合（ステップＳ２１３；Ｙｅｓ）、制御部２３は、カメラ１１の外部パラメータ算出用のパターン画像をインターネットを介して、クライアント１０の端末装置１２に送信するとともに、該パターン画像を表示装置１３に表示させることを指示する（図９：ステップＳ２１４）。この指示に応じて、端末装置１２の制御部１２４は、受信した外部パラメータ算出用のパターン画像を、表示装置１３に表示させる（ステップＳ２１５）。
【００５６】
端末装置１２の制御部１２４は、外部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ２０に送信する（ステップＳ２１６）。
【００５７】
表示完了通知を受信すると、サーバ２０の制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１の撮像を端末装置１２に指示する（ステップＳ２１７）。
【００５８】
端末装置１２の制御部１２４は、サーバ２０のからの指示を受けて、外部パラメータ算出対象の各カメラ１１に撮像を実行させ、撮像したペア画像を取得する（ステップＳ２１８）。そして、制御部１２４は、取得したペア画像をインターネットを介してサーバ２０に送信する（ステップＳ２１９）。
【００５９】
サーバ２０の制御部２３は、外部パラメータ算出用パターン画像を撮像したペア画像を受信すると、当該ペア画像内に表示されているパターン画像に基づいて、内部パラメータと同様に、公知の手法により、当該ペア画像を撮像した各カメラ１１の外部パラメータを求める（ステップＳ２２０）。
【００６０】
続いて、制御部２３は、公知の手法により、ステップＳ２２０で求めた外部パラメータの精度を求める（ステップＳ２２１）。そして、制御部２３は、求めた精度が所定の閾値以上であるか否かを判別する（ステップＳ２２２）。
【００６１】
閾値以上の精度でない場合（ステップＳ２２２；Ｎｏ）、ステップＳ２１４に処理は移り、制御部２３は、外部パラメータ算出用のパターン画像の表示を再度指示し、以降の処理を繰り返す。なお、この際、前回の処理とは異なる外部パラメータ算出用のパターン画像を表示させるのが望ましい。
【００６２】
閾値以上の精度である場合（ステップＳ２２２；Ｙｅｓ）、制御部は２３、ステップＳ２１１で求めた内部パラメータとステップＳ２２０で求めた外部パラメータとをクライアントＤＢ２２１に保存する（ステップＳ２２３）。以上でパラメータ取得処理は終了する。
【００６３】
図６に戻り、パラメータ取得処理が終了すると、制御部２３は、ステップＳ１０３で登録した視線情報が示す全ての視線を選択したか否かを判別する（ステップＳ１０７）。未選択の視線がある場合（ステップＳ１０７；Ｎｏ）、ステップＳ１０５に処理は移り、未選択の視線を選択して、その視線を構成する２つのカメラ１１について撮像パラメータを取得する処理を繰り返す。
【００６４】
全ての視線を選択した場合（ステップＳ１０７；Ｙｅｓ）、制御部２３は、ステップＳ１０４で新規登録したエントリに含まれるクライアントＩＤ、及び、パスワードを含む、図７（Ｂ）に示すような登録応答データを、クライアント１０登録要求の送信元である端末装置１２に送信する（ステップＳ１０８）。
【００６５】
図６に戻り、端末装置１２の制御部２３は、登録応答データを受信すると（ステップＳ１０９）、当該登録応答データに含まれるクライアントＩＤとパスワードとを記憶部２２に記憶する（ステップＳ１１０）。以上でクライアント登録処理は終了する。
【００６６】
このように、登録処理により、クライアント１０毎に、クライアント１０内の各カメラ１１のカメラ情報や視線情報がサーバ２０に登録（記憶）される。そして、登録が完了すると、クライアント１０の端末装置１２は、サーバ２０からクライアントＩＤとパスワードを受信する。そして、以降の各処理（三次元モデル作成処理、三次元モデル合成処理）を行う際に、端末装置１２は、クライアントＩＤとパスワードとをサーバ２０に送信して、認証を受けることが可能となる。
【００６７】
（三次元モデル作成処理）
始めに、クライアント登録処理について説明する。
サーバ２０は、クライアント１０から送信された画像ペアから三次元モデルを作成する三次元モデル作成処理を実行する。この三次元モデル作成処理の詳細について、カメラ１１Ａが撮像した画像Ａとカメラ１１Ｂが撮像した画像Ｂとからなるペア画像から三次元モデルを作成する場合を例に、図１２のフローチャートを参照して説明する。
【００６８】
まず、クライアント１０のユーザは、入力装置１４を操作して、三次元モデル作成用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該三次元モデル作成用の画面から、クライアントＩＤとパスワードの入力、及び、三次元モデルを作成したいカメラ１１Ａおよびカメラ１１Ｂが撮像した画像の選択行い、当該三次元モデル作成用の画面に表示されている作成ボタン等をクリックする。このクリック操作に応答して、制御部１２４は、三次元モデル作成要求データを作成する（ステップＳ３０１）。なお、クライアントＩＤとパスワードとは、前述した登録処理でサーバ２０から受信したものを入力すればよい。
【００６９】
三次元モデル作成要求データの構成例を図１３（Ａ）に示す。三次元モデル作成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントＩＤと、パスワードと、要求ＩＤと、３Ｄモデルを作成したいペア画像（画像Ａと画像Ｂ）の各画像データと、該各画像を撮影した各カメラ１１Ａ、１１ＢのカメラＩＤ等を含むデータである。なお、要求ＩＤは、同一のクライアント１０から連続して三次元モデル作成要求データを受信した場合に、各要求データを識別するためにクライアント１０が生成したユニークなＩＤである。
【００７０】
図１２に戻り、続いて、制御部１２４は、作成した三次元モデル作成要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ３０２）。
【００７１】
三次元モデル作成要求データを受信すると（ステップＳ３０３）、サーバ２０の制御部２３は、三次元モデル作成要求データの送信元であるクライアント１０が前述の登録処理により事前に登録されているクライアント１０であるか否かを判別する（ステップＳ３０４）。具体的には、制御部２３は、三次元モデル作成要求データに含まれるクライアントＩＤとパスワードとの組が、クライアントＤＢ２２１に記憶されているか否かを判別し、記憶されている場合に、登録されているクライアント１０であると判別すればよい。
【００７２】
登録されていないクライアント１０であると判別した場合（ステップＳ３０４；Ｎｏ）、未認証のクライアント１０からの要求であり、三次元モデル作成処理はエラー終了する。
【００７３】
登録されているクライアント１０であると判別した場合（ステップＳ３０４；Ｎｏ）、制御部２３は、三次元モデル作成要求データに含まれている画像データから三次元モデルを生成するモデリング処理を実行する（ステップＳ３０５）。
【００７４】
ここで、図１４に示すフローチャートを参照して、モデリング処理について詳細に説明する。なお、モデリング処理は、一組のペア画像から三次元モデルを生成する処理である。つまり、モデリング処理は、一つの視線から見た三次元モデルを生成する処理と考えることができる。
【００７５】
まず、制御部２３は、特徴点の候補を抽出する（ステップＳ４０１）。例えば、制御部２３は、画像Ａに対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
【００７６】
続いて、制御部２３は、ステレオマッチングを実行し、画像Ａの特徴点に対応する点（対応点）を画像Ｂから探す（ステップＳ４０２）。具体的には、制御部２３は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの（相違度が所定閾値以下かつ最小のもの）を対応点とする。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関など、様々な既知の技法が利用可能である。
【００７７】
続いて、制御部２３は、三次元モデル作成要求データに含まれているカメラ１１Ａと１１ＢのカメラＩＤをキーにクライアントＤＢ２２１を検索して、ペア画像（画像Ａと画像Ｂ）のそれぞれを撮像したカメラ１１Ａ、１１Ｂのカメラ情報を取得する（ステップＳ４０３）。
【００７８】
続いて、制御部２３は、ステップＳ４０２で検出された対応点の視差情報と、ステップＳ４０３で取得したカメラ情報とに基づいて、特徴点の位置情報（三次元位置座標）を算出する（ステップＳ４０４）。生成された特徴点の位置情報は、例えば、記憶部２２に記憶される。
【００７９】
続いて、制御部２３は、ステップＳ４０４において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行し、三次元モデル（ポリゴン情報）を生成する（ステップＳ４０５）。
【００８０】
そして、制御部２３は、ステップＳ４０５で生成した三次元モデル（ポリゴン情報）に対して新規のポリゴンＩＤを付し、該三次元モデルの作成の元となった画像Ａ、画像Ｂを作成したカメラ１１Ａ，１１ＢのカメラＩＤと対応付けて三次元モデルＤＢ２２２に保存する（ステップＳ４０６）。以上でモデリング処理は終了する。
【００８１】
図１２に戻り、モデルリング処理が終了すると、制御部２３は、三次元モデル作成要求データに対するレスポンスとして、三次元モデル作成応答データを作成する（ステップＳ３０６）。
【００８２】
図１３（Ｂ）に三次元モデル作成応答データの構成を示す。三次元モデル作成応答データは、当該データが三次元モデル作成応答データであることを示すコマンド識別子、応答ＩＤ、モデリング処理（ステップＳ３０５）で生成された三次元モデル、及び、そのポリゴンＩＤを含むデータである。なお、応答ＩＤは、同一のクライアント１０から連続して三次元モデル作成要求データを受信した場合に、クライアント１０がどの要求データに対する応答データなのかを識別するために付与されたＩＤである。応答ＩＤは、要求ＩＤと同一のものでよい。
【００８３】
図１２に戻り、続いて、制御部２３は、三次元モデル作成要求データの送信元であるクライアント１０の端末装置１２に、作成した三次元モデル作成応答データを送信する（ステップＳ３０７）。
【００８４】
三次元モデル作成応答データを受信すると（ステップＳ３０８）、端末装置１２の制御部１２４は、応答データに含まれる三次元モデルとポリゴンＩＤとを対応付けて記憶部１２３に保存する（ステップＳ３０９）。そして、制御部１２４は、保存した三次元モデルを表示装置１３に表示させる（ステップＳ３１０）。以上で、三次元モデリング処理は終了する。
【００８５】
（三次元モデル合成処理）
続いて、前述した三次元モデル作成処理によって作成された複数の三次元モデルを合成して、より精度の高い三次元モデルを作成する三次元モデル合成処理について、図１５のフローチャートを参照して説明する。
【００８６】
まず、クライアント１０のユーザは、入力装置１４を操作して、三次元モデル合成用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該三次元モデル作成用の画面から、クライアントＩＤとパスワードの入力、及び、合成したい複数の三次元モデル（ポリゴン情報）のポリゴンＩＤの入力を行い、当該三次元モデル合成用の画面に表示されている合成ボタン等をクリックする。このクリック操作に応答して、制御部１２４は、三次元モデル合成要求データを作成する（ステップＳ５０１）。なお、クライアントＩＤとパスワードとは、前述した登録処理でサーバ２０から受信したものを入力すればよい。また、ポリゴンＩＤは、前述の三次元モデル作成処理、または、過去の三次元モデル合成処理でサーバ２０から受信したものを入力すればよい。また、過去の三次元モデル作成処理や三次元モデル合成処理で取得した三次元モデルをそのポリゴンＩＤとともに作成の元となった視線毎に記憶部１２３に記憶しておき、各視線の三次元モデルを表示装置１３に一覧表示させ、そのなかから合成したい三次元モデルを選択させることで、合成したい三次元モデルのＩＤを取得するようにしてもよい。
【００８７】
三次元モデル合成要求データの構成例を図１６（Ａ）に示す。三次元モデル合成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントＩＤと、パスワードと、要求ＩＤと、合成したい三次元モデルを特定する複数のポリゴンＩＤ等を含むデータである。なお、要求ＩＤは、同一のクライアント１０から連続して三次元モデル合成要求データを受信した場合に、各要求データを識別するためにクライアント１０が生成したユニークなＩＤである。
【００８８】
図１５に戻り、続いて、制御部１２４は、作成した三次元モデル合成要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ５０２）。
【００８９】
三次元モデル作成合成データを受信すると（ステップＳ５０３）、サーバ２０の制御部２３は、三次元モデル合成要求データの送信元であるクライアント１０が前述の登録処理により事前に登録されているクライアント１０であるか否かを判別する（ステップＳ５０４）。
【００９０】
登録されていないクライアント１０であると判別した場合（ステップＳ５０４；Ｎｏ）、未認証のクライアント１０からの要求であり、三次元モデル作成処理はエラー終了する。
【００９１】
登録されているクライアント１０であると判別した場合（ステップＳ５０４；Ｎｏ）、制御部２３は、合成処理を実行する（ステップＳ５０５）。合成処理の詳細について、図１７のフローチャートを参照して説明する。
【００９２】
まず、制御部２３は、三次元モデル作成要求データに含まれる複数のポリゴンＩＤのうちから、２つを選択する（ステップＳ６０１）。ここでは、２つのポリゴンＩＤｐ１、ｐ２を選択したものとして以下説明する。
【００９３】
そして、制御部２３は、選択した２つのポリゴンＩＤのそれぞれに対して、当該ポリゴンＩＤが示すポリゴン情報（三次元モデル）の作成の元となったペア画像を撮影した各カメラ１１の外部パラメータを取得する（ステップＳ６０２）。具体的には、選択した各ポリゴンＩＤをキーに三次元モデルＤＢ２２２を検索してカメラＩＤを取得する。そして、取得したカメラＩＤに対応するカメラ１１の外部パラメータをクライアントＤＢ２２１から取得すればよい。
【００９４】
続いて、制御部２３は、取得した外部パラメータに基づいて、ステップステップＳ６０１で選択した一方のポリゴンＩＤｐ１が示す三次元モデルの座標を、選択した他方のポリゴンＩＤｐ２が示す三次元モデルの座標に変換するための、座標変換パラメータを取得する（ステップＳ６０３）。
具体的には、この処理は、式（１）を満たす回転行列Ｒと移動ベクトルｔとを求める処理である。なお、ＸはポリゴンＩＤｐ１が示す三次元モデルの座標を示し、Ｘ’は、ポリゴンＩＤｐ２が示す三次元モデルの座標を示す。
【数２】
【００９５】
前述したように、外部パラメータは、被写体からみたカメラ１１の位置を示す情報（座標、チルト、パン、ロール）である。従って、制御部２３は、これらの外部パラメータに基づいて、当該外部パラメータを有するカメラペアの撮像画像から作成された被写体の三次元モデルの座標変換パラメータを公知の座標変換式等を用いて算出すればよい。
【００９６】
続いて、制御部２３は、取得した座標変換パラメータを用いて、ポリゴンＩＤｐ１で特定される三次元モデルと、ポリゴンＩＤｐ２で特定される三次元モデルとを重ねる（ステップＳ６０４）。
【００９７】
続いて、制御部２３は、ポリゴンＩＤｐ１で特定される三次元モデルの特徴点とポリゴンＩＤｐ２で特定される三次元モデルの特徴点との重なり具合から信頼性の低い特徴点を除去する（ステップＳ６０５）。例えば、ある三次元モデルの注目特徴点に対する他の三次元モデルの最近傍の特徴点の分布から、当該注目特徴点のマハラノビス距離が計算され、このマハラノビス距離が所定値以上の場合は当該注目特徴点の信頼性が低いと判別される。なお、注目特徴点からの距離が所定値以上の特徴点は、最近傍の特徴点に含めないようにしても良い。また、最近傍の特徴点の数が少ない場合、信頼性が低いものと見なされてもよい。なお、特徴点を実際に除去する処理は、全ての特徴点に対して、除去するか否かが判別された後に、実行されるものとする。
【００９８】
続いて、制御部２３は、同一と見なせる特徴点を統合する（ステップＳ６０６）。例えば、所定距離以内の特徴点は、全て同一の特徴点を表すグループに属するものとして扱われ、これらの特徴点の重心が新たな特徴点とされる。
【００９９】
続いて、制御部２３は、ポリゴンメッシュを再構成する（ステップＳ６０７）。つまり、ステップＳ６０６において求められた新たな特徴点に基づいて、三次元モデル（ポリゴン情報）が生成される。
【０１００】
続いて、制御部２３は、三次元モデル作成要求データに含まれる複数のポリゴンＩＤのうち、未選択のもの（即ち、合成していないもの）が有るか否かを判別する（ステップＳ６０８）。
【０１０１】
未選択のポリゴンＩＤが有る場合（ステップＳ６０８；Ｙｅｓ）、制御部２３は、当該ポリゴンＩＤを１つ選択する（ステップＳ６０９）。そして、ステップＳ６０２に処理は移り、制御部２３は、ステップＳ６０９で選択したポリゴンＩＤが示す三次元モデルとステップＳ６０７で再構成した三次元モデルとの間で、同様に、座標変換パラメータを取得して、両三次元モデルを重ね、ポリゴンを再構成する処理を繰り返す。
【０１０２】
未選択のポリゴンＩＤが無い場合（ステップＳ６０８；Ｎｏ）、三次元モデル作成要求データに含まれるポリゴンＩＤが示す三次元モデルは全て合成されたことになる。従って、制御部２３は、ステップＳ６０７で再構成した三次元モデル（ポリゴン情報）に対して新規のポリゴンＩＤを付し、三次元モデルＤＢ２２２に登録する（ステップＳ６１０）。以上で合成処理は終了する。
【０１０３】
図１５に戻り、合成処理が終了すると、制御部２３は、三次元モデル合成要求データに対するレスポンスとして、三次元モデル合成応答データを作成する（ステップＳ５０６）。
【０１０４】
図１６（Ｂ）に三次元モデル合成応答データの構成を示す。三次元モデル合成応答データは、当該データが三次元モデル合成応答データであることを示すコマンド識別子、応答ＩＤ、合成処理（ステップＳ５０５）で生成（再構成）された三次元モデルと、当該三次元モデルのポリゴンＩＤと、を含むデータである。なお、応答ＩＤは、同一のクライアント１０から連続して三次元モデル合成要求データを受信した場合に、クライアント１０がどの要求データに対する応答データなのかを識別するために付与されたＩＤである。応答ＩＤは、要求ＩＤと同一のものでよい。
【０１０５】
図１５に戻り、続いて、制御部２３は、三次元モデル合成要求データの送信元であるクライアント１０の端末装置１２に、作成した三次元モデル合成応答データを送信する（ステップＳ５０７）。
【０１０６】
三次元モデル合成応答データを受信すると（ステップＳ５０８）、端末装置１２の制御部１２４は、三次元モデル合成応答データに含まれるポリゴン情報とポリゴンＩＤとを対応付けて記憶部１２３に保存する（ステップＳ５０９）。そして、制御部１２４は、保存した三次元モデルを表示装置１３に表示させる（ステップＳ５１０）。以上で、三次元モデル合成処理は終了する。
【０１０７】
このように、三次元モデル合成処理により、複数の三次元モデルが合成されるので、形状情報の欠損を抑えつつ、高精度な三次元モデリングが可能になる。
【０１０８】
本発明の実施形態に係る三次元モデル作成システム１によれば、各クライアント１０の備えるカメラ１１のカメラ情報や視線情報が、クライアント１０毎に、事前にサーバ２０に保存される。そして、各クライアント１０は、撮像したペア画像から三次元モデルを作成したい場合、当該ペア画像をサーバ２０に送信し、サーバ２０が受信したペア画像と事前に記憶されているカメラ情報とに基づいて三次元モデルを作成する。従って、膨大な演算処理が必要な三次元モデル作成の処理は、１台のサーバ２０が全クライアント１０の処理を代行して実施するため、クライアント１０内の端末装置１２は、比較的安価なＣＰＵ等で実現可能である。従って、システム全体として、比較的低コストで、撮像画像から三次元モデルを作成することが可能となる。
【０１０９】
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【０１１０】
例えば、クライアント１０内の端末装置１２の制御部１２４は、所定のフレーム周期（例えば、１／３０秒）で各カメラ１１に被写体を撮像させ、撮像させた画像をサーバ２０にストリーミング送信するようにした構成にも、本発明を適用することが可能である。この場合、サーバ２０の制御部２３は、連続的に受信した画像を、当該画像を撮像したカメラ１１のカメラＩＤ及び連続受信した各画像を一意に識別するフレーム番号と対応付けて記憶部２２に逐次保存する。そして、三次元モデル作成処理を実施する場合、クライアント１０の端末装置１２のユーザは、三次元モデルを作成したい画像をカメラＩＤとフレーム番号で指定する図１３（Ｃ）に示すような三次元モデル作成要求データを作成して、サーバ２０に三次元モデルの作成を実行させればよい。
このようにすることで、三次元モデル作成要求データにサイズの大きな画像データを含めなくて済むため、三次元モデル作成要求データのサーバ２０への転送時間を少なくすることが可能となる。
【０１１１】
また、三次元モデル作成処理において、端末装置１２が三次元モデル作成要求データに含めて送信する画像データを、カメラ１１が撮像した画像を劣化させた（例えば、画素数を減じた）画像データとしてもよい。この場合、サーバ２０は、劣化された画像データから三次元モデルを作成して、端末装置１２に送信する。端末装置１２は、受信した三次元モデルに、劣化させる前の画像データをテクスチャーとして貼り付け、貼り付けた三次元モデルを表示装置１３に表示させる。
このようにすることで、端末装置１２は、劣化させた画像をサーバ２０に送信するため、転送時間を少なくすることができる。さらに、劣化画像から作成された三次元モデルに、劣化されていない画像をテクスチャーとして貼り付けて三次元モデルを表示するため、三次元モデル自体の劣化はある程度抑えることが可能となる。
【０１１２】
また、例えば、本発明に係るサーバ２０の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係るサーバ２０として機能させることも可能である。
【０１１３】
また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
【符号の説明】
【０１１４】
１…三次元モデル作成システム、１０…クライアントシステム、２０…サーバ、１１…カメラ、１２…端末装置、１３…表示装置、１４…入力装置
【特許請求の範囲】
【請求項１】
複数の撮像装置を備えた複数のクライアントシステムと、該クライアントシステムのそれぞれとネットワークを介して接続されたサーバと、を備える三次元モデル作成システムであって、
前記クライアントシステムは、
各前記撮像装置が異なる方向から撮像した被写体の画像データを劣化させた画像データの組から三次元モデルを作成することを要求する、当該劣化させた画像データ及び当該撮像した撮像装置の識別情報を少なくとも含む三次元モデル作成要求データを作成する三次元モデル作成要求データ作成手段と、
前記ネットワークを介して、三次元モデル作成要求データ作成手段が作成した三次元モデル作成要求データを前記サーバに送信する三次元モデル作成要求手段と、を備え、
前記サーバは、
前記クライアントシステム毎に、該クライアントシステムが備える各撮像装置の識別情報と各撮像装置の属性及び撮像パラメータを含む撮像装置情報とを対応付けて記憶するクライアントシステム記憶手段と、
前記三次元モデル作成要求データの受信に応答して、該三次元モデル作成要求データに含まれる識別情報を有する撮像装置の撮像装置情報を前記クライアントシステム記憶手段から取得する撮像装置情報取得手段と、
前記撮像装置情報取得手段が取得した撮像装置情報に基づいて、三次元モデル作成要求データが要求する被写体の画像データの組からポリゴンによって構成される三次元モデルを作成する、三次元モデル作成手段と、
前記三次元モデル作成手段が作成した三次元モデルを、前記三次元モデル作成要求データの送信元であるクライアントシステムに送信する三次元モデル送信手段と、を備え、
前記クライアントシステムは、
前記サーバから受信した三次元モデルに、前記撮像装置が撮像した劣化前の画像をテクスチャとして貼り付けるテクスチャ貼付手段と、
前記テクスチャ貼付手段によりテクスチャが貼り付けられた三次元モデルを表示する表示手段をさらに備える、
ことを特徴とする三次元モデル作成システム。
【請求項２】
前記クライアントシステムは、
各撮像装置が所定の時間間隔で連続的に撮像した画像データを、当該画像の撮影された順番を示すフレーム番号と該撮像装置の識別情報とともに前記サーバに送信する連続画像送信手段、をさらに備え、
前記サーバは、前記連続画像送信手段が送信した画像データとフレーム番号と撮像装置の識別情報とを対応付けて蓄積記憶する画像記憶手段、をさらに備え、
前記三次元モデル作成要求データ作成手段は、三次元モデルの作成を要求する画像データのフレーム番号を含む前記三次元モデル作成要求データを作成し、
前記三次元モデル作成手段は、前記三次元モデル作成要求データに含まれる撮像装置の識別情報とフレーム番号とで特定される画像データの組を前記画像記憶手段から取得し、取得した画像データの組から三次元モデルを作成する、
ことを特徴とする請求項１に記載の三次元モデル作成システム。
【請求項３】
前記三次元モデル作成要求データ作成手段は、前記クライアントシステムの認証用の情報を少なくとも含む三次元モデル作成要求データを作成し、
前記サーバは、
前記クライアントシステムから受信した前記三次元モデル作成要求データに含まれる認証用の情報に基づいて、当該クライアントシステムを認証する認証手段をさらに備える、ことを特徴とする請求項１又は２に記載の三次元モデル作成システム。
【請求項１】
複数の撮像装置を備えた複数のクライアントシステムと、該クライアントシステムのそれぞれとネットワークを介して接続されたサーバと、を備える三次元モデル作成システムであって、
前記クライアントシステムは、
各前記撮像装置が異なる方向から撮像した被写体の画像データを劣化させた画像データの組から三次元モデルを作成することを要求する、当該劣化させた画像データ及び当該撮像した撮像装置の識別情報を少なくとも含む三次元モデル作成要求データを作成する三次元モデル作成要求データ作成手段と、
前記ネットワークを介して、三次元モデル作成要求データ作成手段が作成した三次元モデル作成要求データを前記サーバに送信する三次元モデル作成要求手段と、を備え、
前記サーバは、
前記クライアントシステム毎に、該クライアントシステムが備える各撮像装置の識別情報と各撮像装置の属性及び撮像パラメータを含む撮像装置情報とを対応付けて記憶するクライアントシステム記憶手段と、
前記三次元モデル作成要求データの受信に応答して、該三次元モデル作成要求データに含まれる識別情報を有する撮像装置の撮像装置情報を前記クライアントシステム記憶手段から取得する撮像装置情報取得手段と、
前記撮像装置情報取得手段が取得した撮像装置情報に基づいて、三次元モデル作成要求データが要求する被写体の画像データの組からポリゴンによって構成される三次元モデルを作成する、三次元モデル作成手段と、
前記三次元モデル作成手段が作成した三次元モデルを、前記三次元モデル作成要求データの送信元であるクライアントシステムに送信する三次元モデル送信手段と、を備え、
前記クライアントシステムは、
前記サーバから受信した三次元モデルに、前記撮像装置が撮像した劣化前の画像をテクスチャとして貼り付けるテクスチャ貼付手段と、
前記テクスチャ貼付手段によりテクスチャが貼り付けられた三次元モデルを表示する表示手段をさらに備える、
ことを特徴とする三次元モデル作成システム。
【請求項２】
前記クライアントシステムは、
各撮像装置が所定の時間間隔で連続的に撮像した画像データを、当該画像の撮影された順番を示すフレーム番号と該撮像装置の識別情報とともに前記サーバに送信する連続画像送信手段、をさらに備え、
前記サーバは、前記連続画像送信手段が送信した画像データとフレーム番号と撮像装置の識別情報とを対応付けて蓄積記憶する画像記憶手段、をさらに備え、
前記三次元モデル作成要求データ作成手段は、三次元モデルの作成を要求する画像データのフレーム番号を含む前記三次元モデル作成要求データを作成し、
前記三次元モデル作成手段は、前記三次元モデル作成要求データに含まれる撮像装置の識別情報とフレーム番号とで特定される画像データの組を前記画像記憶手段から取得し、取得した画像データの組から三次元モデルを作成する、
ことを特徴とする請求項１に記載の三次元モデル作成システム。
【請求項３】
前記三次元モデル作成要求データ作成手段は、前記クライアントシステムの認証用の情報を少なくとも含む三次元モデル作成要求データを作成し、
前記サーバは、
前記クライアントシステムから受信した前記三次元モデル作成要求データに含まれる認証用の情報に基づいて、当該クライアントシステムを認証する認証手段をさらに備える、ことを特徴とする請求項１又は２に記載の三次元モデル作成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２５７２８２（Ｐ２０１２−２５７２８２Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１２−１６５８１３（Ｐ２０１２−１６５８１３）
【出願日】平成２４年７月２６日（２０１２．７．２６）
【分割の表示】特願２０１０−２９４２５７（Ｐ２０１０−２９４２５７）の分割
【原出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２４年７月２６日（２０１２．７．２６）
【分割の表示】特願２０１０−２９４２５７（Ｐ２０１０−２９４２５７）の分割
【原出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]