パッケージ入り商品の製品画像からの3Dモデルの自動生成
【課題】オンラインの対話型3D体験アプリケーションの視覚化要件に適したパッケージ商品の3Dモデルを生成するための自動化プロセスを提供する。
【解決手段】3Dモデリングのコンピュータ実施方法および機器が、消費財製品の製品データにアクセスする。製品データは、対象消費財製品の2D画像データおよび対象消費財製品の形状情報を含む。抽出部が、対象消費財製品の3D形状クラスを含む形状情報を、製品データから抽出し、精密3D形状グラフを導出する。精密3D形状グラフは、対象消費財製品の正射投影的に正しい3D輪郭形状を表す。決定された3D形状クラスに応じて、メッシュジェネレータが、精密3D形状グラフから対象消費財製品の3Dメッシュを生成する。画像マップ部が、3Dメッシュの上に画像を投影し、画像は、対象消費財製品のものであり、2D画像データによるものである。その結果、対象消費財製品の3Dモデルは、ウェブページ上に、および他のユーザ対話環境において対話型表示を生じ、この表示用に構成される。
【解決手段】3Dモデリングのコンピュータ実施方法および機器が、消費財製品の製品データにアクセスする。製品データは、対象消費財製品の2D画像データおよび対象消費財製品の形状情報を含む。抽出部が、対象消費財製品の3D形状クラスを含む形状情報を、製品データから抽出し、精密3D形状グラフを導出する。精密3D形状グラフは、対象消費財製品の正射投影的に正しい3D輪郭形状を表す。決定された3D形状クラスに応じて、メッシュジェネレータが、精密3D形状グラフから対象消費財製品の3Dメッシュを生成する。画像マップ部が、3Dメッシュの上に画像を投影し、画像は、対象消費財製品のものであり、2D画像データによるものである。その結果、対象消費財製品の3Dモデルは、ウェブページ上に、および他のユーザ対話環境において対話型表示を生じ、この表示用に構成される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の技術分野は、ビデオゲームおよびオンラインショッピング/閲覧を含むが、それに限定されない3D対話体験、および3D対話シミュレーションのためのスケーラブルなコンテンツ作成に関する。
【背景技術】
【0002】
店舗内部の対話型3Dシミュレーションにおいて表示するための3Dパッケージ入り商品を構築するのに、コンピュータ3Dモデリング技法が用いられている。具体的には、製品、その店舗/棚状況を閲覧するというエンドユーザ体験、および製品を「選び出し」て、製品パッケージの文章をオンラインで閲覧し、読むという体験を実施するのに、3Dモデリングが用いられている。
【0003】
パッケージ入り商品の3Dモデルが店内ディスプレイ用に構築されたアプリケーションでは、棚(パッケージ商品)3Dモデルコンテンツを構築するのに、2つの戦略が用いられている。
【0004】
第1の戦略では、AutoDesk(登録商標)3DS Max(登録商標)、Maya(登録商標)または他の汎用モデリングアプリケーションを使った、写真および製品測定値情報からの3Dモデルの手動作成を用いていた。比較的多数のモデルを系統的に作るためのワークフローが計画され編成され得るが、作業単位は依然として、形状の手動モデリングおよびテクスチャマップの手動作成に基づく。
【0005】
第2の戦略では、汎用の写真ベースの3Dモデリングアプリケーションを用いていた。物理オブジェクトから3Dモデルを作成する際の全般的問題を解決するための様々な市販ソフトウェアおよび手法が存在する。このソフトウェアの例は、「標準デジタルカメラを使わせて、現実世界のオブジェクトを、十分にテクスチャ化された3Dモデルとして取り込む」、「Strata Foto 3D」である。たとえば、非特許文献1で入手できる製品情報を参照されたい。製品(パッケージ入り商品)の汎用写真モデリングは、少数の製品モデルを作るのに効果的である。この技法の主な制約は、複数の写真から作成される3Dモデルが、欠陥を修正し、オンライン3Dアプリケーションでの使用のためにジオメトリをスケーリングし直すのにかなりの手作業を必要とすることである。
【0006】
既存ソリューションの制約は、コンピュータアプリケーションでの使用のために3Dモデルを処理するのに求められる、手(専門的3Dアーティスト)による作業の量に基づく。各モデルは、(複雑な汎用3Dモデリングアプリケーションでは)部分的または完全に手作業で作成されなければならないので、このプロセスに基づくどのモデリングワークフローも、スケーラブルではない。
【0007】
写真モデリングシステムに基づく3Dモデルに関して認められる第2の問題は、幾何学メッシュの不規則性である。不規則なメッシュにより、モデルの下流サイズ変更/処理はより困難になり、ワークフローは、モデルコンテンツの将来の手動編集および手動調整のサイクルに固定される。
【0008】
従来技術の欠点は、コンテンツ生産プロセスにおいて、モデルの下流編集に依存していることである。これが問題となる理由は、A)入力データが新規画像で絶えずアップデートされ、B)オンラインでの買い物客体験アプリケーションの新たな要件/改良に起因して出力仕様が変わり得るからである。
【0009】
手動編集への依存により、コンテンツ生産は、連続ハンド編集のサイクルに固定される。比較的大きい変更が求められると、古い出力が破棄され、コンテンツ作成の全コストは、二倍(または三倍もしくはN倍)の負担になるはずである。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】www.strata.com/products/strata_3d_cx_suite/strata_foto_3d_cx/
【発明の概要】
【0011】
本発明は、従来技術の上記問題に対処する。具体的には、本発明は、オンラインの対話型3D体験アプリケーション(対話型3Dショッピング体験、対話型3Dビデオゲームなどのような)の視覚化要件に適したパッケージ商品の3Dモデルを生成するための自動化プロセスを提供する。
【0012】
本発明は、ほとんどの製品パッケージが、標準化された製品写真によって取り込まれた、製品の前面ビュー、側面ビューおよび上面ビューから製品の正確な3D形状(またはオブジェクトの輪郭)を取り込むように変形され得る幾何プリミティブ(円柱やボックスのような)からモデリングされ得ることを理解することによって、対象問題を解決する。
【0013】
一実施形態では、出願人は、2Dビジュアルプラノグラミング(planogramming)の業界をサポートするためにある、高解像度パッケージ入り商品製品画像の大規模ライブラリの存在を利用する。プラノグラミングでは、商品棚レイアウトの2D表現が、商品棚「プラノグラム」でエンコードされた、標準化された棚レイアウト情報から作成される。
【0014】
このことは、正確な製品サイズ測定値を含むデータベースにリンクされた、視点が「較正された」製品写真の大規模ライブラリが存在することを意味する。本実施形態では、本発明によるシステムは、市販の画像ライブラリ(または画像マスク層をもつ、同様に加工された元の製品の2D画像)から始まり、正確な製品形状情報を抽出し、形状情報および形状分類データから対応する3D表現を生成し、次いで、平面投影を用いて、元の写真をその3D表現の上にマップする。画像マスク層は、写真を前景および背景に分離させる。前景は、製品の2D画像の一部であるどのピクセルも含む。背景は、製品の2D画像の一部ではないどのピクセルも含み、撮影シーン中の背景または周辺空間は可視的である。写真/2D画像中で前景を背景から分離する技法は公知であり、本発明は、特定のどの画像マスク層方法にも依存しない。
【0015】
本発明の実施形態における全体目標は、モデルへの下流編集なしで、2D画像および製品メタデータから3Dモデルを作成することである。この手法による主要な利益は、新規またはアップデートされた画像コンテンツに合わせ、またはモデル出力に変更(および訂正)を行うように、モデル処理を稼働(および再稼働)できることである。
【0016】
本発明によるモデル処理の一次的利点は、自動化、容易性、人間による労力の削減、速さおよび再現性、ならびに標準化された3Dモデル出力を含む。二次的利点は、モデル出力パラメータを設定し変更できることを含む。このことは、異なるメッシュおよび画像サイズまたはタイプをもつ高品質3Dモデルが容易に生成され得ることを意味する。さらに、写真および製品サイズ測定値を有するデータベースを、3Dデータの手動操作もモデリングもなしで、受容可能な高解像度の3D製品(パッケージ商品)モデルにすることができる。
【0017】
本発明を実施する3Dモデリングのコンピュータ実施方法は、
対象消費財製品の製品データにアクセスすることであって、製品データが、対象消費財製品の2D画像データおよび対象消費財製品の形状情報を含むこと、
製品データから形状情報を抽出することであって、前記抽出が、消費財製品の2D輪郭形状(すなわち、画像マスク)を取得すること、および対象消費財製品の3D形状クラス(たとえば、割り当てられ、あるいは提供された)を取得することを含むこと、
取得された2D輪郭形状および3D形状クラスを使って、精密3D形状グラフを生成する(または導出する)こと、
取得された3D形状クラスに応じて、対象消費財製品の3Dメッシュを生成することであって、3Dメッシュが、
精密3D形状グラフの一連の断面領域を決定することであって、各断面領域が、対象消費財製品の縦軸に対してそれぞれの断面をもち、断面が、ある断面領域と、並び順において次の断面領域とでは変化するように、所与の断面領域に対する断面が、(i)並び順において直後の断面領域(存在する場合)のそれぞれの断面、および(ii)並び順において直前の断面領域(存在する場合)のそれぞれの断面とは異なることによって、また
一連の断面領域を使って、対象消費財製品の3Dメッシュを定義することによって生成されること、ならびに
生成された3Dメッシュの上に、2D画像データから得た対象消費財製品の画像を投影することであって、前記投影が、対象消費財製品の3Dモデルを形成し、形成された3Dモデルが、出力における表示のために構成されることを含む。
【0018】
精密3D形状グラフは、対象消費財製品の正射投影的に正しい3Dオブジェクト輪郭/輪郭形状を、少なくとも前面視点および背面視点から表す。
【0019】
形状情報は、対象消費財製品の幅、高さおよび奥行き測定値を含み、対象消費財製品の3D形状タイプまたはクラスの指示を含む。さらに、対象消費財製品は、
概ね円柱形のボトル、
ポンプ連射タイプの排出端部をもつ概ね円柱形のボトル、
概ねチューブ状の排出チューブ、
実質的にボックス形状のカートン、
概して枕形状のサック(sack)、バッグ(bag)またはポーチ(pouch)、および
平らな端部(たとえば、自立するように構成された底端部)をもつ、概ねサック状のコンテナバッグまたはポーチ
を含むタイプのうち、任意の1つのタイプまたはその組合せタイプの容器をもつ、パッケージ入り商品である。
【0020】
いくつかの実施形態では、対象消費財製品の3Dメッシュを定義するステップは、縦軸に沿った対象消費財製品の奥行きプロファイルを決定することをさらに含む。奥行きプロファイルの決定において利用される技法は、形状生成を含み得る。
【0021】
いくつかの実施形態では、精密3D形状グラフの一連の断面領域を決定するステップは、曲線適合を含む。
【0022】
本発明の一態様によると、投影するステップは、生成されたメッシュ上への、対象消費財製品の2D画像の平面投影を利用する。
【0023】
いくつかの実施形態では、メッシュ生成は、精密3D形状グラフ、決定された一連の断面領域、および入手可能なときは奥行きプロファイルを合成する。奥行きプロファイルは、対象インスタンスのものでも、対象消費財製品の3D形状クラスに関連づけられたものでもよい。
【0024】
別の実施形態では、3Dモデリングのためのコンピュータ機器が、上記方法ステップを実施する。たとえば、抽出部が、データストアにある対象消費財製品の製品データにアクセスし、形状データ(たとえば、2D画像マスク)を抽出する。抽出部は、対象消費財製品の3D形状クラスをさらに取得し、精密3D形状グラフを導出する。精密3D形状グラフから、メッシュジェネレータが、決定された3D形状クラスに応じて、対象物特有のメッシュを生成する。画像マップ部(またはモデラの同様の動作)が、生成されたメッシュの上に2D画像を投影し、対象消費財製品の3Dモデルを形成する。
【0025】
上記内容は、添付の図面に示す、本発明の実施形態例の、以下のより具体的な説明から明らかであろう。図面において、同じ参照符号は、様々な図面を通して同じ部分を指す。図面は必ずしも原寸通りではなく、本発明の実施形態を記載することに重みが置かれている。
【図面の簡単な説明】
【0026】
【図1A】本発明の一実施形態を示すブロック図および概略図である。
【図1B】本発明の一実施形態を示すブロック図および概略図である。
【図1C】本発明の一実施形態を示すブロック図および概略図である。
【図2】一実施形態における3D形状クラスを示す概略図である。
【図3A】一実施形態におけるチューブクラスの奥行きプロファイルを示す図である。
【図3B】一実施形態におけるサッククラスの奥行きプロファイルを示す図である。
【図3C】一実施形態におけるポーチクラスの奥行きプロファイルを示す図である。
【図4】一実施形態における、ポンプハンドルクラスの対象物に対するサポート用3D形状/オブジェクト輪郭ファイルをもつ精密3D形状グラフを示す図である。
【図5】一連の断面領域が決定され使用される、一実施形態におけるメッシュ生成を示す概略図である。
【図6】一連の断面領域が決定され使用される、一実施形態におけるメッシュ生成を示す概略図である。
【図7A】対象物(ワイングラス)の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された3Dモデルへの、本発明によるモデリング技法を示す略図である。
【図7B】対象物(ワイングラス)の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された3Dモデルへの、本発明によるモデリング技法を示す略図である。
【図7C】対象物(ワイングラス)の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された3Dモデルへの、本発明によるモデリング技法を示す略図である。
【図8A】本発明を実施するコンピュータシステムを示す概略図である。
【図8B】本発明を実施するコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0027】
本発明の実施形態例の記載が、以下に続く。
【0028】
ショッピング/店舗体験アプリケーションの場合、主として検討することは、食品雑貨店全体の大きさにまで、すなわち50,000から80,000個の製品モデルの規模でスケーラブルなパッケージ商品モデル作成プロセスの構築が必要なことである。このため、本出願人は、こうした視覚化要件にとって許容可能なモデリングのレベルは、2D画像を使って、2D画像がその上に投影し直される3Dメッシュを生成して達成することができ、利用可能な各製品画像用に特注の高解像度3Dモデルが作成されると認識している。
【0029】
図1A、1Bは、この手法を例示し、本発明を実施するコンピュータシステム100の概観を示す。コンピュータシステム100は、データストア11と、以下でさらに詳述する1つまたは複数の処理モジュール21、31、41から形成された3Dモデラ13とを含む。データストア11は、様々なパッケージ商品(たとえば、小売製品)の製品データを保持する。各製品(特定パッケージ)ごとに、製品データは、(i)対象製品の前面、背面、上面および/または側面の2D画像、(ii)パッケージ入り製品の高さ、幅および奥行きのサイズ測定値、ならびに(iii)製品に対する3D形状タイプまたはクラスの指示を含む。
【0030】
一実施形態では、2D画像は、既存画像ライブラリにある製品の写真または同様に加工された元の製品画像である。一般に、画像ライブラリファイルのアルファ層またはチャネルは、それぞれの製品/パッケージの2D画像マスクまたは2D形状マップ(未加工2D形状データ)を提供する。このアルファ層/画像マスク層は、写真を前景および背景に分離する。前景は、製品の2D画像の一部であるどのピクセルも含み、背景はそれ以外のピクセル(製品の2D画像の一部ではない任意のピクセル)であり、撮影シーン中の背景または周辺空間は可視的である。写真/2D画像において前景を背景から分離する技法は公知であり、本発明の実施形態は、特定のどの方法で形成された画像マスクにも依存しない。
【0031】
図1に戻ると、データストア11は、ライブラリファイルへのファイルパス名、ポインタ/リンクなどを使って、製品表10中の利用可能な製品画像を参照する。製品表10は、各製品ごとに、個々のパッケージ/製品に関連づけられた製品寸法(サイズ測定値)、3D形状クラス指示ならびに名称およびUPC(統一製品コード)など、他の製品メタデータなどの属性も格納する。表1は、このような、データストア11の製品表10を例示する。
【0032】
【表1】
【0033】
モデラ13内には、各3D形状クラスまたはタイプ15ごとに、それぞれの3Dテンプレート17および対応する規則19がある。3Dテンプレート17は、対応するクラス形状の汎用3Dメッシュを生成するためである。具体的には、テンプレート17は、クラスを表すオブジェクト形状に対する3次元での相対ジオメトリを与える。対応する規則19は、テンプレートメッシュに適用されると、2D製品画像およびサイズ測定値データから、製品固有の3Dモデルを構築する。規則19は、対応する形状クラス向けの奥行きプロファイル規則を含む。
【0034】
一実施形態でサポートされる3D形状クラス15の例を、図2に示す。この非限定的例では、
非対称、
丸い蓋つきの非対称
バッグ、
バッテリボックス、
ボックス、
奥行きが平らなもの、
その他諸々、
楕円、
丸い蓋つきの楕円
ポーチ、
ポンプハンドル、
円形、
サック、
枕形状のサック、および
チューブ
という3D形状クラスがある。
他の3D形状クラスも適切である。
【0035】
本発明のコンテンツ生成の重要部分は、あらゆる製品パッケージを、汎用形状タイプ(たとえば、形状クラス15の1つ)のインスタンスとして扱うことである。データストア11の製品表10における、製品単位での3D形状クラスの指示により、システム100は、製品の2D製品画像およびサイズ測定値データからそれぞれの3Dモデルを構築するための3Dテンプレート17および具体的規則19を決定することが可能になる。この形状クラスシステムは、拡張可能なように設計されるので、新たな種類のパッケージが見つかったときは、そのタイプを実装するように新規テンプレート17および構築規則19を作成すればよい。
【0036】
データストア11/製品表10中の各製品ごとに、モデラ13は、図1Bにまとめられ、図1Cでさらに詳述する3Dモデル生成プロセス103を稼働する(実行する)。図1Bを参照すると、モデラ13は、対象製品の(製品表10中の)製品データにアクセスする。具体的には、モデラ13のデータ抽出部(モジュール)21が、製品の2D画像ファイルから未加工形状マップデータ(すなわち、2D画像マスクデータ)を取得し、製品表10から対象製品のサイズ測定値および3D形状クラスを取得する。抽出された形状情報から、データ抽出部21は、精密3D形状グラフ23を形成する。精密3D形状グラフ23は、実質的に3D形状マップであり、少なくとも前面視点および背面視点から、具体的対象製品の正射投影的に正しい輪郭形状を表す。モデラ13の次の処理モジュール31、41が、精密3D形状グラフ23に基づいて、および対象製品に対して指示された形状クラスに対応する3Dテンプレート17および規則19に基づいて、3Dメッシュを生成する。最終的には、モデラ13が、生成されたメッシュの上に元の製品画像をマップし、その結果、対象製品の3Dモデル25を生じる。
【0037】
次に、3Dモデル生成プロセス103(モデラ13)について、図1Cに示す一実施形態を参照してより詳細に論じる。
【0038】
たとえばUPC番号で参照される特定の各製品ごとに、モデラ13は、3Dモデル生成プロセス103を以下のように稼働する。たとえばデータ抽出部21によって実装されるステップ112は、製品表10/データストア11から、(UPC番号で索引づけられた)対象製品に対するサイズ測定値および形状クラスを取り出す。次のステップ112/抽出部21は、製品表10中の画像参照から、対象製品の前面画像ファイルを取り出し、画像アルファ層を開く。そのデータ層から、ステップ112は、画像ピクセル座標で表される、未加工の製品2D形状データ(すなわち、2D画像マスク)をエクスポートする。
【0039】
ステップ112は、エクスポートされた未加工の製品2D形状情報を利用し、製品画像マスクファイルを形成する。製品画像マスクファイルの内容は、製品表10中で参照される、製品写真(1つまたは複数)/画像からピクセルレベルで抽出された、製品パッケージの2D輪郭形状(2D画像マスク)を記述する数値データである。幅(X座標)および高さ(Y座標)の寸法両方に対してマスクが算出される。ステップ112はまた、切抜き領域に対する追加の幅マスクを算出して、製品の2D輪郭境界内部に現れる穴または他の特有の特徴の場所を決定する。表2は、このマスクデータを例示する。
【0040】
【表2】
【0041】
最後に、ステップ112は、製品画像の縁を拡張し、ぼかす。こうすることにより、画像の縁を滑らかにし、余分な白色空間を実質的に刈り込む。
【0042】
ステップ114は、入力として、ステップ112から製品画像マスクファイルを受け取る。製品の形状クラスに応じて、ステップ114は、対応するクラステンプレート17(クラスにとって汎用なジオメトリデータ)を参照し、形状マップ(輪郭)曲線を少数の線分でモデリングする。ステップ114は、製品輪郭曲線を、製品画像マスクファイルから最良適合線分(ピクセルで表す)に変換する。ステップ114は、反復プロセスを利用して、適合を最適化し、線分の数を目指す目標まで削減する。
【0043】
次に、ステップ114は、製品の形状クラス15およびその形状クラスに対応する奥行きプロファイル規則19を使って奥行き推定値を生成する。多くの製品の場合、写真は、前面および背面製品ビューに関してのみ用意される可能性がある。このことは、製品の奥行き/形状についての情報が欠落していることを意味する。ステップ114は、この欠落情報を、形状クラス15によって決定される奥行きプロファイルを使って埋め、形状クラスは、欠落している奥行き形状情報を定義する。TUBE形状クラスに対する奥行きプロファイルが、図3Aおよび表3に表示されている。一実施形態におけるSACKおよびPOUCH形状クラスに対するサンプル奥行きプロファイルは、それぞれ図3B、3Cに示されている。
【0044】
【表3】
【0045】
その結果、ステップ114は、メートルにスケーリングされた、製品の3Dオブジェクト輪郭を与える、製品特有の3D形状ファイルを出力する。高さは、y軸に沿って輪郭取りされる。幅の最小値および最大値は、x軸に沿って与えられる。また、奥行きは、z軸に沿って輪郭取りされる。3D形状ファイルは、たとえばメートル単位で表される、製品の前面ビューおよび側面ビューに対する、3Dメッシュの投影された幾何学的輪郭を指定する。一実施形態では、たとえば、3D形状ファイルは、製品の左側、製品の右側および製品の奥行き(製品の奥行きは対称的であると仮定する)の幾何学的に正確なメッシュモデルを与える3つの線分グラフ(ベクトル)を含む。表4は、PUMP_HANDLE形状クラスにおける、ある製品用に生成された3D形状ファイルにあるサンプルデータ記録を示す。図4は、Y軸に対して決められるXmax、Xmin、およびX−Midpoint座標をもつ対応するグラフを示す。
【0046】
【表4】
【0047】
繰り返しになるが、3D形状ファイルは、実質的に、精密3D形状グラフ23を与える。精密3D形状グラフ23は、少なくとも前面視点および背面視点からの、対象製品の正射投影的に正しい輪郭形状を表す。このように、精密3D形状グラフ23(3D形状ファイル)は、特定のパッケージ入り製品の3Dオブジェクト輪郭情報を提供する。
【0048】
図1Cについて続けると、モデラプロセス103のステップ116は、ステップ114によって出力された3D形状ファイル(精密3D形状グラフ)23を読む。対象製品の形状クラスに基づいて、ステップ116は、対応する形状クラステンプレート17の寸法を決定し、円柱テンプレートファイルを生成する。一実施形態では、BOX、BATTERYおよびBAGクラスが、6面円柱からモデリングされ、他のクラスタイプは、たとえばセグメントサイズが16のデフォルトの円柱を用いる。いくつかの実施形態では、GENERATE 3D SHAPE関数が、標準化された幾何プリミティブ(テンプレート17から生成された円柱)の上に形状の頂点をマッピングすることによって、製品モデルを構築する。たとえば、ボトル形状のオブジェクトはすべて、変形された円柱と見なすことができ、すべて、ある特定の製品用の3D形状ファイル/精密3D形状グラフ23中で指定される垂直および半径方向セグメントの数に基づいて、標準化されたメッシュをもつ単一の円柱テンプレートファイルから作成することができる。たとえば、オブジェクト形状の高さが、半径方向セグメントによって指定される。図5は、一実施形態において使われるこのような円柱テンプレートメッシュを示す。テンプレートメッシュは、それぞれの形状クラスに対して汎用である。図6に示すのは、TUBE形状クラス用のテンプレートメッシュである。断面は、図5の円柱の円形断面ではなく、楕円に対する数学公式に基づく。こうした標準メッシュを3Dテンプレート17から生成する公知の技術が利用される。
【0049】
メッシュテンプレート17から製品モデルを組み立てる戦略が、本出願人のコンテンツ生成プロセスの主要特徴である。テンプレート17からの3Dモデルの生成は、高度に統一された製品モデルセットを結果として生じ、単純なビューベースの写真(2D画像)から数十万の3D製品モデルが確実に作成されることを可能にするための、本発明によるプロセスのスケーラビリティにとって不可欠である。
【0050】
標準化されたメッシュジオメトリの指定に加え、テンプレート17はまた、メッシュ表面を素材グループに編成し、このグループの上には、製品の2D写真から生成されたテクスチャがマップされる。
【0051】
最終的に、テンプレートメッシュファイル17の使用により、目標/平均出力モデルジオメトリサイズの緻密な制御が可能になる。解像度が低い方のメッシュモデルと解像度が高い方のメッシュモデルとの間のトレードオフは、容易に調整することができる。たとえば、接近閲覧(接近モデル)のためにはポリゴン数が非常に高いメッシュを、および棚の配置(棚ビューモデル)のためにはポリゴン数が非常に低いメッシュを生じればよいであろう。
【0052】
次に、ステップ116は、形状クラス規則19に基づいて、3D形状ファイル(精密3D形状グラフ23)から断面(X−Z面マップ)を作成する。好ましくは、断面処理モジュール31が、このステップを実装する。断面処理モジュール31は、精密3D形状グラフ23の一連の断面領域を決定する。各断面領域は、対象製品の縦軸に対してそれぞれの断面をもつ。所与の断面領域に対する断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、(i)並び順において直後の断面領域のそれぞれの断面、および(ii)並び順において直前の断面領域のそれぞれの断面とは異なる。
【0053】
次に、ステップ116は、テンプレート17から生成された円柱メッシュと、(処理モジュール31によって生成された)一連の断面領域を合成する。具体的には、メッシュジェネレータ41が、テンプレート17から生成された円柱メッシュを通り抜け、処理モジュール31からの、生成された断面データ出力から、製品特有の3Dモデルを構築する。
【0054】
この例において、メッシュジェネレータ41は、テンプレート17から生成された円柱メッシュを、3D形状ファイル/精密3D形状グラフ23に保存されている製品特有の寸法に基づいて変形させる。パッケージ形状を1組の2次元スライスとして扱い、メッシュジェネレータ41は、形状ファイル/精密3D形状グラフ23を通して、x−Midpoint、x−Min、x−Max、およびz−Depthフィールドデータを使ってデータを反復させて、製品形状クラスに基づいて断面を構築する。
【0055】
BATTERY形状クラスの場合、2つの構成要素が、ステップ114、116で生成され処理される。上記に続く厚紙挿入処理に加え、ステップ114は、クラムシェル押出し形状ファイル23を作成する。クラムシェル押出しは、透明パック内容の形状に基づく、面取りされた正方形である。押出し形状ファイル23が存在する場合、ステップ116の処理は、製品特有のジオメトリをもつクラムシェルメッシュを、このステップの出力に加える。表5は、クラムシェル押出しに適応する切抜きをもつ、厚紙挿入のための2D画像マスクデータの例を挙げる。
【0056】
【表5】
【0057】
ステップ118は、ステップ116によって出力されたモデル頂点からの、前面画像および背面画像に対する平面画像マップを算出する。つまり、ステップ118は、平面テクスチャとしての元の製品画像を、生成された3Dメッシュの上に加える。メッシュ寸法は、各製品の前面の写真に基づくので、前面写真は、1ピクセルの精度まで基底メッシュと揃えられ得る。いくつかの実施形態では、ステップ118は、製品の形状クラス15に基づいて、テクスチャストレッチおよびテクスチャ調整規則を適用する。平面マッピングおよびテクスチャストレッチのための一般的技法が利用される。ステップ118は、結果として生じる3Dモデル25を出力する。いくつかの実施形態では、出力モデル25は、ジオメトリおよびテクスチャマップを含む3Dモデルファイルである。
【0058】
図7A〜7Cは、本発明による技法をさらに示すサンプルモデルである。第1の画像(図7A)は、ワイングラスの初期3Dモデルである。第2の画像(図7B)は、元のモデルメッシュの正射投影表示から作成されたテクスチャファイルである。第3の画像(図7C)は、平面マッピングがモデル表面上に図7Bのメッシュテクスチャファイルを表示する、図7Aの3Dモデルである。
【0059】
この技法は、様々な形状タイプ/クラス15用の消費財のパッケージングの3Dモデルを大量に生じることに成功し得る。平面マッピングの結果、パッケージモデルの側面においてある程度のピクセルストレッチが行われるが、ストレッチは、比較的高い解像度の製品写真を用いて作業することによって、最小限にすることができる。また、こうしたモデルが、視角が制限される店舗の棚という状況において表示されると、この技法に基づく製品モデルは、かなり写実的に見える。
【0060】
出力された3Dモデルファイル25は、小売店/オンラインショッピング、ビデオゲームおよび他のユーザ対話型アプリケーションのウェブページの供給において使用するために構成される。一般的なウェブページ供給技術が利用される。
【0061】
図8Aは、本発明が実装され得るコンピュータネットワークまたは同様のデジタル処理環境を示す。
【0062】
クライアントコンピュータ(1つまたは複数)/装置50およびサーバコンピュータ(1つまたは複数)60は、アプリケーションプログラムなどを実行する処理、記憶、および入力/出力装置を提供する。クライアントコンピュータ(1つまたは複数)/装置50はまた、他のクライアント装置/プロセス50およびサーバコンピュータ(1つまたは複数)60を含む他のコンピューティング装置に、通信ネットワーク70を通してリンクされ得る。通信ネットワーク70は、互いと通信するのにそれぞれのプロトコル(TCP/IP、ブルートゥースなど)を現時点で用いている、リモートアクセスネットワーク、グローバルネットワーク(たとえば、インターネット)、世界規模のコンピュータ集合体、ローカルエリアまたはワイドエリアネットワーク、およびゲートウェイの一部でよい。他の電子装置/コンピュータネットワークアーキテクチャも適切である。
【0063】
図8Bは、図8Aのコンピュータシステム内のコンピュータ(たとえば、クライアントプロセッサ/装置50またはサーバコンピュータ60)の内部構造の図である。各コンピュータ50、60は、システムバス79を含み、バスとは、コンピュータまたは処理システムの構成要素間でのデータ転送用に使われる1組のハードウェア線である。バス79は本質的に、コンピュータシステムの様々な要素(たとえば、プロセッサ、ディスク記憶装置、メモリ、入力/出力ポート、ネットワークポートなど)の間での情報の転送を可能にする、こうした要素を接続する共有コンジットである。システムバス79には、様々な入力および出力装置(たとえば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなど)をコンピュータ50、60に接続するI/O装置インタフェース82が取り付けられる。ネットワークインタフェース86により、コンピュータは、ネットワーク(たとえば、図8Aのネットワーク70)に取り付けられた他の様々な装置と接続することができる。
【0064】
メモリ90は、本発明の実施形態を実装するのに使われるコンピュータソフトウェア命令92およびデータ94のための揮発性記憶(たとえば、上で詳述したデータ抽出部21、断面処理モジュール31、メッシュジェネレータ41、3Dモデラ13およびサポートコード)を提供する。ディスク記憶装置95は、本発明の実施形態を実装するのに使われるコンピュータソフトウェア命令92およびデータ94のための不揮発性記憶を提供する。中央演算装置84も、システムバス79に取り付けられ、コンピュータ命令の実行を可能にする。
【0065】
一実施形態では、本発明によるシステムのためのソフトウェア命令の少なくとも一部分を提供するコンピュータ可読媒体(たとえば、1つまたは複数のDVD−ROM、CD−ROM、ディスケット、テープなどのような取外し可能記憶媒体)を含む、プロセッサルーチン92およびデータ94は、コンピュータプログラム製品(全体が92で参照される)である。コンピュータプログラム製品92は、当該分野において公知である、適切などのソフトウェアインストール手順によってもインストールされ得る。別の実施形態では、ソフトウェア命令の少なくとも一部分は、ケーブル、通信および/またはワイヤレス接続を介してもダウンロードされ得る。他の実施形態では、本発明によるプログラムは、伝播媒体上の伝播信号(たとえば、無線波、赤外線波、レーザ波、音波、あるいはインターネット、または他のネットワーク(1つもしくは複数)などのグローバルネットワークを介して伝播される電波)で実施されるコンピュータプログラム伝播信号製品107である。このような搬送媒体または信号は、本発明によるルーチン/プログラム92のためのソフトウェア命令の少なくとも一部分を提供する。
【0066】
代替実施形態では、伝播信号は、伝播媒体上で搬送されるアナログ搬送波またはデジタル信号である。たとえば、伝播信号は、グローバルネットワーク(たとえば、インターネット)、遠隔通信ネットワーク、または他のネットワークを介して伝播されるデジタル化信号でよい。一実施形態では、伝播信号は、数ミリ秒、秒、分、またはそれ以上の期間に渡ってネットワークを介してパケットに入れて送られるソフトウェアアプリケーション用の命令など、一定の期間に渡って伝播媒体上で伝送される信号である。別の実施形態では、コンピュータプログラム製品92のコンピュータ可読媒体は、コンピュータプログラム伝播信号製品に関して上述したように、コンピュータシステム50が、伝播媒体を受信し、伝播媒体中で実施される伝播信号を識別することによって受け取り、読むことができる伝播媒体である。
【0067】
概して、「搬送媒体」という用語または一時的担体は、上記一時的信号、伝播信号、伝播媒体、記憶媒体などを包含する。
【0068】
上記考察によると、特徴的であるパッケージ入り商品の3Dモデル25の生成に関して、出願人の手法には3つの特徴がある。第1に、本発明は、高解像度の3Dパッケージモデルの大量生産を可能にする。「大量生産」により、出願人は、店舗の広さに基づいて、パッケージ入り商品の棚またはカテゴリ全体が作成され得ることを意味する。典型的な食品雑貨店における独自項目の数の推定値は、50,000という規模である。「高解像度」により、出願人は、製品ラベルが可読であることを意味する。本発明による3Dモデル25は一般に、200dpiと300dpiとの間の元の写真解像度に基づく。ここでのDPIは、実際の製品寸法に相対して、1インチ(2.54cm)当たりの画像ピクセルと定義される。
【0069】
第2に、本発明は、製品形状タイプの組立てにおけるメッシュプリミティブに基づく、正規のテンプレートの使用を利用する。本発明によるプロセスを使って組み立てられる3Dモデル25は、緻密だが単純なジオメトリをもつ。これは、出願人の手法を、複雑であり不規則なメッシュを生成する他の写真モデリングアプリケーションとは差別化する。
【0070】
第3に、本発明は、平面投影およびテクスチャストレッチを用いる。最初に前面および背面画像からモデルを組み立てる技法は、製品モデルの厳しい目視検査によって確認され得る。具体的には、平面投影は、製品の前面側と背面側との間に可視的継ぎ目を作成する。本発明の実施形態は、テクスチャストレッチを適用することによって、この継ぎ目の可視性を最小限にする。
【0071】
本明細書で引用したすべての特許、公開出願および参考文献の教示内容は、参照によってその全体が組み込まれている。
【0072】
実施形態例を参照して本発明を具体的に例示し記載したが、形および細部における様々な変更が、添付の請求項によって包含される本発明の範囲から逸脱することなく行われ得ることが当業者には理解されよう。
【技術分野】
【0001】
本発明の技術分野は、ビデオゲームおよびオンラインショッピング/閲覧を含むが、それに限定されない3D対話体験、および3D対話シミュレーションのためのスケーラブルなコンテンツ作成に関する。
【背景技術】
【0002】
店舗内部の対話型3Dシミュレーションにおいて表示するための3Dパッケージ入り商品を構築するのに、コンピュータ3Dモデリング技法が用いられている。具体的には、製品、その店舗/棚状況を閲覧するというエンドユーザ体験、および製品を「選び出し」て、製品パッケージの文章をオンラインで閲覧し、読むという体験を実施するのに、3Dモデリングが用いられている。
【0003】
パッケージ入り商品の3Dモデルが店内ディスプレイ用に構築されたアプリケーションでは、棚(パッケージ商品)3Dモデルコンテンツを構築するのに、2つの戦略が用いられている。
【0004】
第1の戦略では、AutoDesk(登録商標)3DS Max(登録商標)、Maya(登録商標)または他の汎用モデリングアプリケーションを使った、写真および製品測定値情報からの3Dモデルの手動作成を用いていた。比較的多数のモデルを系統的に作るためのワークフローが計画され編成され得るが、作業単位は依然として、形状の手動モデリングおよびテクスチャマップの手動作成に基づく。
【0005】
第2の戦略では、汎用の写真ベースの3Dモデリングアプリケーションを用いていた。物理オブジェクトから3Dモデルを作成する際の全般的問題を解決するための様々な市販ソフトウェアおよび手法が存在する。このソフトウェアの例は、「標準デジタルカメラを使わせて、現実世界のオブジェクトを、十分にテクスチャ化された3Dモデルとして取り込む」、「Strata Foto 3D」である。たとえば、非特許文献1で入手できる製品情報を参照されたい。製品(パッケージ入り商品)の汎用写真モデリングは、少数の製品モデルを作るのに効果的である。この技法の主な制約は、複数の写真から作成される3Dモデルが、欠陥を修正し、オンライン3Dアプリケーションでの使用のためにジオメトリをスケーリングし直すのにかなりの手作業を必要とすることである。
【0006】
既存ソリューションの制約は、コンピュータアプリケーションでの使用のために3Dモデルを処理するのに求められる、手(専門的3Dアーティスト)による作業の量に基づく。各モデルは、(複雑な汎用3Dモデリングアプリケーションでは)部分的または完全に手作業で作成されなければならないので、このプロセスに基づくどのモデリングワークフローも、スケーラブルではない。
【0007】
写真モデリングシステムに基づく3Dモデルに関して認められる第2の問題は、幾何学メッシュの不規則性である。不規則なメッシュにより、モデルの下流サイズ変更/処理はより困難になり、ワークフローは、モデルコンテンツの将来の手動編集および手動調整のサイクルに固定される。
【0008】
従来技術の欠点は、コンテンツ生産プロセスにおいて、モデルの下流編集に依存していることである。これが問題となる理由は、A)入力データが新規画像で絶えずアップデートされ、B)オンラインでの買い物客体験アプリケーションの新たな要件/改良に起因して出力仕様が変わり得るからである。
【0009】
手動編集への依存により、コンテンツ生産は、連続ハンド編集のサイクルに固定される。比較的大きい変更が求められると、古い出力が破棄され、コンテンツ作成の全コストは、二倍(または三倍もしくはN倍)の負担になるはずである。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】www.strata.com/products/strata_3d_cx_suite/strata_foto_3d_cx/
【発明の概要】
【0011】
本発明は、従来技術の上記問題に対処する。具体的には、本発明は、オンラインの対話型3D体験アプリケーション(対話型3Dショッピング体験、対話型3Dビデオゲームなどのような)の視覚化要件に適したパッケージ商品の3Dモデルを生成するための自動化プロセスを提供する。
【0012】
本発明は、ほとんどの製品パッケージが、標準化された製品写真によって取り込まれた、製品の前面ビュー、側面ビューおよび上面ビューから製品の正確な3D形状(またはオブジェクトの輪郭)を取り込むように変形され得る幾何プリミティブ(円柱やボックスのような)からモデリングされ得ることを理解することによって、対象問題を解決する。
【0013】
一実施形態では、出願人は、2Dビジュアルプラノグラミング(planogramming)の業界をサポートするためにある、高解像度パッケージ入り商品製品画像の大規模ライブラリの存在を利用する。プラノグラミングでは、商品棚レイアウトの2D表現が、商品棚「プラノグラム」でエンコードされた、標準化された棚レイアウト情報から作成される。
【0014】
このことは、正確な製品サイズ測定値を含むデータベースにリンクされた、視点が「較正された」製品写真の大規模ライブラリが存在することを意味する。本実施形態では、本発明によるシステムは、市販の画像ライブラリ(または画像マスク層をもつ、同様に加工された元の製品の2D画像)から始まり、正確な製品形状情報を抽出し、形状情報および形状分類データから対応する3D表現を生成し、次いで、平面投影を用いて、元の写真をその3D表現の上にマップする。画像マスク層は、写真を前景および背景に分離させる。前景は、製品の2D画像の一部であるどのピクセルも含む。背景は、製品の2D画像の一部ではないどのピクセルも含み、撮影シーン中の背景または周辺空間は可視的である。写真/2D画像中で前景を背景から分離する技法は公知であり、本発明は、特定のどの画像マスク層方法にも依存しない。
【0015】
本発明の実施形態における全体目標は、モデルへの下流編集なしで、2D画像および製品メタデータから3Dモデルを作成することである。この手法による主要な利益は、新規またはアップデートされた画像コンテンツに合わせ、またはモデル出力に変更(および訂正)を行うように、モデル処理を稼働(および再稼働)できることである。
【0016】
本発明によるモデル処理の一次的利点は、自動化、容易性、人間による労力の削減、速さおよび再現性、ならびに標準化された3Dモデル出力を含む。二次的利点は、モデル出力パラメータを設定し変更できることを含む。このことは、異なるメッシュおよび画像サイズまたはタイプをもつ高品質3Dモデルが容易に生成され得ることを意味する。さらに、写真および製品サイズ測定値を有するデータベースを、3Dデータの手動操作もモデリングもなしで、受容可能な高解像度の3D製品(パッケージ商品)モデルにすることができる。
【0017】
本発明を実施する3Dモデリングのコンピュータ実施方法は、
対象消費財製品の製品データにアクセスすることであって、製品データが、対象消費財製品の2D画像データおよび対象消費財製品の形状情報を含むこと、
製品データから形状情報を抽出することであって、前記抽出が、消費財製品の2D輪郭形状(すなわち、画像マスク)を取得すること、および対象消費財製品の3D形状クラス(たとえば、割り当てられ、あるいは提供された)を取得することを含むこと、
取得された2D輪郭形状および3D形状クラスを使って、精密3D形状グラフを生成する(または導出する)こと、
取得された3D形状クラスに応じて、対象消費財製品の3Dメッシュを生成することであって、3Dメッシュが、
精密3D形状グラフの一連の断面領域を決定することであって、各断面領域が、対象消費財製品の縦軸に対してそれぞれの断面をもち、断面が、ある断面領域と、並び順において次の断面領域とでは変化するように、所与の断面領域に対する断面が、(i)並び順において直後の断面領域(存在する場合)のそれぞれの断面、および(ii)並び順において直前の断面領域(存在する場合)のそれぞれの断面とは異なることによって、また
一連の断面領域を使って、対象消費財製品の3Dメッシュを定義することによって生成されること、ならびに
生成された3Dメッシュの上に、2D画像データから得た対象消費財製品の画像を投影することであって、前記投影が、対象消費財製品の3Dモデルを形成し、形成された3Dモデルが、出力における表示のために構成されることを含む。
【0018】
精密3D形状グラフは、対象消費財製品の正射投影的に正しい3Dオブジェクト輪郭/輪郭形状を、少なくとも前面視点および背面視点から表す。
【0019】
形状情報は、対象消費財製品の幅、高さおよび奥行き測定値を含み、対象消費財製品の3D形状タイプまたはクラスの指示を含む。さらに、対象消費財製品は、
概ね円柱形のボトル、
ポンプ連射タイプの排出端部をもつ概ね円柱形のボトル、
概ねチューブ状の排出チューブ、
実質的にボックス形状のカートン、
概して枕形状のサック(sack)、バッグ(bag)またはポーチ(pouch)、および
平らな端部(たとえば、自立するように構成された底端部)をもつ、概ねサック状のコンテナバッグまたはポーチ
を含むタイプのうち、任意の1つのタイプまたはその組合せタイプの容器をもつ、パッケージ入り商品である。
【0020】
いくつかの実施形態では、対象消費財製品の3Dメッシュを定義するステップは、縦軸に沿った対象消費財製品の奥行きプロファイルを決定することをさらに含む。奥行きプロファイルの決定において利用される技法は、形状生成を含み得る。
【0021】
いくつかの実施形態では、精密3D形状グラフの一連の断面領域を決定するステップは、曲線適合を含む。
【0022】
本発明の一態様によると、投影するステップは、生成されたメッシュ上への、対象消費財製品の2D画像の平面投影を利用する。
【0023】
いくつかの実施形態では、メッシュ生成は、精密3D形状グラフ、決定された一連の断面領域、および入手可能なときは奥行きプロファイルを合成する。奥行きプロファイルは、対象インスタンスのものでも、対象消費財製品の3D形状クラスに関連づけられたものでもよい。
【0024】
別の実施形態では、3Dモデリングのためのコンピュータ機器が、上記方法ステップを実施する。たとえば、抽出部が、データストアにある対象消費財製品の製品データにアクセスし、形状データ(たとえば、2D画像マスク)を抽出する。抽出部は、対象消費財製品の3D形状クラスをさらに取得し、精密3D形状グラフを導出する。精密3D形状グラフから、メッシュジェネレータが、決定された3D形状クラスに応じて、対象物特有のメッシュを生成する。画像マップ部(またはモデラの同様の動作)が、生成されたメッシュの上に2D画像を投影し、対象消費財製品の3Dモデルを形成する。
【0025】
上記内容は、添付の図面に示す、本発明の実施形態例の、以下のより具体的な説明から明らかであろう。図面において、同じ参照符号は、様々な図面を通して同じ部分を指す。図面は必ずしも原寸通りではなく、本発明の実施形態を記載することに重みが置かれている。
【図面の簡単な説明】
【0026】
【図1A】本発明の一実施形態を示すブロック図および概略図である。
【図1B】本発明の一実施形態を示すブロック図および概略図である。
【図1C】本発明の一実施形態を示すブロック図および概略図である。
【図2】一実施形態における3D形状クラスを示す概略図である。
【図3A】一実施形態におけるチューブクラスの奥行きプロファイルを示す図である。
【図3B】一実施形態におけるサッククラスの奥行きプロファイルを示す図である。
【図3C】一実施形態におけるポーチクラスの奥行きプロファイルを示す図である。
【図4】一実施形態における、ポンプハンドルクラスの対象物に対するサポート用3D形状/オブジェクト輪郭ファイルをもつ精密3D形状グラフを示す図である。
【図5】一連の断面領域が決定され使用される、一実施形態におけるメッシュ生成を示す概略図である。
【図6】一連の断面領域が決定され使用される、一実施形態におけるメッシュ生成を示す概略図である。
【図7A】対象物(ワイングラス)の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された3Dモデルへの、本発明によるモデリング技法を示す略図である。
【図7B】対象物(ワイングラス)の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された3Dモデルへの、本発明によるモデリング技法を示す略図である。
【図7C】対象物(ワイングラス)の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された3Dモデルへの、本発明によるモデリング技法を示す略図である。
【図8A】本発明を実施するコンピュータシステムを示す概略図である。
【図8B】本発明を実施するコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0027】
本発明の実施形態例の記載が、以下に続く。
【0028】
ショッピング/店舗体験アプリケーションの場合、主として検討することは、食品雑貨店全体の大きさにまで、すなわち50,000から80,000個の製品モデルの規模でスケーラブルなパッケージ商品モデル作成プロセスの構築が必要なことである。このため、本出願人は、こうした視覚化要件にとって許容可能なモデリングのレベルは、2D画像を使って、2D画像がその上に投影し直される3Dメッシュを生成して達成することができ、利用可能な各製品画像用に特注の高解像度3Dモデルが作成されると認識している。
【0029】
図1A、1Bは、この手法を例示し、本発明を実施するコンピュータシステム100の概観を示す。コンピュータシステム100は、データストア11と、以下でさらに詳述する1つまたは複数の処理モジュール21、31、41から形成された3Dモデラ13とを含む。データストア11は、様々なパッケージ商品(たとえば、小売製品)の製品データを保持する。各製品(特定パッケージ)ごとに、製品データは、(i)対象製品の前面、背面、上面および/または側面の2D画像、(ii)パッケージ入り製品の高さ、幅および奥行きのサイズ測定値、ならびに(iii)製品に対する3D形状タイプまたはクラスの指示を含む。
【0030】
一実施形態では、2D画像は、既存画像ライブラリにある製品の写真または同様に加工された元の製品画像である。一般に、画像ライブラリファイルのアルファ層またはチャネルは、それぞれの製品/パッケージの2D画像マスクまたは2D形状マップ(未加工2D形状データ)を提供する。このアルファ層/画像マスク層は、写真を前景および背景に分離する。前景は、製品の2D画像の一部であるどのピクセルも含み、背景はそれ以外のピクセル(製品の2D画像の一部ではない任意のピクセル)であり、撮影シーン中の背景または周辺空間は可視的である。写真/2D画像において前景を背景から分離する技法は公知であり、本発明の実施形態は、特定のどの方法で形成された画像マスクにも依存しない。
【0031】
図1に戻ると、データストア11は、ライブラリファイルへのファイルパス名、ポインタ/リンクなどを使って、製品表10中の利用可能な製品画像を参照する。製品表10は、各製品ごとに、個々のパッケージ/製品に関連づけられた製品寸法(サイズ測定値)、3D形状クラス指示ならびに名称およびUPC(統一製品コード)など、他の製品メタデータなどの属性も格納する。表1は、このような、データストア11の製品表10を例示する。
【0032】
【表1】
【0033】
モデラ13内には、各3D形状クラスまたはタイプ15ごとに、それぞれの3Dテンプレート17および対応する規則19がある。3Dテンプレート17は、対応するクラス形状の汎用3Dメッシュを生成するためである。具体的には、テンプレート17は、クラスを表すオブジェクト形状に対する3次元での相対ジオメトリを与える。対応する規則19は、テンプレートメッシュに適用されると、2D製品画像およびサイズ測定値データから、製品固有の3Dモデルを構築する。規則19は、対応する形状クラス向けの奥行きプロファイル規則を含む。
【0034】
一実施形態でサポートされる3D形状クラス15の例を、図2に示す。この非限定的例では、
非対称、
丸い蓋つきの非対称
バッグ、
バッテリボックス、
ボックス、
奥行きが平らなもの、
その他諸々、
楕円、
丸い蓋つきの楕円
ポーチ、
ポンプハンドル、
円形、
サック、
枕形状のサック、および
チューブ
という3D形状クラスがある。
他の3D形状クラスも適切である。
【0035】
本発明のコンテンツ生成の重要部分は、あらゆる製品パッケージを、汎用形状タイプ(たとえば、形状クラス15の1つ)のインスタンスとして扱うことである。データストア11の製品表10における、製品単位での3D形状クラスの指示により、システム100は、製品の2D製品画像およびサイズ測定値データからそれぞれの3Dモデルを構築するための3Dテンプレート17および具体的規則19を決定することが可能になる。この形状クラスシステムは、拡張可能なように設計されるので、新たな種類のパッケージが見つかったときは、そのタイプを実装するように新規テンプレート17および構築規則19を作成すればよい。
【0036】
データストア11/製品表10中の各製品ごとに、モデラ13は、図1Bにまとめられ、図1Cでさらに詳述する3Dモデル生成プロセス103を稼働する(実行する)。図1Bを参照すると、モデラ13は、対象製品の(製品表10中の)製品データにアクセスする。具体的には、モデラ13のデータ抽出部(モジュール)21が、製品の2D画像ファイルから未加工形状マップデータ(すなわち、2D画像マスクデータ)を取得し、製品表10から対象製品のサイズ測定値および3D形状クラスを取得する。抽出された形状情報から、データ抽出部21は、精密3D形状グラフ23を形成する。精密3D形状グラフ23は、実質的に3D形状マップであり、少なくとも前面視点および背面視点から、具体的対象製品の正射投影的に正しい輪郭形状を表す。モデラ13の次の処理モジュール31、41が、精密3D形状グラフ23に基づいて、および対象製品に対して指示された形状クラスに対応する3Dテンプレート17および規則19に基づいて、3Dメッシュを生成する。最終的には、モデラ13が、生成されたメッシュの上に元の製品画像をマップし、その結果、対象製品の3Dモデル25を生じる。
【0037】
次に、3Dモデル生成プロセス103(モデラ13)について、図1Cに示す一実施形態を参照してより詳細に論じる。
【0038】
たとえばUPC番号で参照される特定の各製品ごとに、モデラ13は、3Dモデル生成プロセス103を以下のように稼働する。たとえばデータ抽出部21によって実装されるステップ112は、製品表10/データストア11から、(UPC番号で索引づけられた)対象製品に対するサイズ測定値および形状クラスを取り出す。次のステップ112/抽出部21は、製品表10中の画像参照から、対象製品の前面画像ファイルを取り出し、画像アルファ層を開く。そのデータ層から、ステップ112は、画像ピクセル座標で表される、未加工の製品2D形状データ(すなわち、2D画像マスク)をエクスポートする。
【0039】
ステップ112は、エクスポートされた未加工の製品2D形状情報を利用し、製品画像マスクファイルを形成する。製品画像マスクファイルの内容は、製品表10中で参照される、製品写真(1つまたは複数)/画像からピクセルレベルで抽出された、製品パッケージの2D輪郭形状(2D画像マスク)を記述する数値データである。幅(X座標)および高さ(Y座標)の寸法両方に対してマスクが算出される。ステップ112はまた、切抜き領域に対する追加の幅マスクを算出して、製品の2D輪郭境界内部に現れる穴または他の特有の特徴の場所を決定する。表2は、このマスクデータを例示する。
【0040】
【表2】
【0041】
最後に、ステップ112は、製品画像の縁を拡張し、ぼかす。こうすることにより、画像の縁を滑らかにし、余分な白色空間を実質的に刈り込む。
【0042】
ステップ114は、入力として、ステップ112から製品画像マスクファイルを受け取る。製品の形状クラスに応じて、ステップ114は、対応するクラステンプレート17(クラスにとって汎用なジオメトリデータ)を参照し、形状マップ(輪郭)曲線を少数の線分でモデリングする。ステップ114は、製品輪郭曲線を、製品画像マスクファイルから最良適合線分(ピクセルで表す)に変換する。ステップ114は、反復プロセスを利用して、適合を最適化し、線分の数を目指す目標まで削減する。
【0043】
次に、ステップ114は、製品の形状クラス15およびその形状クラスに対応する奥行きプロファイル規則19を使って奥行き推定値を生成する。多くの製品の場合、写真は、前面および背面製品ビューに関してのみ用意される可能性がある。このことは、製品の奥行き/形状についての情報が欠落していることを意味する。ステップ114は、この欠落情報を、形状クラス15によって決定される奥行きプロファイルを使って埋め、形状クラスは、欠落している奥行き形状情報を定義する。TUBE形状クラスに対する奥行きプロファイルが、図3Aおよび表3に表示されている。一実施形態におけるSACKおよびPOUCH形状クラスに対するサンプル奥行きプロファイルは、それぞれ図3B、3Cに示されている。
【0044】
【表3】
【0045】
その結果、ステップ114は、メートルにスケーリングされた、製品の3Dオブジェクト輪郭を与える、製品特有の3D形状ファイルを出力する。高さは、y軸に沿って輪郭取りされる。幅の最小値および最大値は、x軸に沿って与えられる。また、奥行きは、z軸に沿って輪郭取りされる。3D形状ファイルは、たとえばメートル単位で表される、製品の前面ビューおよび側面ビューに対する、3Dメッシュの投影された幾何学的輪郭を指定する。一実施形態では、たとえば、3D形状ファイルは、製品の左側、製品の右側および製品の奥行き(製品の奥行きは対称的であると仮定する)の幾何学的に正確なメッシュモデルを与える3つの線分グラフ(ベクトル)を含む。表4は、PUMP_HANDLE形状クラスにおける、ある製品用に生成された3D形状ファイルにあるサンプルデータ記録を示す。図4は、Y軸に対して決められるXmax、Xmin、およびX−Midpoint座標をもつ対応するグラフを示す。
【0046】
【表4】
【0047】
繰り返しになるが、3D形状ファイルは、実質的に、精密3D形状グラフ23を与える。精密3D形状グラフ23は、少なくとも前面視点および背面視点からの、対象製品の正射投影的に正しい輪郭形状を表す。このように、精密3D形状グラフ23(3D形状ファイル)は、特定のパッケージ入り製品の3Dオブジェクト輪郭情報を提供する。
【0048】
図1Cについて続けると、モデラプロセス103のステップ116は、ステップ114によって出力された3D形状ファイル(精密3D形状グラフ)23を読む。対象製品の形状クラスに基づいて、ステップ116は、対応する形状クラステンプレート17の寸法を決定し、円柱テンプレートファイルを生成する。一実施形態では、BOX、BATTERYおよびBAGクラスが、6面円柱からモデリングされ、他のクラスタイプは、たとえばセグメントサイズが16のデフォルトの円柱を用いる。いくつかの実施形態では、GENERATE 3D SHAPE関数が、標準化された幾何プリミティブ(テンプレート17から生成された円柱)の上に形状の頂点をマッピングすることによって、製品モデルを構築する。たとえば、ボトル形状のオブジェクトはすべて、変形された円柱と見なすことができ、すべて、ある特定の製品用の3D形状ファイル/精密3D形状グラフ23中で指定される垂直および半径方向セグメントの数に基づいて、標準化されたメッシュをもつ単一の円柱テンプレートファイルから作成することができる。たとえば、オブジェクト形状の高さが、半径方向セグメントによって指定される。図5は、一実施形態において使われるこのような円柱テンプレートメッシュを示す。テンプレートメッシュは、それぞれの形状クラスに対して汎用である。図6に示すのは、TUBE形状クラス用のテンプレートメッシュである。断面は、図5の円柱の円形断面ではなく、楕円に対する数学公式に基づく。こうした標準メッシュを3Dテンプレート17から生成する公知の技術が利用される。
【0049】
メッシュテンプレート17から製品モデルを組み立てる戦略が、本出願人のコンテンツ生成プロセスの主要特徴である。テンプレート17からの3Dモデルの生成は、高度に統一された製品モデルセットを結果として生じ、単純なビューベースの写真(2D画像)から数十万の3D製品モデルが確実に作成されることを可能にするための、本発明によるプロセスのスケーラビリティにとって不可欠である。
【0050】
標準化されたメッシュジオメトリの指定に加え、テンプレート17はまた、メッシュ表面を素材グループに編成し、このグループの上には、製品の2D写真から生成されたテクスチャがマップされる。
【0051】
最終的に、テンプレートメッシュファイル17の使用により、目標/平均出力モデルジオメトリサイズの緻密な制御が可能になる。解像度が低い方のメッシュモデルと解像度が高い方のメッシュモデルとの間のトレードオフは、容易に調整することができる。たとえば、接近閲覧(接近モデル)のためにはポリゴン数が非常に高いメッシュを、および棚の配置(棚ビューモデル)のためにはポリゴン数が非常に低いメッシュを生じればよいであろう。
【0052】
次に、ステップ116は、形状クラス規則19に基づいて、3D形状ファイル(精密3D形状グラフ23)から断面(X−Z面マップ)を作成する。好ましくは、断面処理モジュール31が、このステップを実装する。断面処理モジュール31は、精密3D形状グラフ23の一連の断面領域を決定する。各断面領域は、対象製品の縦軸に対してそれぞれの断面をもつ。所与の断面領域に対する断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、(i)並び順において直後の断面領域のそれぞれの断面、および(ii)並び順において直前の断面領域のそれぞれの断面とは異なる。
【0053】
次に、ステップ116は、テンプレート17から生成された円柱メッシュと、(処理モジュール31によって生成された)一連の断面領域を合成する。具体的には、メッシュジェネレータ41が、テンプレート17から生成された円柱メッシュを通り抜け、処理モジュール31からの、生成された断面データ出力から、製品特有の3Dモデルを構築する。
【0054】
この例において、メッシュジェネレータ41は、テンプレート17から生成された円柱メッシュを、3D形状ファイル/精密3D形状グラフ23に保存されている製品特有の寸法に基づいて変形させる。パッケージ形状を1組の2次元スライスとして扱い、メッシュジェネレータ41は、形状ファイル/精密3D形状グラフ23を通して、x−Midpoint、x−Min、x−Max、およびz−Depthフィールドデータを使ってデータを反復させて、製品形状クラスに基づいて断面を構築する。
【0055】
BATTERY形状クラスの場合、2つの構成要素が、ステップ114、116で生成され処理される。上記に続く厚紙挿入処理に加え、ステップ114は、クラムシェル押出し形状ファイル23を作成する。クラムシェル押出しは、透明パック内容の形状に基づく、面取りされた正方形である。押出し形状ファイル23が存在する場合、ステップ116の処理は、製品特有のジオメトリをもつクラムシェルメッシュを、このステップの出力に加える。表5は、クラムシェル押出しに適応する切抜きをもつ、厚紙挿入のための2D画像マスクデータの例を挙げる。
【0056】
【表5】
【0057】
ステップ118は、ステップ116によって出力されたモデル頂点からの、前面画像および背面画像に対する平面画像マップを算出する。つまり、ステップ118は、平面テクスチャとしての元の製品画像を、生成された3Dメッシュの上に加える。メッシュ寸法は、各製品の前面の写真に基づくので、前面写真は、1ピクセルの精度まで基底メッシュと揃えられ得る。いくつかの実施形態では、ステップ118は、製品の形状クラス15に基づいて、テクスチャストレッチおよびテクスチャ調整規則を適用する。平面マッピングおよびテクスチャストレッチのための一般的技法が利用される。ステップ118は、結果として生じる3Dモデル25を出力する。いくつかの実施形態では、出力モデル25は、ジオメトリおよびテクスチャマップを含む3Dモデルファイルである。
【0058】
図7A〜7Cは、本発明による技法をさらに示すサンプルモデルである。第1の画像(図7A)は、ワイングラスの初期3Dモデルである。第2の画像(図7B)は、元のモデルメッシュの正射投影表示から作成されたテクスチャファイルである。第3の画像(図7C)は、平面マッピングがモデル表面上に図7Bのメッシュテクスチャファイルを表示する、図7Aの3Dモデルである。
【0059】
この技法は、様々な形状タイプ/クラス15用の消費財のパッケージングの3Dモデルを大量に生じることに成功し得る。平面マッピングの結果、パッケージモデルの側面においてある程度のピクセルストレッチが行われるが、ストレッチは、比較的高い解像度の製品写真を用いて作業することによって、最小限にすることができる。また、こうしたモデルが、視角が制限される店舗の棚という状況において表示されると、この技法に基づく製品モデルは、かなり写実的に見える。
【0060】
出力された3Dモデルファイル25は、小売店/オンラインショッピング、ビデオゲームおよび他のユーザ対話型アプリケーションのウェブページの供給において使用するために構成される。一般的なウェブページ供給技術が利用される。
【0061】
図8Aは、本発明が実装され得るコンピュータネットワークまたは同様のデジタル処理環境を示す。
【0062】
クライアントコンピュータ(1つまたは複数)/装置50およびサーバコンピュータ(1つまたは複数)60は、アプリケーションプログラムなどを実行する処理、記憶、および入力/出力装置を提供する。クライアントコンピュータ(1つまたは複数)/装置50はまた、他のクライアント装置/プロセス50およびサーバコンピュータ(1つまたは複数)60を含む他のコンピューティング装置に、通信ネットワーク70を通してリンクされ得る。通信ネットワーク70は、互いと通信するのにそれぞれのプロトコル(TCP/IP、ブルートゥースなど)を現時点で用いている、リモートアクセスネットワーク、グローバルネットワーク(たとえば、インターネット)、世界規模のコンピュータ集合体、ローカルエリアまたはワイドエリアネットワーク、およびゲートウェイの一部でよい。他の電子装置/コンピュータネットワークアーキテクチャも適切である。
【0063】
図8Bは、図8Aのコンピュータシステム内のコンピュータ(たとえば、クライアントプロセッサ/装置50またはサーバコンピュータ60)の内部構造の図である。各コンピュータ50、60は、システムバス79を含み、バスとは、コンピュータまたは処理システムの構成要素間でのデータ転送用に使われる1組のハードウェア線である。バス79は本質的に、コンピュータシステムの様々な要素(たとえば、プロセッサ、ディスク記憶装置、メモリ、入力/出力ポート、ネットワークポートなど)の間での情報の転送を可能にする、こうした要素を接続する共有コンジットである。システムバス79には、様々な入力および出力装置(たとえば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなど)をコンピュータ50、60に接続するI/O装置インタフェース82が取り付けられる。ネットワークインタフェース86により、コンピュータは、ネットワーク(たとえば、図8Aのネットワーク70)に取り付けられた他の様々な装置と接続することができる。
【0064】
メモリ90は、本発明の実施形態を実装するのに使われるコンピュータソフトウェア命令92およびデータ94のための揮発性記憶(たとえば、上で詳述したデータ抽出部21、断面処理モジュール31、メッシュジェネレータ41、3Dモデラ13およびサポートコード)を提供する。ディスク記憶装置95は、本発明の実施形態を実装するのに使われるコンピュータソフトウェア命令92およびデータ94のための不揮発性記憶を提供する。中央演算装置84も、システムバス79に取り付けられ、コンピュータ命令の実行を可能にする。
【0065】
一実施形態では、本発明によるシステムのためのソフトウェア命令の少なくとも一部分を提供するコンピュータ可読媒体(たとえば、1つまたは複数のDVD−ROM、CD−ROM、ディスケット、テープなどのような取外し可能記憶媒体)を含む、プロセッサルーチン92およびデータ94は、コンピュータプログラム製品(全体が92で参照される)である。コンピュータプログラム製品92は、当該分野において公知である、適切などのソフトウェアインストール手順によってもインストールされ得る。別の実施形態では、ソフトウェア命令の少なくとも一部分は、ケーブル、通信および/またはワイヤレス接続を介してもダウンロードされ得る。他の実施形態では、本発明によるプログラムは、伝播媒体上の伝播信号(たとえば、無線波、赤外線波、レーザ波、音波、あるいはインターネット、または他のネットワーク(1つもしくは複数)などのグローバルネットワークを介して伝播される電波)で実施されるコンピュータプログラム伝播信号製品107である。このような搬送媒体または信号は、本発明によるルーチン/プログラム92のためのソフトウェア命令の少なくとも一部分を提供する。
【0066】
代替実施形態では、伝播信号は、伝播媒体上で搬送されるアナログ搬送波またはデジタル信号である。たとえば、伝播信号は、グローバルネットワーク(たとえば、インターネット)、遠隔通信ネットワーク、または他のネットワークを介して伝播されるデジタル化信号でよい。一実施形態では、伝播信号は、数ミリ秒、秒、分、またはそれ以上の期間に渡ってネットワークを介してパケットに入れて送られるソフトウェアアプリケーション用の命令など、一定の期間に渡って伝播媒体上で伝送される信号である。別の実施形態では、コンピュータプログラム製品92のコンピュータ可読媒体は、コンピュータプログラム伝播信号製品に関して上述したように、コンピュータシステム50が、伝播媒体を受信し、伝播媒体中で実施される伝播信号を識別することによって受け取り、読むことができる伝播媒体である。
【0067】
概して、「搬送媒体」という用語または一時的担体は、上記一時的信号、伝播信号、伝播媒体、記憶媒体などを包含する。
【0068】
上記考察によると、特徴的であるパッケージ入り商品の3Dモデル25の生成に関して、出願人の手法には3つの特徴がある。第1に、本発明は、高解像度の3Dパッケージモデルの大量生産を可能にする。「大量生産」により、出願人は、店舗の広さに基づいて、パッケージ入り商品の棚またはカテゴリ全体が作成され得ることを意味する。典型的な食品雑貨店における独自項目の数の推定値は、50,000という規模である。「高解像度」により、出願人は、製品ラベルが可読であることを意味する。本発明による3Dモデル25は一般に、200dpiと300dpiとの間の元の写真解像度に基づく。ここでのDPIは、実際の製品寸法に相対して、1インチ(2.54cm)当たりの画像ピクセルと定義される。
【0069】
第2に、本発明は、製品形状タイプの組立てにおけるメッシュプリミティブに基づく、正規のテンプレートの使用を利用する。本発明によるプロセスを使って組み立てられる3Dモデル25は、緻密だが単純なジオメトリをもつ。これは、出願人の手法を、複雑であり不規則なメッシュを生成する他の写真モデリングアプリケーションとは差別化する。
【0070】
第3に、本発明は、平面投影およびテクスチャストレッチを用いる。最初に前面および背面画像からモデルを組み立てる技法は、製品モデルの厳しい目視検査によって確認され得る。具体的には、平面投影は、製品の前面側と背面側との間に可視的継ぎ目を作成する。本発明の実施形態は、テクスチャストレッチを適用することによって、この継ぎ目の可視性を最小限にする。
【0071】
本明細書で引用したすべての特許、公開出願および参考文献の教示内容は、参照によってその全体が組み込まれている。
【0072】
実施形態例を参照して本発明を具体的に例示し記載したが、形および細部における様々な変更が、添付の請求項によって包含される本発明の範囲から逸脱することなく行われ得ることが当業者には理解されよう。
【特許請求の範囲】
【請求項1】
3Dモデリングのコンピュータ実施方法であって、
対象消費財製品の製品データにアクセスするステップであって、前記製品データは、前記対象消費財製品の2D画像データおよび前記対象消費財製品の形状情報を含む、ステップと、
前記製品データから前記形状情報を抽出するステップであって、前記抽出するステップは、前記消費財製品の2D輪郭形状および前記対象消費財製品の3D形状クラスを取得するステップを含む、ステップと、
前記取得された2D輪郭形状および3D形状クラスを用いて、精密3D形状グラフを生成するステップであって、前記精密3D形状グラフは、少なくとも前面視点および背面視点からの、前記対象物の正射投影的に正しい輪郭形状を表す、ステップと、
前記取得された3D形状クラスに応じて、前記精密3D形状グラフから前記対象消費財製品の3Dメッシュを生成する、ステップと、
前記3Dメッシュの上に、前記2D画像データから得た前記対象消費財製品の画像を投影するステップであって、前記投影するステップは、前記対象消費財製品の3Dモデルを形成し、前記形成された3Dモデルは、出力における表示のために構成される、ステップと
を含むことを特徴とする方法。
【請求項2】
前記形状情報は、前記対象消費財製品の幅測定値、高さ測定値および奥行き測定値を含み、前記対象消費財製品の3D形状クラスの指示を含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記対象消費財製品の3Dメッシュを生成する前記ステップは、
前記精密3D形状グラフの一連の断面領域を決定するステップであって、各断面領域は、前記対象消費財製品の縦軸に対してそれぞれの断面をもち、所与の断面領域に対する前記断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、(i)並び順において直後の断面領域の前記それぞれの断面、および(ii)並び順において直前の断面領域の前記それぞれの断面とは異なる、ステップと、
前記一連の断面領域を使って、前記対象消費財製品の前記3Dメッシュを定義するステップと
を含むことを特徴とする請求項1に記載の方法。
【請求項4】
前記対象消費財製品の前記3Dメッシュを定義する前記ステップは、前記縦軸に沿って、前記対象消費財製品の奥行きプロファイルを決定するステップをさらに含むことを特徴とする請求項3に記載の方法。
【請求項5】
奥行きプロファイルを決定する前記ステップは、形状生成を利用することを特徴とする請求項4に記載の方法。
【請求項6】
前記精密3D形状グラフの一連の断面領域を決定する前記ステップは、曲線適合を含むことを特徴とする請求項3に記載の方法。
【請求項7】
メッシュを生成する前記ステップは、前記対象消費財製品の、前記精密3D形状グラフ、前記決定された一連の断面領域および前記決定された3D形状クラスに対する奥行きプロファイルを合成するステップを含むことを特徴とする請求項3に記載の方法。
【請求項8】
メッシュを生成する前記ステップは、前記対象消費財製品の前記精密3D形状グラフ、前記決定された一連の断面領域および奥行きプロファイルを合成するステップを含むことを特徴とする請求項3に記載の方法。
【請求項9】
投影する前記ステップは、平面投影を利用して、前記生成されたメッシュの上に前記対象消費財製品の2D画像を投影し、その結果、前記対象消費財製品の前記3Dモデルを形成することを特徴とする請求項1に記載の方法。
【請求項10】
前記対象消費財製品は、パッケージ入り商品であることを特徴とする請求項1に記載の方法。
【請求項11】
前記パッケージ入り商品は、
概ね円柱形のボトルと、
ポンプ連射タイプの排出端部を有する概ね円柱形のボトルと、
概ねチューブ状の排出チューブと、
実質的にボックス形状のカートンと、
概して枕形状のサックまたはポーチと、
平らな端部を有する、概ねサック状の容器またはポーチと
を含むタイプのうち、任意の1つのタイプまたはその組合せタイプの容器を有することを特徴とする請求項10に記載の方法。
【請求項12】
コンピュータベースの3Dモデリング機器であって、
対象消費財製品の製品データのソースであって、前記製品データは、前記対象消費財製品の2D画像データおよび前記対象消費財製品の形状情報を含む、ソースと、
前記ソースにアクセスし、前記製品データから前記形状情報を抽出する抽出部であって、前記消費財製品の2D輪郭形状および前記対象消費財製品の3D形状クラスを取得する、抽出部と、
前記取得された2D輪郭形状および3D形状クラスを使って、精密3D形状グラフを生成し、前記精密3D形状グラフは、少なくとも前面視点および背面視点からの、前記対象消費財製品の正射投影的に正しい輪郭形状を表す、前記抽出部と、
前記精密3D形状グラフを受け取るように結合されたメッシュジェネレータであって、前記取得された3D形状クラスに応じて、前記精密3D形状グラフから前記対象消費財製品の3Dメッシュを生成する、メッシュジェネレータと、
前記2D画像データから得た前記対象消費財製品の画像を前記3Dメッシュの上に投影するモデラであって、前記投影は、前記対象消費財製品の3Dモデルを形成し、前記形成された3Dモデルは、出力における表示のために構成される、モデラと
を備えることを特徴とする機器。
【請求項13】
前記形状情報は、前記対象消費財製品の幅測定値、高さ測定値および奥行き測定値を含み、前記対象消費財製品の3D形状クラスの指示を含むことを特徴とする請求項12に記載の機器。
【請求項14】
前記メッシュジェネレータは、
前記精密3D形状グラフの一連の断面領域を決定することであって、各断面領域は、前記対象消費財製品の縦軸に対してそれぞれの断面をもち、所与の断面領域に対する前記断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、(i)並び順において直後の断面領域の前記それぞれの断面、および(ii)並び順において直前の断面領域の前記それぞれの断面とは異なること、ならびに
前記一連の断面領域を使って、前記対象消費財製品の前記3Dメッシュを定義すること
によって、前記対象消費財製品の前記3Dメッシュを生成することを特徴とする請求項12に記載の機器。
【請求項15】
前記対象消費財製品の前記3Dメッシュを定義する前記メッシュジェネレータは、前記縦軸に沿って、前記対象消費財製品の奥行きプロファイルを決定することをさらに含むことを特徴とする請求項14に記載の機器。
【請求項16】
奥行きプロファイルの前記決定は、形状生成を利用することを特徴とする請求項15に記載の機器。
【請求項17】
前記精密3D形状グラフの一連の断面領域の前記決定は、曲線適合を含むことを特徴とする請求項14に記載の機器。
【請求項18】
前記メッシュジェネレータは、前記対象消費財製品の、前記精密3D形状グラフ、前記決定された一連の断面領域および前記決定された3D形状クラスに対する奥行きプロファイルを合成することを特徴とする請求項14に記載の機器。
【請求項19】
前記メッシュジェネレータは、前記対象消費財製品の前記精密3D形状グラフ、前記決定された一連の断面領域および奥行きプロファイルを合成することを特徴とする請求項14に記載の機器。
【請求項20】
前記モデラは、平面投影を利用して、前記生成されたメッシュの上に前記対象消費財製品の2D画像を投影し、その結果、前記対象消費財製品の前記3Dモデルを形成することを特徴とする請求項12に記載の機器。
【請求項21】
前記対象消費財製品は、パッケージ入り商品であることを特徴とする請求項12に記載の機器。
【請求項22】
前記パッケージ入り商品は、
概ね円柱形のボトルと、
ポンプ連射タイプの排出端部を有する概ね円柱形のボトルと、
概ねチューブ状の排出チューブと、
実質的にボックス形状のカートンと、
概して枕形状のサック、バッグまたはポーチと、
平らな端部を有する、概ねサック状の容器、バッグまたはポーチと
を含むタイプのうち、任意の1つのタイプまたはその組合せタイプの容器を有することを特徴とする請求項21に記載の機器。
【請求項1】
3Dモデリングのコンピュータ実施方法であって、
対象消費財製品の製品データにアクセスするステップであって、前記製品データは、前記対象消費財製品の2D画像データおよび前記対象消費財製品の形状情報を含む、ステップと、
前記製品データから前記形状情報を抽出するステップであって、前記抽出するステップは、前記消費財製品の2D輪郭形状および前記対象消費財製品の3D形状クラスを取得するステップを含む、ステップと、
前記取得された2D輪郭形状および3D形状クラスを用いて、精密3D形状グラフを生成するステップであって、前記精密3D形状グラフは、少なくとも前面視点および背面視点からの、前記対象物の正射投影的に正しい輪郭形状を表す、ステップと、
前記取得された3D形状クラスに応じて、前記精密3D形状グラフから前記対象消費財製品の3Dメッシュを生成する、ステップと、
前記3Dメッシュの上に、前記2D画像データから得た前記対象消費財製品の画像を投影するステップであって、前記投影するステップは、前記対象消費財製品の3Dモデルを形成し、前記形成された3Dモデルは、出力における表示のために構成される、ステップと
を含むことを特徴とする方法。
【請求項2】
前記形状情報は、前記対象消費財製品の幅測定値、高さ測定値および奥行き測定値を含み、前記対象消費財製品の3D形状クラスの指示を含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記対象消費財製品の3Dメッシュを生成する前記ステップは、
前記精密3D形状グラフの一連の断面領域を決定するステップであって、各断面領域は、前記対象消費財製品の縦軸に対してそれぞれの断面をもち、所与の断面領域に対する前記断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、(i)並び順において直後の断面領域の前記それぞれの断面、および(ii)並び順において直前の断面領域の前記それぞれの断面とは異なる、ステップと、
前記一連の断面領域を使って、前記対象消費財製品の前記3Dメッシュを定義するステップと
を含むことを特徴とする請求項1に記載の方法。
【請求項4】
前記対象消費財製品の前記3Dメッシュを定義する前記ステップは、前記縦軸に沿って、前記対象消費財製品の奥行きプロファイルを決定するステップをさらに含むことを特徴とする請求項3に記載の方法。
【請求項5】
奥行きプロファイルを決定する前記ステップは、形状生成を利用することを特徴とする請求項4に記載の方法。
【請求項6】
前記精密3D形状グラフの一連の断面領域を決定する前記ステップは、曲線適合を含むことを特徴とする請求項3に記載の方法。
【請求項7】
メッシュを生成する前記ステップは、前記対象消費財製品の、前記精密3D形状グラフ、前記決定された一連の断面領域および前記決定された3D形状クラスに対する奥行きプロファイルを合成するステップを含むことを特徴とする請求項3に記載の方法。
【請求項8】
メッシュを生成する前記ステップは、前記対象消費財製品の前記精密3D形状グラフ、前記決定された一連の断面領域および奥行きプロファイルを合成するステップを含むことを特徴とする請求項3に記載の方法。
【請求項9】
投影する前記ステップは、平面投影を利用して、前記生成されたメッシュの上に前記対象消費財製品の2D画像を投影し、その結果、前記対象消費財製品の前記3Dモデルを形成することを特徴とする請求項1に記載の方法。
【請求項10】
前記対象消費財製品は、パッケージ入り商品であることを特徴とする請求項1に記載の方法。
【請求項11】
前記パッケージ入り商品は、
概ね円柱形のボトルと、
ポンプ連射タイプの排出端部を有する概ね円柱形のボトルと、
概ねチューブ状の排出チューブと、
実質的にボックス形状のカートンと、
概して枕形状のサックまたはポーチと、
平らな端部を有する、概ねサック状の容器またはポーチと
を含むタイプのうち、任意の1つのタイプまたはその組合せタイプの容器を有することを特徴とする請求項10に記載の方法。
【請求項12】
コンピュータベースの3Dモデリング機器であって、
対象消費財製品の製品データのソースであって、前記製品データは、前記対象消費財製品の2D画像データおよび前記対象消費財製品の形状情報を含む、ソースと、
前記ソースにアクセスし、前記製品データから前記形状情報を抽出する抽出部であって、前記消費財製品の2D輪郭形状および前記対象消費財製品の3D形状クラスを取得する、抽出部と、
前記取得された2D輪郭形状および3D形状クラスを使って、精密3D形状グラフを生成し、前記精密3D形状グラフは、少なくとも前面視点および背面視点からの、前記対象消費財製品の正射投影的に正しい輪郭形状を表す、前記抽出部と、
前記精密3D形状グラフを受け取るように結合されたメッシュジェネレータであって、前記取得された3D形状クラスに応じて、前記精密3D形状グラフから前記対象消費財製品の3Dメッシュを生成する、メッシュジェネレータと、
前記2D画像データから得た前記対象消費財製品の画像を前記3Dメッシュの上に投影するモデラであって、前記投影は、前記対象消費財製品の3Dモデルを形成し、前記形成された3Dモデルは、出力における表示のために構成される、モデラと
を備えることを特徴とする機器。
【請求項13】
前記形状情報は、前記対象消費財製品の幅測定値、高さ測定値および奥行き測定値を含み、前記対象消費財製品の3D形状クラスの指示を含むことを特徴とする請求項12に記載の機器。
【請求項14】
前記メッシュジェネレータは、
前記精密3D形状グラフの一連の断面領域を決定することであって、各断面領域は、前記対象消費財製品の縦軸に対してそれぞれの断面をもち、所与の断面領域に対する前記断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、(i)並び順において直後の断面領域の前記それぞれの断面、および(ii)並び順において直前の断面領域の前記それぞれの断面とは異なること、ならびに
前記一連の断面領域を使って、前記対象消費財製品の前記3Dメッシュを定義すること
によって、前記対象消費財製品の前記3Dメッシュを生成することを特徴とする請求項12に記載の機器。
【請求項15】
前記対象消費財製品の前記3Dメッシュを定義する前記メッシュジェネレータは、前記縦軸に沿って、前記対象消費財製品の奥行きプロファイルを決定することをさらに含むことを特徴とする請求項14に記載の機器。
【請求項16】
奥行きプロファイルの前記決定は、形状生成を利用することを特徴とする請求項15に記載の機器。
【請求項17】
前記精密3D形状グラフの一連の断面領域の前記決定は、曲線適合を含むことを特徴とする請求項14に記載の機器。
【請求項18】
前記メッシュジェネレータは、前記対象消費財製品の、前記精密3D形状グラフ、前記決定された一連の断面領域および前記決定された3D形状クラスに対する奥行きプロファイルを合成することを特徴とする請求項14に記載の機器。
【請求項19】
前記メッシュジェネレータは、前記対象消費財製品の前記精密3D形状グラフ、前記決定された一連の断面領域および奥行きプロファイルを合成することを特徴とする請求項14に記載の機器。
【請求項20】
前記モデラは、平面投影を利用して、前記生成されたメッシュの上に前記対象消費財製品の2D画像を投影し、その結果、前記対象消費財製品の前記3Dモデルを形成することを特徴とする請求項12に記載の機器。
【請求項21】
前記対象消費財製品は、パッケージ入り商品であることを特徴とする請求項12に記載の機器。
【請求項22】
前記パッケージ入り商品は、
概ね円柱形のボトルと、
ポンプ連射タイプの排出端部を有する概ね円柱形のボトルと、
概ねチューブ状の排出チューブと、
実質的にボックス形状のカートンと、
概して枕形状のサック、バッグまたはポーチと、
平らな端部を有する、概ねサック状の容器、バッグまたはポーチと
を含むタイプのうち、任意の1つのタイプまたはその組合せタイプの容器を有することを特徴とする請求項21に記載の機器。
【図1A】
【図1B】
【図1C】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図1B】
【図1C】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【公開番号】特開2011−227903(P2011−227903A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2011−93144(P2011−93144)
【出願日】平成23年4月19日(2011.4.19)
【出願人】(500102435)ダッソー システムズ (52)
【氏名又は名称原語表記】DASSAULT SYSTEMES
【Fターム(参考)】
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願日】平成23年4月19日(2011.4.19)
【出願人】(500102435)ダッソー システムズ (52)
【氏名又は名称原語表記】DASSAULT SYSTEMES
【Fターム(参考)】
[ Back to top ]