衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラム
【課題】Ｗｅｂ上で実行されるＷｅｂアプリケーションや、店舗等などに備えられたスタンドアローンソフトなど、ぞれぞれの利用状況に対応した処理を、共通のエンジンプログラムを用いて実行する。
【解決手段】衣装を画面上で仮想的に試着させる衣装シミュレーションシステムであって、ユーザーを撮影したユーザー画像Ｙを取得するとともに、サンプルとなる人物のサンプル画像Ｓを取得し、ユーザー画像Ｙの取得経路の種別を設定し、この設定に従って、ユーザー画像Ｙ又はサンプル画像Ｓのいずれかを基準画像として選択し、基準色抽出部１１３において、選択された基準画像から基準色を抽出し、画像合成部１１４において、基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する。
【解決手段】衣装を画面上で仮想的に試着させる衣装シミュレーションシステムであって、ユーザーを撮影したユーザー画像Ｙを取得するとともに、サンプルとなる人物のサンプル画像Ｓを取得し、ユーザー画像Ｙの取得経路の種別を設定し、この設定に従って、ユーザー画像Ｙ又はサンプル画像Ｓのいずれかを基準画像として選択し、基準色抽出部１１３において、選択された基準画像から基準色を抽出し、画像合成部１１４において、基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェディングドレスなどの衣装を、画面上で仮想的に試着させる衣装シミュレーションに用いられる衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラムに関する。
【背景技術】
【０００２】
従来、結婚式を予定している新郎新婦は、式場選びや式の日取り、衣装、料理等を決定する必要がある。そのため、新郎新婦は、それらを決定するために、式場に何度も出向いて、プランナーと長時間にわたって打ち合わせを行っており、多大な時間と手間を要していた。特に、結婚式当日に着用するウェディングドレスなどの衣装は、顧客の多種多様な嗜好に対応しなければならないため、その数も大幅に増加しており、それらの衣装から希望する衣装を選択するには、多くの時間がかかってしまう問題があった。
【０００３】
そこで、顧客が実際に衣装を試着しなくても、衣装を試着した雰囲気を画像として表示させる、画像処理を用いたウェディングドレスの試着シミュレーションシステムが提案されている（例えば、非特許文献１）。このシステムでは、ユーザーの体型データに基づいて、ドレスが選択され、そのドレス画像に現在のユーザーの顔を組み込み、ユーザーのドレス姿を画面上に表示させることで、ユーザーに合ったウェディングドレスを選択することができる。
【０００４】
ところが、特許文献１に開示された技術は、ユーザーの体型にあったウェディングドレスを選択することができるものの、単にドレス画像の顔部分に顔写真を合成する技術であるため、ユーザーの顔が合成された画像データを閲覧すると、ユーザーの顔の肌色と、ドレス画像部分のモデルとなった人物の肌の色が異なり、実際にユーザーがドレスを着用したような雰囲気を出すことができないという問題があった。
【０００５】
このような問題を解決すべく、画像を合成する際、違和感がないように加工処理する技術がある（例えば、特許文献２）。この特許文献２に開示された技術では、顔写真とカツラの画像とを合成する際に、生え際付近をユーザーの肌色に合わせて補正することで、合成写真に違和感がないようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１４７６１９号公報
【特許文献２】特開２００３−８８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示された技術によって合成された画像は、常に、ユーザーの肌色を基準として、他の画像が補正されてしまうため、利用状況によって変化するユーザーのニーズに、対応できないという問題があった。すなわち、ユーザーが試着シミュレーションシステムを利用するシチュエーションとしては、例えば、式場や衣装会社を選ぶ際に、どのようなサービスや設備、衣装のバリエーションがあるかを予め調べるために利用する場合や、既に式場等が決定しており、本格的に衣装を選択するために利用する場合とがある。
【０００８】
前者の場合、自宅のパーソナルコンピュータからインターネットを通じて、Ｗｅｂ上の情報を検索し、Ｗｅｂページなどで提供されている衣装の試着シミュレーションを行うサービスを利用することがある。このＷｅｂ上の試着シミュレーションでは、専用のＷｅｂアプリケーションがＷｅｂサーバーから提供され、このＷｅｂアプリケーションを利用する際、ユーザーが、自宅なので自分自身を撮影し、アップロードし、その画像をシミュレーションに用いる。このとき、ユーザーが自身が写真を撮影するため、撮影条件が良くない画像データを用いられることが多い。
【０００９】
ところで、このＷｅｂアプリケーションにおいて、自宅でユーザー自身が用意した画像データを使用する場合に、ユーザーの顔の肌色に合わせた合成方法を用いると、ユーザーが想像する自己のウェディングドレス姿における雰囲気とのギャップが大きくなり、正確なシミュレーションができないという問題があった。
【００１０】
一方、後者の場合には、店舗において、コーディネータとともに、スタンドアローン型のアプリケーションを用いて、試着シミュレーションが実行され。この場合、プロのカメラマンが専用の撮影設備等により撮影するため、使用される写真も良好であり、その写真を自己の体型や、肌の色に合わせて合成写真を補正することで、実際に着用した際の雰囲気を表現させることができ、ユーザーの要望に添った衣装やメイク等のトータルコーディネートが可能となる。
【００１１】
そこで、本発明は、上記のような問題を解決するものであり、ウェディングドレスなどの衣装を、画面上で仮想的に試着させる衣装シミュレーションにおいて、Ｗｅｂ上で実行されるＷｅｂアプリケーションや、店舗等などに備えられたスタンドアローンソフトなど、ぞれぞれの利用状況に対応した処理を、共通のエンジンプログラムを用いて実行できる衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラムを提供することができることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明は、ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションシステムであって、ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、サンプルとなる人物のサンプル画像を複数蓄積するサンプル画像蓄積部と、サンプル画像蓄積部から、任意のサンプルの画像を取得するサンプル画像取得部と、ユーザー画像の取得経路の種別を設定する取得経路設定部と、取得経路設定部における設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出部と、基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する画像合成部と、ユーザーに関する情報に基づいて、合成画像を加工する画像加工部とを有する。
【００１３】
他の発明は、ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーション方法であって、
（１）ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
（２）ユーザー画像の取得経路の種別を設定し、この設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
（３）基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する画像合成ステップと、
（４）ユーザーに関する情報に基づいて、合成画像を加工する画像加工ステップとを有する。
【００１４】
このような発明によれば、ユーザー画像又はサンプル画像のいずれか一方の画像を基準画像として選択して、選択されなかった画像を基準画像の基準色に基づいて加工し、これらのユーザー画像とサンプル画像とを合成するので、合成された画像は、例えば、肌の色が統一され、違和感のない合成画像を生成することができる。
【００１５】
特に、本発明では、この基準画像の選択は、ユーザー画像の取得経路に応じて決定できるので、例えば、ユーザーのパーソナルコンピュータからインターネットを通じてアップロードされた画像である場合には、基準画像をサンプル画像として合成画像を生成させることで、撮影条件が不良なユーザー画像であっても、肌色が良好なウェディング姿の画像を合成でき、ユーザー画像の撮影環境の影響を受けることなく、試着シミュレーションを実行することができる。一方、店舗内において撮影され、取得された画像である場合には、基準画像をユーザー画像として合成画像を生成することで、ユーザー自身の肌の色に合わせて合成画像を生成することができる。その結果、実際に着用した際の雰囲気を表現させることができ、より具体的な衣装やメイク等のトータルコーディネートが可能となる。
【００１６】
そして、本発明によれば、ユーザー画像の取得経路に応じて基準画像の選択方法を切り替えるだけで、共通のモジュールプログラムを使用しつつ、その利用環境に応じたシミュレーションが行えるため、システムやプログラムの開発費を大幅に低減することができる。
【００１７】
上記発明において、画像加工部は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能をさらに備え、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行うとともに、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成することが好ましい。この場合には、挙式時に使用されるネックレス、ティアラ、グローブなどの小物を合成写真に追加する機能を有しているので、様々なウェディングドレス姿をシミュレートすることができる。特に、本発明では、付加画像を追加する際、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行うことができるので、自己の体型に応じたウェディングドレス姿を表示させ、実際に試着したような画像を生成することができる。
【００１８】
また、上記発明において、画像加工部は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能をさらに備えていることが好ましい。この場合には、合成画像が、サンプル画像、又はユーザー画像のいずれかの基準色とした場合であっても、その肌の色に合わせて、メイクアップ加工のパラメータを設定することができるので、スタンドアローン型の使用や、Ｗｅｂ上での使用によって異なる肌の色に追従して、メイクアップ加工を可能にすることができる。
【００１９】
さらに、他の発明は、ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションプログラムであって、コンピューターに、
（１）ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
（２）ユーザー画像の取得経路の種別を設定し、この設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、（３）被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する画像合成ステップと、
（４）ユーザーに関する情報に基づいて、合成画像を加工する画像加工ステップとを有する処理を実行させる。
【００２０】
このような発明によれば、衣装シミュレーションプログラムを使用することで、特別な処理装置を必要とせず、種々の情報処理装置を上述した衣装シミュレーション装置とし、衣装シミュレーション方法を様々な情報処理装置において実現することができる。すなわち、この衣装シミュレーションプログラムを、汎用的なコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する衣装シミュレーション装置が構成され、衣装シミュレーション方法を容易に構築することができる。
【００２１】
なお、このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。そして、このような衣装シミュレーションプログラムは、コンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００２２】
以上述べたように、この発明によれば、ユーザーに対して、ウェディングドレスなどの衣装を、画面上で仮想的に試着させる衣装シミュレーションサービスを提供する際、Ｗｅｂ上で実行されるＷｅｂアプリケーションや、店舗等などに備えられたスタンドアローンソフトなど、ぞれぞれの利用状況に対応した処理を、共通のエンジンプログラムを用いて実行することができる。その結果、本発明によれば、ユーザー画像の取得経路に応じて基準画像の選択方法を切り替えるだけで、共通のモジュールプログラムを使用しつつ、その利用環境に応じたシミュレーションが行えるため、システムやプログラムの開発費を大幅に低減することができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る衣装シミュレーションシステムの全体構成を示す概念図である。
【図２】（ａ）は、本実施形態に係るスタンドアローン型の情報処理端末として動作する、衣装シミュレーションシステムを構成する各装置の内部構造を示すブロック図であり、（ｂ）は、本実施形態に係るＷｅｂサーバーとして動作する、衣装シミュレーションシステムを構成する各装置の内部構造を示すブロック図である。
【図３】実施形態に係る情報処理端末の内部構造を示すブロック図である。
【図４】実施形態に係る衣装シミュレーションシステムの画像合成の動作を模式的に示す説明図である。
【図５】実施形態に係る衣装シミュレーションシステムの色補正の動作を模式的に示す説明図である。
【図６】実施形態に係るウィンドウに表示された画像加工画面を示す説明図である。
【図７】実施形態に係るウィンドウに表示された付加画像追加画面を示す説明図である。
【図８】実施形態に係るウィンドウに表示されたメイクアップ加工画面を示す説明図である。
【図９】実施形態に係る衣装シミュレーション方法を示すフローチャート図である。
【図１０】実施形態に係るウィンドウに表示された画像合成画面を示す説明図である。
【図１１】実施形態に係る肌色測定センサーの構成を示す斜視図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照して、本発明に係る衣装シミュレーションシステムの実施形態を詳細に説明する。図１は、本実施形態に係る衣装シミュレーションシステムの全体構成を示す概念図である。
【００２５】
（システムの全体構成）
図１に示すように、本実施形態における衣装シミュレーションシステムは、ユーザー７に対して、ウェディングドレスなどの衣装を仮想的に試着させるシミュレーションサービスで利用可能なシステムである。本実施形態では、所定の言語で作成された本発明の衣装シミュレーションプログラムを、各種の情報処理装置１０であるコンピューターにインストールすることで、種々の情報処理装置１０を衣装シミュレーション装置として動作させ、衣装シミュレーション方法を実現することができる。
【００２６】
具体的には、本実施形態では、単一のエンジンプログラムを備えた衣装シミュレーションプログラムを、異なる利用環境で稼動する各種の情報処理装置１０（１０ａ及び１０ｂ）にそれぞれインストールし、その利用環境におけるユーザー画像の取得経路の設定を切り替えることで、異なる使用形態に対応した衣装シミュレーションシステムをそれぞれ構築させることができる。
【００２７】
詳述すると、図１（ａ）に示すような、店舗９に設置された汎用的なコンピューターである店舗側装置１０ａに、本発明の衣装シミュレーションプログラムをインストールした場合には、この衣装シミュレーションプログラムは、スタンドアローンで独立的に動作し、店舗用の衣装シミュレーションアプリケーションとして使用される。そして、この店舗９では、ウェディングコーディネートを受けるべく来店したユーザー７ａを、店舗内の撮影機器で撮影し、その撮影した画像データを、サンプル画像と合成して表示部２ａに表示させる。
【００２８】
一方、通信ネットワーク５に接続された情報処理端末１０ｂに、本発明の衣装シミュレーションプログラムをインストールした場合には、この衣装シミュレーションプログラムは、Ｗｅｂアプリケーションとしてサーバー上で動作し、ウェブ上のバーチャル衣装シミュレーションサービス用として使用される。そして、このバーチャル衣装シミュレーションサービスでは、通信ネットワーク５に接続された複数のユーザー７ｂが使用するユーザー端末６からのアクセスを受付け、ユーザーが自分で用意した画像をアップロードさせ、そのアップロードされた画像データをサンプル画像と合成して、ユーザーの表示部２ｂに表示させる。
【００２９】
（各装置、及びその内部構造）
次いで、これらの衣装シミュレーションシステムを構成する各装置と、各装置の内部構造について説明する。図２（ａ）は、本実施形態に係るスタンドアローン型の情報処理端末として動作する、衣装シミュレーションシステムの内部構造を示すブロック図であり、（ｂ）は、本実施形態に係るＷｅｂサーバーとして動作する、衣装シミュレーションシステムの内部構造を示すブロック図である。図１１は、本実施形態に係る肌色測定センサーの構成を示す斜視図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００３０】
（１）スタンドアローン型
先ず、スタンドアローン型の情報処理端末における衣装シミュレーションシステムについて説明する。この場合には、図２（ａ）に示すように、店舗９内に設置された情報処理装置である店舗側装置１０ａと、カメラ３ａとを備えている。
【００３１】
店舗９は、結婚式、披露宴などの婚礼のための施設を提供する結婚式場や、ウェディングドレス等の衣装を販売又は貸し出しする店舗であって、来店したユーザー７ａを撮影する設備等を備えている。カメラ３ａは、静止画、又は動画を撮影する撮像装置であって、レンズと、ＣＣＤ、又はＣＭＯＳである固定撮像素子から構成され、入射された被写体像を表す光がＣＣＤの受光面に結像され、カメラ信号処理回路及びＡ／Ｄ変換器等を介して、店舗側装置１０ａに画像データが入力される。
【００３２】
また、店舗９内で使用される店舗側装置１０ａには、ユーザーの肌色を直接測定する肌色測定センサー４が備えられている。肌色測定センサー４は、例えば、皮膚表面に特定波長の光を入射させ、その反射光を受光して特定波長における皮膚の反射率を測定する分光測色計等である。具体的に、肌色測定センサー４は、図１１に示すように、ハンディ型の分光測色計であり、先端部に備えられたレンズ４１と、本体内部に備えられた白色ＬＥＤと、ＲＧＢカラーセンサーとを有している。そして、肌色測定センサー４は、この白色ＬＥＤを光源として、白色光を皮膚に照射し、皮膚表面からの反射光をレンズ４１を介して受光する。この受光された反射光は、本体内部においてＲＧＢ検出用カラーセンサーで測定され、色変換することで肌色データとして取得される。なお、この肌色センサー４には、分光測色計で得られる分光反射率データの他、メラニン含有量やヘモグロビン含量等を計測して、肌色データとして取得する機能を追加してもよい。
【００３３】
店舗側装置１０ａは、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えたユーザー端末であり、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、店舗側端装置１０ａには、記憶部１２０と、アプリケーション実行部１１０と、表示部２ａと、入出力インターフェース１０１とが備えられている。
【００３４】
表示部２ａは、例えば、液晶ディスプレイ等の表示装置であり、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示する。
【００３５】
記憶部１２０は、各種データを蓄積するメモリ装置等であり、アプリケーションデータや、各機能モジュールにおいて表示される画像データ、ユーザーの名前や住所等の個人情報等などが蓄積されている。そして、記憶部１２０は、サンプル画像蓄積部１２０ａを有している。
【００３６】
サンプル画像蓄積部１２０ａは、サンプルとなる人物のサンプル画像や、ウェディングドレスや、グローブ、ネックレス等のアクセサリーのサンプル画像を複数蓄積するモジュールである。なお、本実施形態において、人物のサンプル画像には、丸顔、面長顔、又は四角顔など、顔の形が異なるサンプル画像を複数有している。また、このサンプル画像としては、顔の各形毎に、肌色の明るさや色合いなど、肌色の種類が異なるバリエーションも含まれており、顔の形状のパターンと肌色の種類とが対応付けられて記憶されている。
【００３７】
アプリケーション実行部１１０は、ＯＳ上において、ブラウザソフトや画像再生アプリケーションなどのアプリケーションを実行するモジュールであり、本実施形態においては、取得したユーザー画像とサンプル画像を合成する機能を有している。
【００３８】
入力インターフェース１０１ａは、操作ボタンやタッチパネル、ジョグダイヤルなどユーザー操作を入力するデバイスであり、出力インターフェース１０１ｂは、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。本実施形態においては、入力インターフェース１０１ａを介して、カメラ３ａ、及び肌色測定センサー４が接続されており、カメラ３ａで撮影された画像データや、肌色測定センサー４で計測された肌色データが店舗側装置１０ａに入力される。
【００３９】
（２）Ｗｅｂ型衣装シミュレーションシステム
一方、Ｗｅｂ上で使用される衣装シミュレーションシステムには、図２（ｂ）に示すように、通信ネットワーク５に接続されたサーバー装置１０ｂと、ユーザー端末６とを有し、ユーザー端末６にカメラ３ｂが備えられている。
【００４０】
通信ネットワーク５は、通信プロトコルＴＣＰ／ＩＰを用いて種々の通信回線（ＦＴＴＨなどの光回線、ＡＤＳＬ回線などの公衆回線、専用回線、無線通信網）を相互に接続して構築される分散型のＩＰ網であり、このＩＰ網には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。
【００４１】
ユーザー端末６は、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えたユーザー端末であり、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、モバイルコンピューターやＰＤＡ（Personal Digital Assistance）、携帯電話機等が含まれる。
【００４２】
そして、ユーザー端末６は、通信インターフェース６２と、入力インターフェース６１ａと、出力インターフェース６１ｂと、ブラウザ部６３と、表示部２ｂとを備えている。
【００４３】
ブラウザ部６３は、通信ネットワーク５であるインターネットにアクセスして、データの送受信を行うソフトウェアである。このブラウザ部６３は、Ｗｅｂページを閲覧するためのアプリケーションソフトであり、インターネットからＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどをダウンロードし、レイアウトを解析して表示・再生する。また、フォームを使用してユーザーがデータをＷｅｂサーバーに送信したり、ＪａｖａＳｃｒｉｐｔやＦｌａｓｈ、及びＪａｖａ（登録商標）などで記述されたアプリケーションソフトを動作させたりすることも可能である。
【００４４】
そして、ブラウザ部６３は、出力インターフェース６１ｂにより、映像や音声を出力することができるとともに、入力インターフェース６１ａにより、マウスやキーボードなどの操作デバイスからの操作信号が、ユーザー操作として入力される。そして、このブラウザ部６３によって、Ｗｅｂページを表示するとともに、Ｗｅｂページ上におけるクリックや文字入力などのユーザー操作が可能となる。
【００４５】
通信インターフェース６２は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル，アダプタ手段等により接触（有線）通信をする機能を備えている。入力インターフェース６１ａは、操作ボタンやタッチパネル、ジョグダイヤルなどユーザー操作を入力するデバイスであり、出力インターフェース６１ｂは、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。本実施形態においては、入力インターフェース６１ａを介して、カメラ３ｂが接続されており、カメラ３ｂで撮影された画像データがユーザー端末６に入力される。
【００４６】
表示部２ｂは、例えば、液晶ディスプレイ等の表示装置であり、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示する。カメラ３ｂは、静止画、又は動画を撮影する撮像装置であって、レンズと、ＣＣＤ、又はＣＭＯＳである固定撮像素子から構成され、入射された被写体像を表す光がＣＣＤの受光面に結像され、カメラ信号処理回路及びＡ／Ｄ変換器等を介して、ユーザー端末６に画像データが送信される。
【００４７】
一方、サーバー装置１０ｂは、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えた情報処理端末であり、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置により実現することができる。特に、本実施形態において、サーバー装置１０ｂは、例えば、ＷＷＷ（World Wide Ｗｅｂ）等のドキュメントシステムにおいて、ＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピューター或いはその機能を持ったソフトウェアによって実現されるＷｅｂサーバー機能を有しており、ＨＴＭＬ文書や画像などの情報を蓄積しておき、Ｗｅｂブラウザなどのクライアントソフトウェアの要求に応じて、インターネットなどのＩＰ網を通じて、これらの情報を送信する。
【００４８】
そして、本実施形態において、サーバー装置１０ｂは、記憶部１２０と、アプリケーション実行部１１０と、通信インターフェース１０２とを有している。
【００４９】
記憶部１２０は、各種データを蓄積するメモリ装置等であり、アプリケーションデータや、各機能モジュールにおいて表示される画像データ、ユーザーの名前や住所等の個人情報等などが蓄積されている。そして、記憶部１２０は、サンプル画像蓄積部１２０ａを有している。
【００５０】
サンプル画像蓄積部１２０ａは、サンプルとなる人物のサンプル画像や、ウェディングドレスや、グローブ、ネックレス等のアクセサリーのサンプル画像を複数蓄積している。また、本実施形態において、人物のサンプル画像には、丸顔、面長顔、又は四角顔など、顔の形や、肌色の種類が異なるサンプル画像が複数枚含まれている。すなわち、このサンプル画像としては、顔の各形毎に、肌色の明るさや色合いなど、肌色の種類が異なるバリエーションも含まれており、顔の形状のパターンと肌色の種類とが対応付けられて記憶されている。
【００５１】
アプリケーション実行部１１０は、ＯＳ上において、ブラウザソフトや画像再生アプリケーションなどのアプリケーションを実行するモジュールであり、本実施形態においては、画像データの選択処理や合成・加工処理を実行する。通信インターフェース１０２は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル，アダプタ手段等により接触（有線）通信をする機能を備えている。
【００５２】
（アプリケーション実行部１１０の内部構造）
次いで、店舗側装置１０ａ、及びサーバー装置１０ｂにおけるアプリケーション実行部１１０の内部構造について説明する。図３は、店舗側装置１０ａ、及びサーバー装置１０ｂの内部構造を示すブロック図であり、図４は、本実施形態に係る衣装シミュレーションシステムの画像合成の動作を模式的に示す説明図であり、図５は、衣装シミュレーションシステムの色補正の動作を模式的に示す説明図である。また、図６は、本実施形態に係るウィンドウに表示された画像加工画面を示す説明図であり、図７は、本実施形態に係るウィンドウに表示された付加画像追加画面を示す説明図であり、図８は、本実施形態に係るウィンドウに表示されたメイクアップ加工画面を示す説明図である。
【００５３】
このアプリケーション実行部１１０は、具体的にはＣＰＵ等の演算処理装置であり、ＣＰＵの他やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合わせなどによって構成された演算モジュールである。本実施形態では、このアプリケーション実行部１１０で、衣装シミュレーションプログラムを読み込んで実行することによりＣＰＵ上に種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、画像データに関する処理や、各部の動作制御、ユーザー操作に対する種々の処理を行う。
【００５４】
アプリケーション実行部１１０には、画像データの選択に係るモジュールとして、操作信号取得部１０３と、ユーザー画像取得部１１１と、サンプル画像取得部１１５とが含まれる。
【００５５】
操作信号取得部１０３は、ユーザーによる操作信号を受信するモジュールであり、受信した操作信号を解析し、ユーザー操作に応じた処理を他のモジュールに実行させる。特に、本実施形態において、この操作信号取得部１０３は、画像合成処理や、取得経路の種別設定等のユーザー操作に関する信号を受信し、アプリケーション実行部１１０の各モジュールを実行させる。
【００５６】
ユーザー画像取得部１１１は、ユーザーを撮影したユーザー画像を取得するモジュールである。本実施形態において、ユーザー画像取得部１１１は、入力インターフェース１０１ａ、又は通信インターフェース１０２を介して、ユーザー画像を取得する。なお、肌色測定センサー４によってユーザーの肌色が測定された場合には、測定されたユーザーの肌色データも入力される。
【００５７】
サンプル画像取得部１１５は、サンプル画像蓄積部１２０ａから、任意のサンプルの画像を取得するモジュールである。本実施形態において、サンプル画像取得部１１５は、取得したユーザー画像における顔の輪郭部分を、顔認識技術を用いて解析し、ユーザーの顔の形状が、丸顔か、面長顔か、四角顔等のカテゴリーにいずれかに属するかを決定する。そして、その決定されたカテゴリーに属するサンプル画像をサンプル画像蓄積部１２０ａから抽出する。ここで、顔認識技術とは、顔の輪郭部分を特徴点として抽出する技術であって、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などが種々の技法を用いることができる。この際、サンプル画像取得部１１５は、ユーザー画像の肌色についても解析し、決定された顔の形状のカテゴリー内から、ユーザー画像の肌色に近似する肌色を有するサンプル画像を取得する。
【００５８】
また、アプリケーション実行部１１０には、画像データの合成・加工処理に係るモジュールとして、取得経路設定部１１２と、基準色抽出部１１３と、画像合成部１１４と、画像加工部１１６と、出力信号生成部１０４とが備えられている。
【００５９】
取得経路設定部１１２は、ユーザー画像の取得経路の種別を設定するモジュールであり、衣装シミュレーションプログラムに対し、手動又は自動で設定されることで、画像を合成する際の基準画像を、ユーザー画像とするか、サンプル画像とするかが決定される。ここで、本実施形態において、コンピューターを店舗側装置１０ａとして使用する場合には、取得経路を周辺接続機器経路と設定し、コンピューターをＷｅｂ上のサーバー装置１０ｂとして使用する場合には、取得経路をＷｅｂ経路と設定する。なお、この取得経路設定部１１２における取得経路の種別の設定は、例えば、衣装シミュレーションプログラムをインストールする際に、ユーザーに選択を要求したり、インストール後にユーザーによる任意の選択操作にて手動で設定されるようにしてもよく、又は、インストール対象となった情報処理装置１０の機能（ＯＳやドライバ、ファームウェアの種類、外部デバイスやプラグインの有無など）を自動的に検出して、その検出された機能に応じて自動的に設定するようにしてもよい。
【００６０】
基準色抽出部１１３は、取得経路設定部１１２での設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出するモジュールである。本実施形態において、基準色抽出部１１３は、取得経路設定部１１２での設定が周辺接続機器経路と設定されている場合には、ユーザー画像を基準画像とし、そのユーザー画像の肌色を基準色としたり、肌色測定センサー４によって測定された肌色データを基準色として抽出する。一方、基準色抽出部１１３は、取得経路設定部１１２での設定がＷｅｂ経路と設定されている場合には、サンプル画像を基準画像として抽出し、サンプル画像の肌色を基準色として抽出する。
【００６１】
画像合成部１１４は、基準画像として選択されなかった画像を加工画像とし、基準色に基づいて、加工画像を加工するとともに、加工した加工画像を基準画像へ合成し、合成画像を生成するモジュールである。具体的に、画像を合成する処理においては、図４に示すように、ユーザー画像の顔部分Ｙ１を、顔認識技術を用いて、目、鼻、口、及び輪郭を解析し、目、鼻、口を含む顔の中心部分Ｐを決定する。そして、合成するサンプル画像の顔部分Ｓ１に応じて、ユーザー画像Ｙを拡大・縮小したり、ユーザー画像Ｙの傾きを補正して、合成する顔部分Ｙ１を切り出す。そして、サンプル画像の顔部分Ｓ１に、切り出したユーザー画像の顔部分Ｙ１を嵌め込む。
【００６２】
さらに、画像合成部１１４は、画像の色を補正する処理を実行する。本実施形態において、合成画像の色補正は、基準画像がユーザー画像か、サンプル画像かを判断し、基準画像として選択されなかった画像を加工画像とし、基準色に基づいて、加工画像を加工する。具体的に、画像合成部１１４は、例えば、基準画像がユーザー画像であった場合には、図５（ａ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともにサンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３とをユーザー画像の顔部分Ｙ１の肌色に補正する。
【００６３】
一方、基準画像がサンプル画像で合った場合には、図５（ｂ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともに、ユーザー画像の顔部分Ｙ１をサンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３の肌の色に補正する。なお、本実施形態においては、基準画像と加工画像とを合成した後に色の補正を処理したが、本発明は、これに限定するものではなく、加工画像の色を補正した後に基準画像と加工画像とを合成する構成であってもよい。
【００６４】
画像加工部１１６は、合成画像を加工するモジュールであり、ユーザーに関する情報に基づく合成画像を加工する機能を有している。具体的には、図６（ａ）に示すように、体型等に関する情報の各項目２４３が表示されたパラメータ画面２４０が表示され、ユーザーが各項目２４３のスライダ２４１を調整するか、入力値欄２４２に数値を入力することで、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行い、図６（ｂ）に示すように、全体画面２１０に表示されたユーザーの全体姿２１１が変更されるようになっている。
【００６５】
また、画像加工部１１６は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能を有している。具体的には、図７に示すように、ウィンドウ２００に表示されたパーツ画面２２０において、髪型、ドレス、アクセサリー等のアイコン画像２２１が表示され、このアイコン画像２２１のいずれかが選択されることで、全体画面２１０部分に表示されたユーザーの全体姿２１１に、ドレスやアクセサリーのアイコン画像２２１が追加して合成されるようになっている。なお、この際、画像加工部１１６は、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成する機能を有している。すなわち、例えば、ユーザーに関する情報を変更し、ユーザーの全体姿のサイズ等が変更された場合には、付加画像であるドレス画像や、アクセサリー画像についても、同比率で変更されて合成されるようになっている。
【００６６】
さらに、画像加工部１１６は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能を有している。具体的に、このメイクアップ加工は、図８に示すように、ウィンドウ２００にメイクアップ加工処理画面２５０と、顔部分の拡大画面２６０が表示され、メイクアップ加工処理画面２５０に表示された各スライダ２５１を変更させたり、つけまつげなどのアイコン画像２５２を選択することで、顔部分の拡大画面２６０の肌色をＲＧＢにより補正させたり、アイコン画像を追加させたりする。
【００６７】
この際、画像加工部１１６は、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するパラメータを設定する。なお、このメイクアップされたメイクデータは、記憶部１２０に保存することができる。
【００６８】
出力信号生成部１０４は、ユーザー画像取得部１１１で取得されたユーザー画像や、アプリケーション実行部１１０によって実行された画像合成処理や、加工処理の実行結果を映像信号及び音声信号に変換し、表示部２ａ，２ｂやスピーカーで出力可能な信号に生成するモジュールである。なお、本実施形態では、サンプル画像とユーザー画像との合成画像のみを表示させるものではなく、合成写真と式場の写真を合成し、挙式風景画像を生成し、表示させることもでき、挙式トータルでの雰囲気を再現させることができる。
【００６９】
（衣装シミュレーションプログラム）
本実施形態係る衣装シミュレーションシステム及び衣装シミュレーション方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバ等のコンピュータやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
【００７０】
そして、このようなプログラムは、汎用コンピュータで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。本実施形態は書き込み不可のＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ中にあるコンテンツに対してリンクを設けることができる特徴を有する。
【００７１】
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【００７２】
このような発明によれば、衣装シミュレーションプログラムを使用することで、特別な処理装置を必要とせず、種々の情報処理装置を上述した衣装シミュレーション装置とし、衣装シミュレーション方法を様々な情報処理装置において実現することができる。
【００７３】
（衣装シミュレーション方法）
以上の構成を有する衣装シミュレーションシステム又は衣装シミュレーションプログラムを動作させることによって、本発明の衣装シミュレーション方法を実施することができる。図９は、本実施形態に係る衣装シミュレーションシステムの動作を示すフローチャート図であり、図１０は、本実施形態に係るウィンドウに表示された画像合成画面を示す説明図である。
【００７４】
先ず、ユーザー画像の取得経路の種別を設定する（Ｓ１０１）。本実施形態においては、店舗側装置１０ａに衣装シミュレーションプログラムをインストールした場合には、設定を周辺接続機器経路と設定し、サーバー装置１０ｂに衣装シミュレーションプログラムをインストールした場合には、設定をＷｅｂ経路と設定する。次いで、ユーザーをカメラ３ａ、３ｂによって撮影し、そのユーザー画像データを、入力インターフェース１０１ａ、又は通信インターフェース１０２を介して、店舗側装置１０ａ、又はサーバー装置１０ｂに送信する。
【００７５】
店舗側装置１０ａ、又はサーバー装置１０ｂは、ユーザーを撮影したユーザー画像を取得するとともに（Ｓ１０２）、サンプルとなる人物のサンプル画像を取得する（Ｓ１０３）。この際、サンプル画像取得部１１５は、取得したユーザー画像における顔の輪郭部分を、顔認識技術を用いて解析して、ユーザーの顔の形状が、丸顔か、面長顔か、四角顔等のカテゴリーにいずれかに属するかを決定する。さらに、サンプル画像取得部１１５は、ユーザー画像の肌色についても解析し、決定された顔の形状のカテゴリー内から、ユーザー画像の肌色に近似する肌色を有するサンプル画像を決定する。そして、その決定されたカテゴリーに属する顔の形のサンプル画像をサンプル画像蓄積部１２０ａから抽出し、図１０に示すように、ユーザーの顔の形と、肌色の種類に近似するサンプル画像を表示する。
【００７６】
さらに、店舗側装置１０ａ、又はサーバー装置１０ｂは、種別設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し（Ｓ１０４）、選択された基準画像から基準色を抽出する（Ｓ１０５）。具体的には、店舗側装置１０ａでは、取得経路設定部１１２での設定が周辺接続機器経路と設定されており、基準色抽出部１１３は、ユーザー画像を基準画像とし、そのユーザー画像の肌色を基準色として抽出したり、肌色測定センサー４によって測定された肌色データを基準色として抽出する。一方、サーバー装置１０ｂでは、取得経路設定部１１２での設定がＷｅｂ経路と設定されており、基準色抽出部１１３は、サンプル画像を基準画像として抽出し、サンプル画像の肌色を基準色として抽出する。
【００７７】
そして、図１０に示すように、ウィンドウ２００に表示された顔合成画面２３０において、サンプル画像２３１と、ユーザー画像２３２とが表示され、ユーザーによって、ＭＩＸボタン２３５がクリックされると、画像合成部１１４は、基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する（Ｓ１０６）。
【００７８】
詳述すると、先ず、画像合成部１１４は、ユーザー画像の顔部分Ｙ１を顔認識技術及び特徴点抽出技術を用いて解析し、図４に示すように、目、鼻、口を含む顔の中心部分Ｐを決定する。そして、合成するサンプル画像の顔の大きさに応じて、ユーザー画像を拡大・縮小したり、ユーザー画像Ｙの傾きを補正して、合成する顔部分Ｙ１を切り出す。そして、サンプル画像の顔部分Ｓ１に、切り出したユーザー画像の顔部分Ｙ１を嵌め込む。
【００７９】
次ぎに、画像の色を補正する。画像合成部１１４は、先ず、基準色抽出部１１３によって選択された基準画像を判別し、その基準画像の肌部分の色を決定する。そして、画像合成部１１４は、加工画像を基準画像の肌色に補正する。具体的に、基準画像がユーザー画像であった場合には、図５（ａ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともに、サンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３とをユーザー画像の顔部分Ｙ１の肌色に補正する。
【００８０】
一方、基準画像がサンプル画像で合った場合には、図５（ｂ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともに、ユーザー画像の顔部分Ｙ１をサンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３の肌の色に補正する。そして、図１０に示したウィンドウ２００の「この画像を使用する」ボタンをクリックすることで、全体画面２１０にユーザーの顔が表示された全体姿２１１が表示させる。
【００８１】
さらに、ユーザーは、ユーザーに関する情報に基づいて、合成画像を加工する（Ｓ１０７）。本実施形態における合成画像の加工は、図９（ｂ）に示すように、先ず、合成写真に対して、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行う（Ｓ２０１）。具体的には、図６（ａ）に示すように、ユーザーがウィンドウ２００に表示されたパラメータ画面２４０の各項目２４３のスライダ２４１を調整したり、入力値欄２４２に数値を入力する。そして、画像加工部１１６は、その調整又は数値入力に応じて、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行い、図６（ｂ）に示すように、全体画面２１０に表示されたユーザーの全体姿２１１を変更する。
【００８２】
次いで、画像加工部１１６は、合成画像に対して、部分的な画像を付加画像として追加して合成する（Ｓ２０２）。具体的には、図７に示すように、パーツ画面２２０に表示されたアイコン画像２２１をユーザーが選択すると、全体画面２１０部分に表示されたユーザーの全体姿２１１に、アイコン画像２２１が追加して合成され、表示される。この際、画像加工部１１６は、変形処理に用いたパラメータに応じて、付加画像についても同比率で変形し、付加画像を合成画像に合成し、表示する。
【００８３】
また、ユーザーは、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を実行する（Ｓ２０３）。この際、画像加工部１１６は、図１０に示すように、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するメイクアップ加工処理画面２５０のパラメータを設定する。
【００８４】
なお、本実施形態においては、衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラムを用いて、ウェディングドレスの衣装を画面上において仮想的に試着させたが、本発明はこれに限定されるものではなく、衣装の画像と人物及び動物等の画像とを合成して画面上に仮想的に試着させることができればよく、例えば、七五三用の衣装、成人式用の衣装、キャラクタ衣装、及びペット衣装等の様々な衣装を用いてもよい。
【００８５】
（作用・効果）
このような本実施形態によれば、ユーザー画像又はサンプル画像のいずれか一方の画像を基準画像として選択し、選択されなかった画像を基準画像の基準色に基づいて加工し、これらのユーザー画像とサンプル画像とを合成するので、合成された画像は、例えば、肌の色が統一され、違和感のない合成画像を生成することができる。
【００８６】
特に、本実施形態では、この基準画像の選択は、ユーザー画像Ｙの取得経路に応じて決定することができるので、例えば、ユーザーのパーソナルコンピュータからインターネットを通じてアップロードされた画像である場合には、基準画像をサンプル画像Ｓとして合成画像を生成することで、撮影条件が不良なユーザー画像Ｙであっても、合成されたウェディング姿の画像を良好な画像にすることができ、ユーザーに対して、サービスを提供する会社のウェディングドレスに対する興味を促すことができる。
【００８７】
一方、店舗内において、撮影機器から転送され、ＵＳＢ等の周辺機器接続ケーブルを通じて取得された画像である場合には、基準画像をユーザー画像Ｙとして合成画像を生成することで、自己の肌の色に合わせて合成画像を生成することができ、実際に着用した際の雰囲気を表現させることができる。
【００８８】
本実施形態において、画像加工部１１６は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能をさらに備え、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行うとともに、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成するので、挙式時に使用されるネックレス、ティアラ、グローブなどの小物のアイコン画像２２１を全体画面２１０の全体姿２１１に追加するので、様々なウェディングドレス姿をシミュレートすることができる。特に、本実施形態では、付加画像を追加する際、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行うことができるので、自己の体型に応じたウェディングドレス姿を表示させることができる、実際に試着したような画像を生成することができる。
【００８９】
また、本実施形態において、画像加工部１１６は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能を備えているので、自己の顔を合成したウェディングドレス姿の顔部分にメイクアップすることができ、さらに、実際にウェディングドレスを着た際の雰囲気を提供することができる。特に、本実施形態において、メイクアップ加工機能は、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するパラメータを設定するので、合成画像が、サンプル画像Ｓ、又はユーザー画像Ｙのいずれかの基準色とした場合であっても、その肌の色に合わせたメイクアップ加工が可能なパラメータを設定することができ、スタンドアローン型の使用や、Ｗｅｂ上での使用によって異なる肌の色に追従して、メイクアップ加工を可能にすることができる。
【符号の説明】
【００９０】
Ｐ…中心部分
Ｓ…サンプル画像
Ｓ１…サンプル画像の顔部分
Ｓ２…サンプル画像の顔の周辺部分
Ｓ３…サンプル画像の上半身部分
Ｙ…ユーザー画像
Ｙ１…ユーザー画像の顔部分
２（２ａ，２ｂ）…表示部
３（３ａ，３ｂ）…カメラ
４…肌色測定センサー
５…通信ネットワーク
６…ユーザー端末
７（７ａ，７ｂ）…ユーザー
９…店舗
１０…情報処理装置
１０ａ…店舗側装置
１０ｂ…サーバー装置
４１…先端部
６１ａ…入力インターフェース
６１ｂ…出力インターフェース
６２…通信インターフェース
６３…ブラウザ部
１０１…入出力インターフェース
１０１ａ…入力インターフェース
１０２…通信インターフェース
１０３…操作信号取得部
１０４…出力信号生成部
１１０…アプリケーション実行部
１１１…ユーザー画像取得部
１１２…取得経路設定部
１１３…基準色抽出部
１１４…画像合成部
１１５…サンプル画像取得部
１１６…画像加工部
１２０…記憶部
１２０ａ…サンプル画像蓄積部
２００…ウィンドウ
２１０…全体画面
２１０…合成写真
２１１…全体姿
２２０…パーツ画面
２２１…アイコン画像
２３０…顔合成画面
２３１…サンプル画像
２３２…ユーザー画像
２３５…ＭＩＸボタン
２４０…パラメータ画面
２４１…スライダ
２４２…入力値欄
２４３…項目
２５０…メイクアップ加工処理画面
２５１…スライダ
２５２…アイコン画像
２６０…顔部分の拡大画面
【技術分野】
【０００１】
本発明は、ウェディングドレスなどの衣装を、画面上で仮想的に試着させる衣装シミュレーションに用いられる衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラムに関する。
【背景技術】
【０００２】
従来、結婚式を予定している新郎新婦は、式場選びや式の日取り、衣装、料理等を決定する必要がある。そのため、新郎新婦は、それらを決定するために、式場に何度も出向いて、プランナーと長時間にわたって打ち合わせを行っており、多大な時間と手間を要していた。特に、結婚式当日に着用するウェディングドレスなどの衣装は、顧客の多種多様な嗜好に対応しなければならないため、その数も大幅に増加しており、それらの衣装から希望する衣装を選択するには、多くの時間がかかってしまう問題があった。
【０００３】
そこで、顧客が実際に衣装を試着しなくても、衣装を試着した雰囲気を画像として表示させる、画像処理を用いたウェディングドレスの試着シミュレーションシステムが提案されている（例えば、非特許文献１）。このシステムでは、ユーザーの体型データに基づいて、ドレスが選択され、そのドレス画像に現在のユーザーの顔を組み込み、ユーザーのドレス姿を画面上に表示させることで、ユーザーに合ったウェディングドレスを選択することができる。
【０００４】
ところが、特許文献１に開示された技術は、ユーザーの体型にあったウェディングドレスを選択することができるものの、単にドレス画像の顔部分に顔写真を合成する技術であるため、ユーザーの顔が合成された画像データを閲覧すると、ユーザーの顔の肌色と、ドレス画像部分のモデルとなった人物の肌の色が異なり、実際にユーザーがドレスを着用したような雰囲気を出すことができないという問題があった。
【０００５】
このような問題を解決すべく、画像を合成する際、違和感がないように加工処理する技術がある（例えば、特許文献２）。この特許文献２に開示された技術では、顔写真とカツラの画像とを合成する際に、生え際付近をユーザーの肌色に合わせて補正することで、合成写真に違和感がないようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１４７６１９号公報
【特許文献２】特開２００３−８８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示された技術によって合成された画像は、常に、ユーザーの肌色を基準として、他の画像が補正されてしまうため、利用状況によって変化するユーザーのニーズに、対応できないという問題があった。すなわち、ユーザーが試着シミュレーションシステムを利用するシチュエーションとしては、例えば、式場や衣装会社を選ぶ際に、どのようなサービスや設備、衣装のバリエーションがあるかを予め調べるために利用する場合や、既に式場等が決定しており、本格的に衣装を選択するために利用する場合とがある。
【０００８】
前者の場合、自宅のパーソナルコンピュータからインターネットを通じて、Ｗｅｂ上の情報を検索し、Ｗｅｂページなどで提供されている衣装の試着シミュレーションを行うサービスを利用することがある。このＷｅｂ上の試着シミュレーションでは、専用のＷｅｂアプリケーションがＷｅｂサーバーから提供され、このＷｅｂアプリケーションを利用する際、ユーザーが、自宅なので自分自身を撮影し、アップロードし、その画像をシミュレーションに用いる。このとき、ユーザーが自身が写真を撮影するため、撮影条件が良くない画像データを用いられることが多い。
【０００９】
ところで、このＷｅｂアプリケーションにおいて、自宅でユーザー自身が用意した画像データを使用する場合に、ユーザーの顔の肌色に合わせた合成方法を用いると、ユーザーが想像する自己のウェディングドレス姿における雰囲気とのギャップが大きくなり、正確なシミュレーションができないという問題があった。
【００１０】
一方、後者の場合には、店舗において、コーディネータとともに、スタンドアローン型のアプリケーションを用いて、試着シミュレーションが実行され。この場合、プロのカメラマンが専用の撮影設備等により撮影するため、使用される写真も良好であり、その写真を自己の体型や、肌の色に合わせて合成写真を補正することで、実際に着用した際の雰囲気を表現させることができ、ユーザーの要望に添った衣装やメイク等のトータルコーディネートが可能となる。
【００１１】
そこで、本発明は、上記のような問題を解決するものであり、ウェディングドレスなどの衣装を、画面上で仮想的に試着させる衣装シミュレーションにおいて、Ｗｅｂ上で実行されるＷｅｂアプリケーションや、店舗等などに備えられたスタンドアローンソフトなど、ぞれぞれの利用状況に対応した処理を、共通のエンジンプログラムを用いて実行できる衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラムを提供することができることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明は、ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションシステムであって、ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、サンプルとなる人物のサンプル画像を複数蓄積するサンプル画像蓄積部と、サンプル画像蓄積部から、任意のサンプルの画像を取得するサンプル画像取得部と、ユーザー画像の取得経路の種別を設定する取得経路設定部と、取得経路設定部における設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出部と、基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する画像合成部と、ユーザーに関する情報に基づいて、合成画像を加工する画像加工部とを有する。
【００１３】
他の発明は、ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーション方法であって、
（１）ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
（２）ユーザー画像の取得経路の種別を設定し、この設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
（３）基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する画像合成ステップと、
（４）ユーザーに関する情報に基づいて、合成画像を加工する画像加工ステップとを有する。
【００１４】
このような発明によれば、ユーザー画像又はサンプル画像のいずれか一方の画像を基準画像として選択して、選択されなかった画像を基準画像の基準色に基づいて加工し、これらのユーザー画像とサンプル画像とを合成するので、合成された画像は、例えば、肌の色が統一され、違和感のない合成画像を生成することができる。
【００１５】
特に、本発明では、この基準画像の選択は、ユーザー画像の取得経路に応じて決定できるので、例えば、ユーザーのパーソナルコンピュータからインターネットを通じてアップロードされた画像である場合には、基準画像をサンプル画像として合成画像を生成させることで、撮影条件が不良なユーザー画像であっても、肌色が良好なウェディング姿の画像を合成でき、ユーザー画像の撮影環境の影響を受けることなく、試着シミュレーションを実行することができる。一方、店舗内において撮影され、取得された画像である場合には、基準画像をユーザー画像として合成画像を生成することで、ユーザー自身の肌の色に合わせて合成画像を生成することができる。その結果、実際に着用した際の雰囲気を表現させることができ、より具体的な衣装やメイク等のトータルコーディネートが可能となる。
【００１６】
そして、本発明によれば、ユーザー画像の取得経路に応じて基準画像の選択方法を切り替えるだけで、共通のモジュールプログラムを使用しつつ、その利用環境に応じたシミュレーションが行えるため、システムやプログラムの開発費を大幅に低減することができる。
【００１７】
上記発明において、画像加工部は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能をさらに備え、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行うとともに、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成することが好ましい。この場合には、挙式時に使用されるネックレス、ティアラ、グローブなどの小物を合成写真に追加する機能を有しているので、様々なウェディングドレス姿をシミュレートすることができる。特に、本発明では、付加画像を追加する際、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行うことができるので、自己の体型に応じたウェディングドレス姿を表示させ、実際に試着したような画像を生成することができる。
【００１８】
また、上記発明において、画像加工部は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能をさらに備えていることが好ましい。この場合には、合成画像が、サンプル画像、又はユーザー画像のいずれかの基準色とした場合であっても、その肌の色に合わせて、メイクアップ加工のパラメータを設定することができるので、スタンドアローン型の使用や、Ｗｅｂ上での使用によって異なる肌の色に追従して、メイクアップ加工を可能にすることができる。
【００１９】
さらに、他の発明は、ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションプログラムであって、コンピューターに、
（１）ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
（２）ユーザー画像の取得経路の種別を設定し、この設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、（３）被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する画像合成ステップと、
（４）ユーザーに関する情報に基づいて、合成画像を加工する画像加工ステップとを有する処理を実行させる。
【００２０】
このような発明によれば、衣装シミュレーションプログラムを使用することで、特別な処理装置を必要とせず、種々の情報処理装置を上述した衣装シミュレーション装置とし、衣装シミュレーション方法を様々な情報処理装置において実現することができる。すなわち、この衣装シミュレーションプログラムを、汎用的なコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する衣装シミュレーション装置が構成され、衣装シミュレーション方法を容易に構築することができる。
【００２１】
なお、このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。そして、このような衣装シミュレーションプログラムは、コンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００２２】
以上述べたように、この発明によれば、ユーザーに対して、ウェディングドレスなどの衣装を、画面上で仮想的に試着させる衣装シミュレーションサービスを提供する際、Ｗｅｂ上で実行されるＷｅｂアプリケーションや、店舗等などに備えられたスタンドアローンソフトなど、ぞれぞれの利用状況に対応した処理を、共通のエンジンプログラムを用いて実行することができる。その結果、本発明によれば、ユーザー画像の取得経路に応じて基準画像の選択方法を切り替えるだけで、共通のモジュールプログラムを使用しつつ、その利用環境に応じたシミュレーションが行えるため、システムやプログラムの開発費を大幅に低減することができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る衣装シミュレーションシステムの全体構成を示す概念図である。
【図２】（ａ）は、本実施形態に係るスタンドアローン型の情報処理端末として動作する、衣装シミュレーションシステムを構成する各装置の内部構造を示すブロック図であり、（ｂ）は、本実施形態に係るＷｅｂサーバーとして動作する、衣装シミュレーションシステムを構成する各装置の内部構造を示すブロック図である。
【図３】実施形態に係る情報処理端末の内部構造を示すブロック図である。
【図４】実施形態に係る衣装シミュレーションシステムの画像合成の動作を模式的に示す説明図である。
【図５】実施形態に係る衣装シミュレーションシステムの色補正の動作を模式的に示す説明図である。
【図６】実施形態に係るウィンドウに表示された画像加工画面を示す説明図である。
【図７】実施形態に係るウィンドウに表示された付加画像追加画面を示す説明図である。
【図８】実施形態に係るウィンドウに表示されたメイクアップ加工画面を示す説明図である。
【図９】実施形態に係る衣装シミュレーション方法を示すフローチャート図である。
【図１０】実施形態に係るウィンドウに表示された画像合成画面を示す説明図である。
【図１１】実施形態に係る肌色測定センサーの構成を示す斜視図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照して、本発明に係る衣装シミュレーションシステムの実施形態を詳細に説明する。図１は、本実施形態に係る衣装シミュレーションシステムの全体構成を示す概念図である。
【００２５】
（システムの全体構成）
図１に示すように、本実施形態における衣装シミュレーションシステムは、ユーザー７に対して、ウェディングドレスなどの衣装を仮想的に試着させるシミュレーションサービスで利用可能なシステムである。本実施形態では、所定の言語で作成された本発明の衣装シミュレーションプログラムを、各種の情報処理装置１０であるコンピューターにインストールすることで、種々の情報処理装置１０を衣装シミュレーション装置として動作させ、衣装シミュレーション方法を実現することができる。
【００２６】
具体的には、本実施形態では、単一のエンジンプログラムを備えた衣装シミュレーションプログラムを、異なる利用環境で稼動する各種の情報処理装置１０（１０ａ及び１０ｂ）にそれぞれインストールし、その利用環境におけるユーザー画像の取得経路の設定を切り替えることで、異なる使用形態に対応した衣装シミュレーションシステムをそれぞれ構築させることができる。
【００２７】
詳述すると、図１（ａ）に示すような、店舗９に設置された汎用的なコンピューターである店舗側装置１０ａに、本発明の衣装シミュレーションプログラムをインストールした場合には、この衣装シミュレーションプログラムは、スタンドアローンで独立的に動作し、店舗用の衣装シミュレーションアプリケーションとして使用される。そして、この店舗９では、ウェディングコーディネートを受けるべく来店したユーザー７ａを、店舗内の撮影機器で撮影し、その撮影した画像データを、サンプル画像と合成して表示部２ａに表示させる。
【００２８】
一方、通信ネットワーク５に接続された情報処理端末１０ｂに、本発明の衣装シミュレーションプログラムをインストールした場合には、この衣装シミュレーションプログラムは、Ｗｅｂアプリケーションとしてサーバー上で動作し、ウェブ上のバーチャル衣装シミュレーションサービス用として使用される。そして、このバーチャル衣装シミュレーションサービスでは、通信ネットワーク５に接続された複数のユーザー７ｂが使用するユーザー端末６からのアクセスを受付け、ユーザーが自分で用意した画像をアップロードさせ、そのアップロードされた画像データをサンプル画像と合成して、ユーザーの表示部２ｂに表示させる。
【００２９】
（各装置、及びその内部構造）
次いで、これらの衣装シミュレーションシステムを構成する各装置と、各装置の内部構造について説明する。図２（ａ）は、本実施形態に係るスタンドアローン型の情報処理端末として動作する、衣装シミュレーションシステムの内部構造を示すブロック図であり、（ｂ）は、本実施形態に係るＷｅｂサーバーとして動作する、衣装シミュレーションシステムの内部構造を示すブロック図である。図１１は、本実施形態に係る肌色測定センサーの構成を示す斜視図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００３０】
（１）スタンドアローン型
先ず、スタンドアローン型の情報処理端末における衣装シミュレーションシステムについて説明する。この場合には、図２（ａ）に示すように、店舗９内に設置された情報処理装置である店舗側装置１０ａと、カメラ３ａとを備えている。
【００３１】
店舗９は、結婚式、披露宴などの婚礼のための施設を提供する結婚式場や、ウェディングドレス等の衣装を販売又は貸し出しする店舗であって、来店したユーザー７ａを撮影する設備等を備えている。カメラ３ａは、静止画、又は動画を撮影する撮像装置であって、レンズと、ＣＣＤ、又はＣＭＯＳである固定撮像素子から構成され、入射された被写体像を表す光がＣＣＤの受光面に結像され、カメラ信号処理回路及びＡ／Ｄ変換器等を介して、店舗側装置１０ａに画像データが入力される。
【００３２】
また、店舗９内で使用される店舗側装置１０ａには、ユーザーの肌色を直接測定する肌色測定センサー４が備えられている。肌色測定センサー４は、例えば、皮膚表面に特定波長の光を入射させ、その反射光を受光して特定波長における皮膚の反射率を測定する分光測色計等である。具体的に、肌色測定センサー４は、図１１に示すように、ハンディ型の分光測色計であり、先端部に備えられたレンズ４１と、本体内部に備えられた白色ＬＥＤと、ＲＧＢカラーセンサーとを有している。そして、肌色測定センサー４は、この白色ＬＥＤを光源として、白色光を皮膚に照射し、皮膚表面からの反射光をレンズ４１を介して受光する。この受光された反射光は、本体内部においてＲＧＢ検出用カラーセンサーで測定され、色変換することで肌色データとして取得される。なお、この肌色センサー４には、分光測色計で得られる分光反射率データの他、メラニン含有量やヘモグロビン含量等を計測して、肌色データとして取得する機能を追加してもよい。
【００３３】
店舗側装置１０ａは、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えたユーザー端末であり、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、店舗側端装置１０ａには、記憶部１２０と、アプリケーション実行部１１０と、表示部２ａと、入出力インターフェース１０１とが備えられている。
【００３４】
表示部２ａは、例えば、液晶ディスプレイ等の表示装置であり、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示する。
【００３５】
記憶部１２０は、各種データを蓄積するメモリ装置等であり、アプリケーションデータや、各機能モジュールにおいて表示される画像データ、ユーザーの名前や住所等の個人情報等などが蓄積されている。そして、記憶部１２０は、サンプル画像蓄積部１２０ａを有している。
【００３６】
サンプル画像蓄積部１２０ａは、サンプルとなる人物のサンプル画像や、ウェディングドレスや、グローブ、ネックレス等のアクセサリーのサンプル画像を複数蓄積するモジュールである。なお、本実施形態において、人物のサンプル画像には、丸顔、面長顔、又は四角顔など、顔の形が異なるサンプル画像を複数有している。また、このサンプル画像としては、顔の各形毎に、肌色の明るさや色合いなど、肌色の種類が異なるバリエーションも含まれており、顔の形状のパターンと肌色の種類とが対応付けられて記憶されている。
【００３７】
アプリケーション実行部１１０は、ＯＳ上において、ブラウザソフトや画像再生アプリケーションなどのアプリケーションを実行するモジュールであり、本実施形態においては、取得したユーザー画像とサンプル画像を合成する機能を有している。
【００３８】
入力インターフェース１０１ａは、操作ボタンやタッチパネル、ジョグダイヤルなどユーザー操作を入力するデバイスであり、出力インターフェース１０１ｂは、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。本実施形態においては、入力インターフェース１０１ａを介して、カメラ３ａ、及び肌色測定センサー４が接続されており、カメラ３ａで撮影された画像データや、肌色測定センサー４で計測された肌色データが店舗側装置１０ａに入力される。
【００３９】
（２）Ｗｅｂ型衣装シミュレーションシステム
一方、Ｗｅｂ上で使用される衣装シミュレーションシステムには、図２（ｂ）に示すように、通信ネットワーク５に接続されたサーバー装置１０ｂと、ユーザー端末６とを有し、ユーザー端末６にカメラ３ｂが備えられている。
【００４０】
通信ネットワーク５は、通信プロトコルＴＣＰ／ＩＰを用いて種々の通信回線（ＦＴＴＨなどの光回線、ＡＤＳＬ回線などの公衆回線、専用回線、無線通信網）を相互に接続して構築される分散型のＩＰ網であり、このＩＰ網には、１０ＢＡＳＥ−Ｔや１００ＢＡＳＥ−ＴＸ等によるイントラネット（企業内ネットワーク）や家庭内ネットワークなどのＬＡＮなども含まれる。
【００４１】
ユーザー端末６は、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えたユーザー端末であり、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、モバイルコンピューターやＰＤＡ（Personal Digital Assistance）、携帯電話機等が含まれる。
【００４２】
そして、ユーザー端末６は、通信インターフェース６２と、入力インターフェース６１ａと、出力インターフェース６１ｂと、ブラウザ部６３と、表示部２ｂとを備えている。
【００４３】
ブラウザ部６３は、通信ネットワーク５であるインターネットにアクセスして、データの送受信を行うソフトウェアである。このブラウザ部６３は、Ｗｅｂページを閲覧するためのアプリケーションソフトであり、インターネットからＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどをダウンロードし、レイアウトを解析して表示・再生する。また、フォームを使用してユーザーがデータをＷｅｂサーバーに送信したり、ＪａｖａＳｃｒｉｐｔやＦｌａｓｈ、及びＪａｖａ（登録商標）などで記述されたアプリケーションソフトを動作させたりすることも可能である。
【００４４】
そして、ブラウザ部６３は、出力インターフェース６１ｂにより、映像や音声を出力することができるとともに、入力インターフェース６１ａにより、マウスやキーボードなどの操作デバイスからの操作信号が、ユーザー操作として入力される。そして、このブラウザ部６３によって、Ｗｅｂページを表示するとともに、Ｗｅｂページ上におけるクリックや文字入力などのユーザー操作が可能となる。
【００４５】
通信インターフェース６２は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル，アダプタ手段等により接触（有線）通信をする機能を備えている。入力インターフェース６１ａは、操作ボタンやタッチパネル、ジョグダイヤルなどユーザー操作を入力するデバイスであり、出力インターフェース６１ｂは、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。本実施形態においては、入力インターフェース６１ａを介して、カメラ３ｂが接続されており、カメラ３ｂで撮影された画像データがユーザー端末６に入力される。
【００４６】
表示部２ｂは、例えば、液晶ディスプレイ等の表示装置であり、液晶ディスプレイ等の表示デバイスとそのディスプレイの表示駆動回路とを含み、ディスプレイ上に画像や文字等を表示する。カメラ３ｂは、静止画、又は動画を撮影する撮像装置であって、レンズと、ＣＣＤ、又はＣＭＯＳである固定撮像素子から構成され、入射された被写体像を表す光がＣＣＤの受光面に結像され、カメラ信号処理回路及びＡ／Ｄ変換器等を介して、ユーザー端末６に画像データが送信される。
【００４７】
一方、サーバー装置１０ｂは、ＣＰＵによる演算処理機能、及び通信インターフェースによる通信処理機能を備えた情報処理端末であり、パーソナルコンピュータ等の汎用コンピューターや、機能を特化させた専用装置により実現することができる。特に、本実施形態において、サーバー装置１０ｂは、例えば、ＷＷＷ（World Wide Ｗｅｂ）等のドキュメントシステムにおいて、ＨＴＭＬ（HyperText Markup Language）ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバーコンピューター或いはその機能を持ったソフトウェアによって実現されるＷｅｂサーバー機能を有しており、ＨＴＭＬ文書や画像などの情報を蓄積しておき、Ｗｅｂブラウザなどのクライアントソフトウェアの要求に応じて、インターネットなどのＩＰ網を通じて、これらの情報を送信する。
【００４８】
そして、本実施形態において、サーバー装置１０ｂは、記憶部１２０と、アプリケーション実行部１１０と、通信インターフェース１０２とを有している。
【００４９】
記憶部１２０は、各種データを蓄積するメモリ装置等であり、アプリケーションデータや、各機能モジュールにおいて表示される画像データ、ユーザーの名前や住所等の個人情報等などが蓄積されている。そして、記憶部１２０は、サンプル画像蓄積部１２０ａを有している。
【００５０】
サンプル画像蓄積部１２０ａは、サンプルとなる人物のサンプル画像や、ウェディングドレスや、グローブ、ネックレス等のアクセサリーのサンプル画像を複数蓄積している。また、本実施形態において、人物のサンプル画像には、丸顔、面長顔、又は四角顔など、顔の形や、肌色の種類が異なるサンプル画像が複数枚含まれている。すなわち、このサンプル画像としては、顔の各形毎に、肌色の明るさや色合いなど、肌色の種類が異なるバリエーションも含まれており、顔の形状のパターンと肌色の種類とが対応付けられて記憶されている。
【００５１】
アプリケーション実行部１１０は、ＯＳ上において、ブラウザソフトや画像再生アプリケーションなどのアプリケーションを実行するモジュールであり、本実施形態においては、画像データの選択処理や合成・加工処理を実行する。通信インターフェース１０２は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル，アダプタ手段等により接触（有線）通信をする機能を備えている。
【００５２】
（アプリケーション実行部１１０の内部構造）
次いで、店舗側装置１０ａ、及びサーバー装置１０ｂにおけるアプリケーション実行部１１０の内部構造について説明する。図３は、店舗側装置１０ａ、及びサーバー装置１０ｂの内部構造を示すブロック図であり、図４は、本実施形態に係る衣装シミュレーションシステムの画像合成の動作を模式的に示す説明図であり、図５は、衣装シミュレーションシステムの色補正の動作を模式的に示す説明図である。また、図６は、本実施形態に係るウィンドウに表示された画像加工画面を示す説明図であり、図７は、本実施形態に係るウィンドウに表示された付加画像追加画面を示す説明図であり、図８は、本実施形態に係るウィンドウに表示されたメイクアップ加工画面を示す説明図である。
【００５３】
このアプリケーション実行部１１０は、具体的にはＣＰＵ等の演算処理装置であり、ＣＰＵの他やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合わせなどによって構成された演算モジュールである。本実施形態では、このアプリケーション実行部１１０で、衣装シミュレーションプログラムを読み込んで実行することによりＣＰＵ上に種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、画像データに関する処理や、各部の動作制御、ユーザー操作に対する種々の処理を行う。
【００５４】
アプリケーション実行部１１０には、画像データの選択に係るモジュールとして、操作信号取得部１０３と、ユーザー画像取得部１１１と、サンプル画像取得部１１５とが含まれる。
【００５５】
操作信号取得部１０３は、ユーザーによる操作信号を受信するモジュールであり、受信した操作信号を解析し、ユーザー操作に応じた処理を他のモジュールに実行させる。特に、本実施形態において、この操作信号取得部１０３は、画像合成処理や、取得経路の種別設定等のユーザー操作に関する信号を受信し、アプリケーション実行部１１０の各モジュールを実行させる。
【００５６】
ユーザー画像取得部１１１は、ユーザーを撮影したユーザー画像を取得するモジュールである。本実施形態において、ユーザー画像取得部１１１は、入力インターフェース１０１ａ、又は通信インターフェース１０２を介して、ユーザー画像を取得する。なお、肌色測定センサー４によってユーザーの肌色が測定された場合には、測定されたユーザーの肌色データも入力される。
【００５７】
サンプル画像取得部１１５は、サンプル画像蓄積部１２０ａから、任意のサンプルの画像を取得するモジュールである。本実施形態において、サンプル画像取得部１１５は、取得したユーザー画像における顔の輪郭部分を、顔認識技術を用いて解析し、ユーザーの顔の形状が、丸顔か、面長顔か、四角顔等のカテゴリーにいずれかに属するかを決定する。そして、その決定されたカテゴリーに属するサンプル画像をサンプル画像蓄積部１２０ａから抽出する。ここで、顔認識技術とは、顔の輪郭部分を特徴点として抽出する技術であって、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などが種々の技法を用いることができる。この際、サンプル画像取得部１１５は、ユーザー画像の肌色についても解析し、決定された顔の形状のカテゴリー内から、ユーザー画像の肌色に近似する肌色を有するサンプル画像を取得する。
【００５８】
また、アプリケーション実行部１１０には、画像データの合成・加工処理に係るモジュールとして、取得経路設定部１１２と、基準色抽出部１１３と、画像合成部１１４と、画像加工部１１６と、出力信号生成部１０４とが備えられている。
【００５９】
取得経路設定部１１２は、ユーザー画像の取得経路の種別を設定するモジュールであり、衣装シミュレーションプログラムに対し、手動又は自動で設定されることで、画像を合成する際の基準画像を、ユーザー画像とするか、サンプル画像とするかが決定される。ここで、本実施形態において、コンピューターを店舗側装置１０ａとして使用する場合には、取得経路を周辺接続機器経路と設定し、コンピューターをＷｅｂ上のサーバー装置１０ｂとして使用する場合には、取得経路をＷｅｂ経路と設定する。なお、この取得経路設定部１１２における取得経路の種別の設定は、例えば、衣装シミュレーションプログラムをインストールする際に、ユーザーに選択を要求したり、インストール後にユーザーによる任意の選択操作にて手動で設定されるようにしてもよく、又は、インストール対象となった情報処理装置１０の機能（ＯＳやドライバ、ファームウェアの種類、外部デバイスやプラグインの有無など）を自動的に検出して、その検出された機能に応じて自動的に設定するようにしてもよい。
【００６０】
基準色抽出部１１３は、取得経路設定部１１２での設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出するモジュールである。本実施形態において、基準色抽出部１１３は、取得経路設定部１１２での設定が周辺接続機器経路と設定されている場合には、ユーザー画像を基準画像とし、そのユーザー画像の肌色を基準色としたり、肌色測定センサー４によって測定された肌色データを基準色として抽出する。一方、基準色抽出部１１３は、取得経路設定部１１２での設定がＷｅｂ経路と設定されている場合には、サンプル画像を基準画像として抽出し、サンプル画像の肌色を基準色として抽出する。
【００６１】
画像合成部１１４は、基準画像として選択されなかった画像を加工画像とし、基準色に基づいて、加工画像を加工するとともに、加工した加工画像を基準画像へ合成し、合成画像を生成するモジュールである。具体的に、画像を合成する処理においては、図４に示すように、ユーザー画像の顔部分Ｙ１を、顔認識技術を用いて、目、鼻、口、及び輪郭を解析し、目、鼻、口を含む顔の中心部分Ｐを決定する。そして、合成するサンプル画像の顔部分Ｓ１に応じて、ユーザー画像Ｙを拡大・縮小したり、ユーザー画像Ｙの傾きを補正して、合成する顔部分Ｙ１を切り出す。そして、サンプル画像の顔部分Ｓ１に、切り出したユーザー画像の顔部分Ｙ１を嵌め込む。
【００６２】
さらに、画像合成部１１４は、画像の色を補正する処理を実行する。本実施形態において、合成画像の色補正は、基準画像がユーザー画像か、サンプル画像かを判断し、基準画像として選択されなかった画像を加工画像とし、基準色に基づいて、加工画像を加工する。具体的に、画像合成部１１４は、例えば、基準画像がユーザー画像であった場合には、図５（ａ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともにサンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３とをユーザー画像の顔部分Ｙ１の肌色に補正する。
【００６３】
一方、基準画像がサンプル画像で合った場合には、図５（ｂ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともに、ユーザー画像の顔部分Ｙ１をサンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３の肌の色に補正する。なお、本実施形態においては、基準画像と加工画像とを合成した後に色の補正を処理したが、本発明は、これに限定するものではなく、加工画像の色を補正した後に基準画像と加工画像とを合成する構成であってもよい。
【００６４】
画像加工部１１６は、合成画像を加工するモジュールであり、ユーザーに関する情報に基づく合成画像を加工する機能を有している。具体的には、図６（ａ）に示すように、体型等に関する情報の各項目２４３が表示されたパラメータ画面２４０が表示され、ユーザーが各項目２４３のスライダ２４１を調整するか、入力値欄２４２に数値を入力することで、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行い、図６（ｂ）に示すように、全体画面２１０に表示されたユーザーの全体姿２１１が変更されるようになっている。
【００６５】
また、画像加工部１１６は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能を有している。具体的には、図７に示すように、ウィンドウ２００に表示されたパーツ画面２２０において、髪型、ドレス、アクセサリー等のアイコン画像２２１が表示され、このアイコン画像２２１のいずれかが選択されることで、全体画面２１０部分に表示されたユーザーの全体姿２１１に、ドレスやアクセサリーのアイコン画像２２１が追加して合成されるようになっている。なお、この際、画像加工部１１６は、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成する機能を有している。すなわち、例えば、ユーザーに関する情報を変更し、ユーザーの全体姿のサイズ等が変更された場合には、付加画像であるドレス画像や、アクセサリー画像についても、同比率で変更されて合成されるようになっている。
【００６６】
さらに、画像加工部１１６は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能を有している。具体的に、このメイクアップ加工は、図８に示すように、ウィンドウ２００にメイクアップ加工処理画面２５０と、顔部分の拡大画面２６０が表示され、メイクアップ加工処理画面２５０に表示された各スライダ２５１を変更させたり、つけまつげなどのアイコン画像２５２を選択することで、顔部分の拡大画面２６０の肌色をＲＧＢにより補正させたり、アイコン画像を追加させたりする。
【００６７】
この際、画像加工部１１６は、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するパラメータを設定する。なお、このメイクアップされたメイクデータは、記憶部１２０に保存することができる。
【００６８】
出力信号生成部１０４は、ユーザー画像取得部１１１で取得されたユーザー画像や、アプリケーション実行部１１０によって実行された画像合成処理や、加工処理の実行結果を映像信号及び音声信号に変換し、表示部２ａ，２ｂやスピーカーで出力可能な信号に生成するモジュールである。なお、本実施形態では、サンプル画像とユーザー画像との合成画像のみを表示させるものではなく、合成写真と式場の写真を合成し、挙式風景画像を生成し、表示させることもでき、挙式トータルでの雰囲気を再現させることができる。
【００６９】
（衣装シミュレーションプログラム）
本実施形態係る衣装シミュレーションシステム及び衣装シミュレーション方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバ等のコンピュータやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
【００７０】
そして、このようなプログラムは、汎用コンピュータで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。本実施形態は書き込み不可のＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ中にあるコンテンツに対してリンクを設けることができる特徴を有する。
【００７１】
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【００７２】
このような発明によれば、衣装シミュレーションプログラムを使用することで、特別な処理装置を必要とせず、種々の情報処理装置を上述した衣装シミュレーション装置とし、衣装シミュレーション方法を様々な情報処理装置において実現することができる。
【００７３】
（衣装シミュレーション方法）
以上の構成を有する衣装シミュレーションシステム又は衣装シミュレーションプログラムを動作させることによって、本発明の衣装シミュレーション方法を実施することができる。図９は、本実施形態に係る衣装シミュレーションシステムの動作を示すフローチャート図であり、図１０は、本実施形態に係るウィンドウに表示された画像合成画面を示す説明図である。
【００７４】
先ず、ユーザー画像の取得経路の種別を設定する（Ｓ１０１）。本実施形態においては、店舗側装置１０ａに衣装シミュレーションプログラムをインストールした場合には、設定を周辺接続機器経路と設定し、サーバー装置１０ｂに衣装シミュレーションプログラムをインストールした場合には、設定をＷｅｂ経路と設定する。次いで、ユーザーをカメラ３ａ、３ｂによって撮影し、そのユーザー画像データを、入力インターフェース１０１ａ、又は通信インターフェース１０２を介して、店舗側装置１０ａ、又はサーバー装置１０ｂに送信する。
【００７５】
店舗側装置１０ａ、又はサーバー装置１０ｂは、ユーザーを撮影したユーザー画像を取得するとともに（Ｓ１０２）、サンプルとなる人物のサンプル画像を取得する（Ｓ１０３）。この際、サンプル画像取得部１１５は、取得したユーザー画像における顔の輪郭部分を、顔認識技術を用いて解析して、ユーザーの顔の形状が、丸顔か、面長顔か、四角顔等のカテゴリーにいずれかに属するかを決定する。さらに、サンプル画像取得部１１５は、ユーザー画像の肌色についても解析し、決定された顔の形状のカテゴリー内から、ユーザー画像の肌色に近似する肌色を有するサンプル画像を決定する。そして、その決定されたカテゴリーに属する顔の形のサンプル画像をサンプル画像蓄積部１２０ａから抽出し、図１０に示すように、ユーザーの顔の形と、肌色の種類に近似するサンプル画像を表示する。
【００７６】
さらに、店舗側装置１０ａ、又はサーバー装置１０ｂは、種別設定に従って、ユーザー画像又はサンプル画像のいずれかを基準画像として選択し（Ｓ１０４）、選択された基準画像から基準色を抽出する（Ｓ１０５）。具体的には、店舗側装置１０ａでは、取得経路設定部１１２での設定が周辺接続機器経路と設定されており、基準色抽出部１１３は、ユーザー画像を基準画像とし、そのユーザー画像の肌色を基準色として抽出したり、肌色測定センサー４によって測定された肌色データを基準色として抽出する。一方、サーバー装置１０ｂでは、取得経路設定部１１２での設定がＷｅｂ経路と設定されており、基準色抽出部１１３は、サンプル画像を基準画像として抽出し、サンプル画像の肌色を基準色として抽出する。
【００７７】
そして、図１０に示すように、ウィンドウ２００に表示された顔合成画面２３０において、サンプル画像２３１と、ユーザー画像２３２とが表示され、ユーザーによって、ＭＩＸボタン２３５がクリックされると、画像合成部１１４は、基準画像として選択されなかった画像を被加工画像とし、基準色に基づいて、被加工画像を加工するとともに、加工した被加工画像を基準画像へ合成し、合成画像を生成する（Ｓ１０６）。
【００７８】
詳述すると、先ず、画像合成部１１４は、ユーザー画像の顔部分Ｙ１を顔認識技術及び特徴点抽出技術を用いて解析し、図４に示すように、目、鼻、口を含む顔の中心部分Ｐを決定する。そして、合成するサンプル画像の顔の大きさに応じて、ユーザー画像を拡大・縮小したり、ユーザー画像Ｙの傾きを補正して、合成する顔部分Ｙ１を切り出す。そして、サンプル画像の顔部分Ｓ１に、切り出したユーザー画像の顔部分Ｙ１を嵌め込む。
【００７９】
次ぎに、画像の色を補正する。画像合成部１１４は、先ず、基準色抽出部１１３によって選択された基準画像を判別し、その基準画像の肌部分の色を決定する。そして、画像合成部１１４は、加工画像を基準画像の肌色に補正する。具体的に、基準画像がユーザー画像であった場合には、図５（ａ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともに、サンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３とをユーザー画像の顔部分Ｙ１の肌色に補正する。
【００８０】
一方、基準画像がサンプル画像で合った場合には、図５（ｂ）に示すように、サンプル画像の顔部分Ｓ１にユーザー画像の顔部分Ｙ１を合成するとともに、ユーザー画像の顔部分Ｙ１をサンプル画像の顔の周辺部分Ｓ２と、上半身部分Ｓ３の肌の色に補正する。そして、図１０に示したウィンドウ２００の「この画像を使用する」ボタンをクリックすることで、全体画面２１０にユーザーの顔が表示された全体姿２１１が表示させる。
【００８１】
さらに、ユーザーは、ユーザーに関する情報に基づいて、合成画像を加工する（Ｓ１０７）。本実施形態における合成画像の加工は、図９（ｂ）に示すように、先ず、合成写真に対して、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行う（Ｓ２０１）。具体的には、図６（ａ）に示すように、ユーザーがウィンドウ２００に表示されたパラメータ画面２４０の各項目２４３のスライダ２４１を調整したり、入力値欄２４２に数値を入力する。そして、画像加工部１１６は、その調整又は数値入力に応じて、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行い、図６（ｂ）に示すように、全体画面２１０に表示されたユーザーの全体姿２１１を変更する。
【００８２】
次いで、画像加工部１１６は、合成画像に対して、部分的な画像を付加画像として追加して合成する（Ｓ２０２）。具体的には、図７に示すように、パーツ画面２２０に表示されたアイコン画像２２１をユーザーが選択すると、全体画面２１０部分に表示されたユーザーの全体姿２１１に、アイコン画像２２１が追加して合成され、表示される。この際、画像加工部１１６は、変形処理に用いたパラメータに応じて、付加画像についても同比率で変形し、付加画像を合成画像に合成し、表示する。
【００８３】
また、ユーザーは、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を実行する（Ｓ２０３）。この際、画像加工部１１６は、図１０に示すように、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するメイクアップ加工処理画面２５０のパラメータを設定する。
【００８４】
なお、本実施形態においては、衣装シミュレーションシステム、衣装シミュレーション方法、及び衣装シミュレーションプログラムを用いて、ウェディングドレスの衣装を画面上において仮想的に試着させたが、本発明はこれに限定されるものではなく、衣装の画像と人物及び動物等の画像とを合成して画面上に仮想的に試着させることができればよく、例えば、七五三用の衣装、成人式用の衣装、キャラクタ衣装、及びペット衣装等の様々な衣装を用いてもよい。
【００８５】
（作用・効果）
このような本実施形態によれば、ユーザー画像又はサンプル画像のいずれか一方の画像を基準画像として選択し、選択されなかった画像を基準画像の基準色に基づいて加工し、これらのユーザー画像とサンプル画像とを合成するので、合成された画像は、例えば、肌の色が統一され、違和感のない合成画像を生成することができる。
【００８６】
特に、本実施形態では、この基準画像の選択は、ユーザー画像Ｙの取得経路に応じて決定することができるので、例えば、ユーザーのパーソナルコンピュータからインターネットを通じてアップロードされた画像である場合には、基準画像をサンプル画像Ｓとして合成画像を生成することで、撮影条件が不良なユーザー画像Ｙであっても、合成されたウェディング姿の画像を良好な画像にすることができ、ユーザーに対して、サービスを提供する会社のウェディングドレスに対する興味を促すことができる。
【００８７】
一方、店舗内において、撮影機器から転送され、ＵＳＢ等の周辺機器接続ケーブルを通じて取得された画像である場合には、基準画像をユーザー画像Ｙとして合成画像を生成することで、自己の肌の色に合わせて合成画像を生成することができ、実際に着用した際の雰囲気を表現させることができる。
【００８８】
本実施形態において、画像加工部１１６は、合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能をさらに備え、画像のサイズ、縦横比、形状のいずれかを含む変形処理を合成画像に対して行うとともに、変形処理に用いたパラメータに応じて、付加画像を変形して、付加画像を合成画像に合成するので、挙式時に使用されるネックレス、ティアラ、グローブなどの小物のアイコン画像２２１を全体画面２１０の全体姿２１１に追加するので、様々なウェディングドレス姿をシミュレートすることができる。特に、本実施形態では、付加画像を追加する際、画像のサイズ、縦横比、形状のいずれかを含む変形処理を行うことができるので、自己の体型に応じたウェディングドレス姿を表示させることができる、実際に試着したような画像を生成することができる。
【００８９】
また、本実施形態において、画像加工部１１６は、合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能を備えているので、自己の顔を合成したウェディングドレス姿の顔部分にメイクアップすることができ、さらに、実際にウェディングドレスを着た際の雰囲気を提供することができる。特に、本実施形態において、メイクアップ加工機能は、取得経路の種別、基準色に関する情報、及び被加工画像に対する加工に関する情報に基づいて、色変更処理に関するパラメータを設定するので、合成画像が、サンプル画像Ｓ、又はユーザー画像Ｙのいずれかの基準色とした場合であっても、その肌の色に合わせたメイクアップ加工が可能なパラメータを設定することができ、スタンドアローン型の使用や、Ｗｅｂ上での使用によって異なる肌の色に追従して、メイクアップ加工を可能にすることができる。
【符号の説明】
【００９０】
Ｐ…中心部分
Ｓ…サンプル画像
Ｓ１…サンプル画像の顔部分
Ｓ２…サンプル画像の顔の周辺部分
Ｓ３…サンプル画像の上半身部分
Ｙ…ユーザー画像
Ｙ１…ユーザー画像の顔部分
２（２ａ，２ｂ）…表示部
３（３ａ，３ｂ）…カメラ
４…肌色測定センサー
５…通信ネットワーク
６…ユーザー端末
７（７ａ，７ｂ）…ユーザー
９…店舗
１０…情報処理装置
１０ａ…店舗側装置
１０ｂ…サーバー装置
４１…先端部
６１ａ…入力インターフェース
６１ｂ…出力インターフェース
６２…通信インターフェース
６３…ブラウザ部
１０１…入出力インターフェース
１０１ａ…入力インターフェース
１０２…通信インターフェース
１０３…操作信号取得部
１０４…出力信号生成部
１１０…アプリケーション実行部
１１１…ユーザー画像取得部
１１２…取得経路設定部
１１３…基準色抽出部
１１４…画像合成部
１１５…サンプル画像取得部
１１６…画像加工部
１２０…記憶部
１２０ａ…サンプル画像蓄積部
２００…ウィンドウ
２１０…全体画面
２１０…合成写真
２１１…全体姿
２２０…パーツ画面
２２１…アイコン画像
２３０…顔合成画面
２３１…サンプル画像
２３２…ユーザー画像
２３５…ＭＩＸボタン
２４０…パラメータ画面
２４１…スライダ
２４２…入力値欄
２４３…項目
２５０…メイクアップ加工処理画面
２５１…スライダ
２５２…アイコン画像
２６０…顔部分の拡大画面
【特許請求の範囲】
【請求項１】
ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションシステムであって、
ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、
サンプルとなる人物のサンプル画像を複数蓄積するサンプル画像蓄積部と、
前記サンプル画像蓄積部から、任意のサンプルの画像を取得するサンプル画像取得部と、
前記ユーザー画像の取得経路の種別を設定する取得経路設定部と、
前記取得経路設定部における設定に従って、前記ユーザー画像又は前記サンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出部と、
前記基準画像として選択されなかった画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工するとともに、加工した被加工画像を前記基準画像へ合成し、合成画像を生成する画像合成部と、
前記ユーザーに関する情報に基づいて、前記合成画像を加工する画像加工部と
を有することを特徴とする衣装シミュレーションシステム。
【請求項２】
前記画像加工部は、前記合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能をさらに備え、
画像のサイズ、縦横比、形状のいずれかを含む変形処理を前記合成画像に対して行うとともに、前記変形処理に用いたパラメータに応じて、前記付加画像を変形して、前記付加画像を前記合成画像に合成する
ことを特徴とする請求項１に記載の衣装シミュレーションシステム。
【請求項３】
前記画像加工部は、前記合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能をさらに備え、
前記取得経路の種別、前記基準色に関する情報、及び前記被加工画像に対する加工に関する情報に基づいて、前記色変更処理に関するパラメータを設定する
ことを特徴とする請求項１に記載の衣装シミュレーションシステム。
【請求項４】
ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーション方法であって、
ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
前記ユーザー画像の取得経路の種別を設定し、この設定に従って、前記ユーザー画像又は前記サンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
前記基準画像として選択されなかった画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工するとともに、加工した被加工画像を前記基準画像へ合成し、合成画像を生成する画像合成ステップと、
前記ユーザーに関する情報に基づいて、前記合成画像を加工する画像加工ステップと
を有することを特徴とする衣装シミュレーション方法。
【請求項５】
前記画像加工ステップでは、
前記合成画像に対して、さらに部分的な画像を付加画像として追加して合成し、
画像のサイズ、縦横比、形状のいずれかを含む変形処理を前記合成画像に対して行うとともに、前記変形処理に用いたパラメータに応じて、前記付加画像を変形して、前記付加画像を前記合成画像に合成する
ことを特徴とする請求項４に記載の衣装シミュレーション方法。
【請求項６】
前記画像加工ステップでは、
前記合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施し、
前記取得経路の種別、前記基準色に関する情報、及び前記被加工画像に対する加工に関する情報に基づいて、前記色変更処理に関するパラメータを設定する
ことを特徴とする請求項４に記載の衣装シミュレーション方法。
【請求項７】
ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションプログラムであって、コンピューターに、
ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
前記ユーザー画像の取得経路の種別を設定し、この設定に従って、前記ユーザー画像又は前記サンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
前記基準画像として選択されなかった画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工するとともに、加工した被加工画像を前記基準画像へ合成し、合成画像を生成する画像合成ステップと、
前記ユーザーに関する情報に基づいて、前記合成画像を加工する画像加工ステップと
を有する処理を実行させることを特徴とする衣装シミュレーションプログラム。
【請求項８】
前記画像加工ステップでは、
前記合成画像に対して、さらに部分的な画像を付加画像として追加して合成し、
画像のサイズ、縦横比、形状のいずれかを含む変形処理を前記合成画像に対して行うとともに、前記変形処理に用いたパラメータに応じて、前記付加画像を変形して、前記付加画像を前記合成画像に合成する
ことを特徴とする請求項７に記載の衣装シミュレーションプログラム。
【請求項９】
前記画像加工ステップでは、
前記合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施し、
前記取得経路の種別、前記基準色に関する情報、及び前記被加工画像に対する加工に関する情報に基づいて、前記色変更処理に関するパラメータを設定する
ことを特徴とする請求項７に記載の衣装シミュレーションプログラム。
【請求項１】
ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションシステムであって、
ユーザーを撮影したユーザー画像を取得するユーザー画像取得部と、
サンプルとなる人物のサンプル画像を複数蓄積するサンプル画像蓄積部と、
前記サンプル画像蓄積部から、任意のサンプルの画像を取得するサンプル画像取得部と、
前記ユーザー画像の取得経路の種別を設定する取得経路設定部と、
前記取得経路設定部における設定に従って、前記ユーザー画像又は前記サンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出部と、
前記基準画像として選択されなかった画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工するとともに、加工した被加工画像を前記基準画像へ合成し、合成画像を生成する画像合成部と、
前記ユーザーに関する情報に基づいて、前記合成画像を加工する画像加工部と
を有することを特徴とする衣装シミュレーションシステム。
【請求項２】
前記画像加工部は、前記合成画像に対して、さらに部分的な画像を付加画像として追加して合成する機能をさらに備え、
画像のサイズ、縦横比、形状のいずれかを含む変形処理を前記合成画像に対して行うとともに、前記変形処理に用いたパラメータに応じて、前記付加画像を変形して、前記付加画像を前記合成画像に合成する
ことを特徴とする請求項１に記載の衣装シミュレーションシステム。
【請求項３】
前記画像加工部は、前記合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施す機能をさらに備え、
前記取得経路の種別、前記基準色に関する情報、及び前記被加工画像に対する加工に関する情報に基づいて、前記色変更処理に関するパラメータを設定する
ことを特徴とする請求項１に記載の衣装シミュレーションシステム。
【請求項４】
ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーション方法であって、
ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
前記ユーザー画像の取得経路の種別を設定し、この設定に従って、前記ユーザー画像又は前記サンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
前記基準画像として選択されなかった画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工するとともに、加工した被加工画像を前記基準画像へ合成し、合成画像を生成する画像合成ステップと、
前記ユーザーに関する情報に基づいて、前記合成画像を加工する画像加工ステップと
を有することを特徴とする衣装シミュレーション方法。
【請求項５】
前記画像加工ステップでは、
前記合成画像に対して、さらに部分的な画像を付加画像として追加して合成し、
画像のサイズ、縦横比、形状のいずれかを含む変形処理を前記合成画像に対して行うとともに、前記変形処理に用いたパラメータに応じて、前記付加画像を変形して、前記付加画像を前記合成画像に合成する
ことを特徴とする請求項４に記載の衣装シミュレーション方法。
【請求項６】
前記画像加工ステップでは、
前記合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施し、
前記取得経路の種別、前記基準色に関する情報、及び前記被加工画像に対する加工に関する情報に基づいて、前記色変更処理に関するパラメータを設定する
ことを特徴とする請求項４に記載の衣装シミュレーション方法。
【請求項７】
ユーザーに対して、衣装を画面上で仮想的に試着させる衣装シミュレーションプログラムであって、コンピューターに、
ユーザーを撮影したユーザー画像を取得するとともに、サンプルとなる人物のサンプル画像を取得する画像取得ステップと、
前記ユーザー画像の取得経路の種別を設定し、この設定に従って、前記ユーザー画像又は前記サンプル画像のいずれかを基準画像として選択し、選択された基準画像から基準色を抽出する基準色抽出ステップと、
前記基準画像として選択されなかった画像を被加工画像とし、前記基準色に基づいて、該被加工画像を加工するとともに、加工した被加工画像を前記基準画像へ合成し、合成画像を生成する画像合成ステップと、
前記ユーザーに関する情報に基づいて、前記合成画像を加工する画像加工ステップと
を有する処理を実行させることを特徴とする衣装シミュレーションプログラム。
【請求項８】
前記画像加工ステップでは、
前記合成画像に対して、さらに部分的な画像を付加画像として追加して合成し、
画像のサイズ、縦横比、形状のいずれかを含む変形処理を前記合成画像に対して行うとともに、前記変形処理に用いたパラメータに応じて、前記付加画像を変形して、前記付加画像を前記合成画像に合成する
ことを特徴とする請求項７に記載の衣装シミュレーションプログラム。
【請求項９】
前記画像加工ステップでは、
前記合成画像の一部に着色、色調変更、明度変更、又は画像合成のいずれかの色変更処理を含むメイクアップ加工を施し、
前記取得経路の種別、前記基準色に関する情報、及び前記被加工画像に対する加工に関する情報に基づいて、前記色変更処理に関するパラメータを設定する
ことを特徴とする請求項７に記載の衣装シミュレーションプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−９４０４８（Ｐ２０１２−９４０４８Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４２２３７（Ｐ２０１０−２４２２３７）
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＬＡＳＨ
２．ＪａｖａＳｃｒｉｐｔ
【出願人】（５９８１６７８９９）株式会社フジミック (7)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＬＡＳＨ
２．ＪａｖａＳｃｒｉｐｔ
【出願人】（５９８１６７８９９）株式会社フジミック (7)
【Ｆターム（参考）】
[ Back to top ]