ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
【課題】顔画像に対して使用者が所望する化粧を簡易にシミュレーションする。
【解決手段】取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置であって、予め複数の化粧情報を蓄積する蓄積手段と、前記顔画像を取得する撮像手段と、前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段と、前記化粧顔生成手段により得られる前記化粧後画像を表示する表示手段とを有する。
【解決手段】取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置であって、予め複数の化粧情報を蓄積する蓄積手段と、前記顔画像を取得する撮像手段と、前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段と、前記化粧顔生成手段により得られる前記化粧後画像を表示する表示手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体に係り、特に顔画像に対して使用者が所望する化粧を簡易にシミュレーションするためのゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、シミュレーション技術の一つとして、使用者の顔を撮影し、撮影した画像から使用者の好みの化粧を画像を合成して行うシミュレーション技術が知られている。
【０００３】
また、自分の顔に化粧を施す場合、一般では各種雑誌媒体等で化粧方法等の情報が提示されているため、それを参考にして自分が所望する化粧方法を選択している。しかしながら、実際には、自分の顔がどのようなタイプであるのかを主観的ではなく客観的に分析した上で、その人に一番合った化粧情報を単に提示するだけではなく、その化粧を施すことによって、どのような顔になるのかを画像として表示する装置が求められており、その対応として、例えば、「（１）撮像した顔画像から、顔の各部位を抽出する。」、「（２）タイプ毎に分ける。」、「（３）タイプ毎に予め設定したメイクを検出した部位に併せてモーフィングさせて貼り付ける。」といったような方法をそれぞれ実施する装置が存在する（例えば、特許文献１，２参照。）
【特許文献１】特開２００１−１４８０１８号公報
【特許文献２】特開２０００−３５４５１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に示されている手法では、カメラから顔画像を撮像し、顔の形状のタイプの分類作業を行い、顔形に基づいたアドバイスを行うものであるが、あくまで化粧のアドバイスが表示されるのみであり、そのアドバイスに従った結果、自分の顔がどのように変化するのかまでは確認できず、アドバイスを知るのみであった。
【０００５】
また、上述した特許文献２に示されている手法は、所定の印象を有する顔の形状を画像形成し、その顔の形状に現実の人の顔のテクスチャを貼り付けるものであるが、使用者がこの方法を実施するためには、その方法を実施可能な程度の装置を所有するか、設置されている場所に行くしかなかった。つまり、このような装置は一般的には高価であるため所有は困難であり、多くの使用者がこのような装置を使用したい場合には、その装置がおいてある専門の場所、例えば百貨店の化粧品コーナーや美容院、カウンター等に出かけなければ実施することができなかった。したがって、そのような装置が置いてあるような専門の場所に行くことは、使用者にとってわざわざ出かけなければならないという面倒さに加えて、その装置を使わせてもらう代わりに何らかの製品を購入しなければならないのではないかという予想がされるため、実際に使用される機会は少なかった。
【０００６】
このような事態は、使用者にとっては自分の顔立ちに似合う化粧方法がどのようなものであるかを確認することができず、客観的なデータに基づいた自分の顔に似合った化粧方法を知らないままに化粧を施すことになり、また化粧品を開発する開発会社にとっても、使用者にとって客観的なデータに基づいた似合う化粧方法を提供することができず、不本意な結果となっていた。
【０００７】
また、化粧は、女性にとって日常的に行われる行為であるが、従来技術に示すような専門的な装置を用いた場合、日常的に化粧方法を確認することができなかったため、使用者にとっては、客観的なデータに基づいて提供される使用者自身に一番ふさわしい化粧方法を気軽に確認することができるプログラムが求められていた。
【０００８】
なお、店頭の化粧品コーナー等にある予め設置された専用の化粧シミュレーション装置を、広く一般に流通している携帯用ゲーム装置を利用して化粧シミュレーションを行うような場合には、撮像した画像をシミュレーションすることが可能な画像処理専用のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有していないため、例えばそのディスプレイの解像度（約１９２×２５６ピクセル）や、ドットピッチ（約０．２４ｍｍ）、約２６万色表示程度であるとの性能上の制限があることが多く、またそのような装置に対して用いる撮像装置の性能自体はそれほど高くないため、顔分析の精度が劣化してしまい、正確な分析を行うことができなかった。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、顔画像に対して使用者が所望する化粧を簡易にシミュレーションするためのゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置であって、予め複数の化粧情報を蓄積する蓄積手段と、前記顔画像を取得する撮像手段と、前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段と、前記化粧顔生成手段により得られる前記化粧後画像を表示する表示手段とを有することを特徴とする。
【００１２】
請求項１記載の発明によれば、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００１３】
請求項２に記載された発明は、前記顔画像抽出手段は、前記顔画像における予め設定された少なくとも１以上の部位のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段により得られる画像からマスク画像を用いて前記部位を抽出するマスク抽出手段とを有することを特徴とする。
【００１４】
請求項２記載の発明によれば、顔の各部位を高精度に抽出することができる。したがって、高精細ではないカメラを用いて撮影しても顔の各部位を抽出することができる。
【００１５】
請求項３に記載された発明は、前記顔画像抽出手段は、前記マスク抽出手段により抽出された前記部位の領域を予め設定された複数の点により位置付け、位置付けられた点の少なくとも１つを前記表示手段に表示し、操作入力手段を用いて少なくとも１つの点を移動させて各部位の位置を調整する調整手段を有することを特徴とする。
【００１６】
請求項３記載の発明によれば、高精度に顔の各部位を抽出することができる。また、顔画像に対応させて顔画像の好きな位置に意図的に化粧を施すことができ、娯楽性を向上させることができる。
【００１７】
請求項４に記載された発明は、前記顔画像抽出手段により抽出された顔特徴情報から予め設定された複数の顔分類のうち、何れかの分類に位置付ける分類手段を有し、前記化粧顔生成手段は、前記分類手段により得られる顔分類毎に設定された顔特徴情報に応じて、予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成することを特徴とする。
【００１８】
請求項４記載の発明によれば、顔画像を顔特徴情報に対応させて分類させ、その結果に基づいた化粧顔を確認することができる。
【００１９】
請求項５に記載された発明は、前記顔画像抽出手段により得られる各部位の位置とサイズからなる顔特徴情報に合わせて、前記化粧顔情報に含まれる化粧する位置情報を修正し、修正した位置情報を蓄積手段に蓄積させるよう制御する制御手段を有することを特徴とする。
【００２０】
請求項５記載の発明によれば、設定した情報を継続して使用することができるため、使用性を向上させることができる。
【００２１】
請求項６に記載された発明は、前記化粧顔生成手段は、表示される前記化粧後画像の他に、表示された化粧に応じたアドバイスを生成するアドバイス提示手段を備えていることを特徴とする。
【００２２】
請求項６記載の発明によれば、化粧後画像に対応させて実際の顔に化粧を施すことができる。
【００２３】
請求項７に記載された発明は、前記顔画像に適した課題を提供し、前記課題に対応して前記使用者が顔画像に入力した情報から、課題の達成度を判定する判定手段と、前記判定手段により判定された課題の達成度の判定結果を前記表示手段に表示する判定表示制御手段とを有することを特徴とする。
【００２４】
請求項７記載の発明によれば、化粧に対する課題に対応することで、化粧の知識を高めることができ、娯楽性を向上させることができる。
【００２５】
請求項８に記載された発明は、取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置の制御方法であって、予め複数の化粧情報を蓄積する蓄積工程と、前記顔画像を取得する撮像工程と、前記撮像工程により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出工程と、前記顔画像抽出工程により抽出された前記顔特徴情報に応じて、前記蓄積工程により予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出工程により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成工程と、前記化粧顔生成工程により得られる前記化粧後画像を表示する表示手段とを有することを特徴とする。
【００２６】
請求項８記載の発明によれば、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００２７】
請求項９に記載された発明は、取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示手段に表示させるゲームのプログラムを実行可能なゲーム装置を構成するコンピュータを、予め複数の化粧情報を蓄積する蓄積手段、前記顔画像を取得する撮像手段、前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段、及び、前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段、として機能させる。
【００２８】
請求項９記載の発明によれば、ゲーム制御プログラムにより、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００２９】
請求項１０に記載された発明は、請求項９に記載のゲーム制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３０】
請求項１０記載の発明によれば、記録媒体を用いて、ゲーム制御プログラムを容易にインストールすることができる。
【発明の効果】
【００３１】
本発明によれば、ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体にあっては、使用者へのメイクを簡易にシミュレーションすることができる。
【発明を実施するための最良の形態】
【００３２】
＜本発明の概要＞
本発明は、例えば、百貨店等の化粧品コーナーのカウンター等に設置されているような専門的な装置を用いることなく、広く一般に流通している撮像手段によって取得した画像の処理を行う専用の画像処理手段を有していない携帯可能な端末（ゲーム装置等）を用いて気軽に自分の顔を分析し、その結果に基づいて化粧顔を確認することができるゲームソフトコンテンツを提供する。
【００３３】
具体的には、顔画像を撮像し、撮像した顔画像を分析し、その分析結果からその人にあった化粧顔を選択し、その選択された化粧顔をその人の顔に所望する形態に補正した上で表示させることで、客観的な情報に基づいて、その人に一番似合う化粧顔等を提示する。
【００３４】
以下に、本発明におけるゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体を好適に実施した形態について、図面を用いて説明する。
【００３５】
＜シミュレーションゲーム装置：概略構成例＞
図１は、本発明の第１の実施形態を示すゲーム機の斜視図である。図１において、一例として示すゲーム機（ゲーム装置）１０は、液晶表示器で構成された略長方形形状の第１の表示画面１２と第２の表示画面１４を備え、ハウジング１６内に画像処理装置を収納している。なお、第１の表示画面１２と第２の表示画面１４は、図１に示すように横長の状態のまま使用することもでき、また縦長に立てて使用することもできる。
【００３６】
ゲーム画面を表示するための第１の表示画面１２は、上側ハウジング１６ａに支持され、同様にゲーム画面を表示するための第２の表示画面１４は、下側ハウジング１６ｂに支持され、上側ハウジング１６ａと下側ハウジング１６ｂは、ヒンジを介して回動自在に連結されている。第１の表示画面１２及び第２の表示画面１４に表示される画面は、動画像或いは静止画に限定されず、第１の表示画面１２に動画像が表示されているときに、第２の表示画面１４に第１の表示画面１２に表示されている画像をキャプチャした画像を静止画として表示することも可能であり、また逆に表示することも可能である。表示される画像は、表示手段によってポリゴン等で構成される仮想空間の画像を表示することも、後述するカメラによって撮像された現実空間の画像を表示することも可能である。
【００３７】
また、上側ハウジング１６ａの左端側には、スピーカの音抜き孔１８が形成されており、下側ハウジング１６ｂには操作スイッチ２０として、方向指示スイッチ（十字スイッチ）２０ａ、スタートスイッチ２０ｂ、セレクトスイッチ２０ｃ、動作スイッチ（Ａボタン）２０ｄ、動作スイッチ（Ｂボタン）２０ｅ、動作スイッチ２０ｆ、動作スイッチ２０ｇ、動作スイッチ（左押しボタン）２０Ｌ、動作スイッチ（右押しボタン）２０Ｒが配置されている。
【００３８】
ここで、方向指示スイッチ２０ａは、ディジタルジョイスティックとして機能し、操作部の１つを操作することによって、使用者（プレイヤ）によって操作可能なカーソルの移動方向を指示したり、所望する化粧シミュレーションを実現するための項目の選択を指示したり、ソフトウェアが提示するオブジェクトの移動方向を指示したり、カーソルの移動方向を指示したりすることができる。ボタンの形状は、４方向に入力しやすい形状となっているが、斜めに入力することも可能である。また、スタートスイッチ２０ｂは、プッシュボタンで構成され、ゲーム（シミュレーション等）を開始（再開）したり、一時停止したりするために用いられる。また、セレクトスイッチ２０ｃは、プッシュボタンで構成され、ゲームモードの選択等に用いられる。
【００３９】
また、動作スイッチ２０ｄは、Ａボタンとして、プッシュボタンで構成され、方向指示以外の動作、例えば、使用者が選択した項目の決定、シミュレーションの実行等の任意の動作をさせることができる。また、動作スイッチ２０ｅは、Ｂボタンとして、プッシュボタンで構成され、セレクトスイッチ２０ｃで選択したゲームモードの変更やＡボタン２０ｄで決定したアクションの取り消し等に用いられる。
【００４０】
更に、動作スイッチ（左押しボタン）２０Ｌと動作スイッチ（右押しボタン）２０Ｒは、プッシュボタンで構成され、各動作スイッチ２０Ｌと２０Ｒは、Ａボタン２０ｄとＢボタン２０ｅの補助的な操作に用いることができる。
【００４１】
これらのスイッチは、上記に説明した役割を別のスイッチに持たせることも可能であり、また上記に説明した役割とは異なった役割を持たせることも可能であり、これらの設定はゲームの内容によって、適宜変更が可能である。
【００４２】
第２の表示画面１４上には、操作入力手段としてタッチパネル２２が装着されている。このタッチパネル２２としては、例えば、抵抗膜方式、光学式（赤外線方式）及び静電容量結合式、超音波式、電磁誘導式の何れかのものを用いることができる。このタッチパネル２２は、その上面に対して、スティック又はスタイラスペン（ペン）２４或いは指で押圧したり、触れたりする操作を行うと、スティック２４等の座標位置を検出して、座標位置データとして出力するようになっている。また、スティック２４は、下側ハウジング１６ｂの収納部２６に収納することができ、必要に応じて収納部２６から取り出される。
【００４３】
また、図１に示すようにゲーム機１０には、使用者（プレイヤ）等の化粧シミュレーションを行う対象者の顔等を撮影するための撮像手段（レンズ付きカメラ）２８が上側ハウジング１６ａと、後述するゲーム機１０に内蔵されるコネクタにより接続される。
【００４４】
なお、図１に示すように、ゲーム機１０に内蔵されるコネクタには、記録媒体であるメモリカード（又はゲームカード）３０が着脱自在に装着されるようになっている。メモリカード３０は、例えば、下側ハウジング１６ｂ背面側に形成された挿入口３２から挿入されて、コネクタに装着されるようになっている。コネクタにメモリカード３０が装着されたときには、ゲーム機１０のＣＰＵコアからメモリカード３０に対してアクセス可能になっている。
【００４５】
＜ゲーム機１０：ブロック構成図＞
次に、上述したゲーム機１０のブロック構成例について図を用いて説明する。図２は、ゲーム機におけるブロック構成の一例を示す図である。ゲーム機１０は、図２に示すように、画像処理装置を実装するための回路基板４０を収納している。
【００４６】
回路基板４０には、ＣＰＵコア４２、バス４４、第１のコネクタ４６、及び、第２のコネクタ４８等が実装されている。ＣＰＵコア４２は、バス４４を介して第１の第２のコネクタ４８や第２のコネクタ４８に接続されていると共に、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０、第１のグラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、第２のＧＰＵ５４、入出力インターフェース回路（以下、Ｉ／Ｆ回路と称する。）５６、及び、コントローラ５８に接続されている。
【００４７】
第１のコネクタ４６に装着されるカメラ２８には、レンズ２８ａ等を備え、例えば使用者等の化粧シミュレーションを行う対象者の顔画像の全体又は各部位を所定の大きさで撮影する。つまり、レンズ２８ａは、拡大や縮小する機能を備え、例えば使用者の顔全体又は目や口等の各部位の画像を第１の表示画面１２、又は第２の表示画面１４に所定の大きさで表示させてもよい。
【００４８】
また、第２のコネクタ４８に装着されるメモリカード３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０ａ、ＲＡＭ３０ｂを備え、両者は、互いにバスで接続されている。このため、ＣＰＵコア４２は、バス４４、第２のコネクタ４８を介して、メモリカード３０のＲＯＭ３０ａやＲＡＭ３０ｂをアクセスすることができる。
【００４９】
なお、ＲＯＭ３０ａは、ゲーム機１０で実行すべきゲーム（仮想ゲーム）のためのゲームプログラム、画像（キャラクタ画像、背景画像、アイテム画像、メッセージ画像等）データ及びゲームに必要な音（音楽）のデータ（音データ）等を予め記憶する。また、ＲＡＭ３０ｂは、ゲームの途中データやゲームの結果データ、例えば、取得したアイテムの種別やストーリーをある一定以上進めた場合に、イベントで自動的に取得した情報、化粧シミュレーション結果、化粧方法等に関する各種データを蓄積するようになっている。
【００５０】
また、ＲＡＭ５０は、バッファメモリ又はワーキングメモリとして使用される。例えば、ＣＰＵコア４２は、メモリカード３０のＲＯＭ３０ａに記憶されたゲームプログラム、画像データ及び音データ等をＲＡＭ５０にロードし、ロードしたゲームプログラムを実行する制御を行う。この場合、ＣＰＵコア４２は、ゲームの進行に応じて一時的に発生するデータ（ゲームデータやフラグデータ）をＲＡＭ５０に記憶しつつゲーム処理を実行する制御を行う。
【００５１】
また、第１のＧＰＵ５２と第２のＧＰＵ５４とは、それぞれ描画手段の一要素を構成し、例えば、シングルＡＳＩＣで構成され、ＣＰＵコア４２からのグラフィックコマンドを受け、そのグラフィックコマンドにしたがってゲーム画像（ゲーム画面）のデータ（画面データ）を生成する。この場合、ＣＰＵコア４２は、グラフィックコマンドに加えて、画面データの生成に必要な画像生成プログラム（ゲームプログラムに含まれるプログラム）を第１のＧＰＵ５２、及び第２のＧＰＵ５４に与えるようになっている。
【００５２】
第１のＧＰＵ５２には、第１のビデオＲＡＭ（以下、ＶＲＡＭと称する。）６０が接続され、第２のＧＰＵ５４には、第２のＶＲＡＭ６２が接続されている。第１のＧＰＵ５２は、作成した画面データを第１のＶＲＡＭ６０に描画し、第２のＧＰＵ５４は、作成した画面データを第２のＶＲＡＭ６２に描画する。各ＧＰＵ５２，５４及び各ＶＲＡＭ６０，６２は、それぞれコントローラ５８に接続されている。
【００５３】
コントローラ５８は、例えば１ビットで構成されたレジスタ６４を備え、ＣＰＵコア４２の指示にしたがって「０」又は「１」の値を記憶する。また、コントローラ５８は、レジスタ６４のデータ値が「０」のときには、第１のＶＲＡＭ６０に描画された画面データを第１の表示画面１２に出力し、レジスタ６４のデータ値が「１」のときには、第２のＶＲＡＭ６２に描画された画面データを第２の表示画面１４に出力する。
【００５４】
Ｉ／Ｆ回路５６には、操作スイッチ２０、タッチパネル２２及びスピーカ６６が接続されており、操作スイッチ２０、タッチパネル２２からの信号がＩ／Ｆ回路５６を介してＣＰＵコア４２に入力され、ＣＰＵコア４２の出力による信号がＩ／Ｆ回路５６を介してスピーカ６６に出力される。例えば、操作スイッチ２０の何れかが操作されると、操作されたスイッチの操作信号（操作データ）がＩ／Ｆ回路５６を介してＣＰＵコア４２に入力される。また、タッチパネル２２からの座標位置データがＩ／Ｆ回路５６を介してＣＰＵコア４２に入力される。更に、ＣＰＵコア４２は、化粧シミュレーションを行うためのアナウンス、ゲーム音楽、効果音又はゲームキャラクタの音声（擬制音）等のゲームに必要な音データをＲＡＭ５０から読み出し、Ｉ／Ｆ回路５６を介してスピーカ６６から出力する。
【００５５】
＜ＲＡＭのメモリマップの構成例＞
ここで、上述したＲＡＭ５０のメモリマップの構成例について、図を用いて説明する。図３は、本実施形態におけるＲＡＭのメモリマップの一構成例を示す図である。
【００５６】
ＲＡＭ５０は、図３に示すように、プログラム記憶領域７０、データ記憶領域７２を備えている。ここで、プログラム記憶領域７０には、ゲーム面処理プログラム８０、コントローラ入力検出プログラム８２、タッチパネル入力検出プログラム８４、画像生成プログラム８６、メイン画像表示プログラム８８、サブ画面表示プログラム９０、プレイヤキャラクタ表示制御プログラム９２、オブジェクト表示制御プログラム９４等が蓄積されている。また、データ記憶領域７２には、画像データ１００、音データ１０２が蓄積されていると共に、オブジェクトデータバッファ領域１０４、操作データバッファ領域１０６、座標位置データバッファ領域１０８が設けられている。
【００５７】
ゲームメイン処理プログラム８０は、化粧シミュレーション等の仮想ゲームのゲームメイン処理を実行するためのプログラムである。コントローラ入力検出プログラム８２は、コントローラすなわち操作スイッチ２０から入力される操作データを検出し、検出した操作データをデータ記憶領域７２に書き込むためのプログラムである。タッチパネル入力検出プログラム８４は、タッチパネル２２から入力される座標位置データを検出し、検出した座標位置データをデータ記憶領域７２に書き込むためのプログラムである。
【００５８】
画像生成プログラム８６は、ゲーム画像を生成するためのプログラムである。この画像生成プログラム８６は、ＣＰＵコア４２によって、第１のＧＰＵ５２及び第２のＧＰＵ５４のそれぞれに与えられ、第１のＧＰＵ５２及び第２のＧＰＵ５４が、それぞれ画像生成プログラム８６にしたがって、画面データを第１のＶＲＡＭ６０及び第２のＶＲＡＭ６２に生成する。
【００５９】
メイン画面表示プログラム８８は、第１の表示画面１２にメイン画面としてゲーム画面を表示する場合にコントローラ５８に表示コマンドを与えるためのプログラムである。また、サブ画面表示プログラム９０は、第２の表示画面１４にサブ画面としてキャプチャ画面を表示する場合にコントローラ５８に表示コマンドを与えるためのプログラムである。
【００６０】
プレイヤキャラクタ表示制御プログラム９２は、使用者の操作に応じてプレイヤキャラクタのゲーム画面への表示を制御するためのプログラムである。また、オブジェクト表示制御プログラム９４は、オブジェクトのゲーム画面への表示を制御するためのプログラムである。ここで、オブジェクトは、後述する顔画像を分析するために抽出される各部位のポイントや、使用者に動作内容を選択させるために画面上に表示される各種項目、化粧シミュレーションを行うためのナビゲーションやアナウンス、化粧方法のアドバイス等を行うキャラクタ、プレイヤキャラクタ又はオブジェクトを意味し、例えば人物オブジェクト、アイテムオブジェクト、背景の各オブジェクト等が該当する。なお、化粧方法のアドバイス等は、文字情報に限定されるものではなく、音声情報或いは静止画、動画を含む映像情報、又はその２つ以上の組み合わせであってもよい。
【００６１】
また、データ記憶領域７２に蓄積される画像データ１００は、オブジェクトやプレイヤキャラクタ等の画像を生成するのに必要なデータであり、アイコン画像のデータ、メッセージ画像のデータ等である。また、音データ１０２は、ゲームに必要な音（音楽）を出力するためのデータである。
【００６２】
オブジェクトデータバッファ領域１０４は、使用者のキャプチャ操作があったときにゲーム画面に表示されるオブジェクトに関するデータを一時記憶する領域である。操作データバッファ領域１０６は、コントローラ入力検出プログラム８２にしたがってＣＰＵコア４２によって検出された操作データを一時記憶する領域である。座標位置データバッファ領域１０８は、タッチパネル入力検出プログラム８４にしたがってＣＰＵコア４２によって検出された座標位置データを一時記憶する領域である。
【００６３】
＜ソフトウェアの実施例＞
本実施形態によるゲームソフトのコンテンツの実施例の内容を、図面を参照して具体的に説明する。なお、以下に示すコンテンツは、コンピュータプログラムとして記録媒体やＲＡＭ５０に記憶されている。
【００６４】
本実施形態では、カメラ等の撮像手段により撮影した化粧シミュレーション対象者の顔画像から顔を分析するための顔情報を取得し、取得した顔情報に基づいて、例えば「お勧めメイク」を自動選択し、選択されたメイクを顔画像上に生成して表示したり、「フリーメイクモード」にて化粧シミュレーションを行う対象者の顔に対してメイクに対する課題を提示し、その課題の達成度を得点化して競う等のコンテンツ（アプリケーション）等を提供することができる。
【００６５】
＜顔画像抽出処理＞
本実施形態では、まず化粧シミュレーションを行う基となる顔画像を取得するための顔画像抽出処理について図を用いて説明する。
【００６６】
図４は、本実施形態における顔画像抽出処理の一例を示すフローチャートである。図４に示すフローチャートでは、ハードウェアが比較的低い動作環境のゲーム装置においても簡易で高精度に顔画像を取得するための手法を示す。
【００６７】
図４に示す顔画像抽出処理は、まず上述した撮像手段であるカメラにて、顔画像全体を撮像し（Ｓ０１）、撮像した顔画像をメモリ等により記憶する（Ｓ０２）、次に、記憶した顔画像の時間軸フィルタ、３次元フィルタ等のフィルタリングによりノイズ除去を行う（Ｓ０３）。
【００６８】
次に、Ｓ０３の処理によりノイズ除去された画像に対して顔認識処理を行う（Ｓ０４）。具体的には、顔画像に含まれている顔の各部位毎のポイント座標を検出してバッファに蓄積し、更に時間軸に対して画像を平滑化するために、例えば３×３等の一定の領域のピクセルを濃度等でソートし、その「中央」のピクセルの値を領域の中心の値とする画像処理であるメディアンフィルタを通す。なお、例えば顔の上部フェイスラインや目の下ライン等の化粧を行う上で重要なポイントについてはエッジ抽出処理やマスク抽出処理等を行う。
【００６９】
次に、顔の各部位の切り出しを行う（Ｓ０５）。具体的には、例えばＨＳＶ分解処理を用いて顔のパーツ毎の切り出しを行う。なお、ＨＳＶとは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分からなる色空間であり、これらを分解して撮影された画像中に含まれる目や唇、等の各部位毎に切り出しを行う。なお、彩度については、修正ＨＳＶ処理を行うことで、更に分解精度を高めてもよい。
【００７０】
次に、マットキーを生成してクロマキー合成処理を行い（Ｓ０６）、合成後に得られた各部位の抽出ポイントを蓄積手段（ＲＡＭ）等に記憶する（Ｓ０７）。また、抽出ポイント周辺部を部位そのものとして、各部位の位置とサイズを記憶し（Ｓ０８）、そのポイントを顔画像と共に表示する（Ｓ０９）。ここで、表示された画像を確認し、修正が必要であるか否かを判断し（Ｓ１０）、修正が必要である場合（Ｓ１０において、ＹＥＳ）、Ｓ０１に戻り、顔画像を再度撮影し、後続の処理を行う。また、修正が必要でない場合（Ｓ１０において、ＮＯ）、顔画像抽出処理を終了する。これにより、カメラにより得られる顔画像に対して顔の各部位の位置とサイズを抽出することができる。
【００７１】
次に、上述したＳ０３〜Ｓ０６の各処理について具体的に説明する。
【００７２】
＜Ｓ０３：ノイズ除去について＞
ここで、上述のノイズ除去について説明する。本実施形態に用いられるカメラは、解像度等の性能が高いわけでない装置に対して用いる撮像装置等を用いるため、特に暗部等においてはノイズが多く、また使用者との距離が近いためにパースが付き過ぎるといった点が問題になる。そこで、本実施形態では、ノイズに関して前フレームと現フレームとの画像を用いて時間軸フィルタを行ったり、３次元フィルタを用いてノイズ除去を行う。
【００７３】
なお、上述のフィルタリングは、例えば時間軸フィルタリングの場合には、隣接するフレーム間で同じ位置にある画素同士の関係を基に、当該画素を他の画素の平均値で置き換えを行い、３次元の空間フィルタリングでは、同一フレーム内で隣接する画素同士の関係を基に、当該画素を他の画素の平均値で置き換えを行う。なお、他のフィルタリング処理を用いてノイズ除去を行ってもよい。
【００７４】
＜Ｓ０４：顔認識処理＞
次に、上述の顔認識処理（Ｓ０４）について説明する。顔認識処理では、例えば沖電気株式会社製のＦＳＥ（Ｆａｃｅ Ｓｅｎｓｉｎｇ Ｅｎｇｉｎｅ（登録商標））等を用いることができる。具体的には、顔認識として、例えば特開２０００−３３９４７６号公報に示されているように、使用者を撮影した画像データから顔の中心線を求め、その中心線に基づいて顔領域を決定し、決定により得られた顔領域を左目領域と右目領域と鼻領域とに分割し、左目領域と右目領域と鼻領域とにおける画像データから目の位置を検出し、左目領域と右目領域と鼻領域とにおける画像データから顔の位置を検出する。
【００７５】
なお、通常のＦＳＥ処理では、リアルタイム検出に重点を置いているため、今回のような各部位に対して厳密な特徴ポイント抽出処理には不向きである。そこで、本実施形態では、上部のフェイスラインや唇、眉尻、目尻、目の下ライン等について、エッジ抽出を行うと共に、ポイント検出の座標をバッファに蓄積して時間軸に対してメディアンフィルタを通し、更に検出ポイントについて、使用者が自ら各ポイント点の少なくとも１つを移動させることができるようにする。
【００７６】
ここで、図５は、本実施形態におけるエッジ抽出の一例を示す図である。図５に示すように、カメラ等により撮影された使用者の顔全体の元画像（図５（ａ））に対して、例えばエッジ抽出として顔の上部フェイスライン（図５（ｂ））、唇ライン（図５（ｃ））、左右の目の下ライン（図５（ｄ）、（ｅ））等を行い各部位の検出処理を行う。なお、抽出される部位は、本発明においてはこれに限定されるものではなく、例えば眉毛や鼻の部位を抽出してもよい。またエッジ抽出により抽出された画像に対してマスク画像による抽出処理を行うことで、高精細の画像でなくても各部位の抽出精度を向上させることができる。
【００７７】
＜Ｓ０５：顔の各部位の切り出しについて＞
次に、上述の顔の各部位の切り出し処理（Ｓ０５）について説明する。Ｓ０５の処理では、顔の各部位の切り出しとして、マスク画像を生成する。つまり、入力された画像から顔を各部位毎に切り出すために肌色の判定を上述したＨＳＶによる色空間から行う。ここで、図６は、ＨＳＶ分解における画像の一例を示す図である。図６に示すように、ＨＳＶ分解は、入力された画像を図６（ａ）に示すように色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）に分解するためのものである。ＨＳＶ分解は、画像の明るさを無視できるため、さまざまな環境に左右されない肌色認識が可能になる。
【００７８】
ただ、ＨＳＶ分解では、彩度が低いはずの黒に近い色が高い彩度を示してしまうため、肌色領域内にノイズが生じてしまうことがある。これに対応すべく、図６（ｂ）に示すように修正ＨＳＶ処理を行う。なお、この修正ＨＳＶ処理は、使用者を撮影するカメラの性能により異なるため、必要に応じて修正ＨＳＶ処理を省略することができる。
【００７９】
＜Ｓ０６：合成処理＞
次に、上述の合成処理（Ｓ０６）について説明する。Ｓ０６の処理では、上述したＦＳＥによる顔抽出ポイントを利用してマットキー(マスク信号)を自動生成し、クロマキー合成により抽出精度を高める。ここで、図７は、マットキーの一例を示す図である。図７（ａ）に示すような顔のフェイスラインのマットキーや、図７（ｂ）に示すような唇のマットキーを生成することにより高精度に各部位を抽出することができる。また、この部位以外にも、目や鼻、耳等の部位をマットキーにすることで、高精度な部位抽出を実現することができる。
【００８０】
＜ゲームソフトにおける顔画像抽出の画面遷移例＞
次に、上述の顔画像抽出処理の画面遷移例について、図を用いて説明する。図８は、本実施形態におけるゲームソフトのゲーム画面遷移の一例を示す図である。なお、図８は、本実施形態におけるゲームソフトを使用するにあたり、事前にユーザー登録を行うための画面を示している。また、図８（ａ）〜（ｉ）は、ゲーム機１０の表示部（第１の表示画面１２，第２の表示画面１４）のそれぞれに表示される画面を左右に表示させた例を示している。なお、一方の画面（画面左側）では、使用者に対する指示内容（ナビゲーション、アナウンス）を表示し、他方の画面（画面右側）では、その指示内容に基づいて、使用者が、タッチペン等の指示入力装置等を用いて指示内容を入力する例を示している。また、以下に示す各アナウンス等は、画面に表示されるだけでなく、音声出力することができる。
【００８１】
まず、図８（ａ）に示すような撮影モードの場合には、図８（ａ）左側に示すように、使用者の顔を撮影するために、アバター等のＣＧキャラクタ（カウンセラー等）が「準備ができましたら、撮影を開始します。」とアナウンス表示され、図８（ａ）右側画面に示すように、撮影する前段階での注意事項（例えば、前髪が額にかからないよう、ピンやヘアバンドで留めて撮影してください。）等のメッセージが表示される。
【００８２】
次に、図８（ｂ），（ｃ）に示すように、カメラの露出補償機能で明るさを選択する。具体的には、図８（ｂ）左側画面に示すように、キャラクタが「カメラを起動しました。○ボタンで明るさを調整してください。」といったメッセージを表示し、他方の画面には、実際にカメラから得られるリアルタイム映像で表示される。ここで、使用者は、明るさを指定する○ボタンを用いて明るさを調整し、図８（ｃ）に示すように、ある所定の明るさを有する画像を取得する。このとき、ゲーム装置１０に明るさを検出する機能がついていたら、その検出された値に応じて明るさを調整してもよい。
【００８３】
次に、図８（ｄ）右側に示すように、使用者の顔が予め設定される画面上の領域内に入った時点で、自動で所定の数からカウントダウンを行い（図８（ｄ）右側上部）、写真を撮る旨のアナウンスを行う。このとき、図８（ｄ）の左側に表示されているように、キャラクタが「撮影します。そのままでお待ちください…」等のメッセージを表示し、ユーザー（使用者）の顔画像の写真の撮影を行う。
【００８４】
次に、撮影された画像について、上述したＦＳＥ処理により、顔の表面全体、眉、目、鼻、口の各部位（各パーツ）のポイントを抽出し、その内容が図８（ｅ）の右側に表示される。なお、各部位のポイントは、各部位毎に異なる色が所定数表示されているが、本発明において各ポイントの色や各部位の種類等については特に限定されるものではない。なお、図８（ｅ）の右側画面には、撮影を取り直すための取り直しボタンが設けられており、そのボタンを選択することで、図８（ａ）の撮影段階に戻り後続の処理を継続して行うことができる。
【００８５】
次に、各部位のポイントの調整を行う。具体的には、図８（ｆ）に示すように、「口元と鼻の基準ポイントを調整してください。」とメッセージが表示され、口元の画像が抽出ポイントと共に拡大表示されるため、領域の外周上にある複数のポイントから調整したいポイントを少なくとも１つタッチ（選択）して移動させることで、各点毎に所定の位置に移動させることができる。このとき、各ポイントの移動は、タッチペンによりなぞるように移動させることもでき、また各ポイントのうち少なくとも１つを選択した後に十字キーにより調整することもできる。また、移動対象のポイントは、点滅させることができ、どの点を対象に移動させているかを容易に使用者に知らせることができる。
【００８６】
次に、図８（ｇ）に示すように「口元と鼻のポイントを確認してください。」とのメッセージが表示され、調整したいポイントをタッチして移動させることができる。このとき、十字キーを用いて微調整を行うことができる。
【００８７】
更に、目元についても例えば図８（ｈ）に示すように、「左の目と眉の基準ポイントを調整してください。」とメッセージが表示され、調整したいポイントをタッチして移動させることができる。このとき、調整したいポイントを十字キーで微調整することもできる。
【００８８】
更に、左の目と眉の基準ポイントが決定後、図８（ｉ）に示すように、「左の目と眉のポイントを確認してください。」とのメッセージが表示され、調整したいポイントをタッチして移動させることができる。
【００８９】
このとき、ゲーム装置１０に設けられた十字キーにより微調整を行うこともできる。上述の処理も右目やフェイスラインにも施すことで、化粧を行うポイントを明確に設定することができる。
【００９０】
また、上述したようにポイントの再調整を行うことで、より高精度に各部位の位置とサイズを抽出することができる。また、各部位の位置とサイズを実際の位置よりも意図的にずらして化粧シミュレーションを施すこともでき、娯楽性を向上させることもができる。
【００９１】
したがって、上述した顔画像抽出手段により抽出された内容に基づいて、以下に示すようなコンテンツに利用することができる。また、顔画像抽出処理による抽出結果を用いて、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００９２】
なお、上述した顔画像抽出処理は、後述する顔画像抽出処理を用いたゲームの各コンテンツを実施する前に予めユーザー登録処理として行ってもよい。
【００９３】
＜コンテンツ例＞
次に、上述した顔画像抽出処理を利用したゲームコンテンツの一例について、図を用いて説明する。なお、上述した顔画像抽出処理を利用したゲームコンテンツの例として、以下の説明では、「お勧めメイク」、「課題モード」、「フリーメイク」等の各コンテンツについて説明するが、本発明においてはこのコンテンツに限定されるものではない。
【００９４】
＜お勧めメイク＞
まず、お勧めメイクについて説明する。お勧めメイクとは、使用者が選択されたメイクを顔画像上に生成して表示するものである。具体的には、顔の撮影時の注意事項を説明した後、フェイスニングスキャンによる顔撮影から顔画像の撮り込みを行い顔認識エンジンによる顔のパーツ（各部位）の抽出を行う。また、抽出した結果から使用者が所望する最適なメイク方法等を提示する。また、顔のパーツの抽出においては、使用者による再調整を行うことができ、また、抽出した顔特徴情報から予め設定された複数の顔分類のうち、何れかの分類に位置付ける顔立ち分類法を行うことができる。
【００９５】
＜お勧めメイク：全体フロー＞
図９は、お勧めメイクにおける全体の処理フローチャートの一例を示す図である。図９に示す処理では、まず使用者の画像を取得し、取得した画像に対して上述したポイント抽出（顔画像抽出処理）を行い（Ｓ１１）、次に、抽出した各部位の特徴点情報から所定の顔立ち分類に基づいて顔立ち分析を行う（Ｓ１２）。次に、Ｓ１２で示した顔立ち分析結果から化粧シミュレーション用のマスクを決定し（Ｓ１３）、決定したマスクから顔画像に似合う化粧を施したバーチャルメイク処理を行う（Ｓ１４）。また、Ｓ１４の処理結果により得られる化粧後画像をお勧めメイクにおける各パーツのメイク解説と共に提示するメイク解説処理を行う（Ｓ１５）。
【００９６】
＜Ｓ１２：顔立ち分析処理について＞
次に、上述した顔立ち分析処理（Ｓ１２）について具体的に説明する。Ｓ１２に示す顔立ち分析処理については、例えば特許第３８２８２８５号公報等に示すような顔立ち分類手法を用いて撮影した顔画像に対する顔立ち分類を行うことができる。
【００９７】
具体的には、平面上に２次元の座標を設定し、縦軸に「顔の長さと顔の各部（眉、目、鼻、口）の配置状態」を、横軸に「顔の各部（眉、目、鼻、口）の形状」を座標軸に設定する。なお、この縦軸は、例えば顔の長さが「短い」から「長い」、顔の各部が「左右中心から離れている」から「左右中心に寄っている」、或いは「パーツが上下中心に寄っている」から「上下中心から離れている」への変化等を示す。これは、子供から大人への成長に伴う変化と一致するものであり、子供から大人への成長時のバランスの変化を示していると見ることができ、バランス軸と定義する軸を示している。また、横軸は、例えば顔の各部の形状が曲線的か直線的かの形状特性を表しているものであり、フォルム軸と定義する軸を示している。
【００９８】
つまり、座標空間の各象限に位置する形態と印象において、例えば、顔が長くて、顔の各部が曲線的だと、やさしい女らしい印象を強くする、或いは顔が短くて形状が直線的であれば、フレッシュで活発的な印象を与える等、形態と印象との関連を明らかにしている。
【００９９】
このように、顔の長さと目、眉、口、鼻の顔の各部位（パーツ）の配置状態と、顔の各部位の形状を指標として顔を分類することにより、顔を形態から特徴別に分類することができ、また顔の形状から受ける心証別に分類することが可能となる。そして、このように分類することにより、例えばメイキャップメイキャップを行う際に的確にイメージの演出が可能となる。また、美容院等の顧客リストに分類を付与しておくことにより、使用者に合ったイメージをつくる際のガイドラインとすることができる。
【０１００】
本実施形態では、上述した顔立ちマップ分類方法に基づいて顔立ち判定を行う。例えば、使用者の画像から、瞳を通る直線と髪の生え際との交点と、口の左右端を通る直線と顔の輪郭との交点とを特徴点として抽出する。そして、各特徴点の座標から、目と顎の特徴点のなす角度、顔の縦横比、眉幅と顔の縦幅比をそれぞれ算出する。また、顎幅と顔の縦幅比、顔の輪郭特徴点のなす顎の角度、目と口の距離と顔の縦幅比のそれぞれを算出する。この算出した結果と予め設定された基準値とを比較することにより、子供タイプ、大人タイプ、曲線タイプ、直線タイプ等の各タイプを判定する。また、各軸の中心は、平均顔のゴールデンバランス（標準タイプ）として判定することができる。
【０１０１】
なお、上述の基準値は、多数の日本人女性の顔からコンピュータでモーフィング（画像の変形）をして作成した平均的な顔（平均顔）の値を用いている。この判定結果に基づいて、使用者の顔立ちのタイプを大人タイプ、子供タイプ、直線タイプ、曲線タイプ、子供・直線タイプ、子供曲線タイプ、大人・直線タイプ、大人・曲線タイプ、平均顔タイプ、それと４つの軸（矢印）上の１５のタイプに分類してディスプレイに表示することができる。なお、使用者の顔を分析するためのタイプは、上述のタイプに限定されるものではなく、他の顔タイプに分類することもできる。また、上記の方法においては、日本人の顔に限定されているが、日本人の顔に限定されるものではなく、世界各国の何れの人においても、ある特定の顔のタイプを作成し、それに基づいてタイプを分類することも可能である。
【０１０２】
＜Ｓ１４：バーチャルメイク処理について＞
次に、上述したバーチャルメイク処理（Ｓ１４）について、フローチャートを用いて具体的に説明する。図１０は、バーチャルメイク処理の一例を示すフローチャートである。図１０に示すバーチャルメイク処理は、まず顔撮像画像を所定のビットマップ（例えば３２ｂｉｔマップ）に拡張し（Ｓ２１）、次に、ベース、唇等へのメイク処理を行う（Ｓ２２）。具体的には、マスク画像等を用いてブレンド処理を行う。次に、眉、チーク、マスカラ、アイシャドー等への処理を行う（Ｓ２３）。具体的には、顔画像に基準メッシュ処理を行い、その結果として得られるメッシュを上述した顔画像抽出処理で記憶したポイントに合わせて修正して変形メッシュを生成し、眉や唇等の各部位毎に予め生成されたテクスチャに対して色を設定し、そのテクスチャを入力する。次に、Ｓ２３の処理により得られる各部位のテクスチャをテクスチャマッピングによるブレンドにより顔画像と合成し（Ｓ２４）、その合成画像を表示画面に表示する（Ｓ２５）。また、Ｓ２５の処理により画面に表示した画像を記録する（Ｓ２６）。
【０１０３】
＜画面遷移例＞
次に、上述したお勧めメイク処理の画面遷移例について図を用いて説明する。図１１は、お勧めメイク処理における画面遷移の一例を示す図である。なお、図１１Ａは処理の前段の画面遷移を示し、図１１Ｂは図１１Ａ中の（Ａ）に続く後段の画面遷移を示している。また、図１１中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。
【０１０４】
図１１に示す図では、使用者のフェイスデータが登録された後、顔立ちタイプ分析を行う。つまり、予め設定された、顔立ちメイクにより５つの分類から所定の１つに分類される。なお、図１１に示すように、各コンテンツを開始する場合には、画面左側に示すように「顔立ちタイプ分析」の内容をキャラクタが説明し、説明後にフェイスタイプの判定を行って、撮影した使用者の顔がどこのタイプに属するかを表示画面に表示する。また、その結果により、大人顔度や曲線顔度を数値化することができ、数値化した結果を表示することができる。また、分析した画面や数値等の結果はそのまま蓄積することができる。また、この結果に基づいて、その顔に対応させて、図１１に示すようなお勧めメイク表示を行う。
【０１０５】
また、図１１に示すように、お勧めメイクを選択すると、顔タイプ（本実施形態では、例えば５種類（「やさしい・女らしい」、「キュート・かわいらしい」、「フレッシュ・活発」、「クール・シャープ」、「標準」））別にそれぞれのお勧めメイクを設定する。また、これらの顔タイプ別にゲーム装置１０の表示画面等に提示するコメント、又はメイクを行うための各種情報が予め設定されている。
【０１０６】
図１２は、本実施形態において使用される各種情報の一例を示す図である。なお、図１２Ａはタイプ別のアナウンス内容の一例を示し、図１２Ｂは各部位に対するメイクの型情報の一例を示し、図１２Ｃは各部位に対するメイクの色情報の一例を示している。なお、図１２に示す各種情報は、予めＲＡＭ５０等の記憶手段に蓄積されており、必要に応じて読み出したり、データの追加、修正、削除等を行うことができる。
【０１０７】
図１２Ａに示すコメント内容一覧には、例えば必要なタイプ別に応じて、各部位（パーツ）毎（例えば、「ファンデーション」、「眉」、「アイシャドー」、「アイライン」、「マスカラ」、「口紅」、「ほお紅」等）に表示するテキスト内容や、各タイプ別の各部位に対してお勧めメイクを行うためのアドバイス情報（例えば、ファンデーションののばし方、アイラインでやさしくみせる方法、口紅でキュートに見せる方法等）を文字、音声、画像、映像等を用いて提示するため、蓄積手段等に蓄積されたディクショナリーへのリンク情報等が蓄積される。これにより、使用者が選択したり、お勧めメイク処理で選択された各タイプ別の各部位に対して適切な情報を迅速に提示することができる。
【０１０８】
また、図１２Ｂに示す型情報では、各タイプ（フェイスマップタイプ）の各部位（パーツ）毎に１又は複数の型が蓄積されており、その何れかを選択して「フォルダ」の項目に蓄積された対応する型情報の画面表示等を行う。また、図１２Ｃに示す色情報についても、各タイプ（フェイスマップタイプ）の各部位（パーツ）毎に１又は複数の型が蓄積されており、その何れかを選択して「フォルダ」の項目に蓄積された対応する色情報の画面表示等を行う。なお、本実施形態では、複数の色を使用することができるため、例えばアイシャドーの場合には、「フォルダ」内に３パターンの色情報を蓄積し必要に応じて使用者に画面に表示することができる。ここで、図１２Ａ〜Ｃに示す各種情報は、異なるＩＤで管理されてもよく、必要に応じて各情報が関連付けられていてもよい。
【０１０９】
上述した内容に基づいて、タイプ別に異なる内容を、キャラクタを用いて使用者に提示することができる。また、生成されたシミュレーション画像は、使用者の指示内容にしたがって蓄積手段に蓄積することができる。なお、各項目は、上述された７つの項目に限定されるものではなく、数を減らしてもよいし、増やしてもよい。
【０１１０】
＜シチュエーション別メイク＞
次に、上述したお勧めメイクに含まれるシチュエーション別メイクについて具体的に説明する。図１３は、シチュエーション別メイクにおける画面遷移の一例を示す図である。なお、図１３Ａは処理の前段の画面遷移を示し、図１３Ｂは図１３Ａ中の（Ｂ）に続く後段の画面遷移を示している。また、図１３中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。
【０１１１】
図１３に示すように、ゲーム装置１０の一方の画面（例えば、左側画面）には、予め撮像された顔画像からメイクしたいフェイスデータを使用者に選択させ、選択させた顔に予め設定された顔タイプ別や化粧の目的として、例えばビジネス、デート、友達、フォーラム等の項目から１つを選択させ、また、ビジネス（普段）、ビジネス（会議・プレゼン）、ショッピング、アウトドア、結婚式、葬式、パーティ等の内容から１つを選択させる。更に、暖色系、寒色系、モノトーン系等の分類を選択することにより、シチュエーション別の化粧後画像を表示させることができる。なお、化粧後画像は、ＲＡＭ等の蓄積手段に蓄積することができる。
【０１１２】
＜トレンドメイク＞
次に、上述したお勧めメイクに含まれるトレンドメイクについて具体的に説明する。図１４は、トレンドメイクにおける画面遷移の一例を示す図である。なお、図１４中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。
【０１１３】
図１４に示すように、ゲーム機１０の一方の画面（例えば、左側画面）には、使用者が所望するなりたい印象の顔タイプを選択させることで、所望するメイク結果を画面に表示する。例えば、今まで撮影された画像の中から化粧を行う対象画像を選択し、季節（春夏秋冬）やトレンド（エレガント、クリーン、ナチュラル、クール）等を選択することで、その対応するトレンドの化粧後画像を表示させることができる。なお、化粧後画像は、ＲＡＭ等の蓄積手段に蓄積することができる。
【０１１４】
＜Ｓ１５：メイク解説処理について＞
次に、上述のメイク解説処理（Ｓ１５）について具体的に説明する。図１５は、メイク解説処理の一例を示すフローチャートである。図１５に示すメイク解説処理では、まずメイクを行う部位を選択するか否かを判断し（Ｓ３１）、メイクする部位が選択されない場合（Ｓ３１において、ＮＯ）、選択されるまで処理を継続する。なお、所定時間入力されない場合には、メイク解説処理を終了してもよい。また、メイクする部位が選択された場合（Ｓ３１において、ＹＥＳ）、その部位に対応して予め蓄積手段に蓄積されている記憶内容から対応する部位を拡大して表示画面に表示する（Ｓ３２）。このとき、メイクにおける解説も同時に表示する。
【０１１５】
ここで、メイク解説モードを終了するか否かを判断し（Ｓ３３）、メイク解説モードを終了しない場合（Ｓ３３において、ＮＯ）、Ｓ３１の処理に戻り後続の処理を行う。また、メイク解説モードを終了する場合（Ｓ３３において、ＹＥＳ）、メイク解説モードを終了させる。
【０１１６】
＜課題モード処理＞
次に、本実施形態におけるコンテンツ例として、課題モードにおける処理内容について図を用いて説明する。課題モードは、使用者に似合う化粧方法を課題として使用者に提示し、使用者は出された課題に対して、色、色の濃さ、範囲を入力し、入力した内容と課題として提示された化粧内容とを比較し、その比較した結果を評価するモードである。図１６は、課題モード全体の処理手順の一例を示すフローチャートである。図１６に示す課題モード処理では、上述した顔画像抽出におけるポイント抽出を行い（Ｓ４１）、次に上述した顔立ち分析を行い（Ｓ４２）、課題モード処理を行う（Ｓ４３）。
【０１１７】
ここで、Ｓ４３に示す課題モードの具体的な処理内容についてフローチャートを用いて説明する。図１７は、Ｓ４３に示す課題モードの具体的な処理内容の一例を示すフローチャートである。図１７に示す処理では、まずシチュエーションを選択するか否かを判断し（Ｓ５１）、シチュエーションを選択しない場合（Ｓ５１において、ＮＯ）、シチュエーションを選択するまで繰り返し処理行う。なお、所定時間入力されない場合には、課題モード処理を終了してもよい。
【０１１８】
また、シチュエーションを選択する場合（Ｓ５１において、ＹＥＳ）、次に、メイク部位を選択するか否かを判断する（Ｓ５２）。メイク部位を選択しない場合（Ｓ５２において、ＮＯ）、選択するまで繰り返しＳ５２の処理を行う。なお、所定時間入力されない場合には、課題モード処理を終了してもよい。また、Ｓ５２の処理において、メイク部位を選択する場合（Ｓ５２において、ＹＥＳ）、メイク方法を入力する（Ｓ５３）。具体的には、予め撮影された顔画像のうち１つの画像を選択し、更にＳ５１にて選択したシチュエーション（例えば、ビジネス、デート、結婚式、春夏用等）を選択して、Ｓ５２において選択された１又は複数の部位（例えば、ベースカラー、チーク、眉、口紅等）に対して色パレット等を表示させて使用者が指定した領域にメイクを施す。
【０１１９】
次に、メイク方法の入力が終了したか否かを判断し（Ｓ５４）、メイク方法の入力が終了していない場合（Ｓ５４において、ＮＯ）、Ｓ５２の処理に戻り、メイク部位の選択から行う。また、Ｓ５４の処理において、メイク方法の入力が終了した場合（Ｓ５４において、ＹＥＳ）、入力した内容に対して課題判定を行う（Ｓ５５）。具体的には、予め設定された判定テーブル等を用いて色、色の濃さ、範囲について、ベースカラーやチーク、口紅等、予め設定された箇所における評価を行い、その結果から判定を行う。色の濃さについては、図示しないが、例えばタッチパネル上に色の濃さを示すゲージを表示し、そのゲージをタッチ入力により操作することで色の濃さを入力することが可能である。また、色の濃さを入力する際に、リアルタイムで表示画面に表示されているベースカラーやチーク、口紅等の色を随時変更した画面を表示してもよい。
【０１２０】
次に、課題モードを終了するか否かを判断し（Ｓ５６）、課題モードを終了しない場合（Ｓ５６において、ＮＯ）、Ｓ５１の処理に戻り後続の処理を繰り返し行う。また、課題モードを終了する場合（Ｓ５６において、ＹＥＳ）、課題モード処理を終了する。
【０１２１】
＜判定テーブルについて＞
ここで、上述した判定テーブルの具体例について、図を用いて説明する。図１８は、判定テーブルの一例を示す図である。図１８に示す判定テーブルは、各シチュエーション毎に異なるタイプ（図１８の例では、タイプＡ，Ｂ，Ｃ，Ｄ）が設定されており、更に、各タイプにおける「ベースカラー」、「アイシャドー」、「マスカラ」、「チーク」、「口紅」、「リップグロス」、「アイブロウ」等について基準となる色（ＲＧＢ）、色の濃さ、範囲等が予め蓄積されている。
【０１２２】
判定時においては、図１８に示すような予め基準となる判定値（例えば上記のようなタイプ別に定められた基準が数値化されたテーブル）が、シチュエーション毎に複数設けられており、使用者は、課題モードにおいて、事前にシチュエーションを選択し、フリーメイクにて化粧を施した後、ゲーム装置１０による判定に入り、装置側では判定テーブルと実際に使用者が入力したメイクの内容（色、位置、サイズ（範囲））とを比較してテーブルに定められている値からどれだけ離れているかを評価することによって、使用者の化粧方法の正否を判定する。
【０１２３】
例えば、判定値として規定の値が２００であり、使用者が選択した値がｘである場合、「ｘ＝１９０＜ｘ＜２１０→すばらしい！と判定」、「ｘ＝１００＜ｘ＜１９０或いは２１０＜ｘ＜２４５→微妙と判定」、「ｘ＝０＜ｘ＜１００→ＮＧ！と判定」のような方法で判定することができる。上記の判定結果は、上述の通り、文字によって表現することも可能であるが、結果を得点として算出して表示することも可能であり、その得点方法としては、各部位毎に算出してもよく、また合計点を算出して表示してもよい。また、その結果に応じて、後述するアバタールームにおけるアバター用の仮想空間内に配置するアイテムを付与してもよい。
【０１２４】
＜フリーメイクモード＞
次に、フリーメイクモードにおける画面遷移図について、図面を用いて説明する。図１９は、フリーメイク処理の画面遷移の一例を示す図である。なお、図１９中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。図１９に示すフリーメイクは、メイクしたいフェイスデータ（顔画像）を蓄積手段に蓄積されている顔画像の中から１つ選択し、例えば「ベース」、「眉」、「アイシャドー」、「アイライン」、「マスカラ」、「口紅」、「ほお紅」、「リップグロス」等の各部位からメイクを行いたい部位を少なくとも１つ選択し、選択した部位に対してメイクを行う。このとき、遊びアイテムとしてアクセサリーやメガネ、髪型、帽子等を合成させることで、実際にはできない様々なメイクを仮想的に画面に表示させることができる。
【０１２５】
なお、上述した各部位に対する領域は、上述した顔画像抽出処理における各ポイント抽出処理により抽出された位置（領域）を基準にしているが、そのポイントを意図的にずらすことで、例えば口紅の塗る領域を実際の唇の大きさよりも大きく又は小さくさせたり、眉の位置やサイズを替えることで、あらゆるパターンの化粧後画像を生成することができ、娯楽性を向上させることができる。
【０１２６】
また、ゲーム装置１０の一方の画面（例えば、左側画面）には、キャラクタがしゃべっているように表示させるための予め設定されたテキスト内容が蓄積手段等に蓄積されている。ここで、図２０は、ゲーム進行中に表示されるテキスト（文章）の一例を示す図である。図２０に示すように、例えば、「ノーメイクの場合」、「使用者がメイクを施している時間中の文章」、「メイクパーツ数に対応した文章」、「その他の様々な文章」等の各条件（条件（１））と、その条件発生時に設定される条件（２）の内容に応じて所定のメッセージを表示させることができる。なお、本実施形態において表示されるメッセージの内容は、図２０に示す内容に限定されるものではない。
【０１２７】
＜その他のコンテンツ＞
なお、上述した化粧シミュレーションに関するゲームコンテンツとしては、上述以外にも、以下の機能を設けることができる。
（１）ＳＴＥＰ ＵＰ ＢＥＡＵＴＹ
美容に関してのメイク、スキンケア、ヘルスケアの基礎から応用、テクニック、専門用語をテキストだけではなくイラストとアニメーション、フェイスニングスキャンを使い解説する機能を有していてもよい。この場合、例えばディクショナリー機能による用語の解説、ブックマーク機能による忘れてはならない基礎やテクニックを登録、ビューティーチャレンジ機能によるメイク、スキンケア、ヘルスケアの基本から応用までをフェイスニングスキャンやタッチペンを用いたクイズで予習、復習等を行うことができる。
（２）アバタールーム
トレーニングやビューティーチャレンジ合格等のご褒美的な癒しのモードとして、上述した顔立ち分析を用いて自分の顔画像と同じ顔立ちの３Ｄアバターを作成して表示することができる。このとき、メモリカード内のＲＯＭには、顔立ち分析の種類に応じた数のアバターが記憶され、顔立ち分析の結果に基づいて抽出されたアバターは、予め設定された仮想空間内のルームの中で自由に行動し、ユーザーを癒すことができる。また、ゲームの進行に合わせてアバター用のアイテム（服や家具）が手に入ったり、イベントが発生したりすることができる、このようなコンテンツを設けることで、化粧シミュレーションにおける娯楽性を向上させることができる。また、アバターは、規定の動きを繰り返すように設定してもよく、また使用者自身が操作することで動かしてもよい。各アバターは、使用者自身の顔立ち分析に基づいて作成され、自分と似た顔のアバターであるため、親近感が生じやすく、したがって、定期的にゲームをプレイするように促す要因となる。
【０１２８】
上述したように、本発明によれば、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。また、本発明によれば、百貨店等の化粧品コーナーや美容院、カウンター等にある専門的な装置を用いることなく、気軽に自分の顔を分析し、その結果に基づいた化粧顔を確認することができる。また、客観的な情報に基づいて、その人に一番適した化粧顔にするための方法を学習可能とすることができる。
【０１２９】
また、本発明によれば、気軽に自分の顔を分析し、その結果に基づいた自分の顔の部分の化粧方法に対して出される課題を実施し、判定されることで、その当人にとってふさわしい化粧顔を繰り返し確認することができる。
【０１３０】
なお、本発明は、例えば携帯型ゲーム装置等に適用できるため、例えば化粧シミュレーションを行う対象は、女性だけに限定されず、男性や子供、犬や猫等の動物等にも適用することができ、より娯楽性を高めたソフトウェアとして提供することができる。
【０１３１】
また、本発明においては、２つの画面を用いて化粧前の顔画像（全体又は各部位）と化粧後の顔画像とをそれぞれ表示させてその違いが容易に使用者にわかるように提示させてもよい。更に、ＴＰＯ（Ｔｉｍｅ（時間）、Ｐｌａｃｅ（場所）、Ｏｃｃａｓｉｏｎ（場合））に適した色味を提示してもよく、肌の色身やその人の好みの色を登録しておき、色診断に基づいて色判定を行うこともできる。
【０１３２】
また、ゲーム装置内に通信機能を有すことも可能であり、通信機能を介して、季節やその年の流行に合わせた化粧方法を随時記憶させ、その年や季節の流行にあわせた化粧方法を提供することも可能である。
【０１３３】
また、本願において、タッチパネルは１点検出の方法を用いたが、他点検出パネルを用いてもよい。更に、メッセージの表示は、文字によって視覚的に表示をしたが、音声で示してもよい。
【０１３４】
ここでは、図示の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更を加えることができることは明らかである。すなわち、具体例の詳細及び添付の図面により本発明が限定されるものと解釈してはならない。上記実施の形態例は本発明の理解のためのものであり、本発明がこれらに限定されるものではない。
【図面の簡単な説明】
【０１３５】
【図１】本発明の第１の実施形態を示すゲーム機の斜視図である。
【図２】ゲーム機におけるブロック構成の一例を示す図である。
【図３】本実施形態におけるＲＡＭのメモリマップの一構成例を示す図である。
【図４】本実施形態における顔画像抽出処理の一例を示すフローチャートである。
【図５】本実施形態におけるエッジ抽出の一例を示す図である。
【図６】ＨＳＶ分解画像の一例を示す図である。
【図７】マットキーの一例を示す図である。
【図８】本実施形態におけるゲームソフトのゲーム画面遷移の一例を示す図である。
【図９】お勧めメイクにおける全体の処理フローチャートの一例を示す図である。
【図１０】バーチャルメイク処理の一例を示すフローチャートである。
【図１１Ａ】お勧めメイク処理における画面遷移の一例を示す図（その１）である。
【図１１Ｂ】お勧めメイク処理における画面遷移の一例を示す図（その２）である。
【図１２Ａ】本実施形態において使用される各種情報の一例を示す図（その１）である。
【図１２Ｂ】本実施形態において使用される各種情報の一例を示す図（その２）である。
【図１２Ｃ】本実施形態において使用される各種情報の一例を示す図（その３）である。
【図１３Ａ】シチュエーションメイクにおける画面遷移の一例を示す図（その１）である。
【図１３Ｂ】シチュエーションメイクにおける画面遷移の一例を示す図（その２）である。
【図１４】トレンドメイクにおける画面遷移の一例を示す図である。
【図１５】メイク解説処理の一例を示すフローチャートである。
【図１６】課題モード全体の処理手順の一例を示すフローチャートである。
【図１７】Ｓ４３に示す課題モードの具体的な処理内容の一例を示すフローチャートである。
【図１８】判定テーブルの一例を示す図である。
【図１９】フリーメイク処理の画面遷移の一例を示す図である。
【図２０】ゲーム進行中に表示されるテキスト（文章）の一例を示す図である。
【符号の説明】
【０１３６】
１０ ゲーム機（ゲーム装置）
１２ 第１の表示画面
１４ 第２の表示画面
１６ ハウジング
１８ 音抜き孔
２０ 操作スイッチ
２２ タッチパネル
２４ スティック又はスタイラスペン（ペン）
２６ 収納部
２８ 撮像装置（レンズ付きカメラ）
３０ メモリカード
３２ 挿入口
４０ 回路基板
４２ ＣＰＵコア
４４ バス
４６ 第１のコネクタ
４８ 第２のコネクタ
５０ ＲＡＭ
５２ 第１のＧＰＵ
５４ 第２のＧＰＵ
５６ Ｉ／Ｆ回路
５８ コントローラ
６０ 第１のＶＲＡＭ
６２ 第２のＶＲＡＭ
６４ レジスタ
７０ プログラム記憶領域
７２ データ記憶領域
８０ ゲーム面処理プログラム
８２ コントローラ入力検出プログラム
８４ タッチパネル入力検出プログラム
８６ 画像生成プログラム
８８ メイン画像表示プログラム
９０ サブ画面表示プログラム
９２ プレイヤキャラクタ表示制御プログラム
９４ オブジェクト表示制御プログラム
１００ 画像データ
１０２ 音データ
１０４ オブジェクトデータバッファ領域
１０６ 操作データバッファ領域
１０８ 座標位置データバッファ領域
【技術分野】
【０００１】
本発明は、ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体に係り、特に顔画像に対して使用者が所望する化粧を簡易にシミュレーションするためのゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、シミュレーション技術の一つとして、使用者の顔を撮影し、撮影した画像から使用者の好みの化粧を画像を合成して行うシミュレーション技術が知られている。
【０００３】
また、自分の顔に化粧を施す場合、一般では各種雑誌媒体等で化粧方法等の情報が提示されているため、それを参考にして自分が所望する化粧方法を選択している。しかしながら、実際には、自分の顔がどのようなタイプであるのかを主観的ではなく客観的に分析した上で、その人に一番合った化粧情報を単に提示するだけではなく、その化粧を施すことによって、どのような顔になるのかを画像として表示する装置が求められており、その対応として、例えば、「（１）撮像した顔画像から、顔の各部位を抽出する。」、「（２）タイプ毎に分ける。」、「（３）タイプ毎に予め設定したメイクを検出した部位に併せてモーフィングさせて貼り付ける。」といったような方法をそれぞれ実施する装置が存在する（例えば、特許文献１，２参照。）
【特許文献１】特開２００１−１４８０１８号公報
【特許文献２】特開２０００−３５４５１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に示されている手法では、カメラから顔画像を撮像し、顔の形状のタイプの分類作業を行い、顔形に基づいたアドバイスを行うものであるが、あくまで化粧のアドバイスが表示されるのみであり、そのアドバイスに従った結果、自分の顔がどのように変化するのかまでは確認できず、アドバイスを知るのみであった。
【０００５】
また、上述した特許文献２に示されている手法は、所定の印象を有する顔の形状を画像形成し、その顔の形状に現実の人の顔のテクスチャを貼り付けるものであるが、使用者がこの方法を実施するためには、その方法を実施可能な程度の装置を所有するか、設置されている場所に行くしかなかった。つまり、このような装置は一般的には高価であるため所有は困難であり、多くの使用者がこのような装置を使用したい場合には、その装置がおいてある専門の場所、例えば百貨店の化粧品コーナーや美容院、カウンター等に出かけなければ実施することができなかった。したがって、そのような装置が置いてあるような専門の場所に行くことは、使用者にとってわざわざ出かけなければならないという面倒さに加えて、その装置を使わせてもらう代わりに何らかの製品を購入しなければならないのではないかという予想がされるため、実際に使用される機会は少なかった。
【０００６】
このような事態は、使用者にとっては自分の顔立ちに似合う化粧方法がどのようなものであるかを確認することができず、客観的なデータに基づいた自分の顔に似合った化粧方法を知らないままに化粧を施すことになり、また化粧品を開発する開発会社にとっても、使用者にとって客観的なデータに基づいた似合う化粧方法を提供することができず、不本意な結果となっていた。
【０００７】
また、化粧は、女性にとって日常的に行われる行為であるが、従来技術に示すような専門的な装置を用いた場合、日常的に化粧方法を確認することができなかったため、使用者にとっては、客観的なデータに基づいて提供される使用者自身に一番ふさわしい化粧方法を気軽に確認することができるプログラムが求められていた。
【０００８】
なお、店頭の化粧品コーナー等にある予め設置された専用の化粧シミュレーション装置を、広く一般に流通している携帯用ゲーム装置を利用して化粧シミュレーションを行うような場合には、撮像した画像をシミュレーションすることが可能な画像処理専用のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有していないため、例えばそのディスプレイの解像度（約１９２×２５６ピクセル）や、ドットピッチ（約０．２４ｍｍ）、約２６万色表示程度であるとの性能上の制限があることが多く、またそのような装置に対して用いる撮像装置の性能自体はそれほど高くないため、顔分析の精度が劣化してしまい、正確な分析を行うことができなかった。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、顔画像に対して使用者が所望する化粧を簡易にシミュレーションするためのゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置であって、予め複数の化粧情報を蓄積する蓄積手段と、前記顔画像を取得する撮像手段と、前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段と、前記化粧顔生成手段により得られる前記化粧後画像を表示する表示手段とを有することを特徴とする。
【００１２】
請求項１記載の発明によれば、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００１３】
請求項２に記載された発明は、前記顔画像抽出手段は、前記顔画像における予め設定された少なくとも１以上の部位のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段により得られる画像からマスク画像を用いて前記部位を抽出するマスク抽出手段とを有することを特徴とする。
【００１４】
請求項２記載の発明によれば、顔の各部位を高精度に抽出することができる。したがって、高精細ではないカメラを用いて撮影しても顔の各部位を抽出することができる。
【００１５】
請求項３に記載された発明は、前記顔画像抽出手段は、前記マスク抽出手段により抽出された前記部位の領域を予め設定された複数の点により位置付け、位置付けられた点の少なくとも１つを前記表示手段に表示し、操作入力手段を用いて少なくとも１つの点を移動させて各部位の位置を調整する調整手段を有することを特徴とする。
【００１６】
請求項３記載の発明によれば、高精度に顔の各部位を抽出することができる。また、顔画像に対応させて顔画像の好きな位置に意図的に化粧を施すことができ、娯楽性を向上させることができる。
【００１７】
請求項４に記載された発明は、前記顔画像抽出手段により抽出された顔特徴情報から予め設定された複数の顔分類のうち、何れかの分類に位置付ける分類手段を有し、前記化粧顔生成手段は、前記分類手段により得られる顔分類毎に設定された顔特徴情報に応じて、予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成することを特徴とする。
【００１８】
請求項４記載の発明によれば、顔画像を顔特徴情報に対応させて分類させ、その結果に基づいた化粧顔を確認することができる。
【００１９】
請求項５に記載された発明は、前記顔画像抽出手段により得られる各部位の位置とサイズからなる顔特徴情報に合わせて、前記化粧顔情報に含まれる化粧する位置情報を修正し、修正した位置情報を蓄積手段に蓄積させるよう制御する制御手段を有することを特徴とする。
【００２０】
請求項５記載の発明によれば、設定した情報を継続して使用することができるため、使用性を向上させることができる。
【００２１】
請求項６に記載された発明は、前記化粧顔生成手段は、表示される前記化粧後画像の他に、表示された化粧に応じたアドバイスを生成するアドバイス提示手段を備えていることを特徴とする。
【００２２】
請求項６記載の発明によれば、化粧後画像に対応させて実際の顔に化粧を施すことができる。
【００２３】
請求項７に記載された発明は、前記顔画像に適した課題を提供し、前記課題に対応して前記使用者が顔画像に入力した情報から、課題の達成度を判定する判定手段と、前記判定手段により判定された課題の達成度の判定結果を前記表示手段に表示する判定表示制御手段とを有することを特徴とする。
【００２４】
請求項７記載の発明によれば、化粧に対する課題に対応することで、化粧の知識を高めることができ、娯楽性を向上させることができる。
【００２５】
請求項８に記載された発明は、取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置の制御方法であって、予め複数の化粧情報を蓄積する蓄積工程と、前記顔画像を取得する撮像工程と、前記撮像工程により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出工程と、前記顔画像抽出工程により抽出された前記顔特徴情報に応じて、前記蓄積工程により予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出工程により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成工程と、前記化粧顔生成工程により得られる前記化粧後画像を表示する表示手段とを有することを特徴とする。
【００２６】
請求項８記載の発明によれば、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００２７】
請求項９に記載された発明は、取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示手段に表示させるゲームのプログラムを実行可能なゲーム装置を構成するコンピュータを、予め複数の化粧情報を蓄積する蓄積手段、前記顔画像を取得する撮像手段、前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段、及び、前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段、として機能させる。
【００２８】
請求項９記載の発明によれば、ゲーム制御プログラムにより、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００２９】
請求項１０に記載された発明は、請求項９に記載のゲーム制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３０】
請求項１０記載の発明によれば、記録媒体を用いて、ゲーム制御プログラムを容易にインストールすることができる。
【発明の効果】
【００３１】
本発明によれば、ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体にあっては、使用者へのメイクを簡易にシミュレーションすることができる。
【発明を実施するための最良の形態】
【００３２】
＜本発明の概要＞
本発明は、例えば、百貨店等の化粧品コーナーのカウンター等に設置されているような専門的な装置を用いることなく、広く一般に流通している撮像手段によって取得した画像の処理を行う専用の画像処理手段を有していない携帯可能な端末（ゲーム装置等）を用いて気軽に自分の顔を分析し、その結果に基づいて化粧顔を確認することができるゲームソフトコンテンツを提供する。
【００３３】
具体的には、顔画像を撮像し、撮像した顔画像を分析し、その分析結果からその人にあった化粧顔を選択し、その選択された化粧顔をその人の顔に所望する形態に補正した上で表示させることで、客観的な情報に基づいて、その人に一番似合う化粧顔等を提示する。
【００３４】
以下に、本発明におけるゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体を好適に実施した形態について、図面を用いて説明する。
【００３５】
＜シミュレーションゲーム装置：概略構成例＞
図１は、本発明の第１の実施形態を示すゲーム機の斜視図である。図１において、一例として示すゲーム機（ゲーム装置）１０は、液晶表示器で構成された略長方形形状の第１の表示画面１２と第２の表示画面１４を備え、ハウジング１６内に画像処理装置を収納している。なお、第１の表示画面１２と第２の表示画面１４は、図１に示すように横長の状態のまま使用することもでき、また縦長に立てて使用することもできる。
【００３６】
ゲーム画面を表示するための第１の表示画面１２は、上側ハウジング１６ａに支持され、同様にゲーム画面を表示するための第２の表示画面１４は、下側ハウジング１６ｂに支持され、上側ハウジング１６ａと下側ハウジング１６ｂは、ヒンジを介して回動自在に連結されている。第１の表示画面１２及び第２の表示画面１４に表示される画面は、動画像或いは静止画に限定されず、第１の表示画面１２に動画像が表示されているときに、第２の表示画面１４に第１の表示画面１２に表示されている画像をキャプチャした画像を静止画として表示することも可能であり、また逆に表示することも可能である。表示される画像は、表示手段によってポリゴン等で構成される仮想空間の画像を表示することも、後述するカメラによって撮像された現実空間の画像を表示することも可能である。
【００３７】
また、上側ハウジング１６ａの左端側には、スピーカの音抜き孔１８が形成されており、下側ハウジング１６ｂには操作スイッチ２０として、方向指示スイッチ（十字スイッチ）２０ａ、スタートスイッチ２０ｂ、セレクトスイッチ２０ｃ、動作スイッチ（Ａボタン）２０ｄ、動作スイッチ（Ｂボタン）２０ｅ、動作スイッチ２０ｆ、動作スイッチ２０ｇ、動作スイッチ（左押しボタン）２０Ｌ、動作スイッチ（右押しボタン）２０Ｒが配置されている。
【００３８】
ここで、方向指示スイッチ２０ａは、ディジタルジョイスティックとして機能し、操作部の１つを操作することによって、使用者（プレイヤ）によって操作可能なカーソルの移動方向を指示したり、所望する化粧シミュレーションを実現するための項目の選択を指示したり、ソフトウェアが提示するオブジェクトの移動方向を指示したり、カーソルの移動方向を指示したりすることができる。ボタンの形状は、４方向に入力しやすい形状となっているが、斜めに入力することも可能である。また、スタートスイッチ２０ｂは、プッシュボタンで構成され、ゲーム（シミュレーション等）を開始（再開）したり、一時停止したりするために用いられる。また、セレクトスイッチ２０ｃは、プッシュボタンで構成され、ゲームモードの選択等に用いられる。
【００３９】
また、動作スイッチ２０ｄは、Ａボタンとして、プッシュボタンで構成され、方向指示以外の動作、例えば、使用者が選択した項目の決定、シミュレーションの実行等の任意の動作をさせることができる。また、動作スイッチ２０ｅは、Ｂボタンとして、プッシュボタンで構成され、セレクトスイッチ２０ｃで選択したゲームモードの変更やＡボタン２０ｄで決定したアクションの取り消し等に用いられる。
【００４０】
更に、動作スイッチ（左押しボタン）２０Ｌと動作スイッチ（右押しボタン）２０Ｒは、プッシュボタンで構成され、各動作スイッチ２０Ｌと２０Ｒは、Ａボタン２０ｄとＢボタン２０ｅの補助的な操作に用いることができる。
【００４１】
これらのスイッチは、上記に説明した役割を別のスイッチに持たせることも可能であり、また上記に説明した役割とは異なった役割を持たせることも可能であり、これらの設定はゲームの内容によって、適宜変更が可能である。
【００４２】
第２の表示画面１４上には、操作入力手段としてタッチパネル２２が装着されている。このタッチパネル２２としては、例えば、抵抗膜方式、光学式（赤外線方式）及び静電容量結合式、超音波式、電磁誘導式の何れかのものを用いることができる。このタッチパネル２２は、その上面に対して、スティック又はスタイラスペン（ペン）２４或いは指で押圧したり、触れたりする操作を行うと、スティック２４等の座標位置を検出して、座標位置データとして出力するようになっている。また、スティック２４は、下側ハウジング１６ｂの収納部２６に収納することができ、必要に応じて収納部２６から取り出される。
【００４３】
また、図１に示すようにゲーム機１０には、使用者（プレイヤ）等の化粧シミュレーションを行う対象者の顔等を撮影するための撮像手段（レンズ付きカメラ）２８が上側ハウジング１６ａと、後述するゲーム機１０に内蔵されるコネクタにより接続される。
【００４４】
なお、図１に示すように、ゲーム機１０に内蔵されるコネクタには、記録媒体であるメモリカード（又はゲームカード）３０が着脱自在に装着されるようになっている。メモリカード３０は、例えば、下側ハウジング１６ｂ背面側に形成された挿入口３２から挿入されて、コネクタに装着されるようになっている。コネクタにメモリカード３０が装着されたときには、ゲーム機１０のＣＰＵコアからメモリカード３０に対してアクセス可能になっている。
【００４５】
＜ゲーム機１０：ブロック構成図＞
次に、上述したゲーム機１０のブロック構成例について図を用いて説明する。図２は、ゲーム機におけるブロック構成の一例を示す図である。ゲーム機１０は、図２に示すように、画像処理装置を実装するための回路基板４０を収納している。
【００４６】
回路基板４０には、ＣＰＵコア４２、バス４４、第１のコネクタ４６、及び、第２のコネクタ４８等が実装されている。ＣＰＵコア４２は、バス４４を介して第１の第２のコネクタ４８や第２のコネクタ４８に接続されていると共に、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０、第１のグラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、第２のＧＰＵ５４、入出力インターフェース回路（以下、Ｉ／Ｆ回路と称する。）５６、及び、コントローラ５８に接続されている。
【００４７】
第１のコネクタ４６に装着されるカメラ２８には、レンズ２８ａ等を備え、例えば使用者等の化粧シミュレーションを行う対象者の顔画像の全体又は各部位を所定の大きさで撮影する。つまり、レンズ２８ａは、拡大や縮小する機能を備え、例えば使用者の顔全体又は目や口等の各部位の画像を第１の表示画面１２、又は第２の表示画面１４に所定の大きさで表示させてもよい。
【００４８】
また、第２のコネクタ４８に装着されるメモリカード３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０ａ、ＲＡＭ３０ｂを備え、両者は、互いにバスで接続されている。このため、ＣＰＵコア４２は、バス４４、第２のコネクタ４８を介して、メモリカード３０のＲＯＭ３０ａやＲＡＭ３０ｂをアクセスすることができる。
【００４９】
なお、ＲＯＭ３０ａは、ゲーム機１０で実行すべきゲーム（仮想ゲーム）のためのゲームプログラム、画像（キャラクタ画像、背景画像、アイテム画像、メッセージ画像等）データ及びゲームに必要な音（音楽）のデータ（音データ）等を予め記憶する。また、ＲＡＭ３０ｂは、ゲームの途中データやゲームの結果データ、例えば、取得したアイテムの種別やストーリーをある一定以上進めた場合に、イベントで自動的に取得した情報、化粧シミュレーション結果、化粧方法等に関する各種データを蓄積するようになっている。
【００５０】
また、ＲＡＭ５０は、バッファメモリ又はワーキングメモリとして使用される。例えば、ＣＰＵコア４２は、メモリカード３０のＲＯＭ３０ａに記憶されたゲームプログラム、画像データ及び音データ等をＲＡＭ５０にロードし、ロードしたゲームプログラムを実行する制御を行う。この場合、ＣＰＵコア４２は、ゲームの進行に応じて一時的に発生するデータ（ゲームデータやフラグデータ）をＲＡＭ５０に記憶しつつゲーム処理を実行する制御を行う。
【００５１】
また、第１のＧＰＵ５２と第２のＧＰＵ５４とは、それぞれ描画手段の一要素を構成し、例えば、シングルＡＳＩＣで構成され、ＣＰＵコア４２からのグラフィックコマンドを受け、そのグラフィックコマンドにしたがってゲーム画像（ゲーム画面）のデータ（画面データ）を生成する。この場合、ＣＰＵコア４２は、グラフィックコマンドに加えて、画面データの生成に必要な画像生成プログラム（ゲームプログラムに含まれるプログラム）を第１のＧＰＵ５２、及び第２のＧＰＵ５４に与えるようになっている。
【００５２】
第１のＧＰＵ５２には、第１のビデオＲＡＭ（以下、ＶＲＡＭと称する。）６０が接続され、第２のＧＰＵ５４には、第２のＶＲＡＭ６２が接続されている。第１のＧＰＵ５２は、作成した画面データを第１のＶＲＡＭ６０に描画し、第２のＧＰＵ５４は、作成した画面データを第２のＶＲＡＭ６２に描画する。各ＧＰＵ５２，５４及び各ＶＲＡＭ６０，６２は、それぞれコントローラ５８に接続されている。
【００５３】
コントローラ５８は、例えば１ビットで構成されたレジスタ６４を備え、ＣＰＵコア４２の指示にしたがって「０」又は「１」の値を記憶する。また、コントローラ５８は、レジスタ６４のデータ値が「０」のときには、第１のＶＲＡＭ６０に描画された画面データを第１の表示画面１２に出力し、レジスタ６４のデータ値が「１」のときには、第２のＶＲＡＭ６２に描画された画面データを第２の表示画面１４に出力する。
【００５４】
Ｉ／Ｆ回路５６には、操作スイッチ２０、タッチパネル２２及びスピーカ６６が接続されており、操作スイッチ２０、タッチパネル２２からの信号がＩ／Ｆ回路５６を介してＣＰＵコア４２に入力され、ＣＰＵコア４２の出力による信号がＩ／Ｆ回路５６を介してスピーカ６６に出力される。例えば、操作スイッチ２０の何れかが操作されると、操作されたスイッチの操作信号（操作データ）がＩ／Ｆ回路５６を介してＣＰＵコア４２に入力される。また、タッチパネル２２からの座標位置データがＩ／Ｆ回路５６を介してＣＰＵコア４２に入力される。更に、ＣＰＵコア４２は、化粧シミュレーションを行うためのアナウンス、ゲーム音楽、効果音又はゲームキャラクタの音声（擬制音）等のゲームに必要な音データをＲＡＭ５０から読み出し、Ｉ／Ｆ回路５６を介してスピーカ６６から出力する。
【００５５】
＜ＲＡＭのメモリマップの構成例＞
ここで、上述したＲＡＭ５０のメモリマップの構成例について、図を用いて説明する。図３は、本実施形態におけるＲＡＭのメモリマップの一構成例を示す図である。
【００５６】
ＲＡＭ５０は、図３に示すように、プログラム記憶領域７０、データ記憶領域７２を備えている。ここで、プログラム記憶領域７０には、ゲーム面処理プログラム８０、コントローラ入力検出プログラム８２、タッチパネル入力検出プログラム８４、画像生成プログラム８６、メイン画像表示プログラム８８、サブ画面表示プログラム９０、プレイヤキャラクタ表示制御プログラム９２、オブジェクト表示制御プログラム９４等が蓄積されている。また、データ記憶領域７２には、画像データ１００、音データ１０２が蓄積されていると共に、オブジェクトデータバッファ領域１０４、操作データバッファ領域１０６、座標位置データバッファ領域１０８が設けられている。
【００５７】
ゲームメイン処理プログラム８０は、化粧シミュレーション等の仮想ゲームのゲームメイン処理を実行するためのプログラムである。コントローラ入力検出プログラム８２は、コントローラすなわち操作スイッチ２０から入力される操作データを検出し、検出した操作データをデータ記憶領域７２に書き込むためのプログラムである。タッチパネル入力検出プログラム８４は、タッチパネル２２から入力される座標位置データを検出し、検出した座標位置データをデータ記憶領域７２に書き込むためのプログラムである。
【００５８】
画像生成プログラム８６は、ゲーム画像を生成するためのプログラムである。この画像生成プログラム８６は、ＣＰＵコア４２によって、第１のＧＰＵ５２及び第２のＧＰＵ５４のそれぞれに与えられ、第１のＧＰＵ５２及び第２のＧＰＵ５４が、それぞれ画像生成プログラム８６にしたがって、画面データを第１のＶＲＡＭ６０及び第２のＶＲＡＭ６２に生成する。
【００５９】
メイン画面表示プログラム８８は、第１の表示画面１２にメイン画面としてゲーム画面を表示する場合にコントローラ５８に表示コマンドを与えるためのプログラムである。また、サブ画面表示プログラム９０は、第２の表示画面１４にサブ画面としてキャプチャ画面を表示する場合にコントローラ５８に表示コマンドを与えるためのプログラムである。
【００６０】
プレイヤキャラクタ表示制御プログラム９２は、使用者の操作に応じてプレイヤキャラクタのゲーム画面への表示を制御するためのプログラムである。また、オブジェクト表示制御プログラム９４は、オブジェクトのゲーム画面への表示を制御するためのプログラムである。ここで、オブジェクトは、後述する顔画像を分析するために抽出される各部位のポイントや、使用者に動作内容を選択させるために画面上に表示される各種項目、化粧シミュレーションを行うためのナビゲーションやアナウンス、化粧方法のアドバイス等を行うキャラクタ、プレイヤキャラクタ又はオブジェクトを意味し、例えば人物オブジェクト、アイテムオブジェクト、背景の各オブジェクト等が該当する。なお、化粧方法のアドバイス等は、文字情報に限定されるものではなく、音声情報或いは静止画、動画を含む映像情報、又はその２つ以上の組み合わせであってもよい。
【００６１】
また、データ記憶領域７２に蓄積される画像データ１００は、オブジェクトやプレイヤキャラクタ等の画像を生成するのに必要なデータであり、アイコン画像のデータ、メッセージ画像のデータ等である。また、音データ１０２は、ゲームに必要な音（音楽）を出力するためのデータである。
【００６２】
オブジェクトデータバッファ領域１０４は、使用者のキャプチャ操作があったときにゲーム画面に表示されるオブジェクトに関するデータを一時記憶する領域である。操作データバッファ領域１０６は、コントローラ入力検出プログラム８２にしたがってＣＰＵコア４２によって検出された操作データを一時記憶する領域である。座標位置データバッファ領域１０８は、タッチパネル入力検出プログラム８４にしたがってＣＰＵコア４２によって検出された座標位置データを一時記憶する領域である。
【００６３】
＜ソフトウェアの実施例＞
本実施形態によるゲームソフトのコンテンツの実施例の内容を、図面を参照して具体的に説明する。なお、以下に示すコンテンツは、コンピュータプログラムとして記録媒体やＲＡＭ５０に記憶されている。
【００６４】
本実施形態では、カメラ等の撮像手段により撮影した化粧シミュレーション対象者の顔画像から顔を分析するための顔情報を取得し、取得した顔情報に基づいて、例えば「お勧めメイク」を自動選択し、選択されたメイクを顔画像上に生成して表示したり、「フリーメイクモード」にて化粧シミュレーションを行う対象者の顔に対してメイクに対する課題を提示し、その課題の達成度を得点化して競う等のコンテンツ（アプリケーション）等を提供することができる。
【００６５】
＜顔画像抽出処理＞
本実施形態では、まず化粧シミュレーションを行う基となる顔画像を取得するための顔画像抽出処理について図を用いて説明する。
【００６６】
図４は、本実施形態における顔画像抽出処理の一例を示すフローチャートである。図４に示すフローチャートでは、ハードウェアが比較的低い動作環境のゲーム装置においても簡易で高精度に顔画像を取得するための手法を示す。
【００６７】
図４に示す顔画像抽出処理は、まず上述した撮像手段であるカメラにて、顔画像全体を撮像し（Ｓ０１）、撮像した顔画像をメモリ等により記憶する（Ｓ０２）、次に、記憶した顔画像の時間軸フィルタ、３次元フィルタ等のフィルタリングによりノイズ除去を行う（Ｓ０３）。
【００６８】
次に、Ｓ０３の処理によりノイズ除去された画像に対して顔認識処理を行う（Ｓ０４）。具体的には、顔画像に含まれている顔の各部位毎のポイント座標を検出してバッファに蓄積し、更に時間軸に対して画像を平滑化するために、例えば３×３等の一定の領域のピクセルを濃度等でソートし、その「中央」のピクセルの値を領域の中心の値とする画像処理であるメディアンフィルタを通す。なお、例えば顔の上部フェイスラインや目の下ライン等の化粧を行う上で重要なポイントについてはエッジ抽出処理やマスク抽出処理等を行う。
【００６９】
次に、顔の各部位の切り出しを行う（Ｓ０５）。具体的には、例えばＨＳＶ分解処理を用いて顔のパーツ毎の切り出しを行う。なお、ＨＳＶとは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の３つの成分からなる色空間であり、これらを分解して撮影された画像中に含まれる目や唇、等の各部位毎に切り出しを行う。なお、彩度については、修正ＨＳＶ処理を行うことで、更に分解精度を高めてもよい。
【００７０】
次に、マットキーを生成してクロマキー合成処理を行い（Ｓ０６）、合成後に得られた各部位の抽出ポイントを蓄積手段（ＲＡＭ）等に記憶する（Ｓ０７）。また、抽出ポイント周辺部を部位そのものとして、各部位の位置とサイズを記憶し（Ｓ０８）、そのポイントを顔画像と共に表示する（Ｓ０９）。ここで、表示された画像を確認し、修正が必要であるか否かを判断し（Ｓ１０）、修正が必要である場合（Ｓ１０において、ＹＥＳ）、Ｓ０１に戻り、顔画像を再度撮影し、後続の処理を行う。また、修正が必要でない場合（Ｓ１０において、ＮＯ）、顔画像抽出処理を終了する。これにより、カメラにより得られる顔画像に対して顔の各部位の位置とサイズを抽出することができる。
【００７１】
次に、上述したＳ０３〜Ｓ０６の各処理について具体的に説明する。
【００７２】
＜Ｓ０３：ノイズ除去について＞
ここで、上述のノイズ除去について説明する。本実施形態に用いられるカメラは、解像度等の性能が高いわけでない装置に対して用いる撮像装置等を用いるため、特に暗部等においてはノイズが多く、また使用者との距離が近いためにパースが付き過ぎるといった点が問題になる。そこで、本実施形態では、ノイズに関して前フレームと現フレームとの画像を用いて時間軸フィルタを行ったり、３次元フィルタを用いてノイズ除去を行う。
【００７３】
なお、上述のフィルタリングは、例えば時間軸フィルタリングの場合には、隣接するフレーム間で同じ位置にある画素同士の関係を基に、当該画素を他の画素の平均値で置き換えを行い、３次元の空間フィルタリングでは、同一フレーム内で隣接する画素同士の関係を基に、当該画素を他の画素の平均値で置き換えを行う。なお、他のフィルタリング処理を用いてノイズ除去を行ってもよい。
【００７４】
＜Ｓ０４：顔認識処理＞
次に、上述の顔認識処理（Ｓ０４）について説明する。顔認識処理では、例えば沖電気株式会社製のＦＳＥ（Ｆａｃｅ Ｓｅｎｓｉｎｇ Ｅｎｇｉｎｅ（登録商標））等を用いることができる。具体的には、顔認識として、例えば特開２０００−３３９４７６号公報に示されているように、使用者を撮影した画像データから顔の中心線を求め、その中心線に基づいて顔領域を決定し、決定により得られた顔領域を左目領域と右目領域と鼻領域とに分割し、左目領域と右目領域と鼻領域とにおける画像データから目の位置を検出し、左目領域と右目領域と鼻領域とにおける画像データから顔の位置を検出する。
【００７５】
なお、通常のＦＳＥ処理では、リアルタイム検出に重点を置いているため、今回のような各部位に対して厳密な特徴ポイント抽出処理には不向きである。そこで、本実施形態では、上部のフェイスラインや唇、眉尻、目尻、目の下ライン等について、エッジ抽出を行うと共に、ポイント検出の座標をバッファに蓄積して時間軸に対してメディアンフィルタを通し、更に検出ポイントについて、使用者が自ら各ポイント点の少なくとも１つを移動させることができるようにする。
【００７６】
ここで、図５は、本実施形態におけるエッジ抽出の一例を示す図である。図５に示すように、カメラ等により撮影された使用者の顔全体の元画像（図５（ａ））に対して、例えばエッジ抽出として顔の上部フェイスライン（図５（ｂ））、唇ライン（図５（ｃ））、左右の目の下ライン（図５（ｄ）、（ｅ））等を行い各部位の検出処理を行う。なお、抽出される部位は、本発明においてはこれに限定されるものではなく、例えば眉毛や鼻の部位を抽出してもよい。またエッジ抽出により抽出された画像に対してマスク画像による抽出処理を行うことで、高精細の画像でなくても各部位の抽出精度を向上させることができる。
【００７７】
＜Ｓ０５：顔の各部位の切り出しについて＞
次に、上述の顔の各部位の切り出し処理（Ｓ０５）について説明する。Ｓ０５の処理では、顔の各部位の切り出しとして、マスク画像を生成する。つまり、入力された画像から顔を各部位毎に切り出すために肌色の判定を上述したＨＳＶによる色空間から行う。ここで、図６は、ＨＳＶ分解における画像の一例を示す図である。図６に示すように、ＨＳＶ分解は、入力された画像を図６（ａ）に示すように色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）に分解するためのものである。ＨＳＶ分解は、画像の明るさを無視できるため、さまざまな環境に左右されない肌色認識が可能になる。
【００７８】
ただ、ＨＳＶ分解では、彩度が低いはずの黒に近い色が高い彩度を示してしまうため、肌色領域内にノイズが生じてしまうことがある。これに対応すべく、図６（ｂ）に示すように修正ＨＳＶ処理を行う。なお、この修正ＨＳＶ処理は、使用者を撮影するカメラの性能により異なるため、必要に応じて修正ＨＳＶ処理を省略することができる。
【００７９】
＜Ｓ０６：合成処理＞
次に、上述の合成処理（Ｓ０６）について説明する。Ｓ０６の処理では、上述したＦＳＥによる顔抽出ポイントを利用してマットキー(マスク信号)を自動生成し、クロマキー合成により抽出精度を高める。ここで、図７は、マットキーの一例を示す図である。図７（ａ）に示すような顔のフェイスラインのマットキーや、図７（ｂ）に示すような唇のマットキーを生成することにより高精度に各部位を抽出することができる。また、この部位以外にも、目や鼻、耳等の部位をマットキーにすることで、高精度な部位抽出を実現することができる。
【００８０】
＜ゲームソフトにおける顔画像抽出の画面遷移例＞
次に、上述の顔画像抽出処理の画面遷移例について、図を用いて説明する。図８は、本実施形態におけるゲームソフトのゲーム画面遷移の一例を示す図である。なお、図８は、本実施形態におけるゲームソフトを使用するにあたり、事前にユーザー登録を行うための画面を示している。また、図８（ａ）〜（ｉ）は、ゲーム機１０の表示部（第１の表示画面１２，第２の表示画面１４）のそれぞれに表示される画面を左右に表示させた例を示している。なお、一方の画面（画面左側）では、使用者に対する指示内容（ナビゲーション、アナウンス）を表示し、他方の画面（画面右側）では、その指示内容に基づいて、使用者が、タッチペン等の指示入力装置等を用いて指示内容を入力する例を示している。また、以下に示す各アナウンス等は、画面に表示されるだけでなく、音声出力することができる。
【００８１】
まず、図８（ａ）に示すような撮影モードの場合には、図８（ａ）左側に示すように、使用者の顔を撮影するために、アバター等のＣＧキャラクタ（カウンセラー等）が「準備ができましたら、撮影を開始します。」とアナウンス表示され、図８（ａ）右側画面に示すように、撮影する前段階での注意事項（例えば、前髪が額にかからないよう、ピンやヘアバンドで留めて撮影してください。）等のメッセージが表示される。
【００８２】
次に、図８（ｂ），（ｃ）に示すように、カメラの露出補償機能で明るさを選択する。具体的には、図８（ｂ）左側画面に示すように、キャラクタが「カメラを起動しました。○ボタンで明るさを調整してください。」といったメッセージを表示し、他方の画面には、実際にカメラから得られるリアルタイム映像で表示される。ここで、使用者は、明るさを指定する○ボタンを用いて明るさを調整し、図８（ｃ）に示すように、ある所定の明るさを有する画像を取得する。このとき、ゲーム装置１０に明るさを検出する機能がついていたら、その検出された値に応じて明るさを調整してもよい。
【００８３】
次に、図８（ｄ）右側に示すように、使用者の顔が予め設定される画面上の領域内に入った時点で、自動で所定の数からカウントダウンを行い（図８（ｄ）右側上部）、写真を撮る旨のアナウンスを行う。このとき、図８（ｄ）の左側に表示されているように、キャラクタが「撮影します。そのままでお待ちください…」等のメッセージを表示し、ユーザー（使用者）の顔画像の写真の撮影を行う。
【００８４】
次に、撮影された画像について、上述したＦＳＥ処理により、顔の表面全体、眉、目、鼻、口の各部位（各パーツ）のポイントを抽出し、その内容が図８（ｅ）の右側に表示される。なお、各部位のポイントは、各部位毎に異なる色が所定数表示されているが、本発明において各ポイントの色や各部位の種類等については特に限定されるものではない。なお、図８（ｅ）の右側画面には、撮影を取り直すための取り直しボタンが設けられており、そのボタンを選択することで、図８（ａ）の撮影段階に戻り後続の処理を継続して行うことができる。
【００８５】
次に、各部位のポイントの調整を行う。具体的には、図８（ｆ）に示すように、「口元と鼻の基準ポイントを調整してください。」とメッセージが表示され、口元の画像が抽出ポイントと共に拡大表示されるため、領域の外周上にある複数のポイントから調整したいポイントを少なくとも１つタッチ（選択）して移動させることで、各点毎に所定の位置に移動させることができる。このとき、各ポイントの移動は、タッチペンによりなぞるように移動させることもでき、また各ポイントのうち少なくとも１つを選択した後に十字キーにより調整することもできる。また、移動対象のポイントは、点滅させることができ、どの点を対象に移動させているかを容易に使用者に知らせることができる。
【００８６】
次に、図８（ｇ）に示すように「口元と鼻のポイントを確認してください。」とのメッセージが表示され、調整したいポイントをタッチして移動させることができる。このとき、十字キーを用いて微調整を行うことができる。
【００８７】
更に、目元についても例えば図８（ｈ）に示すように、「左の目と眉の基準ポイントを調整してください。」とメッセージが表示され、調整したいポイントをタッチして移動させることができる。このとき、調整したいポイントを十字キーで微調整することもできる。
【００８８】
更に、左の目と眉の基準ポイントが決定後、図８（ｉ）に示すように、「左の目と眉のポイントを確認してください。」とのメッセージが表示され、調整したいポイントをタッチして移動させることができる。
【００８９】
このとき、ゲーム装置１０に設けられた十字キーにより微調整を行うこともできる。上述の処理も右目やフェイスラインにも施すことで、化粧を行うポイントを明確に設定することができる。
【００９０】
また、上述したようにポイントの再調整を行うことで、より高精度に各部位の位置とサイズを抽出することができる。また、各部位の位置とサイズを実際の位置よりも意図的にずらして化粧シミュレーションを施すこともでき、娯楽性を向上させることもができる。
【００９１】
したがって、上述した顔画像抽出手段により抽出された内容に基づいて、以下に示すようなコンテンツに利用することができる。また、顔画像抽出処理による抽出結果を用いて、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。
【００９２】
なお、上述した顔画像抽出処理は、後述する顔画像抽出処理を用いたゲームの各コンテンツを実施する前に予めユーザー登録処理として行ってもよい。
【００９３】
＜コンテンツ例＞
次に、上述した顔画像抽出処理を利用したゲームコンテンツの一例について、図を用いて説明する。なお、上述した顔画像抽出処理を利用したゲームコンテンツの例として、以下の説明では、「お勧めメイク」、「課題モード」、「フリーメイク」等の各コンテンツについて説明するが、本発明においてはこのコンテンツに限定されるものではない。
【００９４】
＜お勧めメイク＞
まず、お勧めメイクについて説明する。お勧めメイクとは、使用者が選択されたメイクを顔画像上に生成して表示するものである。具体的には、顔の撮影時の注意事項を説明した後、フェイスニングスキャンによる顔撮影から顔画像の撮り込みを行い顔認識エンジンによる顔のパーツ（各部位）の抽出を行う。また、抽出した結果から使用者が所望する最適なメイク方法等を提示する。また、顔のパーツの抽出においては、使用者による再調整を行うことができ、また、抽出した顔特徴情報から予め設定された複数の顔分類のうち、何れかの分類に位置付ける顔立ち分類法を行うことができる。
【００９５】
＜お勧めメイク：全体フロー＞
図９は、お勧めメイクにおける全体の処理フローチャートの一例を示す図である。図９に示す処理では、まず使用者の画像を取得し、取得した画像に対して上述したポイント抽出（顔画像抽出処理）を行い（Ｓ１１）、次に、抽出した各部位の特徴点情報から所定の顔立ち分類に基づいて顔立ち分析を行う（Ｓ１２）。次に、Ｓ１２で示した顔立ち分析結果から化粧シミュレーション用のマスクを決定し（Ｓ１３）、決定したマスクから顔画像に似合う化粧を施したバーチャルメイク処理を行う（Ｓ１４）。また、Ｓ１４の処理結果により得られる化粧後画像をお勧めメイクにおける各パーツのメイク解説と共に提示するメイク解説処理を行う（Ｓ１５）。
【００９６】
＜Ｓ１２：顔立ち分析処理について＞
次に、上述した顔立ち分析処理（Ｓ１２）について具体的に説明する。Ｓ１２に示す顔立ち分析処理については、例えば特許第３８２８２８５号公報等に示すような顔立ち分類手法を用いて撮影した顔画像に対する顔立ち分類を行うことができる。
【００９７】
具体的には、平面上に２次元の座標を設定し、縦軸に「顔の長さと顔の各部（眉、目、鼻、口）の配置状態」を、横軸に「顔の各部（眉、目、鼻、口）の形状」を座標軸に設定する。なお、この縦軸は、例えば顔の長さが「短い」から「長い」、顔の各部が「左右中心から離れている」から「左右中心に寄っている」、或いは「パーツが上下中心に寄っている」から「上下中心から離れている」への変化等を示す。これは、子供から大人への成長に伴う変化と一致するものであり、子供から大人への成長時のバランスの変化を示していると見ることができ、バランス軸と定義する軸を示している。また、横軸は、例えば顔の各部の形状が曲線的か直線的かの形状特性を表しているものであり、フォルム軸と定義する軸を示している。
【００９８】
つまり、座標空間の各象限に位置する形態と印象において、例えば、顔が長くて、顔の各部が曲線的だと、やさしい女らしい印象を強くする、或いは顔が短くて形状が直線的であれば、フレッシュで活発的な印象を与える等、形態と印象との関連を明らかにしている。
【００９９】
このように、顔の長さと目、眉、口、鼻の顔の各部位（パーツ）の配置状態と、顔の各部位の形状を指標として顔を分類することにより、顔を形態から特徴別に分類することができ、また顔の形状から受ける心証別に分類することが可能となる。そして、このように分類することにより、例えばメイキャップメイキャップを行う際に的確にイメージの演出が可能となる。また、美容院等の顧客リストに分類を付与しておくことにより、使用者に合ったイメージをつくる際のガイドラインとすることができる。
【０１００】
本実施形態では、上述した顔立ちマップ分類方法に基づいて顔立ち判定を行う。例えば、使用者の画像から、瞳を通る直線と髪の生え際との交点と、口の左右端を通る直線と顔の輪郭との交点とを特徴点として抽出する。そして、各特徴点の座標から、目と顎の特徴点のなす角度、顔の縦横比、眉幅と顔の縦幅比をそれぞれ算出する。また、顎幅と顔の縦幅比、顔の輪郭特徴点のなす顎の角度、目と口の距離と顔の縦幅比のそれぞれを算出する。この算出した結果と予め設定された基準値とを比較することにより、子供タイプ、大人タイプ、曲線タイプ、直線タイプ等の各タイプを判定する。また、各軸の中心は、平均顔のゴールデンバランス（標準タイプ）として判定することができる。
【０１０１】
なお、上述の基準値は、多数の日本人女性の顔からコンピュータでモーフィング（画像の変形）をして作成した平均的な顔（平均顔）の値を用いている。この判定結果に基づいて、使用者の顔立ちのタイプを大人タイプ、子供タイプ、直線タイプ、曲線タイプ、子供・直線タイプ、子供曲線タイプ、大人・直線タイプ、大人・曲線タイプ、平均顔タイプ、それと４つの軸（矢印）上の１５のタイプに分類してディスプレイに表示することができる。なお、使用者の顔を分析するためのタイプは、上述のタイプに限定されるものではなく、他の顔タイプに分類することもできる。また、上記の方法においては、日本人の顔に限定されているが、日本人の顔に限定されるものではなく、世界各国の何れの人においても、ある特定の顔のタイプを作成し、それに基づいてタイプを分類することも可能である。
【０１０２】
＜Ｓ１４：バーチャルメイク処理について＞
次に、上述したバーチャルメイク処理（Ｓ１４）について、フローチャートを用いて具体的に説明する。図１０は、バーチャルメイク処理の一例を示すフローチャートである。図１０に示すバーチャルメイク処理は、まず顔撮像画像を所定のビットマップ（例えば３２ｂｉｔマップ）に拡張し（Ｓ２１）、次に、ベース、唇等へのメイク処理を行う（Ｓ２２）。具体的には、マスク画像等を用いてブレンド処理を行う。次に、眉、チーク、マスカラ、アイシャドー等への処理を行う（Ｓ２３）。具体的には、顔画像に基準メッシュ処理を行い、その結果として得られるメッシュを上述した顔画像抽出処理で記憶したポイントに合わせて修正して変形メッシュを生成し、眉や唇等の各部位毎に予め生成されたテクスチャに対して色を設定し、そのテクスチャを入力する。次に、Ｓ２３の処理により得られる各部位のテクスチャをテクスチャマッピングによるブレンドにより顔画像と合成し（Ｓ２４）、その合成画像を表示画面に表示する（Ｓ２５）。また、Ｓ２５の処理により画面に表示した画像を記録する（Ｓ２６）。
【０１０３】
＜画面遷移例＞
次に、上述したお勧めメイク処理の画面遷移例について図を用いて説明する。図１１は、お勧めメイク処理における画面遷移の一例を示す図である。なお、図１１Ａは処理の前段の画面遷移を示し、図１１Ｂは図１１Ａ中の（Ａ）に続く後段の画面遷移を示している。また、図１１中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。
【０１０４】
図１１に示す図では、使用者のフェイスデータが登録された後、顔立ちタイプ分析を行う。つまり、予め設定された、顔立ちメイクにより５つの分類から所定の１つに分類される。なお、図１１に示すように、各コンテンツを開始する場合には、画面左側に示すように「顔立ちタイプ分析」の内容をキャラクタが説明し、説明後にフェイスタイプの判定を行って、撮影した使用者の顔がどこのタイプに属するかを表示画面に表示する。また、その結果により、大人顔度や曲線顔度を数値化することができ、数値化した結果を表示することができる。また、分析した画面や数値等の結果はそのまま蓄積することができる。また、この結果に基づいて、その顔に対応させて、図１１に示すようなお勧めメイク表示を行う。
【０１０５】
また、図１１に示すように、お勧めメイクを選択すると、顔タイプ（本実施形態では、例えば５種類（「やさしい・女らしい」、「キュート・かわいらしい」、「フレッシュ・活発」、「クール・シャープ」、「標準」））別にそれぞれのお勧めメイクを設定する。また、これらの顔タイプ別にゲーム装置１０の表示画面等に提示するコメント、又はメイクを行うための各種情報が予め設定されている。
【０１０６】
図１２は、本実施形態において使用される各種情報の一例を示す図である。なお、図１２Ａはタイプ別のアナウンス内容の一例を示し、図１２Ｂは各部位に対するメイクの型情報の一例を示し、図１２Ｃは各部位に対するメイクの色情報の一例を示している。なお、図１２に示す各種情報は、予めＲＡＭ５０等の記憶手段に蓄積されており、必要に応じて読み出したり、データの追加、修正、削除等を行うことができる。
【０１０７】
図１２Ａに示すコメント内容一覧には、例えば必要なタイプ別に応じて、各部位（パーツ）毎（例えば、「ファンデーション」、「眉」、「アイシャドー」、「アイライン」、「マスカラ」、「口紅」、「ほお紅」等）に表示するテキスト内容や、各タイプ別の各部位に対してお勧めメイクを行うためのアドバイス情報（例えば、ファンデーションののばし方、アイラインでやさしくみせる方法、口紅でキュートに見せる方法等）を文字、音声、画像、映像等を用いて提示するため、蓄積手段等に蓄積されたディクショナリーへのリンク情報等が蓄積される。これにより、使用者が選択したり、お勧めメイク処理で選択された各タイプ別の各部位に対して適切な情報を迅速に提示することができる。
【０１０８】
また、図１２Ｂに示す型情報では、各タイプ（フェイスマップタイプ）の各部位（パーツ）毎に１又は複数の型が蓄積されており、その何れかを選択して「フォルダ」の項目に蓄積された対応する型情報の画面表示等を行う。また、図１２Ｃに示す色情報についても、各タイプ（フェイスマップタイプ）の各部位（パーツ）毎に１又は複数の型が蓄積されており、その何れかを選択して「フォルダ」の項目に蓄積された対応する色情報の画面表示等を行う。なお、本実施形態では、複数の色を使用することができるため、例えばアイシャドーの場合には、「フォルダ」内に３パターンの色情報を蓄積し必要に応じて使用者に画面に表示することができる。ここで、図１２Ａ〜Ｃに示す各種情報は、異なるＩＤで管理されてもよく、必要に応じて各情報が関連付けられていてもよい。
【０１０９】
上述した内容に基づいて、タイプ別に異なる内容を、キャラクタを用いて使用者に提示することができる。また、生成されたシミュレーション画像は、使用者の指示内容にしたがって蓄積手段に蓄積することができる。なお、各項目は、上述された７つの項目に限定されるものではなく、数を減らしてもよいし、増やしてもよい。
【０１１０】
＜シチュエーション別メイク＞
次に、上述したお勧めメイクに含まれるシチュエーション別メイクについて具体的に説明する。図１３は、シチュエーション別メイクにおける画面遷移の一例を示す図である。なお、図１３Ａは処理の前段の画面遷移を示し、図１３Ｂは図１３Ａ中の（Ｂ）に続く後段の画面遷移を示している。また、図１３中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。
【０１１１】
図１３に示すように、ゲーム装置１０の一方の画面（例えば、左側画面）には、予め撮像された顔画像からメイクしたいフェイスデータを使用者に選択させ、選択させた顔に予め設定された顔タイプ別や化粧の目的として、例えばビジネス、デート、友達、フォーラム等の項目から１つを選択させ、また、ビジネス（普段）、ビジネス（会議・プレゼン）、ショッピング、アウトドア、結婚式、葬式、パーティ等の内容から１つを選択させる。更に、暖色系、寒色系、モノトーン系等の分類を選択することにより、シチュエーション別の化粧後画像を表示させることができる。なお、化粧後画像は、ＲＡＭ等の蓄積手段に蓄積することができる。
【０１１２】
＜トレンドメイク＞
次に、上述したお勧めメイクに含まれるトレンドメイクについて具体的に説明する。図１４は、トレンドメイクにおける画面遷移の一例を示す図である。なお、図１４中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。
【０１１３】
図１４に示すように、ゲーム機１０の一方の画面（例えば、左側画面）には、使用者が所望するなりたい印象の顔タイプを選択させることで、所望するメイク結果を画面に表示する。例えば、今まで撮影された画像の中から化粧を行う対象画像を選択し、季節（春夏秋冬）やトレンド（エレガント、クリーン、ナチュラル、クール）等を選択することで、その対応するトレンドの化粧後画像を表示させることができる。なお、化粧後画像は、ＲＡＭ等の蓄積手段に蓄積することができる。
【０１１４】
＜Ｓ１５：メイク解説処理について＞
次に、上述のメイク解説処理（Ｓ１５）について具体的に説明する。図１５は、メイク解説処理の一例を示すフローチャートである。図１５に示すメイク解説処理では、まずメイクを行う部位を選択するか否かを判断し（Ｓ３１）、メイクする部位が選択されない場合（Ｓ３１において、ＮＯ）、選択されるまで処理を継続する。なお、所定時間入力されない場合には、メイク解説処理を終了してもよい。また、メイクする部位が選択された場合（Ｓ３１において、ＹＥＳ）、その部位に対応して予め蓄積手段に蓄積されている記憶内容から対応する部位を拡大して表示画面に表示する（Ｓ３２）。このとき、メイクにおける解説も同時に表示する。
【０１１５】
ここで、メイク解説モードを終了するか否かを判断し（Ｓ３３）、メイク解説モードを終了しない場合（Ｓ３３において、ＮＯ）、Ｓ３１の処理に戻り後続の処理を行う。また、メイク解説モードを終了する場合（Ｓ３３において、ＹＥＳ）、メイク解説モードを終了させる。
【０１１６】
＜課題モード処理＞
次に、本実施形態におけるコンテンツ例として、課題モードにおける処理内容について図を用いて説明する。課題モードは、使用者に似合う化粧方法を課題として使用者に提示し、使用者は出された課題に対して、色、色の濃さ、範囲を入力し、入力した内容と課題として提示された化粧内容とを比較し、その比較した結果を評価するモードである。図１６は、課題モード全体の処理手順の一例を示すフローチャートである。図１６に示す課題モード処理では、上述した顔画像抽出におけるポイント抽出を行い（Ｓ４１）、次に上述した顔立ち分析を行い（Ｓ４２）、課題モード処理を行う（Ｓ４３）。
【０１１７】
ここで、Ｓ４３に示す課題モードの具体的な処理内容についてフローチャートを用いて説明する。図１７は、Ｓ４３に示す課題モードの具体的な処理内容の一例を示すフローチャートである。図１７に示す処理では、まずシチュエーションを選択するか否かを判断し（Ｓ５１）、シチュエーションを選択しない場合（Ｓ５１において、ＮＯ）、シチュエーションを選択するまで繰り返し処理行う。なお、所定時間入力されない場合には、課題モード処理を終了してもよい。
【０１１８】
また、シチュエーションを選択する場合（Ｓ５１において、ＹＥＳ）、次に、メイク部位を選択するか否かを判断する（Ｓ５２）。メイク部位を選択しない場合（Ｓ５２において、ＮＯ）、選択するまで繰り返しＳ５２の処理を行う。なお、所定時間入力されない場合には、課題モード処理を終了してもよい。また、Ｓ５２の処理において、メイク部位を選択する場合（Ｓ５２において、ＹＥＳ）、メイク方法を入力する（Ｓ５３）。具体的には、予め撮影された顔画像のうち１つの画像を選択し、更にＳ５１にて選択したシチュエーション（例えば、ビジネス、デート、結婚式、春夏用等）を選択して、Ｓ５２において選択された１又は複数の部位（例えば、ベースカラー、チーク、眉、口紅等）に対して色パレット等を表示させて使用者が指定した領域にメイクを施す。
【０１１９】
次に、メイク方法の入力が終了したか否かを判断し（Ｓ５４）、メイク方法の入力が終了していない場合（Ｓ５４において、ＮＯ）、Ｓ５２の処理に戻り、メイク部位の選択から行う。また、Ｓ５４の処理において、メイク方法の入力が終了した場合（Ｓ５４において、ＹＥＳ）、入力した内容に対して課題判定を行う（Ｓ５５）。具体的には、予め設定された判定テーブル等を用いて色、色の濃さ、範囲について、ベースカラーやチーク、口紅等、予め設定された箇所における評価を行い、その結果から判定を行う。色の濃さについては、図示しないが、例えばタッチパネル上に色の濃さを示すゲージを表示し、そのゲージをタッチ入力により操作することで色の濃さを入力することが可能である。また、色の濃さを入力する際に、リアルタイムで表示画面に表示されているベースカラーやチーク、口紅等の色を随時変更した画面を表示してもよい。
【０１２０】
次に、課題モードを終了するか否かを判断し（Ｓ５６）、課題モードを終了しない場合（Ｓ５６において、ＮＯ）、Ｓ５１の処理に戻り後続の処理を繰り返し行う。また、課題モードを終了する場合（Ｓ５６において、ＹＥＳ）、課題モード処理を終了する。
【０１２１】
＜判定テーブルについて＞
ここで、上述した判定テーブルの具体例について、図を用いて説明する。図１８は、判定テーブルの一例を示す図である。図１８に示す判定テーブルは、各シチュエーション毎に異なるタイプ（図１８の例では、タイプＡ，Ｂ，Ｃ，Ｄ）が設定されており、更に、各タイプにおける「ベースカラー」、「アイシャドー」、「マスカラ」、「チーク」、「口紅」、「リップグロス」、「アイブロウ」等について基準となる色（ＲＧＢ）、色の濃さ、範囲等が予め蓄積されている。
【０１２２】
判定時においては、図１８に示すような予め基準となる判定値（例えば上記のようなタイプ別に定められた基準が数値化されたテーブル）が、シチュエーション毎に複数設けられており、使用者は、課題モードにおいて、事前にシチュエーションを選択し、フリーメイクにて化粧を施した後、ゲーム装置１０による判定に入り、装置側では判定テーブルと実際に使用者が入力したメイクの内容（色、位置、サイズ（範囲））とを比較してテーブルに定められている値からどれだけ離れているかを評価することによって、使用者の化粧方法の正否を判定する。
【０１２３】
例えば、判定値として規定の値が２００であり、使用者が選択した値がｘである場合、「ｘ＝１９０＜ｘ＜２１０→すばらしい！と判定」、「ｘ＝１００＜ｘ＜１９０或いは２１０＜ｘ＜２４５→微妙と判定」、「ｘ＝０＜ｘ＜１００→ＮＧ！と判定」のような方法で判定することができる。上記の判定結果は、上述の通り、文字によって表現することも可能であるが、結果を得点として算出して表示することも可能であり、その得点方法としては、各部位毎に算出してもよく、また合計点を算出して表示してもよい。また、その結果に応じて、後述するアバタールームにおけるアバター用の仮想空間内に配置するアイテムを付与してもよい。
【０１２４】
＜フリーメイクモード＞
次に、フリーメイクモードにおける画面遷移図について、図面を用いて説明する。図１９は、フリーメイク処理の画面遷移の一例を示す図である。なお、図１９中の画面に表示される顔画像は、実際には予め撮影等により取得されたカラーの顔画像が表示される。図１９に示すフリーメイクは、メイクしたいフェイスデータ（顔画像）を蓄積手段に蓄積されている顔画像の中から１つ選択し、例えば「ベース」、「眉」、「アイシャドー」、「アイライン」、「マスカラ」、「口紅」、「ほお紅」、「リップグロス」等の各部位からメイクを行いたい部位を少なくとも１つ選択し、選択した部位に対してメイクを行う。このとき、遊びアイテムとしてアクセサリーやメガネ、髪型、帽子等を合成させることで、実際にはできない様々なメイクを仮想的に画面に表示させることができる。
【０１２５】
なお、上述した各部位に対する領域は、上述した顔画像抽出処理における各ポイント抽出処理により抽出された位置（領域）を基準にしているが、そのポイントを意図的にずらすことで、例えば口紅の塗る領域を実際の唇の大きさよりも大きく又は小さくさせたり、眉の位置やサイズを替えることで、あらゆるパターンの化粧後画像を生成することができ、娯楽性を向上させることができる。
【０１２６】
また、ゲーム装置１０の一方の画面（例えば、左側画面）には、キャラクタがしゃべっているように表示させるための予め設定されたテキスト内容が蓄積手段等に蓄積されている。ここで、図２０は、ゲーム進行中に表示されるテキスト（文章）の一例を示す図である。図２０に示すように、例えば、「ノーメイクの場合」、「使用者がメイクを施している時間中の文章」、「メイクパーツ数に対応した文章」、「その他の様々な文章」等の各条件（条件（１））と、その条件発生時に設定される条件（２）の内容に応じて所定のメッセージを表示させることができる。なお、本実施形態において表示されるメッセージの内容は、図２０に示す内容に限定されるものではない。
【０１２７】
＜その他のコンテンツ＞
なお、上述した化粧シミュレーションに関するゲームコンテンツとしては、上述以外にも、以下の機能を設けることができる。
（１）ＳＴＥＰ ＵＰ ＢＥＡＵＴＹ
美容に関してのメイク、スキンケア、ヘルスケアの基礎から応用、テクニック、専門用語をテキストだけではなくイラストとアニメーション、フェイスニングスキャンを使い解説する機能を有していてもよい。この場合、例えばディクショナリー機能による用語の解説、ブックマーク機能による忘れてはならない基礎やテクニックを登録、ビューティーチャレンジ機能によるメイク、スキンケア、ヘルスケアの基本から応用までをフェイスニングスキャンやタッチペンを用いたクイズで予習、復習等を行うことができる。
（２）アバタールーム
トレーニングやビューティーチャレンジ合格等のご褒美的な癒しのモードとして、上述した顔立ち分析を用いて自分の顔画像と同じ顔立ちの３Ｄアバターを作成して表示することができる。このとき、メモリカード内のＲＯＭには、顔立ち分析の種類に応じた数のアバターが記憶され、顔立ち分析の結果に基づいて抽出されたアバターは、予め設定された仮想空間内のルームの中で自由に行動し、ユーザーを癒すことができる。また、ゲームの進行に合わせてアバター用のアイテム（服や家具）が手に入ったり、イベントが発生したりすることができる、このようなコンテンツを設けることで、化粧シミュレーションにおける娯楽性を向上させることができる。また、アバターは、規定の動きを繰り返すように設定してもよく、また使用者自身が操作することで動かしてもよい。各アバターは、使用者自身の顔立ち分析に基づいて作成され、自分と似た顔のアバターであるため、親近感が生じやすく、したがって、定期的にゲームをプレイするように促す要因となる。
【０１２８】
上述したように、本発明によれば、顔画像に対して使用者が所望する化粧を簡易にシミュレーションすることができる。また、本発明によれば、百貨店等の化粧品コーナーや美容院、カウンター等にある専門的な装置を用いることなく、気軽に自分の顔を分析し、その結果に基づいた化粧顔を確認することができる。また、客観的な情報に基づいて、その人に一番適した化粧顔にするための方法を学習可能とすることができる。
【０１２９】
また、本発明によれば、気軽に自分の顔を分析し、その結果に基づいた自分の顔の部分の化粧方法に対して出される課題を実施し、判定されることで、その当人にとってふさわしい化粧顔を繰り返し確認することができる。
【０１３０】
なお、本発明は、例えば携帯型ゲーム装置等に適用できるため、例えば化粧シミュレーションを行う対象は、女性だけに限定されず、男性や子供、犬や猫等の動物等にも適用することができ、より娯楽性を高めたソフトウェアとして提供することができる。
【０１３１】
また、本発明においては、２つの画面を用いて化粧前の顔画像（全体又は各部位）と化粧後の顔画像とをそれぞれ表示させてその違いが容易に使用者にわかるように提示させてもよい。更に、ＴＰＯ（Ｔｉｍｅ（時間）、Ｐｌａｃｅ（場所）、Ｏｃｃａｓｉｏｎ（場合））に適した色味を提示してもよく、肌の色身やその人の好みの色を登録しておき、色診断に基づいて色判定を行うこともできる。
【０１３２】
また、ゲーム装置内に通信機能を有すことも可能であり、通信機能を介して、季節やその年の流行に合わせた化粧方法を随時記憶させ、その年や季節の流行にあわせた化粧方法を提供することも可能である。
【０１３３】
また、本願において、タッチパネルは１点検出の方法を用いたが、他点検出パネルを用いてもよい。更に、メッセージの表示は、文字によって視覚的に表示をしたが、音声で示してもよい。
【０１３４】
ここでは、図示の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更を加えることができることは明らかである。すなわち、具体例の詳細及び添付の図面により本発明が限定されるものと解釈してはならない。上記実施の形態例は本発明の理解のためのものであり、本発明がこれらに限定されるものではない。
【図面の簡単な説明】
【０１３５】
【図１】本発明の第１の実施形態を示すゲーム機の斜視図である。
【図２】ゲーム機におけるブロック構成の一例を示す図である。
【図３】本実施形態におけるＲＡＭのメモリマップの一構成例を示す図である。
【図４】本実施形態における顔画像抽出処理の一例を示すフローチャートである。
【図５】本実施形態におけるエッジ抽出の一例を示す図である。
【図６】ＨＳＶ分解画像の一例を示す図である。
【図７】マットキーの一例を示す図である。
【図８】本実施形態におけるゲームソフトのゲーム画面遷移の一例を示す図である。
【図９】お勧めメイクにおける全体の処理フローチャートの一例を示す図である。
【図１０】バーチャルメイク処理の一例を示すフローチャートである。
【図１１Ａ】お勧めメイク処理における画面遷移の一例を示す図（その１）である。
【図１１Ｂ】お勧めメイク処理における画面遷移の一例を示す図（その２）である。
【図１２Ａ】本実施形態において使用される各種情報の一例を示す図（その１）である。
【図１２Ｂ】本実施形態において使用される各種情報の一例を示す図（その２）である。
【図１２Ｃ】本実施形態において使用される各種情報の一例を示す図（その３）である。
【図１３Ａ】シチュエーションメイクにおける画面遷移の一例を示す図（その１）である。
【図１３Ｂ】シチュエーションメイクにおける画面遷移の一例を示す図（その２）である。
【図１４】トレンドメイクにおける画面遷移の一例を示す図である。
【図１５】メイク解説処理の一例を示すフローチャートである。
【図１６】課題モード全体の処理手順の一例を示すフローチャートである。
【図１７】Ｓ４３に示す課題モードの具体的な処理内容の一例を示すフローチャートである。
【図１８】判定テーブルの一例を示す図である。
【図１９】フリーメイク処理の画面遷移の一例を示す図である。
【図２０】ゲーム進行中に表示されるテキスト（文章）の一例を示す図である。
【符号の説明】
【０１３６】
１０ ゲーム機（ゲーム装置）
１２ 第１の表示画面
１４ 第２の表示画面
１６ ハウジング
１８ 音抜き孔
２０ 操作スイッチ
２２ タッチパネル
２４ スティック又はスタイラスペン（ペン）
２６ 収納部
２８ 撮像装置（レンズ付きカメラ）
３０ メモリカード
３２ 挿入口
４０ 回路基板
４２ ＣＰＵコア
４４ バス
４６ 第１のコネクタ
４８ 第２のコネクタ
５０ ＲＡＭ
５２ 第１のＧＰＵ
５４ 第２のＧＰＵ
５６ Ｉ／Ｆ回路
５８ コントローラ
６０ 第１のＶＲＡＭ
６２ 第２のＶＲＡＭ
６４ レジスタ
７０ プログラム記憶領域
７２ データ記憶領域
８０ ゲーム面処理プログラム
８２ コントローラ入力検出プログラム
８４ タッチパネル入力検出プログラム
８６ 画像生成プログラム
８８ メイン画像表示プログラム
９０ サブ画面表示プログラム
９２ プレイヤキャラクタ表示制御プログラム
９４ オブジェクト表示制御プログラム
１００ 画像データ
１０２ 音データ
１０４ オブジェクトデータバッファ領域
１０６ 操作データバッファ領域
１０８ 座標位置データバッファ領域
【特許請求の範囲】
【請求項１】
取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置であって、
予め複数の化粧情報を蓄積する蓄積手段と、
前記顔画像を取得する撮像手段と、
前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段と、
前記化粧顔生成手段により得られる前記化粧後画像を表示する表示手段とを有することを特徴とするゲーム装置。
【請求項２】
前記顔画像抽出手段は、
前記顔画像における予め設定された少なくとも１以上の部位のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により得られる画像からマスク画像を用いて前記部位を抽出するマスク抽出手段とを有することを特徴とする請求項１に記載のゲーム装置。
【請求項３】
前記顔画像抽出手段は、
前記マスク抽出手段により抽出された前記部位の領域を予め設定された複数の点により位置付け、位置付けられた点の少なくとも１つを前記表示手段に表示し、操作入力手段を用いて少なくとも１つの点を移動させて各部位の位置を調整する調整手段を有することを特徴とする請求項２に記載のゲーム装置。
【請求項４】
前記顔画像抽出手段により抽出された顔特徴情報から予め設定された複数の顔分類のうち、何れかの分類に位置付ける分類手段を有し、
前記化粧顔生成手段は、前記分類手段により得られる顔分類毎に設定された顔特徴情報に応じて、予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成することを特徴とする請求項１乃至３の何れか１項に記載のゲーム装置。
【請求項５】
前記顔画像抽出手段により得られる各部位の位置とサイズからなる顔特徴情報に合わせて、前記化粧顔情報に含まれる化粧する位置情報を修正し、修正した位置情報を蓄積手段に蓄積させるよう制御する制御手段を有することを特徴とする請求項１乃至４の何れか１項に記載のゲーム装置。
【請求項６】
前記化粧顔生成手段は、
表示される前記化粧後画像の他に、表示された化粧に応じたアドバイスを生成するアドバイス提示手段を備えていることを特徴とする請求項１乃至５の何れか１項に記載のゲーム装置。
【請求項７】
前記顔画像に適した課題を提供し、前記課題に対応して前記使用者が顔画像に入力した情報から、課題の達成度を判定する判定手段と、
前記判定手段により判定された課題の達成度の判定結果を前記表示手段に表示する判定表示制御手段とを有することを特徴とする請求項１乃至６の何れか１項に記載のゲーム装置。
【請求項８】
取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置の制御方法であって、
予め複数の化粧情報を蓄積する蓄積工程と、
前記顔画像を取得する撮像工程と、
前記撮像工程により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出工程と、
前記顔画像抽出工程により抽出された前記顔特徴情報に応じて、前記蓄積工程により予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出工程により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成工程と、
前記化粧顔生成工程により得られる前記化粧後画像を表示する表示手段とを有することを特徴とするゲーム制御方法。
【請求項９】
取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示手段に表示させるゲームのプログラムを実行可能なゲーム装置を構成するコンピュータを、
予め複数の化粧情報を蓄積する蓄積手段、
前記顔画像を取得する撮像手段、
前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段、及び、
前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段、
として機能させるゲーム制御プログラム。
【請求項１０】
請求項９に記載のゲーム制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置であって、
予め複数の化粧情報を蓄積する蓄積手段と、
前記顔画像を取得する撮像手段と、
前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段と、
前記化粧顔生成手段により得られる前記化粧後画像を表示する表示手段とを有することを特徴とするゲーム装置。
【請求項２】
前記顔画像抽出手段は、
前記顔画像における予め設定された少なくとも１以上の部位のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により得られる画像からマスク画像を用いて前記部位を抽出するマスク抽出手段とを有することを特徴とする請求項１に記載のゲーム装置。
【請求項３】
前記顔画像抽出手段は、
前記マスク抽出手段により抽出された前記部位の領域を予め設定された複数の点により位置付け、位置付けられた点の少なくとも１つを前記表示手段に表示し、操作入力手段を用いて少なくとも１つの点を移動させて各部位の位置を調整する調整手段を有することを特徴とする請求項２に記載のゲーム装置。
【請求項４】
前記顔画像抽出手段により抽出された顔特徴情報から予め設定された複数の顔分類のうち、何れかの分類に位置付ける分類手段を有し、
前記化粧顔生成手段は、前記分類手段により得られる顔分類毎に設定された顔特徴情報に応じて、予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成することを特徴とする請求項１乃至３の何れか１項に記載のゲーム装置。
【請求項５】
前記顔画像抽出手段により得られる各部位の位置とサイズからなる顔特徴情報に合わせて、前記化粧顔情報に含まれる化粧する位置情報を修正し、修正した位置情報を蓄積手段に蓄積させるよう制御する制御手段を有することを特徴とする請求項１乃至４の何れか１項に記載のゲーム装置。
【請求項６】
前記化粧顔生成手段は、
表示される前記化粧後画像の他に、表示された化粧に応じたアドバイスを生成するアドバイス提示手段を備えていることを特徴とする請求項１乃至５の何れか１項に記載のゲーム装置。
【請求項７】
前記顔画像に適した課題を提供し、前記課題に対応して前記使用者が顔画像に入力した情報から、課題の達成度を判定する判定手段と、
前記判定手段により判定された課題の達成度の判定結果を前記表示手段に表示する判定表示制御手段とを有することを特徴とする請求項１乃至６の何れか１項に記載のゲーム装置。
【請求項８】
取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示させるゲームのプログラムを実行可能なゲーム装置の制御方法であって、
予め複数の化粧情報を蓄積する蓄積工程と、
前記顔画像を取得する撮像工程と、
前記撮像工程により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出工程と、
前記顔画像抽出工程により抽出された前記顔特徴情報に応じて、前記蓄積工程により予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出工程により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成工程と、
前記化粧顔生成工程により得られる前記化粧後画像を表示する表示手段とを有することを特徴とするゲーム制御方法。
【請求項９】
取得した顔画像に対し、使用者の操作に応答して予め設定されたオブジェクトを合成して仮想的に化粧を施した画像を表示手段に表示させるゲームのプログラムを実行可能なゲーム装置を構成するコンピュータを、
予め複数の化粧情報を蓄積する蓄積手段、
前記顔画像を取得する撮像手段、
前記撮像手段により得られる顔画像に対して顔の各部位の位置とサイズからなる顔特徴情報を抽出する顔画像抽出手段、及び、
前記顔画像抽出手段により抽出された前記顔特徴情報に応じて、前記蓄積手段から予め蓄積された複数の化粧顔情報から特定の化粧顔情報を選択し、前記化粧顔情報を前記顔画像抽出手段により得られる前記顔特徴情報に基づいて、前記顔画像と適合させた化粧後画像を生成する化粧顔生成手段、
として機能させるゲーム制御プログラム。
【請求項１０】
請求項９に記載のゲーム制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図６】
【図７】
【図８】
【図１２Ｃ】
【図２】
【図３】
【図４】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図６】
【図７】
【図８】
【図１２Ｃ】
【公開番号】特開２０１０−１７３６０（Ｐ２０１０−１７３６０Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８０７７９（Ｐ２００８−１８０７７９）
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（０００１３２４７１）株式会社セガ (811)
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（０００１３２４７１）株式会社セガ (811)
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
[ Back to top ]