眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラム
【課題】 眼鏡フレームが個人の顔にフィットするように調整する作業をシミュレートすることが可能な眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラムを提供すること。
【解決手段】 標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含む。
【解決手段】 標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼鏡のフィッティングシミュレーションシステム及び眼鏡のフィッティングシミュレーション方法及びプログラムに関する。
【背景技術】
【0002】
従来から、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデリングシステムが知られている(例えば、特許文献1参照)。また、眼鏡フレームの形状データと眼鏡装用者の顔画像データを画面に表示し、画面上において、フレーム種類の変更、パーツの変更、パーツ位置の変更を行えるようにした眼鏡のオーダーメイドシステムが知られている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−107145号公報
【特許文献2】特開2006−107145号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の眼鏡のオーダーメイドシステムは、眼鏡フレームの各パーツの種類や取り付け位置を眼鏡装用者の好みに合わせて決定するものであり、眼鏡フレームが眼鏡装用者の顔にフィットするようにフレームや鼻パッド等を調整する作業までをシミュレートするものではなかった。
【0005】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、眼鏡フレームが個人の顔にフィットするように調整する作業をもシミュレートすることが可能な眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
(1)本発明に係る眼鏡のフィッティングシミュレーションシステムは、
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする。
【0007】
また本発明は、上記各部としてコンピュータを機能させるためのプログラムに関する。
【0008】
本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。
【0009】
(2)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。
【0010】
本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。
【0011】
(3)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。
【0012】
本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。
【0013】
(4)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0014】
本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。
【0015】
(5)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0016】
本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。
【0017】
(6)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。
【0018】
本発明によれば、眼鏡フレームのモダンが個人の耳裏の付け根に沿うように調整する作業をシミュレートすることができる。
【0019】
(7)本発明に係る眼鏡のフィッティングシミュレーション方法は、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成手順と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする。
【0020】
本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。
【図面の簡単な説明】
【0021】
【図1】本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例。
【図2】本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す図。
【図3】本顔形状モデル生成部により生成された個人の顔形状モデルの一例を示す図。
【図4】鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理の一例を示すフローチャート。
【図5】鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理について説明するための図。
【図6】鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理について説明するための図。
【図7】顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。
【図8】顔形状モデルにフィットしていない眼鏡フレームの形状モデルの画像の一例を示す図。
【図9】モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理の一例を示すフローチャート。
【図10】モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理について説明するための図。
【図11】モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理について説明するための図。
【図12】顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。
【図13】モダンの形状モデルを顔形状モデルの耳裏の付け根に沿って曲げる処理の一例を示すフローチャート。
【図14】モダンの形状モデルを顔形状モデルの耳裏の付け根に沿って曲げる処理について説明するための図。
【図15】顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。
【発明を実施するための形態】
【0022】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0023】
1.装置の構成
図1に本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例を示す。なお本実施形態のフィッティングシミュレーションシステムは図1の構成要素(各部)の一部を省略した構成としてもよい。
【0024】
記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAM、VRAMなどにより実現できる。そして、本実施形態の記憶部170は、ワーク領域として使用される主記憶部172と、個人の複数の顔画像が記憶される顔画像記憶部174と、標準顔形状モデルのモデルデータが記憶される標準顔形状モデル記憶部176と、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルのモデルデータが記憶される眼鏡フレーム形状モデル記憶部178と、最終的な表示画像等が記憶されるフレームバッファ179とを含む。なお、顔画像記憶部174に記憶される個人の複数の顔画像は、個人の顔をデジタルカメラにより異なる撮像方向から複数枚撮像した画像であり、眼鏡のフィッティングシミュレーションシステムに接続された撮像部(デジタルカメラ)から入力されたものでもよいし、外部の情報処理装置から通信部196を介して受信したものでもよい。なお、本実施形態では、正面と左右側面の3枚の顔画像が顔画像記憶部174に記憶される。
【0025】
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、光磁気ディスク(MO)、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ(ROM)などにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)を記憶することができる。
【0026】
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、或いはタッチパネル型ディスプレイなどにより実現できる。
【0027】
通信部196は、インターネット等のネットワークを介して外部(PC、携帯電話等の情報処理装置やサーバ)との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。
【0028】
処理部100(プロセッサ)は、モデル生成処理、モデル変形処理、描画処理などの処理を行う。この処理部100は主記憶部172をワーク領域として各種処理を行う。処理部100の機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。
【0029】
処理部100は、顔形状モデル生成部110、位置合わせ部112、眼鏡フレーム形状モデル変形部114、描画部120を含む。
【0030】
顔形状モデル生成部110は、まず、顔画像記憶部174に記憶された個人の複数の顔画像のそれぞれについて複数の特徴点を抽出する。ここで、特徴点とは、顔形状の個人差を表す形状の特徴点(例えば、鼻の最突出点や目尻)をいう。特徴点の抽出は、例えば、任意の輝度を閾値として2値化した顔画像を走査して、各特徴点の定義に合う点を判定することによって行うことができる。次に、顔形状モデル生成部110は、撮像方向の違う各顔画像の特徴点の対応関係から、抽出された特徴点の3次元位置情報を算出する。
【0031】
次に、顔形状モデル生成部110は、算出された特徴点の3次元位置情報に基づき、標準顔形状モデル記憶部176に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する。標準顔形状モデル記憶部176に記憶された標準顔形状モデルは、ポリゴンメッシュ、或いは自由曲面で構成された幾何学形状と、顔画像から抽出する特徴点(第2の特徴点)と一対一で対応する特徴点(第1の特徴点)から構成される。この標準顔形状モデルの第1の特徴点を、算出された第2の特徴点の3次元位置情報に合うように移動し、且つ第1の特徴点以外の幾何学形状部分を第1の特徴点の移動を補間するように変形する。この手法により、特別な測定装置を必要とせずに個人の顔形状モデルを容易に且つ短時間で生成することができる。
【0032】
位置合わせ部112は、顔形状モデル生成部110によって生成された個人の顔形状モデルの座標系に、眼鏡フレーム形状モデル記憶部178に記憶された眼鏡フレームの形状モデルを配置し、個人の顔形状モデルに対して眼鏡フレームの形状モデルの位置を合わせる処理を行う。例えば、眼鏡フレームの形状モデルを構成するレンズと、顔形状モデルの目との位置関係等に基づいて、眼鏡フレームの形状モデルの位置合わせを行う。
【0033】
眼鏡フレーム形状モデル変形部114は、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する処理を行う。
【0034】
また、眼鏡フレーム形状モデル変形部114は、眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから顔形状モデルまでの距離に基づいて、眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。
【0035】
また、眼鏡フレーム形状モデル変形部114は、前記クリングスの形状モデルの変形後に、前記鼻パッドの形状モデルの接触面の法線と、顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。
【0036】
また、眼鏡フレーム形状モデル変形部114は、眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0037】
また、眼鏡フレーム形状モデル変形部114は、眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0038】
また、眼鏡フレーム形状モデル変形部114は、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。
【0039】
描画部120は、処理部100で行われる種々の処理の結果に基づいて描画処理を行い、これにより顔形状モデルと、顔形状モデルにフィットさせた眼鏡フレームの形状モデルとを含む画像であって、オブジェクト空間(座標系)の所与の視点(仮想カメラ)から見える画像を生成し、表示部190に出力する。
【0040】
また本実施形態のフィッティングシミュレーションシステムは、眼鏡フレーム形状モデル変形部114により変形された眼鏡フレーム形状モデルの形状データ或いは変形データに基づいて、実物の眼鏡フレームを構成する部品を変形する加工機を含むようにしてもよい。
【0041】
2.本実施形態の手法
次に本実施形態の眼鏡のフィッティングシミュレーション手法について図面を用いて説明する。
【0042】
2−1.眼鏡フレームの形状モデルと顔形状モデル
図2に、本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す。眼鏡フレームをレンズ保持部分(リム)の形態によって分類すると、フルリム、ハーフリム、リムレスの3つに分けられる。図2では、リムレスタイプの眼鏡フレームを用いた例を示している。
【0043】
図2に示す眼鏡フレームの形状モデルGMは、ブリッジBR、クリングスCL、鼻パッドNP、ヨロイYR、テンプルTM、モダンMD、レンズLN、ブリッジ−レンズ固定ネジBN、レンズ−ヨロイ固定ネジYNの各部品の形状モデルから構成される。各部品の形状モデルはポリゴンメッシュにより構成される。なお、図2では、説明の便宜上、各部品の形状モデルを分離して示しているが、実際には各部品の形状モデルは互いに結合して眼鏡フレームの形状モデルGMを構成している。フィッティングシミュレーションに用いる眼鏡フレームの形状モデルを複数の部品の形状モデルにより構成することにより、部品ごとに顔形状モデルに合わせて変形することができ、眼鏡フレームの形状モデルを顔形状モデルにフィットさせる処理を容易に行うことができる。
【0044】
図3に、本顔形状モデル生成部110により生成された個人の顔形状モデルの一例を示す。図3に示す顔形状モデルFMも、眼鏡フレームの形状モデルGMと同様にポリゴンメッシュにより構成される。図3に示すように、顔形状モデルFMが記述される座標系は、法医学復顔法の前頭面、正中矢状面、耳眼水平面をそれぞれXY平面、YZ平面、XZ平面とし、この3つの平面が交差する点を原点SPとする座標系である。
【0045】
2−2.眼鏡フレームの形状モデルの位置合わせ
本実施形態では、眼鏡のフィッティングシミュレーションの前処理として、図3に示す座標系に眼鏡フレームの形状モデルGMを配置し、顔形状モデルFMに対して眼鏡フレームの形状モデルGMの位置を合わせる処理を行う。
【0046】
まず、眼鏡フレームの形状モデルGMの横方向の中心を、図3に示す座標系のYZ平面に合わせて、眼鏡フレームの形状モデルGMのX位置を決定する。次に、眼鏡フレームの形状モデルGMを構成するレンズの形状モデルLNが顔形状モデルFMの側面から見て10°前傾した状態になるように眼鏡フレームの形状モデルGMを回転させる。次に、レンズの形状モデルLNの縦幅の中間位置のY値(左右の平均値)を求め、そのY値にアイポイント高さ値(一般に2mm)を加えた値が顔形状モデルFMの瞳のY値(左右の平均値)となるように、眼鏡フレームの形状モデルGMのY位置を決定する。最後に、レンズの形状モデルLNの裏面と顔形状モデルFMの瞳間のZ軸方向の距離(頂点間距離)が所定の距離(一般に12mm)となるように、眼鏡フレームの形状モデルGMのZ位置を決定する。
【0047】
2−3.クリングスの変形と鼻パッドの回転
眼鏡フレームの形状モデルGMの位置合わせを行っても、鼻パッドの形状モデルNPの位置と傾きが顔形状モデルFMの鼻に合っていなければ、鼻パッドの形状モデルNPが鼻に対して浮いたり、めり込んだりする。
【0048】
そこで、本実施形態の手法では、位置合わせが行われた眼鏡フレームの形状モデルGMを構成するクリングスの形状モデルCLを変形し、且つ鼻パッドの形状モデルNPの傾きを変えることで、鼻パッドの形状モデルNPを顔形状モデルFMの鼻にフィットさせる処理を行う。以下、鼻パッドの形状モデルNPを顔形状モデルFMの鼻にフィットさせる処理について、図4のフローチャートと、図5、図6(A)、図6(B)を用いて説明する。
【0049】
まず、鼻パッドの形状モデルNPの接触面(鼻に接触する面)におけるポリゴンを構成する全ての頂点Pi(i=1,2‥)を求める(図4のステップS10)。次に、頂点Piを通り、Z軸に平行な直線が顔形状モデルFMと交わる点Qi(i=1,2‥)を求める(ステップS12)。次に、頂点Piの平均座標値をPとし、点Qiの平均座標値をQとしたとき、PとQ間の距離Dz(図5参照)を求める(ステップS14)。
【0050】
次に、図6(A)に示すクリングスの形状モデルCLの曲げ回転中心点Oから先端部分(クリングスの形状モデルCLに繋がる鼻パッドの形状モデルNPを含む)を、点Oを通りX軸に平行な軸回りに回転させた場合に、鼻パッドの形状モデルNPの接触面が顔形状モデルFMに接触するときの角度λxを求め(ステップS16)、クリングスの形状モデルCLの点Oから先端部分を角度λxだけ回転させる(ステップS18)。ここで、Pの座標値を(Px,Py,Pz)とすると、角度λxは、次式により求めることができる。但し、ここでは点Oの座標値を(0,0,0)として計算している。
【0051】
【数1】
【0052】
次に、図5に示すベクトルMとベクトル−Nとのなす角度αをベクトルMとベクトル−Nの内積から求める(ステップS20)。ここで、ベクトルMは、クリングスの形状モデルCLを角度λxだけ曲げ回転させた後の、鼻パッドの形状モデルNPの接触面を構成する全てのポリゴンの法線を平均したベクトルである。またベクトル−Nは、顔形状モデルFMにおける鼻パッドの形状モデルNPの接触面が接触する部分を構成する全てのポリゴンの法線を平均したベクトルNの逆ベクトルである。
【0053】
次に、ステップS20の処理において求めた角度αが所定の閾値γ以内であるか否かを判断し(ステップS22)、閾値γ以内である場合には処理を終了する。閾値γの値は実験的に定めるが、ここでは、見た目上違和感のないγ=0.2°の値を採用する。
【0054】
ステップS22の処理において、角度αが所定の閾値γを超えていると判断された場合には、ベクトルMとベクトル−Nの外積をベクトルAとしたとき、鼻パッドの形状モデルNPが回転する点C(図6(B)参照)を通りベクトルAに平行な軸回りに角度αだけ鼻パッドの形状モデルNPを回転させ(ステップS24)、ステップS12の処理に進む。以降、角度αが所定の閾値以内となるまでステップS12からステップS24までの処理を繰り返す。
【0055】
図7に、本実施形態の手法により、鼻パッドの形状モデルNPを個人の顔形状モデルFMの鼻にフィットさせる処理を行ったときの、顔形状モデルFMと眼鏡フレームの形状モデルGMの画像の一例を示す。図7に示すように、本実施形態の手法によれば、鼻パッドの形状モデルNPを様々な形状の個人の顔形状モデルFMにフィットさせることができる。
【0056】
2−4.ヨロイとレンズの変形
眼鏡フレームの形状モデルGMの横幅が顔形状モデルFMの横幅に合っていない場合や、モダンの形状モデルMDの高さ位置が顔形状モデルFMの耳に合っていない場合は、モダンの形状モデルMDが顔に対して浮いたり(図8(A)参照)、めり込んだり(図8(B)参照)、耳に対して浮いたり(図8(C)参照)して、モダンの形状モデルMDが顔形状モデルFMの耳に掛からない。
【0057】
そこで、本実施形態の手法では、眼鏡フレームの形状モデルGMを構成するヨロイの形状モデルYRを変形してヨロイの形状モデルYRの一部とテンプルの形状モデルTM及びモダンの形状モデルMDをX軸に平行な軸回りに回転させ、且つレンズの形状モデルLNを変形して大きさを変えることで、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理を行う。以下、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理について、図9のフローチャートと、図10、図11(A)、図11(B)を用いて説明する。
【0058】
まず、図10に示すように、モダンの形状モデルMDの一方の先端の点Sとモダンの形状モデルMDの中間の点Rとを結ぶベクトルRSと、モダンの形状モデルMDの他方の先端の点Tと中間の点Rとを結ぶベクトルTRとのなす角度βを、ベクトルRSとベクトルTRとの内積から求める(図9のステップ30)。
【0059】
次に、ベクトルRSとベクトルTRとの外積をベクトルKとしたとき、点Rを通りベクトルKに平行な軸回りに角度βだけモダンの形状モデルMDの点Rから先端までを回転変形し、モダンの形状モデルMDを真っ直ぐに伸ばす(ステップS32)。
【0060】
次に、図11(A)に示すヨロイの形状モデルYRの曲げ回転中心点Bから−Z軸方向に位置する眼鏡部品(ヨロイの形状モデルYRに繋がるテンプルの形状モデルTMとモダンの形状モデルMDとを含む)を、点Bを通りX軸に平行な軸回りに回転させた場合に、モダンの形状モデルMDが点H’(顔形状モデルFMの耳におけるモダンの形状モデルMDが接触する点EとZ値及びY値が一致する点)に接触するときの角度φxを求め(ステップS34)、ヨロイの形状モデルYRの点Bから−Z軸方向に位置する眼鏡部品を角度φxだけ回転させる(ステップS36)。ここで、点T、点S、点Eの座標値をそれぞれ(Tx,Ty,Tz)、(Sx,Sy,Sz)、(Ex,Ey,Ez)とすると、角度φxは次式により求めることができる。
【0061】
【数2】
【0062】
ここでは、a=mEy+nEz、b=nEy-mEz、c=nTy-mTz、m=Sy-Ty、n=Sz-Tzとし、点Bの座標値を(0,0,0)として計算している。
【0063】
次に、点Eと点H’間の距離Dx(図11(B)参照)を求める(ステップS38)。ステップS36の処理により、点T及び点Sが角度φxだけ回転して、それぞれT’(Tx’,Ty’,Tz’)、S’(Sx’,Sy’,Sz’)に移動したとすると、距離Dxは次式により求めることができる。
【0064】
【数3】
【0065】
次に、レンズの形状モデルLZの横幅を所定単位だけ変える。通常レンズの加工は1mm単位であるので、ここでは1mmだけ横幅を変える(ステップS40)。なお、距離Dxが正の値である場合には、横幅を所定単位だけ小さくし、距離Dxが負の値である場合には、横幅を所定単位だけ大きくする。
【0066】
次に、再び距離Dxを求め、距離Dxが0に最も近くなったか否かを判断し(ステップS42)、距離Dxが0に最も近くなるまでステップS40及びステップS42の処理を繰り返す。
【0067】
図12に、本実施形態の手法により、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理を行ったときの、顔形状モデルFMと眼鏡フレームの形状モデルGMの画像の一例を示す。図12に示すように、本実施形態の手法によれば、眼鏡フレームの形状モデルGMの横幅が顔形状モデルFMの横幅に合っていない場合や、モダンの形状モデルMDの高さ位置が顔形状モデルFMの耳に合っていない場合であっても、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせることができる。
【0068】
2−5.モダンの変形
本実施形態の手法では、最後に、モダンを顔形状モデルFMの耳に掛かった状態にさせる上記処理によって真っ直ぐに伸ばされたモダンの形状モデルMDを、顔形状モデルFMの耳裏の付け根に沿って曲げる処理を行う。モダンの形状モデルMDを顔形状モデルFMの耳裏の付け根に沿って曲げる処理について、図13のフローチャートと図14を用いて説明する。
【0069】
まず、図14に示すように、顔形状モデルFMの耳裏の付け根に沿った複数の点Ei(i=1,2‥n)を求める(図13のステップS50)。ここで、点E1は、モダンの形状モデルMDが顔形状モデルFMの耳に接触する点E(図11参照)と同一の点である。
【0070】
次に、iに1をセットし(ステップS52)、点Ei−1と点Eiとを結ぶベクトルUiと、点Eiと点Ei+1とを結ぶベクトルViとのなす角θiをベクトルUiとベクトルViの内積から求める(ステップS54)。ただし、i=1のときは、モダンの形状モデルMDの一方の先端の点Tと他方の先端の点Sとを結ぶベクトルTSをベクトルUiとする。
【0071】
次に、ベクトルUiとベクトルViとの外積をベクトルGiとしたとき、点Eiを通りベクトルGiに平行な軸回りに角度θiだけモダンの形状モデルMDの点Eiから先端までを回転変形する(ステップS56)。
【0072】
次に、iがnに達したか否かを判断し(ステップS58)、iがnに達していない場合には、iにi+1をセットし(ステップS60)、ステップS54の処理に進む。以降、iがnに達するまでステップS54からステップS60までの処理を繰り返す。
【0073】
図15に、本実施形態の手法により、モダンの形状モデルMDを顔形状モデルFMの耳裏の付け根に沿って曲げる処理を行ったときの、顔形状モデルFMと眼鏡フレームの形状モデルGMの画像の一例を示す。図15に示すように、本実施形態の手法によれば、モダンの形状モデルMDを、様々な形状の個人の顔形状モデルFMの耳裏の付け根にフィットさせることができる。
【0074】
このように本実施形態の手法によれば、位置合わせが行われた眼鏡フレームの形状モデルを構成する部品の形状モデルを、個人の顔形状モデルに合わせて変形することで、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。そして、本実施形態の手法により変形された眼鏡フレームの形状モデルの画像や形状データ或いは各部品の変形データ(例えば、クリングスの曲げ回転角度λx、ヨロイの曲げ回転角度φx、モダンの曲げ回転角度θi)に基づいて、眼鏡フレームの形状モデルに対応する実物の眼鏡フレームを手作業或いは加工機により調整することができ、顧客が店舗に出向くことを要せずに遠隔地で眼鏡フレームの調整を行うことができる。すわなち、顧客はPCや携帯電話等の情報処理端末を用いてサーバにアクセスして、異なる撮像方向から撮像した自身の顔画像を送信し、購入を希望する眼鏡フレームを選択するだけで、自身の顔にフィットする眼鏡フレームを手に入れることができる。
【0075】
3.変形例
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。
【0076】
例えば、本実施形態では、リムレスタイプの眼鏡フレームを対象とした場合について説明したが、フルリムタイプ或いはハーフリムタイプの眼鏡フレームを対象とするようにしてもよい。この場合には、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理を行う際に、レンズの形状モデルLNの横幅を変化させることに代えて、ヨロイの形状モデルYRの曲げ回転中心点Bから−Z軸方向に位置する眼鏡部品を、点Bを通りY軸に平行な軸回りに回転させるようにすればよい。
【符号の説明】
【0077】
100 処理部、110 顔形状モデル生成部、112 位置合わせ部、114 眼鏡フレーム形状モデル変形部、120 描画部、170 記憶部、176 標準顔形状モデル記憶部、178 眼鏡フレーム形状モデル記憶部、180 情報記憶媒体、190 表示部、196 通信部
【技術分野】
【0001】
本発明は、眼鏡のフィッティングシミュレーションシステム及び眼鏡のフィッティングシミュレーション方法及びプログラムに関する。
【背景技術】
【0002】
従来から、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデリングシステムが知られている(例えば、特許文献1参照)。また、眼鏡フレームの形状データと眼鏡装用者の顔画像データを画面に表示し、画面上において、フレーム種類の変更、パーツの変更、パーツ位置の変更を行えるようにした眼鏡のオーダーメイドシステムが知られている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−107145号公報
【特許文献2】特開2006−107145号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の眼鏡のオーダーメイドシステムは、眼鏡フレームの各パーツの種類や取り付け位置を眼鏡装用者の好みに合わせて決定するものであり、眼鏡フレームが眼鏡装用者の顔にフィットするようにフレームや鼻パッド等を調整する作業までをシミュレートするものではなかった。
【0005】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、眼鏡フレームが個人の顔にフィットするように調整する作業をもシミュレートすることが可能な眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
(1)本発明に係る眼鏡のフィッティングシミュレーションシステムは、
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする。
【0007】
また本発明は、上記各部としてコンピュータを機能させるためのプログラムに関する。
【0008】
本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。
【0009】
(2)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。
【0010】
本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。
【0011】
(3)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。
【0012】
本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。
【0013】
(4)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0014】
本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。
【0015】
(5)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0016】
本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。
【0017】
(6)また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。
【0018】
本発明によれば、眼鏡フレームのモダンが個人の耳裏の付け根に沿うように調整する作業をシミュレートすることができる。
【0019】
(7)本発明に係る眼鏡のフィッティングシミュレーション方法は、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成手順と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする。
【0020】
本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。
【図面の簡単な説明】
【0021】
【図1】本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例。
【図2】本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す図。
【図3】本顔形状モデル生成部により生成された個人の顔形状モデルの一例を示す図。
【図4】鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理の一例を示すフローチャート。
【図5】鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理について説明するための図。
【図6】鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理について説明するための図。
【図7】顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。
【図8】顔形状モデルにフィットしていない眼鏡フレームの形状モデルの画像の一例を示す図。
【図9】モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理の一例を示すフローチャート。
【図10】モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理について説明するための図。
【図11】モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理について説明するための図。
【図12】顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。
【図13】モダンの形状モデルを顔形状モデルの耳裏の付け根に沿って曲げる処理の一例を示すフローチャート。
【図14】モダンの形状モデルを顔形状モデルの耳裏の付け根に沿って曲げる処理について説明するための図。
【図15】顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。
【発明を実施するための形態】
【0022】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0023】
1.装置の構成
図1に本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例を示す。なお本実施形態のフィッティングシミュレーションシステムは図1の構成要素(各部)の一部を省略した構成としてもよい。
【0024】
記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAM、VRAMなどにより実現できる。そして、本実施形態の記憶部170は、ワーク領域として使用される主記憶部172と、個人の複数の顔画像が記憶される顔画像記憶部174と、標準顔形状モデルのモデルデータが記憶される標準顔形状モデル記憶部176と、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルのモデルデータが記憶される眼鏡フレーム形状モデル記憶部178と、最終的な表示画像等が記憶されるフレームバッファ179とを含む。なお、顔画像記憶部174に記憶される個人の複数の顔画像は、個人の顔をデジタルカメラにより異なる撮像方向から複数枚撮像した画像であり、眼鏡のフィッティングシミュレーションシステムに接続された撮像部(デジタルカメラ)から入力されたものでもよいし、外部の情報処理装置から通信部196を介して受信したものでもよい。なお、本実施形態では、正面と左右側面の3枚の顔画像が顔画像記憶部174に記憶される。
【0025】
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、光磁気ディスク(MO)、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ(ROM)などにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)を記憶することができる。
【0026】
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、或いはタッチパネル型ディスプレイなどにより実現できる。
【0027】
通信部196は、インターネット等のネットワークを介して外部(PC、携帯電話等の情報処理装置やサーバ)との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。
【0028】
処理部100(プロセッサ)は、モデル生成処理、モデル変形処理、描画処理などの処理を行う。この処理部100は主記憶部172をワーク領域として各種処理を行う。処理部100の機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。
【0029】
処理部100は、顔形状モデル生成部110、位置合わせ部112、眼鏡フレーム形状モデル変形部114、描画部120を含む。
【0030】
顔形状モデル生成部110は、まず、顔画像記憶部174に記憶された個人の複数の顔画像のそれぞれについて複数の特徴点を抽出する。ここで、特徴点とは、顔形状の個人差を表す形状の特徴点(例えば、鼻の最突出点や目尻)をいう。特徴点の抽出は、例えば、任意の輝度を閾値として2値化した顔画像を走査して、各特徴点の定義に合う点を判定することによって行うことができる。次に、顔形状モデル生成部110は、撮像方向の違う各顔画像の特徴点の対応関係から、抽出された特徴点の3次元位置情報を算出する。
【0031】
次に、顔形状モデル生成部110は、算出された特徴点の3次元位置情報に基づき、標準顔形状モデル記憶部176に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する。標準顔形状モデル記憶部176に記憶された標準顔形状モデルは、ポリゴンメッシュ、或いは自由曲面で構成された幾何学形状と、顔画像から抽出する特徴点(第2の特徴点)と一対一で対応する特徴点(第1の特徴点)から構成される。この標準顔形状モデルの第1の特徴点を、算出された第2の特徴点の3次元位置情報に合うように移動し、且つ第1の特徴点以外の幾何学形状部分を第1の特徴点の移動を補間するように変形する。この手法により、特別な測定装置を必要とせずに個人の顔形状モデルを容易に且つ短時間で生成することができる。
【0032】
位置合わせ部112は、顔形状モデル生成部110によって生成された個人の顔形状モデルの座標系に、眼鏡フレーム形状モデル記憶部178に記憶された眼鏡フレームの形状モデルを配置し、個人の顔形状モデルに対して眼鏡フレームの形状モデルの位置を合わせる処理を行う。例えば、眼鏡フレームの形状モデルを構成するレンズと、顔形状モデルの目との位置関係等に基づいて、眼鏡フレームの形状モデルの位置合わせを行う。
【0033】
眼鏡フレーム形状モデル変形部114は、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する処理を行う。
【0034】
また、眼鏡フレーム形状モデル変形部114は、眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから顔形状モデルまでの距離に基づいて、眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。
【0035】
また、眼鏡フレーム形状モデル変形部114は、前記クリングスの形状モデルの変形後に、前記鼻パッドの形状モデルの接触面の法線と、顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。
【0036】
また、眼鏡フレーム形状モデル変形部114は、眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0037】
また、眼鏡フレーム形状モデル変形部114は、眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
【0038】
また、眼鏡フレーム形状モデル変形部114は、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。
【0039】
描画部120は、処理部100で行われる種々の処理の結果に基づいて描画処理を行い、これにより顔形状モデルと、顔形状モデルにフィットさせた眼鏡フレームの形状モデルとを含む画像であって、オブジェクト空間(座標系)の所与の視点(仮想カメラ)から見える画像を生成し、表示部190に出力する。
【0040】
また本実施形態のフィッティングシミュレーションシステムは、眼鏡フレーム形状モデル変形部114により変形された眼鏡フレーム形状モデルの形状データ或いは変形データに基づいて、実物の眼鏡フレームを構成する部品を変形する加工機を含むようにしてもよい。
【0041】
2.本実施形態の手法
次に本実施形態の眼鏡のフィッティングシミュレーション手法について図面を用いて説明する。
【0042】
2−1.眼鏡フレームの形状モデルと顔形状モデル
図2に、本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す。眼鏡フレームをレンズ保持部分(リム)の形態によって分類すると、フルリム、ハーフリム、リムレスの3つに分けられる。図2では、リムレスタイプの眼鏡フレームを用いた例を示している。
【0043】
図2に示す眼鏡フレームの形状モデルGMは、ブリッジBR、クリングスCL、鼻パッドNP、ヨロイYR、テンプルTM、モダンMD、レンズLN、ブリッジ−レンズ固定ネジBN、レンズ−ヨロイ固定ネジYNの各部品の形状モデルから構成される。各部品の形状モデルはポリゴンメッシュにより構成される。なお、図2では、説明の便宜上、各部品の形状モデルを分離して示しているが、実際には各部品の形状モデルは互いに結合して眼鏡フレームの形状モデルGMを構成している。フィッティングシミュレーションに用いる眼鏡フレームの形状モデルを複数の部品の形状モデルにより構成することにより、部品ごとに顔形状モデルに合わせて変形することができ、眼鏡フレームの形状モデルを顔形状モデルにフィットさせる処理を容易に行うことができる。
【0044】
図3に、本顔形状モデル生成部110により生成された個人の顔形状モデルの一例を示す。図3に示す顔形状モデルFMも、眼鏡フレームの形状モデルGMと同様にポリゴンメッシュにより構成される。図3に示すように、顔形状モデルFMが記述される座標系は、法医学復顔法の前頭面、正中矢状面、耳眼水平面をそれぞれXY平面、YZ平面、XZ平面とし、この3つの平面が交差する点を原点SPとする座標系である。
【0045】
2−2.眼鏡フレームの形状モデルの位置合わせ
本実施形態では、眼鏡のフィッティングシミュレーションの前処理として、図3に示す座標系に眼鏡フレームの形状モデルGMを配置し、顔形状モデルFMに対して眼鏡フレームの形状モデルGMの位置を合わせる処理を行う。
【0046】
まず、眼鏡フレームの形状モデルGMの横方向の中心を、図3に示す座標系のYZ平面に合わせて、眼鏡フレームの形状モデルGMのX位置を決定する。次に、眼鏡フレームの形状モデルGMを構成するレンズの形状モデルLNが顔形状モデルFMの側面から見て10°前傾した状態になるように眼鏡フレームの形状モデルGMを回転させる。次に、レンズの形状モデルLNの縦幅の中間位置のY値(左右の平均値)を求め、そのY値にアイポイント高さ値(一般に2mm)を加えた値が顔形状モデルFMの瞳のY値(左右の平均値)となるように、眼鏡フレームの形状モデルGMのY位置を決定する。最後に、レンズの形状モデルLNの裏面と顔形状モデルFMの瞳間のZ軸方向の距離(頂点間距離)が所定の距離(一般に12mm)となるように、眼鏡フレームの形状モデルGMのZ位置を決定する。
【0047】
2−3.クリングスの変形と鼻パッドの回転
眼鏡フレームの形状モデルGMの位置合わせを行っても、鼻パッドの形状モデルNPの位置と傾きが顔形状モデルFMの鼻に合っていなければ、鼻パッドの形状モデルNPが鼻に対して浮いたり、めり込んだりする。
【0048】
そこで、本実施形態の手法では、位置合わせが行われた眼鏡フレームの形状モデルGMを構成するクリングスの形状モデルCLを変形し、且つ鼻パッドの形状モデルNPの傾きを変えることで、鼻パッドの形状モデルNPを顔形状モデルFMの鼻にフィットさせる処理を行う。以下、鼻パッドの形状モデルNPを顔形状モデルFMの鼻にフィットさせる処理について、図4のフローチャートと、図5、図6(A)、図6(B)を用いて説明する。
【0049】
まず、鼻パッドの形状モデルNPの接触面(鼻に接触する面)におけるポリゴンを構成する全ての頂点Pi(i=1,2‥)を求める(図4のステップS10)。次に、頂点Piを通り、Z軸に平行な直線が顔形状モデルFMと交わる点Qi(i=1,2‥)を求める(ステップS12)。次に、頂点Piの平均座標値をPとし、点Qiの平均座標値をQとしたとき、PとQ間の距離Dz(図5参照)を求める(ステップS14)。
【0050】
次に、図6(A)に示すクリングスの形状モデルCLの曲げ回転中心点Oから先端部分(クリングスの形状モデルCLに繋がる鼻パッドの形状モデルNPを含む)を、点Oを通りX軸に平行な軸回りに回転させた場合に、鼻パッドの形状モデルNPの接触面が顔形状モデルFMに接触するときの角度λxを求め(ステップS16)、クリングスの形状モデルCLの点Oから先端部分を角度λxだけ回転させる(ステップS18)。ここで、Pの座標値を(Px,Py,Pz)とすると、角度λxは、次式により求めることができる。但し、ここでは点Oの座標値を(0,0,0)として計算している。
【0051】
【数1】
【0052】
次に、図5に示すベクトルMとベクトル−Nとのなす角度αをベクトルMとベクトル−Nの内積から求める(ステップS20)。ここで、ベクトルMは、クリングスの形状モデルCLを角度λxだけ曲げ回転させた後の、鼻パッドの形状モデルNPの接触面を構成する全てのポリゴンの法線を平均したベクトルである。またベクトル−Nは、顔形状モデルFMにおける鼻パッドの形状モデルNPの接触面が接触する部分を構成する全てのポリゴンの法線を平均したベクトルNの逆ベクトルである。
【0053】
次に、ステップS20の処理において求めた角度αが所定の閾値γ以内であるか否かを判断し(ステップS22)、閾値γ以内である場合には処理を終了する。閾値γの値は実験的に定めるが、ここでは、見た目上違和感のないγ=0.2°の値を採用する。
【0054】
ステップS22の処理において、角度αが所定の閾値γを超えていると判断された場合には、ベクトルMとベクトル−Nの外積をベクトルAとしたとき、鼻パッドの形状モデルNPが回転する点C(図6(B)参照)を通りベクトルAに平行な軸回りに角度αだけ鼻パッドの形状モデルNPを回転させ(ステップS24)、ステップS12の処理に進む。以降、角度αが所定の閾値以内となるまでステップS12からステップS24までの処理を繰り返す。
【0055】
図7に、本実施形態の手法により、鼻パッドの形状モデルNPを個人の顔形状モデルFMの鼻にフィットさせる処理を行ったときの、顔形状モデルFMと眼鏡フレームの形状モデルGMの画像の一例を示す。図7に示すように、本実施形態の手法によれば、鼻パッドの形状モデルNPを様々な形状の個人の顔形状モデルFMにフィットさせることができる。
【0056】
2−4.ヨロイとレンズの変形
眼鏡フレームの形状モデルGMの横幅が顔形状モデルFMの横幅に合っていない場合や、モダンの形状モデルMDの高さ位置が顔形状モデルFMの耳に合っていない場合は、モダンの形状モデルMDが顔に対して浮いたり(図8(A)参照)、めり込んだり(図8(B)参照)、耳に対して浮いたり(図8(C)参照)して、モダンの形状モデルMDが顔形状モデルFMの耳に掛からない。
【0057】
そこで、本実施形態の手法では、眼鏡フレームの形状モデルGMを構成するヨロイの形状モデルYRを変形してヨロイの形状モデルYRの一部とテンプルの形状モデルTM及びモダンの形状モデルMDをX軸に平行な軸回りに回転させ、且つレンズの形状モデルLNを変形して大きさを変えることで、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理を行う。以下、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理について、図9のフローチャートと、図10、図11(A)、図11(B)を用いて説明する。
【0058】
まず、図10に示すように、モダンの形状モデルMDの一方の先端の点Sとモダンの形状モデルMDの中間の点Rとを結ぶベクトルRSと、モダンの形状モデルMDの他方の先端の点Tと中間の点Rとを結ぶベクトルTRとのなす角度βを、ベクトルRSとベクトルTRとの内積から求める(図9のステップ30)。
【0059】
次に、ベクトルRSとベクトルTRとの外積をベクトルKとしたとき、点Rを通りベクトルKに平行な軸回りに角度βだけモダンの形状モデルMDの点Rから先端までを回転変形し、モダンの形状モデルMDを真っ直ぐに伸ばす(ステップS32)。
【0060】
次に、図11(A)に示すヨロイの形状モデルYRの曲げ回転中心点Bから−Z軸方向に位置する眼鏡部品(ヨロイの形状モデルYRに繋がるテンプルの形状モデルTMとモダンの形状モデルMDとを含む)を、点Bを通りX軸に平行な軸回りに回転させた場合に、モダンの形状モデルMDが点H’(顔形状モデルFMの耳におけるモダンの形状モデルMDが接触する点EとZ値及びY値が一致する点)に接触するときの角度φxを求め(ステップS34)、ヨロイの形状モデルYRの点Bから−Z軸方向に位置する眼鏡部品を角度φxだけ回転させる(ステップS36)。ここで、点T、点S、点Eの座標値をそれぞれ(Tx,Ty,Tz)、(Sx,Sy,Sz)、(Ex,Ey,Ez)とすると、角度φxは次式により求めることができる。
【0061】
【数2】
【0062】
ここでは、a=mEy+nEz、b=nEy-mEz、c=nTy-mTz、m=Sy-Ty、n=Sz-Tzとし、点Bの座標値を(0,0,0)として計算している。
【0063】
次に、点Eと点H’間の距離Dx(図11(B)参照)を求める(ステップS38)。ステップS36の処理により、点T及び点Sが角度φxだけ回転して、それぞれT’(Tx’,Ty’,Tz’)、S’(Sx’,Sy’,Sz’)に移動したとすると、距離Dxは次式により求めることができる。
【0064】
【数3】
【0065】
次に、レンズの形状モデルLZの横幅を所定単位だけ変える。通常レンズの加工は1mm単位であるので、ここでは1mmだけ横幅を変える(ステップS40)。なお、距離Dxが正の値である場合には、横幅を所定単位だけ小さくし、距離Dxが負の値である場合には、横幅を所定単位だけ大きくする。
【0066】
次に、再び距離Dxを求め、距離Dxが0に最も近くなったか否かを判断し(ステップS42)、距離Dxが0に最も近くなるまでステップS40及びステップS42の処理を繰り返す。
【0067】
図12に、本実施形態の手法により、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理を行ったときの、顔形状モデルFMと眼鏡フレームの形状モデルGMの画像の一例を示す。図12に示すように、本実施形態の手法によれば、眼鏡フレームの形状モデルGMの横幅が顔形状モデルFMの横幅に合っていない場合や、モダンの形状モデルMDの高さ位置が顔形状モデルFMの耳に合っていない場合であっても、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせることができる。
【0068】
2−5.モダンの変形
本実施形態の手法では、最後に、モダンを顔形状モデルFMの耳に掛かった状態にさせる上記処理によって真っ直ぐに伸ばされたモダンの形状モデルMDを、顔形状モデルFMの耳裏の付け根に沿って曲げる処理を行う。モダンの形状モデルMDを顔形状モデルFMの耳裏の付け根に沿って曲げる処理について、図13のフローチャートと図14を用いて説明する。
【0069】
まず、図14に示すように、顔形状モデルFMの耳裏の付け根に沿った複数の点Ei(i=1,2‥n)を求める(図13のステップS50)。ここで、点E1は、モダンの形状モデルMDが顔形状モデルFMの耳に接触する点E(図11参照)と同一の点である。
【0070】
次に、iに1をセットし(ステップS52)、点Ei−1と点Eiとを結ぶベクトルUiと、点Eiと点Ei+1とを結ぶベクトルViとのなす角θiをベクトルUiとベクトルViの内積から求める(ステップS54)。ただし、i=1のときは、モダンの形状モデルMDの一方の先端の点Tと他方の先端の点Sとを結ぶベクトルTSをベクトルUiとする。
【0071】
次に、ベクトルUiとベクトルViとの外積をベクトルGiとしたとき、点Eiを通りベクトルGiに平行な軸回りに角度θiだけモダンの形状モデルMDの点Eiから先端までを回転変形する(ステップS56)。
【0072】
次に、iがnに達したか否かを判断し(ステップS58)、iがnに達していない場合には、iにi+1をセットし(ステップS60)、ステップS54の処理に進む。以降、iがnに達するまでステップS54からステップS60までの処理を繰り返す。
【0073】
図15に、本実施形態の手法により、モダンの形状モデルMDを顔形状モデルFMの耳裏の付け根に沿って曲げる処理を行ったときの、顔形状モデルFMと眼鏡フレームの形状モデルGMの画像の一例を示す。図15に示すように、本実施形態の手法によれば、モダンの形状モデルMDを、様々な形状の個人の顔形状モデルFMの耳裏の付け根にフィットさせることができる。
【0074】
このように本実施形態の手法によれば、位置合わせが行われた眼鏡フレームの形状モデルを構成する部品の形状モデルを、個人の顔形状モデルに合わせて変形することで、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。そして、本実施形態の手法により変形された眼鏡フレームの形状モデルの画像や形状データ或いは各部品の変形データ(例えば、クリングスの曲げ回転角度λx、ヨロイの曲げ回転角度φx、モダンの曲げ回転角度θi)に基づいて、眼鏡フレームの形状モデルに対応する実物の眼鏡フレームを手作業或いは加工機により調整することができ、顧客が店舗に出向くことを要せずに遠隔地で眼鏡フレームの調整を行うことができる。すわなち、顧客はPCや携帯電話等の情報処理端末を用いてサーバにアクセスして、異なる撮像方向から撮像した自身の顔画像を送信し、購入を希望する眼鏡フレームを選択するだけで、自身の顔にフィットする眼鏡フレームを手に入れることができる。
【0075】
3.変形例
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。
【0076】
例えば、本実施形態では、リムレスタイプの眼鏡フレームを対象とした場合について説明したが、フルリムタイプ或いはハーフリムタイプの眼鏡フレームを対象とするようにしてもよい。この場合には、モダンの形状モデルMDを顔形状モデルFMの耳に掛かった状態にさせる処理を行う際に、レンズの形状モデルLNの横幅を変化させることに代えて、ヨロイの形状モデルYRの曲げ回転中心点Bから−Z軸方向に位置する眼鏡部品を、点Bを通りY軸に平行な軸回りに回転させるようにすればよい。
【符号の説明】
【0077】
100 処理部、110 顔形状モデル生成部、112 位置合わせ部、114 眼鏡フレーム形状モデル変形部、120 描画部、170 記憶部、176 標準顔形状モデル記憶部、178 眼鏡フレーム形状モデル記憶部、180 情報記憶媒体、190 表示部、196 通信部
【特許請求の範囲】
【請求項1】
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項2】
請求項1において、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項3】
請求項2において、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項5】
請求項1乃至4のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項6】
請求項1乃至5のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項7】
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成手順と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする眼鏡のフィッティングシミュレーション方法。
【請求項8】
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部としてコンピュータを機能させるためのプログラム。
【請求項1】
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項2】
請求項1において、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項3】
請求項2において、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項5】
請求項1乃至4のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項6】
請求項1乃至5のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げることを特徴とする眼鏡のフィッティングシミュレーションシステム。
【請求項7】
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成手順と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする眼鏡のフィッティングシミュレーション方法。
【請求項8】
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも1つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部としてコンピュータを機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図9】
【図10】
【図11】
【図13】
【図14】
【図7】
【図8】
【図12】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図9】
【図10】
【図11】
【図13】
【図14】
【図7】
【図8】
【図12】
【図15】
【公開番号】特開2011−60100(P2011−60100A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−210575(P2009−210575)
【出願日】平成21年9月11日(2009.9.11)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 〔研究集会名〕 2009年度精密工学会秋季大会「精密工学 未知への航海」プログラム&アブストラクト集 〔主催者名〕 社団法人 精密工学会 〔開催日〕 平成21年9月10〜12日
【出願人】(504132881)国立大学法人東京農工大学 (595)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月11日(2009.9.11)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 〔研究集会名〕 2009年度精密工学会秋季大会「精密工学 未知への航海」プログラム&アブストラクト集 〔主催者名〕 社団法人 精密工学会 〔開催日〕 平成21年9月10〜12日
【出願人】(504132881)国立大学法人東京農工大学 (595)
【Fターム(参考)】
[ Back to top ]