説明

情報処理方法、眼窩下点の位置推定方法、フランクフルト平面の算出方法および情報処理装置

【課題】被測定者の負担が少なく、かつ簡便な方法によって、眼窩下点などの解剖学的特徴点の位置を推定する方法および装置を提供する。
【解決手段】人(被測定者)の頭部の皮膚表面より、目頭点ENT、目尻点ECT、目頭点ENTの側の眼裂と眉との間の凹部にあたる瞼点PLP、および耳珠上縁点の座標をそれぞれ取得する。取得された目頭点ENT、目尻点ECTおよび瞼点PLPを通る仮想球面SPHの最下点の座標を算出することで眼窩下点ORBの位置を推定する。そして、一または二の眼裂に関する眼窩下点ORBおよび一または二の耳珠上縁点を含む少なくとも3点の座標に基づいてフランクフルト平面を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、眼窩下点の位置推定方法、フランクフルト平面の算出方法および情報処理装置に関する。
【背景技術】
【0002】
美容や歯科、個人認証などの種々の分野で、人の頭部の三次元画像が用いられている。三次元画像は、その位置と方向を基準空間の原点と座標系に合わせた状態で解析されて、頭部の特徴点の座標やベクトルが算出される。このため、三次元空間の中で頭部の特徴を求めるには基準となる座標平面が必要である。
【0003】
この基準座標平面としてフランクフルト平面(耳眼面)が広く用いられている。フランクフルト平面は、左右の外耳道上縁点(porion)と、左右の眼窩下点(orbitale)の中点もしくはそのどちらかの点と、で張られる平面として一般に定義される(特許文献1)。そして、特許文献1には、頭部の多断層画像から求まる外耳道上縁点と眼窩下点とからフランクフルト平面を決定することが記載されている。
【0004】
また、特許文献2には、人や動物の頭蓋骨の表面形状に関する三次元画像データに基づいてフランクフルト平面を決定することが記載されている。具体的には、特許文献2には、左右の外耳道中心と眼窩中心を通る基礎平面をまず求め、この基礎平面を外耳道上縁点まで平行移動することでフランクフルト平面を決定することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】再表WO01/003065号公報
【特許文献2】特開2006−238974号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
外耳道上縁点と眼窩下点は、ともに頭蓋骨上に位置する解剖学的特徴点であるため、その座標を正確に特定することは困難を伴う。特に眼窩下点は、頭部またはその皮膚表面画像の目視によって位置を正確に把握することが難しい。第一には、外耳道上縁点は耳珠上縁点(tragion)という皮膚表面上の特徴点に近接しているのに対し、眼窩下点の近傍にはこのような特徴点が存在しないためである。第二には、眼窩下点は皮膚の薄い目の下に位置しており、皮膚の弛みの影響を受けやすいためである。このため、フランクフルト平面を決定するにあたっては、特許文献1、2のように頭蓋骨の三次元画像もしくは頭部の多断層画像を用いるか、または触診によって眼窩下点の位置を特定することが必要であった。
【0007】
しかしながら、眼窩下点付近は非常に敏感な部位であり、また触診によって眼球を間接的に指で押すこともあるため、人によっては触診に対して痛みや恐怖を感じる。このため、触診によって眼窩下点の位置を特定するのは被測定者の負担が大きく、これらを望まない被測定者も多い。また、頭蓋骨の三次元画像や頭部の多断層画像を取得するためには、コンピュータ断層撮影(CT:Computed Tomography)や核磁気共鳴画像法(MRI:Magnetic Resonance Imaging)などの技術が必要であって大掛かりである。
【0008】
本発明は上述課題に鑑みてなされたものであり、被測定者の負担が少なく、かつ簡便な方法によって、眼窩下点などの解剖学的特徴点の位置を推定する方法および装置を提供するものである。
【課題を解決するための手段】
【0009】
本発明によれば、人の頭部の皮膚表面に関する三次元空間での位置データを取得する工程と、頭部器官の上または近傍に存在する前記皮膚表面の特徴点に対応する前記位置データに基づいて、前記頭部の骨表面における解剖学的特徴点の三次元位置を推定する工程と、を含む情報処理方法が提供される。
【0010】
また、本発明によれば、人の頭部の皮膚表面より、目頭点、目尻点および、前記目頭点にかかる眼裂と眉との間の凹部にあたる瞼点の座標をそれぞれ取得する工程と、取得された前記目頭点、前記目尻点および前記瞼点を通る仮想球面の最下点の座標を算出する工程と、を含む前記頭部における眼窩下点の位置推定方法が提供される。
【0011】
また、本発明によれば、人の頭部の皮膚表面より、目頭点、目尻点、前記目頭点の側の眼裂と眉との間の凹部にあたる瞼点、および耳珠上縁点の座標をそれぞれ取得する工程と、取得された前記目頭点、前記目尻点および前記瞼点を通る仮想球面の最下点の座標を算出する工程と、一または二の眼裂に関する前記最下点および一または二の前記耳珠上縁点を含む少なくとも3点の座標に基づいて前記皮膚表面の水平基準面を算出する工程と、を含むフランクフルト平面の算出方法が提供される。
【0012】
また、本発明によれば、人の頭部の皮膚表面に関する三次元空間での位置データを取得する位置取得手段と、頭部器官の上または近傍に存在する前記皮膚表面の特徴点に対応する前記位置データに基づいて、前記頭部の骨表面における解剖学的特徴点の三次元位置を推定する骨表面位置推定手段と、を備える情報処理装置が提供される。
【0013】
また、本発明の方法は、複数の工程を順番に記載してあるが、その記載の順番は複数の工程を実行する順番やタイミングを限定するものではない。このため、本発明の方法を実施するときには、その複数の工程の順番は内容的に支障のない範囲で変更することができ、また複数の工程の実行タイミングの一部または全部が互いに重複していてもよい。
【発明の効果】
【0014】
本発明によれば、頭部の皮膚表面の三次元空間での位置データに基づいて解剖学的特徴点の位置を推定するため、被測定者の負担が少なくかつ簡便に、眼窩下点などの解剖学的特徴点の位置を推定し、もって眼窩下点位置やフランクフルト平面を求めることができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態にかかる情報処理方法のフローチャートである。
【図2】被測定者(サンプル)の頭部の皮膚表面に関する三次元画像の正面図のうちの左目周辺の拡大図である。
【図3】眼裂近傍の等高線画像である。
【図4】瞼点を示す模式図である。
【図5】フランクフルト平面をZ−X平面とする三次元画像の側面図である。
【図6】本実施形態の情報処理装置の機能ブロック図である。
【図7】位置推定工程の詳細を示すフローチャートである。
【図8】眼裂近傍の法線ベクトル画像である。
【図9】(a)から(d)は、実施例1および参考例1から3にかかる三次元画像の部分正面図である。
【図10】実施例1にかかる等高線画像である。
【図11】(a)から(d)は、実施例1および参考例1から3に関する眼窩下点ORBの推定位置を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態を図面に基づいて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0017】
図1は、本発明の実施形態にかかる情報処理方法(以下、本方法という場合がある)のフローチャートである。
【0018】
本方法は、人(被測定者)の頭部の皮膚表面に関する三次元空間での位置データを取得する工程(位置取得工程S10)と、頭部器官の上または近傍に存在する皮膚表面の特徴点に対応する位置データに基づいて、頭部の骨表面における解剖学的特徴点の三次元位置を推定する工程(位置推定工程S40)と、を含む。
【0019】
これにより、本方法によれば、骨表面における解剖学的特徴点の位置が推定される。このため、他の特徴点の位置情報をあわせて用いることで、この皮膚表面の水平基準面を求めることができる。
【0020】
ここで、解剖学的特徴点は、骨格構造に基づいて点または実質的に点と見做しうる狭領域として定義され、かつ人の身体に共通して存在する、骨表面の特徴点である。頭部の解剖学的特徴点の一例としては、眼窩下点、眼窩上縁中央、眼窩内縁点、外耳道上縁点、鼻根点、頬骨弓点などを挙げることができる。
また、頭部の皮膚表面の特徴点は、頭部の目視観察により点または実質的に点と見做しうる狭領域として定義され、かつ人の身体に共通して存在する特徴点である。このうち、頭部器官の上または近傍に存在する皮膚表面の特徴点とは、頭部器官(目、耳、口または鼻)の一部分として、または頭部器官の近傍に存在する特徴点である。一例としては、目の近傍に存在する皮膚表面の特徴点として目頭点ENT(内眼角点)、目尻点ECT、外眼角点、眉間点、前頭側頭点および後述する瞼点、耳の近傍に存在する皮膚表面の特徴点として耳珠上縁点、上耳底点、下耳底点および側頭点、鼻の近傍に存在する皮膚表面の特徴点として鼻下点および鼻尖点、口の近傍に存在する皮膚表面の特徴点としてオトガイ点、オトガイ上点、顎角点、口角点および口点を挙げることができる。このように、頭部器官の上または近傍に存在する皮膚表面の特徴点の位置データを用いることにより、被測定者の身体的特徴によらず高い精度で解剖学的特徴点の三次元位置を推定することができる。
【0021】
より具体的には、本方法における解剖学的特徴点は眼窩下点であり、皮膚表面の他の特徴点は耳珠上縁点である。そして、算出される水平基準面はフランクフルト平面(耳眼面)である。ここで、フランクフルト平面を定義する外耳道上縁点は、耳珠軟骨の上縁にあたる耳珠上縁点という皮膚表面上の特徴点と近接している。そして、眼窩下点と外耳道上縁点とで張られるフランクフルト平面に対して、耳珠上縁点もまたこの平面上に載ることが知られている。このため、本方法によれば、皮膚表面の特徴点に基づいて推定された眼窩下点と、同じく皮膚表面の特徴点である耳珠上縁点とを用いてフランクフルト平面を求めることができる。
【0022】
皮膚表面の三次元空間での位置データは、複数台のデジタルカメラによるステレオ撮影や、皮膚表面を光学的にスキャンする三次元デジタイザを用いることで、被測定者に対して非接触で撮影することができる。このため、本方法によれば、触診や特殊な器具による頭部の固定などが不要であるため、被測定者への負担が少ない。そして、皮膚表面の画像に基づいて骨表面における解剖学的特徴点の位置を推定することができるため、CTやMRIなどの大掛かりな装置が不要である。このため、たとえば美容用途を目的として本方法を実施するにあたり、化粧品等の販売店舗内で簡便に行うことができる。
【0023】
次に、本方法をより詳細に説明する。図2は、被測定者(サンプル)の頭部の皮膚表面に関する三次元画像の正面図のうちの左目周辺の拡大図である。
【0024】
位置取得工程S10では、被測定者の頭部の皮膚表面に関する三次元空間での位置データを取得する。位置データとしては、たとえば直交三軸方向の成分をもつ三次元座標を挙げることができる。具体的には、被測定者の頭部を異なる複数点より撮影して取得した二次元画像データに基づいて三次元座標を算出して位置データとしてもよく、または三次元デジタイザで頭部の三次元座標を取得してもよい。または予め取得された三次元座標を記憶媒体やネットワーク経由で取得してもよい。
【0025】
取得した位置データに基づいて構成される三次元曲面(以下、三次元画像という場合がある)は、フランクフルト平面が未算出であるため、他の任意の仮平面を基準面として位置合わせがなされる。仮平面としては、両目の瞳孔の中心を通り視線方向に一致する平面などを設定することができる。三次元画像は、この仮平面を暫定的な水平基準面として座標系が設定される(図1:ステップS20)。
【0026】
座標系が仮設定された三次元画像は、ディスプレイ装置などに画像表示される(図1:ステップS30、および図2)。
【0027】
目頭点ENTは、内眼角点にあたる。具体的には、頭部の略正面方向から目視した場合における、眼裂FF(図3を参照)の目頭近傍の極点(極大点または極小点)である。眼裂FFは眼の開口である。眼裂FFの目頭近傍には、略一点に収束する凹みが存在する。凹みの内部には微細な皺の凹凸が形成されており、凹みの底部の略中央に存在する極大点または極小点が目頭点ENTにあたる。
【0028】
目尻点ECTは、目尻の外側に位置する特徴点である。具体的には、頭部の正面方向から天頂軸まわりに所定角度回転させた斜め方向からみた平面視における、眼裂FFの目尻近傍の極点(極大点または極小点)である。ここで、天頂軸は、三次元画像における頭頂を通り、かつ水平基準面に直交するベクトルで表される。
【0029】
本方法で用いる皮膚表面の特徴点は、目頭点ENTと、目尻点ECTと、この目頭点ENTの側の眼裂FFと眉との間の凹部にあたる瞼点PLPである。ここでいう目頭点ENTおよび目尻点ECTとは、同一の眼裂FF(たとえば左目)に関する目頭点と目尻点を意味する。また、この目頭点ENTの側の眼裂FFと眉との間とは、当該眼裂FF(たとえば左目)と、当該眼裂FFに関する眉との間の領域をいい、上瞼および眉直下の領域を含む。
【0030】
斜め方向に関する所定角度(回転角度)としては、10度以上かつ50度以下が好ましい。この数値範囲のうち、被測定者の目の長さによって適宜選択するとよい。具体的には、目尻点ECTが略正面に位置するまで、三次元画像を天頂軸まわりに回転させる。
【0031】
図3は、図2に拡大図として示した皮膚表面の三次元画像の正面図を天頂軸まわり(右回り)に30度回転させた、左目の眼裂FFの近傍に関する等高線画像である。目尻点ECTは、図3に示される30度回転画像における等高線に基づいて決定される、目尻近傍における極小点である。この等高線は、回転方向(30度方向)を法線方向として皮膚表面を断層化した場合の稜線にあたる。この等高線は、三次元画像の正面図を天頂軸まわりに所定角度(たとえば30度)回転させた斜め方向を高さ方向として座標変換することにより算出される。また、ここでいう極小点とは、皮膚表面を正面から所定角度(たとえば30度)回転させた斜め方向が高さ方向となるように三次元画像を座標変換した場合における、目尻近傍の凹部のうちの最も低い位置をいう。
【0032】
瞼点PLPもまた、上記の斜め方向を高さ方向とする座標変換をした三次元画像に基づいて決定することができる。瞼点PLPは、目頭点ENTと眼裂FFの中心と眉とで囲まれる部分領域PA(図2を参照)に含まれる凹部における極小点である。この凹部は、目頭点ENTが含まれる目頭近傍の凹みや、目尻点ECTが含まれる目尻近傍の凹みに比べて一般に緩やかに傾斜している。また、当該凹部の略中央にあたる底部は、一般に目頭点ENTや目尻点ECTよりも滑らかに凹んでいる。本実施形態では、所定の角度方向(斜め方向)を高さ方向とした場合の当該凹部の最深部にあたる極小点を瞼点PLPとする。
【0033】
図4は、瞼点PLPを示す模式図である。瞼点PLPは、この部分領域PAにおける、眼窩骨OBと眼球EYBの境目の軟部組織STの変極点である。瞼点PLPのより詳細な求め方は後述する。
【0034】
そして、本方法を用いることにより、眼窩下点の位置推定方法が実現される。具体的には、本実施形態による眼窩下点の位置推定方法は、極小点算出工程S45および眼窩下点算出工程S46(ともに図7を参照)を含む。
極小点算出工程S45では、人(被測定者)の頭部の皮膚表面より、目頭点ENT、目尻点ECTおよび、目頭点ENTの側の眼裂FFと眉との間の凹部にあたる瞼点PLPの座標をそれぞれ取得する。そして、眼窩下点算出工程S46では、取得された目頭点ENT、目尻点ECTおよび瞼点PLPを通る仮想球面SPH(図2を参照)の最下点の座標を算出する。この眼窩下点の位置推定方法は、図1に示す上述のステップS10〜S30に続く位置推定工程S40により行われる。
【0035】
位置推定工程S40では、目頭点ENT、目尻点ECTおよび瞼点PLPを通る仮想球面SPHの最下点の座標を、本方法で求める解剖学的特徴点の三次元位置とする。具体的には、この位置を眼窩下点ORBの位置と推定する(図2を参照)。後述する実施例により、目頭点ENT、目尻点ECTおよび瞼点PLPを通る仮想球面SPHの最下点と眼窩下点ORBの位置とが良好に一致することが本発明者らにより確認されている。
【0036】
目頭点ENT、目尻点ECTおよび瞼点PLPの三次元座標は、ディスプレイ装置に表示された被測定者の頭部(顔面を含む)の三次元画像において、当該各特徴点の位置を目視選択して取得してもよい。また、この三次元画像の等高線画像や、後述する法線ベクトル画像に基づく情報処理演算によって当該各特徴点の位置を算出してもよい。このほか、被測定者の頭部の直接計測により、目頭点ENT、目尻点ECTおよび瞼点PLPと、基準点(たとえば眼裂FFの中心など)との相対位置を求めたうえで、頭部の三次元画像における当該基準点の座標に基づいて、これらの特徴点の三次元座標を取得してもよい。
【0037】
また、本方法を用いることにより、フランクフルト平面の算出方法が実現される。具体的には、この方法では、人(被測定者)の頭部の皮膚表面より、目頭点ENT、目尻点ECT、目頭点ENTの側の眼裂FFと眉との間の凹部にあたる瞼点PLP、および耳珠上縁点の座標をそれぞれ取得する。そして、取得された目頭点ENT、目尻点ECTおよび瞼点PLPを通る仮想球面SPHの最下点の座標を算出する工程と、一または二の眼裂FFに関する仮想球面SPHの最下点および一または二の耳珠上縁点を含む少なくとも3点の座標に基づいて皮膚表面の水平基準面を算出する。このフランクフルト平面は、図1に示す基準面算出工程S50にて決定される。
【0038】
基準面算出工程S50は、推定された一以上の解剖学的特徴点(眼窩下点ORB)を含む少なくとも3点の座標に基づいて皮膚表面(三次元画像)の水平基準面を算出する工程である。
【0039】
本実施形態の基準面算出工程S50では、皮膚表面のうち、この解剖学的特徴点(眼窩下点ORB)を推定するのに用いた特徴点とは異なる他の特徴点に対応する三次元空間の座標と、推定された一以上の解剖学的特徴点の座標と、に基づいて水平基準面を算出する。本実施形態の場合、フランクフルト平面は、片眼または両眼の眼窩下点ORB(解剖学的特徴点)と耳珠上縁点(皮膚表面の他の特徴点)とを通る平面として算出される。すなわち、基準面算出工程S50は、上記他の特徴点(たとえば耳珠上縁点)を指定してその三次元座標を取得する工程を含む。そして、仮想球面SPHを用いて算出された片眼または両眼に関する眼窩下点ORBと、左右の一方または両方の耳珠上縁点TRA(図5を参照)とを用いてフランクフルト平面が算出される。
【0040】
図5は、眼窩下点ORBおよび耳珠上縁点TRAを通るフランクフルト平面をZ−X平面とする三次元画像の側面図である。右耳から左耳に向かう方向をX軸の正方向とする。なお、眼窩下点ORBの説明のため、同図には皮膚表面CTに加えて頭蓋骨表面SKも併せて図示している。また、天頂軸方向をY軸方向としている。
【0041】
上述のように、解剖学的特徴点である外耳道上縁点と、皮膚表面の特徴点である耳珠上縁点とは、ともにフランクフルト平面に載る。このため、本実施形態によれば、一つの眼窩下点ORBの位置を、皮膚表面の特徴点である目頭点ENT、目尻点ECTおよび瞼点PLPから算出し、あわせて皮膚表面の特徴点である二つの耳珠上縁点TRAを用いてフランクフルト平面を求めることができる。このため、骨表面の画像を用いることなく被測定者の皮膚表面の三次元画像に基づいてフランクフルト平面を求めることができる。
【0042】
図5には、参考のためカンペル平面をあわせて図示してある。カンペル平面は、鼻下点と左右の耳珠上縁点TRAとで張られる平面であり、フランクフルト平面とはX軸まわりに平均的に約12°の角度をもって交差する平面である。カンペル平面もまた、皮膚表面の三次元画像から求められる平面である。したがって、本方法における座標系の仮設定工程(図1:ステップS20)では、カンペル平面をX軸まわりにマイナス12度(右ねじ方向をプラス方向とする)回転させた平面を仮平面としてもよい。
【0043】
本方法において、フランクフルト平面が算出された後の工程は任意であるが、被測定者の頭部の三次元画像を、このフランクフルト平面を水平基準面としてディスプレイ装置に再表示してもよい(図1:ステップS60)。
【0044】
また、本方法では、算出された水平基準面(フランクフルト平面)を座標平面として、皮膚表面における特徴量を三次元空間の位置データより取得する工程(特徴取得工程S70)をさらに行う。
【0045】
特徴取得工程S70で取得される特徴量は特に限定されず、たとえば美容診断に用いる種々の部位の位置、面積およびその比率などを対象とすることができる。一例として、目の位置および大きさ、顔面積に対する目の面積比率、目と眉毛との相対位置、耳や口の位置および大きさ、などを挙げることができる。被測定者の頭部画像からこれらの特徴量を取得して他の人の特徴量と対比するにあたり、被測定者および当該他の人の頭部画像を、共通の基準面(フランクフルト平面)で座標合わせをしたうえでの対比が可能になる。このため、目視方向のずれによる印象の変動が排除されて被測定者の美容診断が客観的に行われる。
【0046】
以下、本方法を実現する情報処理装置100の一例を説明する。図6は、本実施形態の情報処理装置100の機能ブロック図である。図7は、位置推定工程S40(図1を参照)の詳細を示すフローチャートである。上述した図2および図3を適宜参照して、本実施形態の情報処理装置100を説明する。
【0047】
本実施形態の情報処理装置100は、人(被測定者)の頭部の皮膚表面に関する三次元空間での位置データを取得する位置取得部10と、頭部器官の上または近傍に存在する皮膚表面の特徴点に対応する位置データに基づいて、頭部の骨表面における解剖学的特徴点の三次元位置を推定する骨表面位置推定部20と、を備えている。
【0048】
情報処理装置100の各種の構成要素は、その機能を実現するように形成されていればよく、たとえば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。
また、本実施形態の情報処理装置100は、コンピュータプログラムを読み取って対応する処理動作を実行できるように、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、I/F(Interface)ユニット、等の汎用デバイスで構築されたハードウェア、所定の処理動作を実行するように構築された専用の論理回路、これらの組み合わせ、等として実施することができる。
【0049】
位置取得部10は、被測定者の頭部を撮像するデジタルカメラや三次元デジタイザでもよく、またはネットワーク経由で位置データを受信する受信装置でもよい。位置取得部10は被測定者の頭部の多数点に関する位置データを取得する。位置取得部10は任意で記憶部を備えており、取得した位置データを格納する。
【0050】
情報処理装置100は、任意の仮平面を水平基準面として三次元画像を表示する画像表示部60を備えている。画像表示部60はディスプレイ装置である。
【0051】
情報処理装置100は、取得した位置データにおける少なくとも3点の指定点の入力を受け付ける位置指定部30を備えている。骨表面位置推定部20は、受け付けた少なくとも3点を通る仮想球面SPH(図2を参照)の最下点の座標を、解剖学的特徴点の三次元位置として算出する。これにより、皮膚表面の位置データ(三次元画像)に基づいて、骨表面の位置にあたる解剖学的特徴点が算出される。
【0052】
位置指定部30は画像表示部60に表示された三次元画像上の任意の点を選択的に指定するポインティングデバイスでもよく、または指定点の座標に関する演算結果を受け付ける手段でもよく、これらの双方の機能を有してもよい。位置指定部30は、皮膚表面における特徴点を指定点として受け付ける。
【0053】
具体的には、本実施形態の位置指定部30は、画像表示部60に表示された三次元画像上の目頭点ENT、目尻点ECTおよび耳珠上縁点TRAを情報処理装置100の操作者がそれぞれ位置指定することで、これらの指定点の三次元座標を抽出する。情報処理装置100の操作者は、被測定者自身であってもよく、または他のオペレータでもよい。
【0054】
また、位置指定部30は、後述する瞼点算出部40により求められた瞼点PLPの三次元座標を受け付ける。
【0055】
情報処理装置100は、法線ベクトル算出部42、等高線算出部44および凹部検出部46を含む瞼点算出部40を備えている。
法線ベクトル算出部42は、位置データに基づいて構成される三次元曲面(三次元画像)における位置ごとの法線ベクトルを算出する手段である。等高線算出部44は、頭部の正面方向から天頂軸まわりに所定角度回転させた斜め方向を高さ方向とした場合の三次元曲面の等高線を算出する手段である。凹部検出部46は、皮膚表面における目頭点ENTと眼裂FFの中心と眉とで囲まれた部分領域PAに含まれる凹部(瞼点PLP)に対応する三次元曲面における閉領域を、等高線に基づいて検出する手段である。瞼点算出部40は、検出された閉領域における法線ベクトルに基づいて、この閉領域の極小点を瞼点PLPとして算出する。そして位置指定部30は、算出された極小点(瞼点PLP)を指定点として受け付ける。
【0056】
したがって本実施形態の情報処理装置100によれば、皮膚表面の等高線と法線ベクトルとに基づいて瞼点PLPの位置が客観的に求められるため、眼窩下点ORBおよびフランクフルト平面を高い精度で算出することができる。
【0057】
より具体的には、瞼点PLPは、頭部の正面方向から天頂軸まわりに所定角度回転させた斜め方向を高さ方向とした場合の極小点である(図3を参照)。
【0058】
図7に示すように、位置推定工程S40は、眼角点指定工程S41、画像回転工程S42、三次元画像の形状演算工程S43、凹部検出工程S44、極小点算出工程S45および眼窩下点算出工程S46を含む。
【0059】
眼角点指定工程S41では、任意の仮平面を水平基準面として位置合わせされた三次元画像を正面視方向から目視して、画像表示部60上で目頭点ENTをポインティングして指定する。骨表面位置推定部20は、目頭点ENTの三次元座標を記憶する。
【0060】
画像回転工程S42では、三次元画像を天頂軸まわりに10度から50度、好ましくは25度から35度回転させて、画像表示部60上で目尻点ECTを略正面に表示させる。なお、本実施形態に代えて、瞼点PLPおよび目尻点ECTの決定にあたり、仮設定されたZ方向を正面方向として、すなわち回転角度をゼロとして、凹部を検出してもよい。
【0061】
形状演算工程S43では、位置データに基づいて構成される三次元曲面(三次元画像)における座標ごとの法線ベクトルと、上記斜め方向を高さ方向とした場合の三次元曲面の等高線とを算出する。凹部検出工程S44では、凹部に対応する等高線の閉領域を検出する。極小点算出工程S45では、この閉領域における法線ベクトルに基づいて極小点を算出する。これにより、目尻点ECTと瞼点PLPとが決定される。
【0062】
図8は、図2に拡大図として示した皮膚表面の三次元画像の正面図を天頂軸まわり(右回り)に30度回転させた、左目の眼裂近傍に関する法線ベクトル画像である。この法線ベクトル画像は、皮膚表面を所定の回転方向から目視した場合における、皮膚表面の各点の法線方向を可視化した画像である。より具体的には、30度回転方向を基準方向として、皮膚表面の法線方向とこの基準方向とが平行に近いほど濃色に表され、逆に皮膚表面の法線方向と基準方向とが直交に近いほど淡色に表されている。言い換えると、法線ベクトル画像は、皮膚表面における法線方向と基準方向との交差成分の大小を可視化した画像である。
【0063】
形状演算工程S43にて、法線ベクトル算出部42は、各点における法線ベクトルと基準方向との内積演算値を等値表示することで法線ベクトル画像を求める。そして、図8の法線ベクトル画像において、濃色部が局所的な島状に存在している場合、当該領域は30度回転方向からみた凹部にあたる。
【0064】
凹部検出工程S44にて、等高線算出部44は、検出された凹部を等高線画像(図3を参照)によって画像表示部60に示す。
【0065】
本実施形態では、目尻点ECTのみならず、瞼点PLPもこの回転方向を基準方向として算出する。これにより、この瞼点PLPと、目頭点ENT、目尻点ECTを通る仮想球面SPHの下端が眼窩下点ORBと良好に一致する。
【0066】
また、図3の等高線画像と図8の法線ベクトル画像とを併用することで、瞼点PLPおよび目尻点ECTの位置をより正確に決定することができる。三次元画像における凹部の底部位置は、等高線の閉領域の内部であって、かつ法線ベクトルが基準方向と平行になる位置であるため、これら二つの画像を併用して論理積(AND条件)をとることで、適合する位置が座標演算によって求められる。具体的には、凹部検出部46は、法線ベクトル画像における皮膚表面の法線方向と基準方向との交差成分が極小となる領域と、等高線画像における等高線の所定面積以下の閉領域と、に基づいて瞼点PLPと目尻点ECTを決定する。
【0067】
極小点算出工程S45にて、瞼点算出部40(凹部検出部46)は、三次元画像上の各点の法線ベクトルと基準方向との内積演算値と、図3の等高線画像における極小値と、をともに満足する位置座標として瞼点PLPおよび目尻点ECTを決定する。決定された瞼点PLPおよび目尻点ECTの三次元座標は、位置指定部30に送られる。位置指定部30は、皮膚表面の特徴点に関するこれらの指定点の三次元座標を受け付けて、これを骨表面位置推定部20に送信する。このように、瞼点算出部40は瞼点PLPの位置を算出する。なお、本実施形態において、図2のように瞼点PLPを画像表示部60に表示することは任意である。すなわち、本実施形態において瞼点算出部40が瞼点PLPを算出するとは、目視可能に瞼点PLPを出力する場合のほか、眼窩下点ORBやフランクフルト平面を求めるにあたって情報処理装置100において内部的に瞼点PLPを演算する場合を含む。
【0068】
なお、本実施形態に代えて、図3と図8とを目視した操作者が、瞼点PLPと目尻点ECTを三次元画像上でポインティングして指定してもよい。
【0069】
骨表面位置推定部20は、求められた瞼点PLPおよび目尻点ECTの三次元座標を記憶する。そして、別途記憶されている目頭点ENTの三次元座標を用いて、これら3点を通る仮想球面SPH(図2を参照)と、その下端の座標を算出する。この下端が眼窩下点ORBに相当する。これにより、情報処理装置100により眼窩下点ORBの位置が推定される。
【0070】
また、情報処理装置100は、基準面算出部50を含んでいる。基準面算出部50は、推定された一以上の解剖学的特徴点(眼窩下点ORB)を含む少なくとも3点の三次元位置に基づいて皮膚表面の水平基準面を算出する手段である。
【0071】
具体的には、基準面算出工程S50(図1を参照)において、基準面算出部50は、操作者により指定された耳珠上縁点TRAと、上記により求められた眼窩下点ORBとを通る平面をフランクフルト平面が決定される。
【0072】
また、画像表示部60は、算出された水平基準面(フランクフルト平面)を座標平面として皮膚表面の位置データに基づいて構成される三次元曲面(三次元画像)を表示する。具体的には、仮平面によって位置合わせされていた三次元画像を、フランクフルト平面を新たな水平基準面として再表示する。
【0073】
情報処理装置100は、フランクフルト平面を水平基準面として画像表示部60に表示出力された三次元画像から、美容診断などに用いられる上記種々の特徴量に関する情報を取得する特徴取得部70を備えている。
【0074】
(実施例)
以下、実施例に基づいて本発明を詳細に説明する。ただし、本発明は以下の実施例に限定されるものではない。
【0075】
図9(a)は実施例1にかかる三次元画像の部分正面図である。同図(b)から(d)は、それぞれ参考例1から3にかかる三次元画像の部分正面図である。同図(a)から(c)は同一の被測定者にかかる同一の三次元画像である。同図(d)は、他の被測定者にかかる三次元画像である。
【0076】
同図(a)から(d)において、目頭点ENTおよび目尻点ECTは、いずれもこの部分正面図の上でポインティングにより指定したものである。また、眼窩下点ORBは、被測定者への触診によって求められた真の位置である。より具体的には、各図において眼窩下点ORBとして図示した黒丸(●)の中央上縁の位置が、触診によって求められた眼窩下点の真の位置にあたる。
【0077】
図10は、実施例1にかかる等高線画像である。この等高線画像は、図9(a)に示す部分正面図の正面方向を法線方向として三次元画像を断層化した場合の等高線を示している。図9(a)に示す実施例1は、この等高線画像と、法線ベクトル画像(図示せず)とを用いて決定された、目頭点ENTと眼裂中心と眉とで囲まれた領域における凹部の中心を、瞼点PLPとしている。
【0078】
一方、図9(b)に示す参考例1は、瞳の中心線と瞼との交点を瞼点PLPとしている。また、図9(c)に示す参考例2と、図9(d)に示す参考例3は、瞳の中心線上で眼球の上縁と見られる場所を瞼上でポインティング(符号PLPとして図示)したものである。
【0079】
図11(a)から(d)は、実施例1および参考例1から3に関する眼窩下点ORBの推定位置を示す図である。より具体的には、同図には、目頭点ENT、目尻点ECTおよび瞼点PLPを通る仮想球面SPHと、その下端点LPとが図示されている。
【0080】
図11(a)に示す実施例1では、触診で正確に決定された眼窩下点ORBの真の位置と、下端点LPとが一致しており、眼窩下点ORBの位置が高い精度で推定されたことが分かった。
【0081】
同図(b)に示す参考例1では、下端点LPが眼窩下点ORBよりも上方にずれた位置にある。すなわち、参考例1のように瞳の中心線と瞼との交点をもって瞼点PLPを設定した場合、眼窩下点ORBの推定精度が実施例1に劣ることが分かった。
【0082】
同図(c)に示す参考例2でも、下端点LPが眼窩下点ORBよりも上方にずれた位置にある。すなわち、上述した参考例2のように瞼上における眼球の上縁をもって瞼点PLPを設定した場合、眼窩下点ORBの推定精度が実施例1に劣ることが分かった。
【0083】
一方、同図(d)に示す参考例3の場合、下端点LPは眼窩下点ORBと比較的良好に一致した。しかしながら参考例3は、上述した参考例2と同様に、瞼上における眼球の上縁をもって瞼点PLPを設定したものである。以上より、瞼上における眼球の上縁をもって瞼点PLPを設定した場合、被測定者ごとに眼窩下点ORBの推定精度が大きくばらつくことが分かった。
【0084】
以上の実施例および参考例より、本発明の情報処理方法による眼窩下点の位置推定方法の有効性が示された。これにより、本発明で推定された眼窩下点を用いて決定されたフランクフルト平面は、触診等により求められた眼窩下点から決定された当該平面に対して良好に一致するといえる。
【符号の説明】
【0085】
10 位置取得部
20 骨表面位置推定部
30 位置指定部
40 瞼点算出部
42 法線ベクトル算出部
44 等高線算出部
46 凹部検出部
50 基準面算出部
60 画像表示部
70 特徴取得部
100 情報処理装置
CT 皮膚表面
ECT 目尻点
ENT 目頭点
EYB 眼球
FF 眼裂
LP 下端点
OB 眼窩骨
ORB 眼窩下点
PA 部分領域
PLP 瞼点
SK 頭蓋骨表面
SPH 仮想球面
ST 軟部組織
TRA 耳珠上縁点

【特許請求の範囲】
【請求項1】
人の頭部の皮膚表面に関する三次元空間での位置データを取得する工程と、
頭部器官の上または近傍に存在する前記皮膚表面の特徴点に対応する前記位置データに基づいて、前記頭部の骨表面における解剖学的特徴点の三次元位置を推定する工程と、
を含む情報処理方法。
【請求項2】
前記皮膚表面の特徴点が、目頭点と、目尻点と、前記目頭点の側の眼裂と眉との間の凹部にあたる瞼点である請求項1に記載の情報処理方法。
【請求項3】
前記目頭点、前記目尻点および前記瞼点を通る仮想球面の最下点の座標を前記解剖学的特徴点の三次元位置とする請求項2に記載の情報処理方法。
【請求項4】
前記瞼点が、前記目頭点と前記眼裂の中心と前記眉とで囲まれる部分領域に含まれる前記凹部の極小点である請求項2または3に記載の情報処理方法。
【請求項5】
前記瞼点が、前記頭部の正面方向から天頂軸まわりに所定角度回転させた斜め方向を高さ方向とした場合の前記極小点である請求項4に記載の情報処理方法。
【請求項6】
前記位置データに基づいて構成される三次元曲面における座標ごとの法線ベクトルと、前記斜め方向を高さ方向とした場合の前記三次元曲面の等高線とを算出する工程と、
前記凹部に対応する前記等高線の閉領域を検出する工程と、
前記閉領域における前記法線ベクトルに基づいて前記極小点を算出する工程と、
をさらに含む請求項5に記載の情報処理方法。
【請求項7】
前記目尻点が、前記斜め方向を高さ方向とした場合の前記眼裂の目尻近傍の極点である請求項5または6に記載の情報処理方法。
【請求項8】
前記目頭点が、前記頭部の略正面方向を高さ方向とした場合の前記眼裂の目頭近傍の極点である請求項2から7のいずれか一項に記載の情報処理方法。
【請求項9】
推定された一以上の前記解剖学的特徴点を含む少なくとも3点の座標に基づいて前記皮膚表面の水平基準面を算出する工程をさらに含む請求項2から8のいずれか一項に記載の情報処理方法。
【請求項10】
前記皮膚表面の他の特徴点に対応する前記三次元空間の座標と、一以上の前記解剖学的特徴点の座標と、に基づいて前記水平基準面を算出する請求項9に記載の情報処理方法。
【請求項11】
前記解剖学的特徴点が眼窩下点であり、前記皮膚表面の前記他の特徴点が耳珠上縁点であり、前記水平基準面がフランクフルト平面である請求項10に記載の情報処理方法。
【請求項12】
算出された前記水平基準面を座標平面として、前記皮膚表面における特徴量を前記位置データより取得する工程をさらに含む請求項9から11のいずれか一項に記載の情報処理方法。
【請求項13】
人の頭部の皮膚表面より、目頭点、目尻点および、前記目頭点の側の眼裂と眉との間の凹部にあたる瞼点の座標をそれぞれ取得する工程と、
取得された前記目頭点、前記目尻点および前記瞼点を通る仮想球面の最下点の座標を算出する工程と、
を含む前記頭部における眼窩下点の位置推定方法。
【請求項14】
人の頭部の皮膚表面より、目頭点、目尻点、前記目頭点の側の眼裂と眉との間の凹部にあたる瞼点、および耳珠上縁点の座標をそれぞれ取得する工程と、
取得された前記目頭点、前記目尻点および前記瞼点を通る仮想球面の最下点の座標を算出する工程と、
一または二の眼裂に関する前記最下点および一または二の前記耳珠上縁点を含む少なくとも3点の座標に基づいて前記皮膚表面の水平基準面を算出する工程と、
を含むフランクフルト平面の算出方法。
【請求項15】
人の頭部の皮膚表面に関する三次元空間での位置データを取得する位置取得手段と、
頭部器官の上または近傍に存在する前記皮膚表面の特徴点に対応する前記位置データに基づいて、前記頭部の骨表面における解剖学的特徴点の三次元位置を推定する骨表面位置推定手段と、
を備える情報処理装置。
【請求項16】
前記位置データにおける少なくとも3点の指定点の入力を受け付ける位置指定手段をさらに備え、
前記骨表面位置推定手段が、受け付けた前記少なくとも3点を通る仮想球面の最下点の座標を、前記解剖学的特徴点の三次元位置として算出する請求項15に記載の情報処理装置。
【請求項17】
前記位置データに基づいて構成される三次元曲面における位置ごとの法線ベクトルを算出する法線ベクトル算出手段と、
前記頭部の正面方向から天頂軸まわりに所定角度回転させた斜め方向を高さ方向とした場合の前記三次元曲面の等高線を算出する等高線算出手段と、
前記皮膚表面における目頭点と眼裂の中心と眉とで囲まれた部分領域に含まれる凹部に対応する前記三次元曲面における閉領域を、前記等高線に基づいて検出する凹部検出手段と、
検出された前記閉領域における前記法線ベクトルに基づいて前記閉領域の極小点を算出する瞼点算出手段と、
をさらに備え、
前記位置指定手段が、算出された前記極小点を前記指定点として受け付ける請求項16に記載の情報処理装置。
【請求項18】
前記所定角度が10度以上かつ50度以下である請求項17に記載の情報処理装置。
【請求項19】
推定された一以上の前記解剖学的特徴点を含む少なくとも3点の三次元位置に基づいて前記皮膚表面の水平基準面を算出する基準面算出手段をさらに含む請求項15から18のいずれか一項に記載の情報処理装置。
【請求項20】
算出された前記水平基準面を座標平面として、前記位置データに基づいて構成される三次元曲面を表示する画像表示手段をさらに備える請求項19に記載の情報処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−192090(P2012−192090A)
【公開日】平成24年10月11日(2012.10.11)
【国際特許分類】
【出願番号】特願2011−59422(P2011−59422)
【出願日】平成23年3月17日(2011.3.17)
【出願人】(000000918)花王株式会社 (8,290)
【Fターム(参考)】