顔形状提示装置
【課題】 様々な人の三次元顔形状を１つの装置により提示できる顔形状提示装置を実現する。
【解決手段】 弾性変形可能な素材で平均顔のお面３１を作成する。この平均顔のお面３１の駆動点（例えば１９箇所）の位置を、特徴点駆動ユニット３２で三次元（又は二次元）に移動させ、お面を弾性変形させる。お面を弾性変形させることによって、様々な人の三次元顔形状を１つの装置により提示できる。また、映像投影機４０によって、顔データに対応する顔の画像を、平均顔のお面３１へ投射する。
【解決手段】 弾性変形可能な素材で平均顔のお面３１を作成する。この平均顔のお面３１の駆動点（例えば１９箇所）の位置を、特徴点駆動ユニット３２で三次元（又は二次元）に移動させ、お面を弾性変形させる。お面を弾性変形させることによって、様々な人の三次元顔形状を１つの装置により提示できる。また、映像投影機４０によって、顔データに対応する顔の画像を、平均顔のお面３１へ投射する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔形状提示装置に関し、特に任意の個人の顔形状を提示する三次元顔形状提示装置に関する。
【背景技術】
【０００２】
従来の、人間の顔を提示する顔型ロボットは、東京理科大学の小林研究室の受付ロボットＳＡＹＡ（非特許文献１）、早稲田大学の高西研究室のＷＥ−４ＲＩＩ（非特許文献２）など、特定の個人の顔の表情を提示するというものがある。また、軟素材を用いた装置により表情を提示するものとして、表情変化装置がある（特許文献１参照）。
これらに共通して言えることは、Ａさんの表情という特定の個人の表情ついては変化させ提示することが可能でも、Ａさんの顔、Ｂさんの顔、Ｃさんの顔といったように、複数の個人の顔形状を提示はできない。一般に、顔の形状と表情との関係は、次のようになる。すなわち、Ａさんの無表情の顔、Ｂさんの無表情の顔、Ｃさんの無表情の顔…という概念が「顔の形状」である。これに対し、Ａさんの笑った顔、Ａさんの怒った顔、Ａさんの驚いた顔などという概念が「顔の表情」である。このように、様々な任意の個人の三次元顔形状を提示可能な顔ロボットは現状存在しない。
【０００３】
ところで、様々な任意の個人の顔の形状を提示するのみであれば、粘土などの材料で作ることも考えられる。しかしながら、粘土を用いて作る場合、ある顔形状を作って、次の顔形状を作るまでにある程度時間が必要となる。また、顔形状を粘土で作成するのは、一般的に高度な技を必要とする。
【特許文献１】特開平８−１０７９８３号公報
【非特許文献１】H. Kobayashi、 Y. Ichikawa、 M. Senda、 and T. Shiiba: “"Realization of Realistic and Rich Facial Expressions by Face Robot”、Proceedings of the 2003 IEEE International Conference on Intelligent Robots and Systems Oct.27-31 Las Vegas、 Nevada、 USA、 pp.1123-1128、(2003-10)
【非特許文献２】Hiroyasu Miwa、 Kazuko Itoh、 Munemichi Matsumoto、 Massimiliano Zecca、 Hideaki Takanobu、 Stefano Roccella、 Maria Chiara Carrozza、 Paolo Dario、 Atsuo Takanishi:" Effective Emotional Expressions with Emotion Expression Humanoid Robot WE-4RII"Proceedings of the 2004 IEEE/RSJ Intl.Conference on Intelligent Robot and Systems
【発明の開示】
【発明が解決しようとする課題】
【０００４】
人間の顔を提示する顔型ロボットにおいて、特定の個人の顔の表情を提示するものは存在しているが、任意の個人の顔形状を１つのロボットで提示できるものは存在していない。現在、遠隔地の通信で、相手の顔が見えるテレビ電話やテレビ会議システムが存在するが、画像は平面であり、リアリティに欠ける。
また、パーソナルロボットの顔について、顔形状を変えることはできないため、使用者の気に入らない顔形状でも顔形状を変更できないという問題があった。また、粘土などで色々な人の顔を提示するのは、技術的にも難しく、作成に時間がかかるという問題があった。また、美容整形など、顔の手術を行うようなとき、術後の顔形状を三次元で確認することができないという課題がある。
本発明は上述した従来技術の問題点を解決するためになされたものであり、その目的は様々な人の三次元顔形状を１つの装置により提示できる顔形状提示装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の請求項１による顔形状提示装置は、弾性変形可能な、顔形状のマスクと、外部から入力される顔データに応じて、前記マスクを弾性変形させるアクチュエータとを含み、任意な顔の形状を提示することを特徴とする。このように構成すれば、様々な人の三次元顔形状を１つの装置により提示できる。
本発明の請求項２による顔形状提示装置は、請求項１において、前記アクチュエータは、前記マスクに接触し該接触部分に力を加えるＮ個（Ｎは自然数、以下同じ）の接触部と、前記Ｎ個の接触部に対応して設けられ、対応する接触部の位置を、前記顔データに応じて変化させる位置制御部とを含むことを特徴とする。このように構成すれば、マスクを自在に弾性変形させることができ、任意な顔の形状を提示できる。
【０００６】
本発明の請求項３による顔形状提示装置は、請求項１又は２において、前記顔データに対応する顔の映像を、前記マスクに投影する投影手段を更に含むことを特徴とする。このように構成すれば、顔の形状をよりリアルに提示できる。
本発明の請求項４による顔形状提示装置は、請求項１から請求項３までのいずれか１項において、外部から入力される信号に応じた音声を出力する音声出力手段と、入力される音声に対応する信号を導出する音声入力手段と、の少なくとも一方を更に含むことを特徴とする。このように構成すれば、顔形状が提示可能な顔電話を実現でき、よりリアルで存在感を伝えることができる。
【発明の効果】
【０００７】
以上説明したように本発明は、様々な人の三次元顔形状を１つの装置により提示できるという効果が得られる。任意の三次元顔形状を作り出せるため、誰の顔形状でも提示可能であり、リアリティのある遠隔通信を実現できる。そして、顔形状が提示可能な顔電話に利用することで、テレビ電話以上によりリアルで存在感を伝える遠隔コミュニケーションを実現できるという効果が得られる。また、顔形状の三次元シミュレータとして、術後の顔形状を三次元的に事前に確認できるという効果が得られる。
【発明を実施するための最良の形態】
【０００８】
ここでは、任意の個人の三次元顔形状を提示する手法について説明する。１つの装置で、複数の顔形状を提示するために、平均顔のお面（すなわちマスク）を初期形状とし、顔の特徴点などを駆動点として提示したい人の顔形状にする。
平均顔とは、提示したい顔グループの形状を平均化したものである。例えば、日本人全体の顔形状を平均したものや世界中の人の顔形状を平均したもの、ネグロイド、モンゴロイド、オーストラロイド、コーカソイド、アメリンドなど人種の顔形状を平均したもの、テレビ番組や映画などに登場するヒーローやヒロインなどのキャラクターの顔形状を平均したもの、犬、猫などの動物の顔形状を平均化したものなどが考えられる。
【０００９】
平均顔のお面を初期形状とすることで、一つ一つの駆動点の可動範囲を小さくすることができる。顔の画像については、各個人を提示した顔形状に対して、外からプロジェクターで投影する方法や、平均顔を作るお面自体がフレキシブルな映像ディスプレイである方法が考えられる。
また、任意の顔形状を粘土で作ると、その作成に時間がかかるという問題がある。これに対し、本例では、平均顔のお面を柔軟な素材で形成し、その特徴点をモータや人工筋肉などのアクチュエータでコントロールしているので、瞬時に色々な顔を提示できる。
以下、本発明の実施例について、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示されている。
【実施例１】
【００１０】
ここで、実施例１による顔形状提示装置の構成例が図１に示されている。同図に示されているように、本例の顔形状提示装置は、パーソナルコンピュータ（以下、ＰＣと略称する）等に設けられているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、モータコントロールボード２０と、顔ロボット３０と、映像投影機４０とを含んで構成されている。
【００１１】
顔ロボット３０は、平均顔のお面３１と、お面の特徴点の位置を変化させるための特徴点駆動ユニット３２とを含んで構成されている。特徴点駆動ユニット３２は、後述するように複数のモータを含んで構成されたアクチュエータとしての機能を有している。そして、モータコントロールボード２０から入力される位置指令信号に応じて、特徴点駆動ユニット３２は平均顔のお面３１の特徴点に力を加え、弾性変形させる。モータコントロールボード２０は、ＣＰＵ１０から入力される角度指令信号に応じて、位置指令信号を出力する機能を有している。つまり、外部から入力される顔データに応じて、お面３１を弾性変形させる。
【００１２】
映像投影機４０は、顔データに対応する顔の画像を、平均顔のお面へ投射する機能を有している。
平均顔のお面３１には、後述するように、特徴点に対応する複数の駆動点がある。そして、各駆動点に対応して駆動ユニットが設けられ、対応する駆動点を駆動する。この駆動ユニットが複数集合したものが、特徴点駆動ユニット３２である。
【００１３】
本例での各駆動点は、棒状部材の先端部分であり、この先端部分が、平均顔のお面の裏面に接着されている。そして、お面の形状を任意の個人の顔形状にするために、各駆動点の位置を制御する。駆動点の位置を制御することで、特徴点を駆動し、顔の形状を変化させる。お面の駆動点の配置を示す図２を参照すると、同図には１９箇所の駆動点が示されている。そして、各駆動点すなわちお面裏面への、棒状部材の接触部に力を加えることによってその接触部の位置を変化させ、お面を弾性変形させる。お面を弾性変形させることによって、様々な人の三次元顔形状を１つの装置により提示できる。
【００１４】
駆動点は、同図に示されているように、左右対称に配置されており、正中線上に５点、左右に７点ずつの１４点、計１９点である。これらの駆動点は、一例に過ぎず、人間が顔形状の認識を行う際の特徴点などを参考にして決定すると良い。
同図に示されている駆動点は、鼻尖点Ｄ１、右鼻翼点Ｄ２、左鼻翼点Ｄ３、口点Ｄ４、右口角Ｄ５、左口角Ｄ６、右頬Ｄ７、オトガイ前点Ｄ８、左頬Ｄ９、右目Ｄ１０、左目Ｄ１１、右外眼角Ｄ１２、左外眼角Ｄ１３、右眉Ｄ１４、左眉Ｄ１５、右頬骨Ｄ１６、左頬骨Ｄ１７、鼻根点Ｄ１８、額点Ｄ１９である。駆動点先端部に押し出し部材を取り付けた状態が図３に示されている。同図に示されているように、図２に示されている各駆動点に対応する位置に、押し出し部材がそれぞれ設けられている。
【００１５】
図３に示されているように、各駆動点の先端部分は、各駆動点によって、形状が異なっていても良い。例えば、目部分の駆動点の先端部分形状は、図４（ａ）に示すように眼球形状に倣って、半球状などになっていたり、鼻部分の駆動点の先端部分形状は図４（ｂ）に示すようになっていたり、図４（ｃ）に示すように口唇部の先端部分形状は上下の唇を同時に押し出せるような形状になっていたりしても良い。なお、同図（ａ）に示されている眼球部の最大幅は２０．０[mm]である。同図（ｂ）に示されている鼻部の長さは３５．０[mm]、その高さは１５．０[mm]である。同図（ｃ）に示されている口唇部の左右幅は２３．０[mm]、上下幅は３０．０[mm]、奥行は２０．０[mm]である。
駆動点の数については、１９個に限定されるものではない。より精密な顔形状を提示しようとすれば、駆動点の数を多くする必要がある。一方、精密さが要求されなかったり、提示する顔形状の種類が少なかったりすれば、駆動点の数は少なくて良い。
【００１６】
（平均顔のお面）
平均顔のお面は、例えば、次のような方法で作成する。すなわち、三次元光造型機で平均顔を成形し、それを石膏で型を取り、耐久性に優れたゴムであるセプトン（クラレ社製の高性能熱可塑性エラストマー）などで平均顔のお面を成形する。セプトンの厚さに関しては、１０ｍｍ前後で成形すると良い。厚みを部位ごとに変えることも考えられる。
なお、本例では、各駆動点に、Ｘ−Ｙ−Ｚ方向の３自由度、またはＹ−Ｚ方向の２自由度を持たせる。Ｘ−Ｙ−Ｚ方向の３自由度を持つ駆動ユニットは、人間の顔サイズに複数配置するため、ある程度小型である必要がある。
【００１７】
（３自由度の駆動ユニット）
３自由度の駆動ユニットの一構成例が、図５に示されている。同図（ａ）は３自由度の駆動ユニットの構成を示す斜視図、同図（ｂ）は同図（ａ）をＸ軸方向からみた図、同図（ｃ）は同図（ａ）をＺ軸方向からみた図である。これらの図を参照すると、駆動ユニットには、先端部が駆動点３となる棒状部材３ａと、棒状部材３ａの根元部に取り付けられているモータＭ３と、モータＭ３の回転軸が接続されているＺ方向駆動用カム３ｂと、棒状部材３ａによって中空部が貫かれている円筒部材３ｅと、円筒部材３ｅの中間部に当接して駆動点３の位置をＸ方向及びＹ方向に移動させるためのガイド３ｃ及び３ｄと、ガイド３ｃ、３ｄの端部に回転軸を介して接続されているモータＭ１、Ｍ２と、棒状部材３ａの中間部をモータＭ１及びＭ２の方向に引っ張るバネＳ１とを含んで構成されている。
【００１８】
ここで、駆動ユニットは、「Ｘ−Ｙ方向駆動ユニット」と「Ｚ方向駆動ユニット」の大きく２つの部分に分けられる。Ｘ−Ｙ方向駆動ユニットは、円筒部材３ｅと、駆動点３のＸ座標及びＹ座標の位置を制御するための２つのモータＭ１及びＭ２と、Ｘ−Ｙ方向のガイド３ｃ及び３ｄとから構成される。一方、Ｚ方向駆動ユニットは、駆動点のＺ座標の位置を制御するための１つのモータＭ３と、Ｚ方向駆動用カム３ｂとから構成される。なお、図６に示されているように、円筒部材３ｅの端部３ｆは支持板４ａと接した状態で摺動でき、端部３ｇは支持板４ｂと接した状態で摺動できるようになっている。
【００１９】
（Ｘ−Ｙ方向駆動ユニット）
図５に戻り、Ｘ−Ｙ方向駆動ユニットにおいては、バネＳ１によって、棒状部材３ａの中間部がモータＭ１及びＭ２の方向に常に引っ張られている。このため、図７に示されているように、ガイド３ｃの回動軸Ｊ３ｃとガイド３ｄの回動軸Ｊ３ｄとを結んだ直線ＬＬとガイド３ｃとのなす角度θ2（すなわちモータＭ２の回動角度）、直線ＬＬとガイド３ｄとのなす角度θ1（すなわちモータＭ１の回動角度）を変化させれば、棒状部材３ａの先端部すなわち駆動点３の位置がＸ方向又はＹ方向に変化することになる。なお、本例では、ガイド３ｃ及び３ｄと接する、円筒部材３ｅの中間部の半径はｒ、ガイド３ｃ及び３ｄの厚みはｔ1、直線ＬＬの中点Ｏまでの長さはＬである。
【００２０】
以上のように構成されたＸ−Ｙ方向駆動ユニットの動作の様子が図８に示されている。図７に示されている状態に対応する図８（ａ）の状態において、上記角度θ2（すなわちモータＭ２の回動角度）を増加させるようにモータＭ２を駆動し、かつ、上記角度θ1（すなわちモータＭ１の回動角度）を減少させるようにモータＭ１を駆動すれば、図８（ｂ）に示されている状態になる。同図（ｂ）に示されている状態は、同図（ａ）に示されている状態からＸ方向及びＹ方向が変化した状態である。
【００２１】
（Ｚ方向駆動ユニット）
図６に示されているように、Ｚ方向駆動ユニットの構成要素であるモータＭ３には、引っ張りバネＳ２の一端が接続され、引っ張りバネＳ２の他端は支持板４に固定されている。このため、モータＭ３に接続されている棒状部材３ａは、引っ張りバネＳ２により、支持板４の方向に引っ張られている。このため、Ｚ方向駆動用カム３ｂは支持板４に接した状態になっている。
【００２２】
このような接続関係を模式的に示した図が図９である。同図において、モータＭ３の回転軸ＪＡが図中時計回りに回転すれば、Ｚ方向駆動用カム３ｂの回転軸Ｏと回転軸ＪＡとを結ぶ直線ＲｚとＺ軸とのなす角度θ3が減少し、棒状部材３ａは矢印Ｙａ方向に移動する。これにより、駆動点３は矢印Ｙａ方向に移動する。
一方、モータＭ３の回転軸ＪＡが図中反時計回りに回転すれば、直線ＲｚとＺ軸とのなす角度θ3が増加し、棒状部材３ａは矢印Ｙａ方向の逆の方向に移動する。これにより、駆動点３は矢印Ｙａ方向の方向に移動する。このように、モータＭ３の回転方向に応じて、駆動点３をＺ方向に駆動することができる。
以上のように特徴点駆動ユニットを構成した場合、各モータの角度指令値をθ1、θ2、θ3とした場合、駆動点３の座標（Ｘ、Ｙ、Ｚ）は以下の式で表される。
【００２３】
【数１】
【００２４】
なお、３自由度の駆動ユニットについては、小型でＸ−Ｙ−Ｚの３自由度を持っていれば、図５に示されている構成に限定されるものではない。
（駆動ユニット全体の構成）
図１０は、上述した３自由度の駆動ユニットの全体構成を示す斜視図である。同図に示されているように、図２のように配置される１９箇所の駆動点それぞれに対応して３自由度の駆動ユニットが設けられ、各駆動ユニットは複数の支持板４、４ａ〜４ｆによって支持されている。
【００２５】
図１１は図１０に示されている駆動ユニットをＺ軸方向から見た状態を示す図、図１２は同じくＸ軸方向から見た状態を示す図である。これらの図に示されている各円筒部材３ｅは、２枚の支持板の間に挟まれた状態でＸ方向及びＹ方向に摺動できるようになっている。また、モータＭ３及びＺ方向駆動用カム３ｂにより、棒状部材３ａがＺ軸方向に移動することにより、各駆動点３が矢印Ｙａ又はその逆方向に移動することになる。このように、特徴点駆動ユニットを構成すれば、お面を弾性変形させ、様々な人の三次元顔形状を１つの装置により提示できる。
【００２６】
（２自由度の駆動ユニット）
また、Ｙ−Ｚ方向の２自由度を持つ駆動ユニットの一構成例が、図１３に示されている。同図（ａ）は２自由度の駆動ユニットの構成を示す斜視図、同図（ｂ）は同図（ａ）をＸ軸方向からみた図、同図（ｃ）は同図（ａ）をＺ軸方向からみた図である。これらの図を参照すると、２自由度の駆動ユニットの基本的な構造は、３自由度の駆動ユニットと同様である。すなわち、駆動ユニットには、先端部が駆動点３となる棒状部材３ａと、棒状部材３ａの根元部に取り付けられているモータＭ３と、モータＭ３の回転軸が接続されているＺ方向駆動用カム３ｂと、棒状部材３ａによって中空部が貫かれている円筒部材３ｅと、円筒部材３ｅの中間部に当接して駆動点３の位置をＹ方向に移動させるためのガイド３ｄと、ガイド３ｄの端部に回転軸を介して接続されているモータＭ２とを含んで構成されている。
【００２７】
このような構成からなる２自由度の駆動ユニットは、図１４に示されているように、支持板４、４ａ及び４ｂによって支持される。そして、棒状部材３ａは、支持板４ａに設けられている長孔４ｃに沿ってＹ方向に移動する他、矢印Ｙａ又はその逆方向に移動する。このような構成の駆動ユニットは、Ｘ方向の駆動が必要ないため、モータの数が３自由度の駆動ユニットより１つ少ない２つで済む。駆動点３の位置については、３自由度の場合について説明した上記の式（１）において角度θ2を固定した式で表すことができる。
【００２８】
（動作）
図１に戻り、各駆動点への駆動指令は、ＰＣ等に設けられているＣＰＵ１０から与える。提示したい顔形状を提示するための駆動点の位置指令値をＰＣ等から入力し、各モータの角度指令値として出力することにより、各モータＭ１〜Ｍ３を制御する。
ところで、平均顔のお面については、ゴムなどの柔らかい素材を用いて成形する場合と、素材自身が発光し、映像を映すことが可能な素材で成形する場合などが考えられる。前者の場合、顔形状を提示したお面の前方からプロジェクターなどの投影機を用いて映像を重ね合わせる方法や、口唇部や眼球部、眉毛、鼻孔などをゴム表面に直接、絵を描く方法などが考えられる。
【００２９】
一方、後者の場合、素材自身が発光し、湾曲面を成形可能であれば、投影機が必要なくなる。映像を重ね合わせる際、通常のカメラにて撮影した画像をそのまま投影機や湾曲面を生成可能なディスプレイにて出力すると、顔形状が平面ではないため、画像が歪んでしまう。通常のカメラで撮影された映像は、平面に投影することを想定しているため、歪みの補正が必要となる。
【００３０】
この歪みの補正方法について、図１５を参照して説明する。顔ロボットの前方に投影機があり、投影機のレンズ端中心Ｐ、顔ロボットのお面の鼻尖点Ｏ、仮想平面スクリーン（Ｓｃｒｅｅｎ）が同図のような状態になっているとする。投影機のレンズ端中心Ｐからスクリーン上の点Ａを通過する光は顔ロボットのお面の点Ｂに投射される。
【００３１】
ここで、観察者が顔ロボットの真正面にいると仮定すると、点Ａに投射される映像は、点Ａを通りスクリーンに対して垂直な直線状に存在すれば、観察者から自然な形の映像として見える。よって、点Ａからスクリーンに対して垂直な線を引き、顔ロボットのお面との交点Ｂ’に投射されれば自然な形の映像となるはずである。また、点Ｂ’に投射される映像は、スクリーン上の点Ａ’に投射される。つまり、点Ａの映像を点Ａ’へ写像すれば、自然な形の映像を映し出せる。
【００３２】
同図中の直線ＯＡと直線ＯＡ’との関係は、
ＯＡ＝ＯＡ’×（ＯＰ＋ＡＢ’）／ＯＰ …（２）
で表される。これを画像全領域に対して繰り返せば、三次元顔形状のお面への画像の補正を行うことができる。画像の補正を正確に行うためには、提示したい顔の三次元形状を三次元形状計測装置などで計測する必要がある。提示したい顔を楕円などで近似することも考えられる。
以上のような機構を採用すれば、様々な人の顔を提示可能な顔ロボットを実現できる。
ここで、顔ロボットに映像を投影する前後の状態が図１６に示されている。同図（ａ）は画像投影前の状態を示す図、同図（ｂ）は画像投射後の状態を示す図である。
【００３３】
以上のように、外部から入力される顔データに応じて、お面を弾性変形させることにより、任意の個人の三次元顔形状を提示することができる。このように、三次元顔形状を提示するアプリケーションとしては、顔の三次元形状を提示可能な「顔電話」や、美容整形時の「三次元顔形状シミュレータ」などが考えられる。顔電話では、通話相手の顔形状が提示されることでよりリアルなコミュニケーションが可能となる。三次元顔形状シミュレータでは、美容整形手術などにおいて、術後の顔を事前に三次元で確かめられるという効果がある。
【実施例２】
【００３４】
次に、顔形状提示装置の実施例２であるコンテンツ再生システムについて説明する。このコンテンツ再生システムは、インターネットなどを通じて、仮想のキャラクターや実在する人物の顔形状データと、顔画像データとをダウンロードして、それをもとに顔形状を提示するシステムである。
まず、実在する人の顔形状を提示する場合、実在する人の顔形状を計測する必要がある。顔形状の計測については、提示したい人の顔をキャプチャ装置で計測する方法が考えられる。その場合、提示したい人の顔に計測点を配置することになる。その計測点は、図２を参照して説明した駆動点と同等の位置に配置する。また、三次元デジタイザで提示したい人の顔を計測し、上記駆動点と同等の位置の三次元座標を計測する方法などが考えられる。なお、計測点間の距離をノギスなどの道具で実測しても良い。
【００３５】
計測された計測点のそれぞれのデータは、各駆動点の位置座標にそのまま置き換える。各駆動点の位置データは、図１７に示されているようなデータ形式で整理される。すなわち、同図においては、鼻の下の付け根である鼻下点（図２中の右鼻翼点Ｄ２と左鼻翼点Ｄ３との中点）を原点とし、それぞれの駆動点の３次元位置データが記されている。このように得られた各駆動点の位置データを、各アクチュエータの角度指令値に変換し、これを出力することで提示したい人の顔形状を、顔ロボット上に提示できる。
【００３６】
実在しない人の顔形状を提示する場合は、各駆動点の位置データを提示したい顔形状に合わせて作成すれば良い。すなわち、実在する人の場合は、計測によって図１７に示すような各駆動点の位置データを得たが、実在しない人の顔形状を提示する場合は、各駆動点の位置データを直接作成することになる。
上記のようにして提示した顔形状に重ね合わせるように、提示したい人の顔の映像を投影機などで投影する。こうすることで、三次元の顔を顔ロボット上に提示できる。なお、投影する映像は、静止画でも動画でも構わない。動画を投影する際、その表情に合わせて各駆動点の位置を制御することも考えられる。
【実施例３】
【００３７】
次に、顔形状提示装置の実施例３である顔電話システムについて説明する。この顔電話システムは、電話の代わりとして顔形状提示装置を使用するシステムである。
顔電話システムの場合、テレビ電話のように電話を掛けてきている人の顔の形が本顔ロボットにより提示され、あたかもその人がその場にいるような存在感を出す効果がある。
【００３８】
この顔電話システムの構成例が図１８に示されている。同図に示されている顔電話システムは、各部を制御するためのＣＰＵ１０ａと、顔形状を提示するための顔ロボット３０ａと、映像を投影するための映像投影機４０ａと、音声を収録するためのマイクロフォンＭＣａと、音声を出力するためのスピーカＳＰａと、顔形状を撮影するためのカメラＣＡａと、顔形状に関するデータが記憶されてなる顔形状データベースＤＢａとがＡさん側に設けられている。一方、Ｂさん側には、各部を制御するためのＣＰＵ１０ｂと、顔形状を提示するための顔ロボット３０ｂと、映像を投影するための映像投影機４０ｂと、音声を収録するためのマイクロフォンＭＣｂと、音声を出力するためのスピーカＳＰｂと、顔形状を撮影するためのカメラＣＡｂと、顔形状に関するデータが記憶されてなる顔形状データベースＤＢｂとが設けられている。そして、Ａさん側の構成とＢさん側の構成とがネットワークＮＷを介して、相互に通信できるようになっている。
【００３９】
このような構成において、ＡさんとＢさんとが顔ロボットを介して遠隔通信を行う場合について説明する。上述した構成により、Ａさんの近くにある顔ロボット３０ａには、Ｂさんの顔形状が、Ｂさんの近くにある顔ロボット３０ｂにはＡさんの顔形状が、それぞれ提示される。そして、Ａさんの近くにある顔ロボット３０ａに提示されているＢさんの顔形状のお面には、Ｂさんの顔の映像が静止画や動画で映し出される。同様に、Ｂさんの近くにある顔ロボット３０ｂに提示されているＡさんの顔形状のお面には、Ａさんの顔の映像が静止画や動画で映し出される。この場合、それぞれの顔映像は、カメラＣＡａ、ＣＡｂによって撮影され、その映像が投影機により映し出される。
【００４０】
また、音声情報については、以下の通り取り扱われる。すなわち、通常の電話機と同様に、マイクロフォンとスピーカとがＡさん側、Ｂさん側にそれぞれ設けられており、Ａさんの声をマイクロフォンＭＣａで収録し、Ｂさんの近くにあるスピーカＳＰｂから再生出力する。また、Ｂさんの声をマイクロフォンＭＣｂで収録し、Ａさんの近くにあるスピーカＳＰａから再生出力する。
【００４１】
ところで、顔形状については、予め顔形状を計測しておき、その計測データをデータベースＤＢａ、ＤＢｂに蓄えておく方法と、顔形状をカメラＣＡａ、ＣＡｂなどでリアルタイムに撮影する方法とが考えられる。データベースとして蓄える場合、それぞれの顔ロボットがデータベースを持っても良いし、ネットワーク上にデータベースがあっても良い。一方、カメラなどでリアルタイムに計測する場合、三次元計測装置を用いて計測しても良いし、２次元のカメラを用いて撮影した映像の陰影などから顔形状を推定し、三次元データとする方法も考えられる。
なお、用途によっては、音声の入力又は出力の一方のみを行う場合も考えられる。その場合には、マイクロフォン及びスピーカの少なくとも一方を設ければ良い。
【実施例４】
【００４２】
上述した実施例３の顔電話システムでは、通話相手の顔形状が提示される場合について説明したが、通話相手とは違う顔形状を顔ロボットに提示する場合も考えられる。例えば、ＡさんとＢさんが遠隔通信している場合、Ｂさんの顔がＡさんの近くの顔ロボットに提示されるだけでなく、Ｂさんではない人の顔を提示しても良い。すなわち、データベースに三次元形状が蓄えられている形状であれば、誰の顔でも提示できる。例えば、全く別のＣさんの顔形状や、なんらかのキャラクターや動物の顔形状を提示しても良い。またその際、Ｂさんの声を顔形状に合わせてＣさんの声や、なんらかのキャラクターや動物の声に声質変換を行うことも考えられる。
【００４３】
Ａさんの近くの顔ロボットに誰の顔を提示するかの決定権は、Ａさんにある場合と、通話相手であるＢさんにある場合とがある。例えば、Ｂさんが自分の顔形状を見られたくないような場合、Ｂさんが顔形状の決定権を持ち、Ａさんの近くにある顔ロボットのデフォルトの形状（平均顔の形状）のままで遠隔通信を行うことも考えられる。また、ＡさんがＢさんの顔も見たくないような場合、Ａさんが顔形状の決定権を持ち、全く違うキャラクターや動物などの顔を提示する場合もある。
上記のように、Ｂさんではない顔形状に変えた場合、それぞれの顔に合った映像を重ね合わせることが自然に見えるために必要になる。
【実施例５】
【００４４】
上述した実施例３、上述した実施例４のどちらにおいても、提示したい顔形状を誇張したり、逆に加減したりして提示する場合もある。誇張の方法、加減の方法は特定の方法に囚われない。顔の形状だけでなく、同時に投射する映像も形状と同様に誇張、加減することで、自然な顔に見える。
顔の誇張及び加減の方法は、平均顔の特徴点と、提示したい顔の特徴点との距離を増加させたり減少させたりすることで行う。すなわち、図１９（ａ）に示されているように、例えばＡさんの鼻尖点の位置をＡとし、平均顔の鼻尖点をＯとすると、距離ＯＡは平均顔の特徴点ＯとＡさんの特徴点Ａとのズレとなる。このため、同図（ｂ）に示されているように、距離ＯＡよりも長い距離ＯＡ’を採用すれば、Ａさんの特徴点を誇張することになる。一方、同図（ｃ）に示されているように、距離ＯＡよりも短い距離ＯＡ’’を採用すれば、Ａさんの特徴点を加減することになる。
【産業上の利用可能性】
【００４５】
本発明は、リアルで存在感を伝える遠隔コミュニケーションや顔形状の三次元シミュレータとして利用することができる。
【図面の簡単な説明】
【００４６】
【図１】顔形状提示装置全体の構成を示すブロック図である。
【図２】駆動点の配置例を示す図である。
【図３】押し出し部材を取り付けた駆動点の配置例を示す図である。
【図４】顔ロボットの押し出し部材の例を示す図であり、（ａ）は眼球部、（ｂ）は鼻部、（ｃ）は口唇部である。
【図５】Ｘ−Ｙ−Ｚの３自由度駆動ユニットの構成例を示す図である。
【図６】３自由度ユニットのＺ方向駆動ユニットの構成例を示す図である。
【図７】３自由度ユニットのＸ−Ｙ方向駆動ユニットの構成例を示す図である。
【図８】３自由度ユニットのＸ−Ｙ方向駆動ユニットの動作の様子を示す図である。
【図９】Ｚ方向駆動ユニットの拡大図の構成例を示す図である。
【図１０】顔提示装置における特徴点駆動ユニットの構成例を示す斜視図である。
【図１１】図１０の特徴点駆動ユニットをＺ軸方向から見た状態を示す正面図である。
【図１２】図１０の特徴点駆動ユニットをＺ軸方向から見た状態を示す側面図である。
【図１３】Ｙ−Ｚの２自由度駆動ユニットの構成例を示す図であり、（ａ）は斜視図、（ｂ）はＸ軸方向から見た状態を示す図、（ｃ）はＺ軸方向から見た状態を示す図である。
【図１４】Ｙ−Ｚの２自由度駆動ユニットの構成例を示す斜視図である。
【図１５】顔ロボットに対して前方から映像を投影する状態を示す図である。
【図１６】本装置全体の構成を示す図であり、（ａ）は画像投影前の状態を示す図、（ｂ）は画像投射後の状態を示す図である。
【図１７】位置データの例を示す図である。
【図１８】本発明による顔提示装置を用いた顔電話システムの構成例を示す図である。
【図１９】顔提示装置における、顔の誇張及び加減の手法を示す概念図である。
【符号の説明】
【００４７】
３ 駆動点
３ａ 棒状部材
３ｂ Ｚ方向駆動用カム
３ｃ、３ｄ ガイド
３ｅ 円筒部材
４、４ａ、４ｂ 支持板
４ｃ 長孔
２０ モータコントロールボード
３０、３０ａ、３０ｂ 顔ロボット
３１ お面
３２ 特徴点駆動ユニット
４０、４０ａ、４０ｂ 映像投影機
ＣＡａ、ＣＡｂ カメラ
ＤＢａ、ＤＢｂ 顔形状データベース
Ｍ１〜Ｍ３ モータ
ＭＣａ、ＭＣｂ マイクロフォン
ＮＷ ネットワーク
ＳＰａ、ＳＰｂ スピーカ
【技術分野】
【０００１】
本発明は顔形状提示装置に関し、特に任意の個人の顔形状を提示する三次元顔形状提示装置に関する。
【背景技術】
【０００２】
従来の、人間の顔を提示する顔型ロボットは、東京理科大学の小林研究室の受付ロボットＳＡＹＡ（非特許文献１）、早稲田大学の高西研究室のＷＥ−４ＲＩＩ（非特許文献２）など、特定の個人の顔の表情を提示するというものがある。また、軟素材を用いた装置により表情を提示するものとして、表情変化装置がある（特許文献１参照）。
これらに共通して言えることは、Ａさんの表情という特定の個人の表情ついては変化させ提示することが可能でも、Ａさんの顔、Ｂさんの顔、Ｃさんの顔といったように、複数の個人の顔形状を提示はできない。一般に、顔の形状と表情との関係は、次のようになる。すなわち、Ａさんの無表情の顔、Ｂさんの無表情の顔、Ｃさんの無表情の顔…という概念が「顔の形状」である。これに対し、Ａさんの笑った顔、Ａさんの怒った顔、Ａさんの驚いた顔などという概念が「顔の表情」である。このように、様々な任意の個人の三次元顔形状を提示可能な顔ロボットは現状存在しない。
【０００３】
ところで、様々な任意の個人の顔の形状を提示するのみであれば、粘土などの材料で作ることも考えられる。しかしながら、粘土を用いて作る場合、ある顔形状を作って、次の顔形状を作るまでにある程度時間が必要となる。また、顔形状を粘土で作成するのは、一般的に高度な技を必要とする。
【特許文献１】特開平８−１０７９８３号公報
【非特許文献１】H. Kobayashi、 Y. Ichikawa、 M. Senda、 and T. Shiiba: “"Realization of Realistic and Rich Facial Expressions by Face Robot”、Proceedings of the 2003 IEEE International Conference on Intelligent Robots and Systems Oct.27-31 Las Vegas、 Nevada、 USA、 pp.1123-1128、(2003-10)
【非特許文献２】Hiroyasu Miwa、 Kazuko Itoh、 Munemichi Matsumoto、 Massimiliano Zecca、 Hideaki Takanobu、 Stefano Roccella、 Maria Chiara Carrozza、 Paolo Dario、 Atsuo Takanishi:" Effective Emotional Expressions with Emotion Expression Humanoid Robot WE-4RII"Proceedings of the 2004 IEEE/RSJ Intl.Conference on Intelligent Robot and Systems
【発明の開示】
【発明が解決しようとする課題】
【０００４】
人間の顔を提示する顔型ロボットにおいて、特定の個人の顔の表情を提示するものは存在しているが、任意の個人の顔形状を１つのロボットで提示できるものは存在していない。現在、遠隔地の通信で、相手の顔が見えるテレビ電話やテレビ会議システムが存在するが、画像は平面であり、リアリティに欠ける。
また、パーソナルロボットの顔について、顔形状を変えることはできないため、使用者の気に入らない顔形状でも顔形状を変更できないという問題があった。また、粘土などで色々な人の顔を提示するのは、技術的にも難しく、作成に時間がかかるという問題があった。また、美容整形など、顔の手術を行うようなとき、術後の顔形状を三次元で確認することができないという課題がある。
本発明は上述した従来技術の問題点を解決するためになされたものであり、その目的は様々な人の三次元顔形状を１つの装置により提示できる顔形状提示装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の請求項１による顔形状提示装置は、弾性変形可能な、顔形状のマスクと、外部から入力される顔データに応じて、前記マスクを弾性変形させるアクチュエータとを含み、任意な顔の形状を提示することを特徴とする。このように構成すれば、様々な人の三次元顔形状を１つの装置により提示できる。
本発明の請求項２による顔形状提示装置は、請求項１において、前記アクチュエータは、前記マスクに接触し該接触部分に力を加えるＮ個（Ｎは自然数、以下同じ）の接触部と、前記Ｎ個の接触部に対応して設けられ、対応する接触部の位置を、前記顔データに応じて変化させる位置制御部とを含むことを特徴とする。このように構成すれば、マスクを自在に弾性変形させることができ、任意な顔の形状を提示できる。
【０００６】
本発明の請求項３による顔形状提示装置は、請求項１又は２において、前記顔データに対応する顔の映像を、前記マスクに投影する投影手段を更に含むことを特徴とする。このように構成すれば、顔の形状をよりリアルに提示できる。
本発明の請求項４による顔形状提示装置は、請求項１から請求項３までのいずれか１項において、外部から入力される信号に応じた音声を出力する音声出力手段と、入力される音声に対応する信号を導出する音声入力手段と、の少なくとも一方を更に含むことを特徴とする。このように構成すれば、顔形状が提示可能な顔電話を実現でき、よりリアルで存在感を伝えることができる。
【発明の効果】
【０００７】
以上説明したように本発明は、様々な人の三次元顔形状を１つの装置により提示できるという効果が得られる。任意の三次元顔形状を作り出せるため、誰の顔形状でも提示可能であり、リアリティのある遠隔通信を実現できる。そして、顔形状が提示可能な顔電話に利用することで、テレビ電話以上によりリアルで存在感を伝える遠隔コミュニケーションを実現できるという効果が得られる。また、顔形状の三次元シミュレータとして、術後の顔形状を三次元的に事前に確認できるという効果が得られる。
【発明を実施するための最良の形態】
【０００８】
ここでは、任意の個人の三次元顔形状を提示する手法について説明する。１つの装置で、複数の顔形状を提示するために、平均顔のお面（すなわちマスク）を初期形状とし、顔の特徴点などを駆動点として提示したい人の顔形状にする。
平均顔とは、提示したい顔グループの形状を平均化したものである。例えば、日本人全体の顔形状を平均したものや世界中の人の顔形状を平均したもの、ネグロイド、モンゴロイド、オーストラロイド、コーカソイド、アメリンドなど人種の顔形状を平均したもの、テレビ番組や映画などに登場するヒーローやヒロインなどのキャラクターの顔形状を平均したもの、犬、猫などの動物の顔形状を平均化したものなどが考えられる。
【０００９】
平均顔のお面を初期形状とすることで、一つ一つの駆動点の可動範囲を小さくすることができる。顔の画像については、各個人を提示した顔形状に対して、外からプロジェクターで投影する方法や、平均顔を作るお面自体がフレキシブルな映像ディスプレイである方法が考えられる。
また、任意の顔形状を粘土で作ると、その作成に時間がかかるという問題がある。これに対し、本例では、平均顔のお面を柔軟な素材で形成し、その特徴点をモータや人工筋肉などのアクチュエータでコントロールしているので、瞬時に色々な顔を提示できる。
以下、本発明の実施例について、図面を参照して説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示されている。
【実施例１】
【００１０】
ここで、実施例１による顔形状提示装置の構成例が図１に示されている。同図に示されているように、本例の顔形状提示装置は、パーソナルコンピュータ（以下、ＰＣと略称する）等に設けられているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、モータコントロールボード２０と、顔ロボット３０と、映像投影機４０とを含んで構成されている。
【００１１】
顔ロボット３０は、平均顔のお面３１と、お面の特徴点の位置を変化させるための特徴点駆動ユニット３２とを含んで構成されている。特徴点駆動ユニット３２は、後述するように複数のモータを含んで構成されたアクチュエータとしての機能を有している。そして、モータコントロールボード２０から入力される位置指令信号に応じて、特徴点駆動ユニット３２は平均顔のお面３１の特徴点に力を加え、弾性変形させる。モータコントロールボード２０は、ＣＰＵ１０から入力される角度指令信号に応じて、位置指令信号を出力する機能を有している。つまり、外部から入力される顔データに応じて、お面３１を弾性変形させる。
【００１２】
映像投影機４０は、顔データに対応する顔の画像を、平均顔のお面へ投射する機能を有している。
平均顔のお面３１には、後述するように、特徴点に対応する複数の駆動点がある。そして、各駆動点に対応して駆動ユニットが設けられ、対応する駆動点を駆動する。この駆動ユニットが複数集合したものが、特徴点駆動ユニット３２である。
【００１３】
本例での各駆動点は、棒状部材の先端部分であり、この先端部分が、平均顔のお面の裏面に接着されている。そして、お面の形状を任意の個人の顔形状にするために、各駆動点の位置を制御する。駆動点の位置を制御することで、特徴点を駆動し、顔の形状を変化させる。お面の駆動点の配置を示す図２を参照すると、同図には１９箇所の駆動点が示されている。そして、各駆動点すなわちお面裏面への、棒状部材の接触部に力を加えることによってその接触部の位置を変化させ、お面を弾性変形させる。お面を弾性変形させることによって、様々な人の三次元顔形状を１つの装置により提示できる。
【００１４】
駆動点は、同図に示されているように、左右対称に配置されており、正中線上に５点、左右に７点ずつの１４点、計１９点である。これらの駆動点は、一例に過ぎず、人間が顔形状の認識を行う際の特徴点などを参考にして決定すると良い。
同図に示されている駆動点は、鼻尖点Ｄ１、右鼻翼点Ｄ２、左鼻翼点Ｄ３、口点Ｄ４、右口角Ｄ５、左口角Ｄ６、右頬Ｄ７、オトガイ前点Ｄ８、左頬Ｄ９、右目Ｄ１０、左目Ｄ１１、右外眼角Ｄ１２、左外眼角Ｄ１３、右眉Ｄ１４、左眉Ｄ１５、右頬骨Ｄ１６、左頬骨Ｄ１７、鼻根点Ｄ１８、額点Ｄ１９である。駆動点先端部に押し出し部材を取り付けた状態が図３に示されている。同図に示されているように、図２に示されている各駆動点に対応する位置に、押し出し部材がそれぞれ設けられている。
【００１５】
図３に示されているように、各駆動点の先端部分は、各駆動点によって、形状が異なっていても良い。例えば、目部分の駆動点の先端部分形状は、図４（ａ）に示すように眼球形状に倣って、半球状などになっていたり、鼻部分の駆動点の先端部分形状は図４（ｂ）に示すようになっていたり、図４（ｃ）に示すように口唇部の先端部分形状は上下の唇を同時に押し出せるような形状になっていたりしても良い。なお、同図（ａ）に示されている眼球部の最大幅は２０．０[mm]である。同図（ｂ）に示されている鼻部の長さは３５．０[mm]、その高さは１５．０[mm]である。同図（ｃ）に示されている口唇部の左右幅は２３．０[mm]、上下幅は３０．０[mm]、奥行は２０．０[mm]である。
駆動点の数については、１９個に限定されるものではない。より精密な顔形状を提示しようとすれば、駆動点の数を多くする必要がある。一方、精密さが要求されなかったり、提示する顔形状の種類が少なかったりすれば、駆動点の数は少なくて良い。
【００１６】
（平均顔のお面）
平均顔のお面は、例えば、次のような方法で作成する。すなわち、三次元光造型機で平均顔を成形し、それを石膏で型を取り、耐久性に優れたゴムであるセプトン（クラレ社製の高性能熱可塑性エラストマー）などで平均顔のお面を成形する。セプトンの厚さに関しては、１０ｍｍ前後で成形すると良い。厚みを部位ごとに変えることも考えられる。
なお、本例では、各駆動点に、Ｘ−Ｙ−Ｚ方向の３自由度、またはＹ−Ｚ方向の２自由度を持たせる。Ｘ−Ｙ−Ｚ方向の３自由度を持つ駆動ユニットは、人間の顔サイズに複数配置するため、ある程度小型である必要がある。
【００１７】
（３自由度の駆動ユニット）
３自由度の駆動ユニットの一構成例が、図５に示されている。同図（ａ）は３自由度の駆動ユニットの構成を示す斜視図、同図（ｂ）は同図（ａ）をＸ軸方向からみた図、同図（ｃ）は同図（ａ）をＺ軸方向からみた図である。これらの図を参照すると、駆動ユニットには、先端部が駆動点３となる棒状部材３ａと、棒状部材３ａの根元部に取り付けられているモータＭ３と、モータＭ３の回転軸が接続されているＺ方向駆動用カム３ｂと、棒状部材３ａによって中空部が貫かれている円筒部材３ｅと、円筒部材３ｅの中間部に当接して駆動点３の位置をＸ方向及びＹ方向に移動させるためのガイド３ｃ及び３ｄと、ガイド３ｃ、３ｄの端部に回転軸を介して接続されているモータＭ１、Ｍ２と、棒状部材３ａの中間部をモータＭ１及びＭ２の方向に引っ張るバネＳ１とを含んで構成されている。
【００１８】
ここで、駆動ユニットは、「Ｘ−Ｙ方向駆動ユニット」と「Ｚ方向駆動ユニット」の大きく２つの部分に分けられる。Ｘ−Ｙ方向駆動ユニットは、円筒部材３ｅと、駆動点３のＸ座標及びＹ座標の位置を制御するための２つのモータＭ１及びＭ２と、Ｘ−Ｙ方向のガイド３ｃ及び３ｄとから構成される。一方、Ｚ方向駆動ユニットは、駆動点のＺ座標の位置を制御するための１つのモータＭ３と、Ｚ方向駆動用カム３ｂとから構成される。なお、図６に示されているように、円筒部材３ｅの端部３ｆは支持板４ａと接した状態で摺動でき、端部３ｇは支持板４ｂと接した状態で摺動できるようになっている。
【００１９】
（Ｘ−Ｙ方向駆動ユニット）
図５に戻り、Ｘ−Ｙ方向駆動ユニットにおいては、バネＳ１によって、棒状部材３ａの中間部がモータＭ１及びＭ２の方向に常に引っ張られている。このため、図７に示されているように、ガイド３ｃの回動軸Ｊ３ｃとガイド３ｄの回動軸Ｊ３ｄとを結んだ直線ＬＬとガイド３ｃとのなす角度θ2（すなわちモータＭ２の回動角度）、直線ＬＬとガイド３ｄとのなす角度θ1（すなわちモータＭ１の回動角度）を変化させれば、棒状部材３ａの先端部すなわち駆動点３の位置がＸ方向又はＹ方向に変化することになる。なお、本例では、ガイド３ｃ及び３ｄと接する、円筒部材３ｅの中間部の半径はｒ、ガイド３ｃ及び３ｄの厚みはｔ1、直線ＬＬの中点Ｏまでの長さはＬである。
【００２０】
以上のように構成されたＸ−Ｙ方向駆動ユニットの動作の様子が図８に示されている。図７に示されている状態に対応する図８（ａ）の状態において、上記角度θ2（すなわちモータＭ２の回動角度）を増加させるようにモータＭ２を駆動し、かつ、上記角度θ1（すなわちモータＭ１の回動角度）を減少させるようにモータＭ１を駆動すれば、図８（ｂ）に示されている状態になる。同図（ｂ）に示されている状態は、同図（ａ）に示されている状態からＸ方向及びＹ方向が変化した状態である。
【００２１】
（Ｚ方向駆動ユニット）
図６に示されているように、Ｚ方向駆動ユニットの構成要素であるモータＭ３には、引っ張りバネＳ２の一端が接続され、引っ張りバネＳ２の他端は支持板４に固定されている。このため、モータＭ３に接続されている棒状部材３ａは、引っ張りバネＳ２により、支持板４の方向に引っ張られている。このため、Ｚ方向駆動用カム３ｂは支持板４に接した状態になっている。
【００２２】
このような接続関係を模式的に示した図が図９である。同図において、モータＭ３の回転軸ＪＡが図中時計回りに回転すれば、Ｚ方向駆動用カム３ｂの回転軸Ｏと回転軸ＪＡとを結ぶ直線ＲｚとＺ軸とのなす角度θ3が減少し、棒状部材３ａは矢印Ｙａ方向に移動する。これにより、駆動点３は矢印Ｙａ方向に移動する。
一方、モータＭ３の回転軸ＪＡが図中反時計回りに回転すれば、直線ＲｚとＺ軸とのなす角度θ3が増加し、棒状部材３ａは矢印Ｙａ方向の逆の方向に移動する。これにより、駆動点３は矢印Ｙａ方向の方向に移動する。このように、モータＭ３の回転方向に応じて、駆動点３をＺ方向に駆動することができる。
以上のように特徴点駆動ユニットを構成した場合、各モータの角度指令値をθ1、θ2、θ3とした場合、駆動点３の座標（Ｘ、Ｙ、Ｚ）は以下の式で表される。
【００２３】
【数１】
【００２４】
なお、３自由度の駆動ユニットについては、小型でＸ−Ｙ−Ｚの３自由度を持っていれば、図５に示されている構成に限定されるものではない。
（駆動ユニット全体の構成）
図１０は、上述した３自由度の駆動ユニットの全体構成を示す斜視図である。同図に示されているように、図２のように配置される１９箇所の駆動点それぞれに対応して３自由度の駆動ユニットが設けられ、各駆動ユニットは複数の支持板４、４ａ〜４ｆによって支持されている。
【００２５】
図１１は図１０に示されている駆動ユニットをＺ軸方向から見た状態を示す図、図１２は同じくＸ軸方向から見た状態を示す図である。これらの図に示されている各円筒部材３ｅは、２枚の支持板の間に挟まれた状態でＸ方向及びＹ方向に摺動できるようになっている。また、モータＭ３及びＺ方向駆動用カム３ｂにより、棒状部材３ａがＺ軸方向に移動することにより、各駆動点３が矢印Ｙａ又はその逆方向に移動することになる。このように、特徴点駆動ユニットを構成すれば、お面を弾性変形させ、様々な人の三次元顔形状を１つの装置により提示できる。
【００２６】
（２自由度の駆動ユニット）
また、Ｙ−Ｚ方向の２自由度を持つ駆動ユニットの一構成例が、図１３に示されている。同図（ａ）は２自由度の駆動ユニットの構成を示す斜視図、同図（ｂ）は同図（ａ）をＸ軸方向からみた図、同図（ｃ）は同図（ａ）をＺ軸方向からみた図である。これらの図を参照すると、２自由度の駆動ユニットの基本的な構造は、３自由度の駆動ユニットと同様である。すなわち、駆動ユニットには、先端部が駆動点３となる棒状部材３ａと、棒状部材３ａの根元部に取り付けられているモータＭ３と、モータＭ３の回転軸が接続されているＺ方向駆動用カム３ｂと、棒状部材３ａによって中空部が貫かれている円筒部材３ｅと、円筒部材３ｅの中間部に当接して駆動点３の位置をＹ方向に移動させるためのガイド３ｄと、ガイド３ｄの端部に回転軸を介して接続されているモータＭ２とを含んで構成されている。
【００２７】
このような構成からなる２自由度の駆動ユニットは、図１４に示されているように、支持板４、４ａ及び４ｂによって支持される。そして、棒状部材３ａは、支持板４ａに設けられている長孔４ｃに沿ってＹ方向に移動する他、矢印Ｙａ又はその逆方向に移動する。このような構成の駆動ユニットは、Ｘ方向の駆動が必要ないため、モータの数が３自由度の駆動ユニットより１つ少ない２つで済む。駆動点３の位置については、３自由度の場合について説明した上記の式（１）において角度θ2を固定した式で表すことができる。
【００２８】
（動作）
図１に戻り、各駆動点への駆動指令は、ＰＣ等に設けられているＣＰＵ１０から与える。提示したい顔形状を提示するための駆動点の位置指令値をＰＣ等から入力し、各モータの角度指令値として出力することにより、各モータＭ１〜Ｍ３を制御する。
ところで、平均顔のお面については、ゴムなどの柔らかい素材を用いて成形する場合と、素材自身が発光し、映像を映すことが可能な素材で成形する場合などが考えられる。前者の場合、顔形状を提示したお面の前方からプロジェクターなどの投影機を用いて映像を重ね合わせる方法や、口唇部や眼球部、眉毛、鼻孔などをゴム表面に直接、絵を描く方法などが考えられる。
【００２９】
一方、後者の場合、素材自身が発光し、湾曲面を成形可能であれば、投影機が必要なくなる。映像を重ね合わせる際、通常のカメラにて撮影した画像をそのまま投影機や湾曲面を生成可能なディスプレイにて出力すると、顔形状が平面ではないため、画像が歪んでしまう。通常のカメラで撮影された映像は、平面に投影することを想定しているため、歪みの補正が必要となる。
【００３０】
この歪みの補正方法について、図１５を参照して説明する。顔ロボットの前方に投影機があり、投影機のレンズ端中心Ｐ、顔ロボットのお面の鼻尖点Ｏ、仮想平面スクリーン（Ｓｃｒｅｅｎ）が同図のような状態になっているとする。投影機のレンズ端中心Ｐからスクリーン上の点Ａを通過する光は顔ロボットのお面の点Ｂに投射される。
【００３１】
ここで、観察者が顔ロボットの真正面にいると仮定すると、点Ａに投射される映像は、点Ａを通りスクリーンに対して垂直な直線状に存在すれば、観察者から自然な形の映像として見える。よって、点Ａからスクリーンに対して垂直な線を引き、顔ロボットのお面との交点Ｂ’に投射されれば自然な形の映像となるはずである。また、点Ｂ’に投射される映像は、スクリーン上の点Ａ’に投射される。つまり、点Ａの映像を点Ａ’へ写像すれば、自然な形の映像を映し出せる。
【００３２】
同図中の直線ＯＡと直線ＯＡ’との関係は、
ＯＡ＝ＯＡ’×（ＯＰ＋ＡＢ’）／ＯＰ …（２）
で表される。これを画像全領域に対して繰り返せば、三次元顔形状のお面への画像の補正を行うことができる。画像の補正を正確に行うためには、提示したい顔の三次元形状を三次元形状計測装置などで計測する必要がある。提示したい顔を楕円などで近似することも考えられる。
以上のような機構を採用すれば、様々な人の顔を提示可能な顔ロボットを実現できる。
ここで、顔ロボットに映像を投影する前後の状態が図１６に示されている。同図（ａ）は画像投影前の状態を示す図、同図（ｂ）は画像投射後の状態を示す図である。
【００３３】
以上のように、外部から入力される顔データに応じて、お面を弾性変形させることにより、任意の個人の三次元顔形状を提示することができる。このように、三次元顔形状を提示するアプリケーションとしては、顔の三次元形状を提示可能な「顔電話」や、美容整形時の「三次元顔形状シミュレータ」などが考えられる。顔電話では、通話相手の顔形状が提示されることでよりリアルなコミュニケーションが可能となる。三次元顔形状シミュレータでは、美容整形手術などにおいて、術後の顔を事前に三次元で確かめられるという効果がある。
【実施例２】
【００３４】
次に、顔形状提示装置の実施例２であるコンテンツ再生システムについて説明する。このコンテンツ再生システムは、インターネットなどを通じて、仮想のキャラクターや実在する人物の顔形状データと、顔画像データとをダウンロードして、それをもとに顔形状を提示するシステムである。
まず、実在する人の顔形状を提示する場合、実在する人の顔形状を計測する必要がある。顔形状の計測については、提示したい人の顔をキャプチャ装置で計測する方法が考えられる。その場合、提示したい人の顔に計測点を配置することになる。その計測点は、図２を参照して説明した駆動点と同等の位置に配置する。また、三次元デジタイザで提示したい人の顔を計測し、上記駆動点と同等の位置の三次元座標を計測する方法などが考えられる。なお、計測点間の距離をノギスなどの道具で実測しても良い。
【００３５】
計測された計測点のそれぞれのデータは、各駆動点の位置座標にそのまま置き換える。各駆動点の位置データは、図１７に示されているようなデータ形式で整理される。すなわち、同図においては、鼻の下の付け根である鼻下点（図２中の右鼻翼点Ｄ２と左鼻翼点Ｄ３との中点）を原点とし、それぞれの駆動点の３次元位置データが記されている。このように得られた各駆動点の位置データを、各アクチュエータの角度指令値に変換し、これを出力することで提示したい人の顔形状を、顔ロボット上に提示できる。
【００３６】
実在しない人の顔形状を提示する場合は、各駆動点の位置データを提示したい顔形状に合わせて作成すれば良い。すなわち、実在する人の場合は、計測によって図１７に示すような各駆動点の位置データを得たが、実在しない人の顔形状を提示する場合は、各駆動点の位置データを直接作成することになる。
上記のようにして提示した顔形状に重ね合わせるように、提示したい人の顔の映像を投影機などで投影する。こうすることで、三次元の顔を顔ロボット上に提示できる。なお、投影する映像は、静止画でも動画でも構わない。動画を投影する際、その表情に合わせて各駆動点の位置を制御することも考えられる。
【実施例３】
【００３７】
次に、顔形状提示装置の実施例３である顔電話システムについて説明する。この顔電話システムは、電話の代わりとして顔形状提示装置を使用するシステムである。
顔電話システムの場合、テレビ電話のように電話を掛けてきている人の顔の形が本顔ロボットにより提示され、あたかもその人がその場にいるような存在感を出す効果がある。
【００３８】
この顔電話システムの構成例が図１８に示されている。同図に示されている顔電話システムは、各部を制御するためのＣＰＵ１０ａと、顔形状を提示するための顔ロボット３０ａと、映像を投影するための映像投影機４０ａと、音声を収録するためのマイクロフォンＭＣａと、音声を出力するためのスピーカＳＰａと、顔形状を撮影するためのカメラＣＡａと、顔形状に関するデータが記憶されてなる顔形状データベースＤＢａとがＡさん側に設けられている。一方、Ｂさん側には、各部を制御するためのＣＰＵ１０ｂと、顔形状を提示するための顔ロボット３０ｂと、映像を投影するための映像投影機４０ｂと、音声を収録するためのマイクロフォンＭＣｂと、音声を出力するためのスピーカＳＰｂと、顔形状を撮影するためのカメラＣＡｂと、顔形状に関するデータが記憶されてなる顔形状データベースＤＢｂとが設けられている。そして、Ａさん側の構成とＢさん側の構成とがネットワークＮＷを介して、相互に通信できるようになっている。
【００３９】
このような構成において、ＡさんとＢさんとが顔ロボットを介して遠隔通信を行う場合について説明する。上述した構成により、Ａさんの近くにある顔ロボット３０ａには、Ｂさんの顔形状が、Ｂさんの近くにある顔ロボット３０ｂにはＡさんの顔形状が、それぞれ提示される。そして、Ａさんの近くにある顔ロボット３０ａに提示されているＢさんの顔形状のお面には、Ｂさんの顔の映像が静止画や動画で映し出される。同様に、Ｂさんの近くにある顔ロボット３０ｂに提示されているＡさんの顔形状のお面には、Ａさんの顔の映像が静止画や動画で映し出される。この場合、それぞれの顔映像は、カメラＣＡａ、ＣＡｂによって撮影され、その映像が投影機により映し出される。
【００４０】
また、音声情報については、以下の通り取り扱われる。すなわち、通常の電話機と同様に、マイクロフォンとスピーカとがＡさん側、Ｂさん側にそれぞれ設けられており、Ａさんの声をマイクロフォンＭＣａで収録し、Ｂさんの近くにあるスピーカＳＰｂから再生出力する。また、Ｂさんの声をマイクロフォンＭＣｂで収録し、Ａさんの近くにあるスピーカＳＰａから再生出力する。
【００４１】
ところで、顔形状については、予め顔形状を計測しておき、その計測データをデータベースＤＢａ、ＤＢｂに蓄えておく方法と、顔形状をカメラＣＡａ、ＣＡｂなどでリアルタイムに撮影する方法とが考えられる。データベースとして蓄える場合、それぞれの顔ロボットがデータベースを持っても良いし、ネットワーク上にデータベースがあっても良い。一方、カメラなどでリアルタイムに計測する場合、三次元計測装置を用いて計測しても良いし、２次元のカメラを用いて撮影した映像の陰影などから顔形状を推定し、三次元データとする方法も考えられる。
なお、用途によっては、音声の入力又は出力の一方のみを行う場合も考えられる。その場合には、マイクロフォン及びスピーカの少なくとも一方を設ければ良い。
【実施例４】
【００４２】
上述した実施例３の顔電話システムでは、通話相手の顔形状が提示される場合について説明したが、通話相手とは違う顔形状を顔ロボットに提示する場合も考えられる。例えば、ＡさんとＢさんが遠隔通信している場合、Ｂさんの顔がＡさんの近くの顔ロボットに提示されるだけでなく、Ｂさんではない人の顔を提示しても良い。すなわち、データベースに三次元形状が蓄えられている形状であれば、誰の顔でも提示できる。例えば、全く別のＣさんの顔形状や、なんらかのキャラクターや動物の顔形状を提示しても良い。またその際、Ｂさんの声を顔形状に合わせてＣさんの声や、なんらかのキャラクターや動物の声に声質変換を行うことも考えられる。
【００４３】
Ａさんの近くの顔ロボットに誰の顔を提示するかの決定権は、Ａさんにある場合と、通話相手であるＢさんにある場合とがある。例えば、Ｂさんが自分の顔形状を見られたくないような場合、Ｂさんが顔形状の決定権を持ち、Ａさんの近くにある顔ロボットのデフォルトの形状（平均顔の形状）のままで遠隔通信を行うことも考えられる。また、ＡさんがＢさんの顔も見たくないような場合、Ａさんが顔形状の決定権を持ち、全く違うキャラクターや動物などの顔を提示する場合もある。
上記のように、Ｂさんではない顔形状に変えた場合、それぞれの顔に合った映像を重ね合わせることが自然に見えるために必要になる。
【実施例５】
【００４４】
上述した実施例３、上述した実施例４のどちらにおいても、提示したい顔形状を誇張したり、逆に加減したりして提示する場合もある。誇張の方法、加減の方法は特定の方法に囚われない。顔の形状だけでなく、同時に投射する映像も形状と同様に誇張、加減することで、自然な顔に見える。
顔の誇張及び加減の方法は、平均顔の特徴点と、提示したい顔の特徴点との距離を増加させたり減少させたりすることで行う。すなわち、図１９（ａ）に示されているように、例えばＡさんの鼻尖点の位置をＡとし、平均顔の鼻尖点をＯとすると、距離ＯＡは平均顔の特徴点ＯとＡさんの特徴点Ａとのズレとなる。このため、同図（ｂ）に示されているように、距離ＯＡよりも長い距離ＯＡ’を採用すれば、Ａさんの特徴点を誇張することになる。一方、同図（ｃ）に示されているように、距離ＯＡよりも短い距離ＯＡ’’を採用すれば、Ａさんの特徴点を加減することになる。
【産業上の利用可能性】
【００４５】
本発明は、リアルで存在感を伝える遠隔コミュニケーションや顔形状の三次元シミュレータとして利用することができる。
【図面の簡単な説明】
【００４６】
【図１】顔形状提示装置全体の構成を示すブロック図である。
【図２】駆動点の配置例を示す図である。
【図３】押し出し部材を取り付けた駆動点の配置例を示す図である。
【図４】顔ロボットの押し出し部材の例を示す図であり、（ａ）は眼球部、（ｂ）は鼻部、（ｃ）は口唇部である。
【図５】Ｘ−Ｙ−Ｚの３自由度駆動ユニットの構成例を示す図である。
【図６】３自由度ユニットのＺ方向駆動ユニットの構成例を示す図である。
【図７】３自由度ユニットのＸ−Ｙ方向駆動ユニットの構成例を示す図である。
【図８】３自由度ユニットのＸ−Ｙ方向駆動ユニットの動作の様子を示す図である。
【図９】Ｚ方向駆動ユニットの拡大図の構成例を示す図である。
【図１０】顔提示装置における特徴点駆動ユニットの構成例を示す斜視図である。
【図１１】図１０の特徴点駆動ユニットをＺ軸方向から見た状態を示す正面図である。
【図１２】図１０の特徴点駆動ユニットをＺ軸方向から見た状態を示す側面図である。
【図１３】Ｙ−Ｚの２自由度駆動ユニットの構成例を示す図であり、（ａ）は斜視図、（ｂ）はＸ軸方向から見た状態を示す図、（ｃ）はＺ軸方向から見た状態を示す図である。
【図１４】Ｙ−Ｚの２自由度駆動ユニットの構成例を示す斜視図である。
【図１５】顔ロボットに対して前方から映像を投影する状態を示す図である。
【図１６】本装置全体の構成を示す図であり、（ａ）は画像投影前の状態を示す図、（ｂ）は画像投射後の状態を示す図である。
【図１７】位置データの例を示す図である。
【図１８】本発明による顔提示装置を用いた顔電話システムの構成例を示す図である。
【図１９】顔提示装置における、顔の誇張及び加減の手法を示す概念図である。
【符号の説明】
【００４７】
３ 駆動点
３ａ 棒状部材
３ｂ Ｚ方向駆動用カム
３ｃ、３ｄ ガイド
３ｅ 円筒部材
４、４ａ、４ｂ 支持板
４ｃ 長孔
２０ モータコントロールボード
３０、３０ａ、３０ｂ 顔ロボット
３１ お面
３２ 特徴点駆動ユニット
４０、４０ａ、４０ｂ 映像投影機
ＣＡａ、ＣＡｂ カメラ
ＤＢａ、ＤＢｂ 顔形状データベース
Ｍ１〜Ｍ３ モータ
ＭＣａ、ＭＣｂ マイクロフォン
ＮＷ ネットワーク
ＳＰａ、ＳＰｂ スピーカ
【特許請求の範囲】
【請求項１】
弾性変形可能な、顔形状のマスクと、外部から入力される顔データに応じて、前記マスクを弾性変形させるアクチュエータとを含み、任意な顔の形状を提示することを特徴とする顔形状提示装置。
【請求項２】
前記アクチュエータは、前記マスクに接触し該接触部分に力を加えるＮ個（Ｎは自然数、以下同じ）の接触部と、前記Ｎ個の接触部に対応して設けられ、対応する接触部の位置を、前記顔データに応じて変化させる位置制御部とを含むことを特徴とする請求項１記載の顔形状提示装置。
【請求項３】
前記顔データに対応する顔の映像を、前記マスクに投影する投影手段を更に含むことを特徴とする請求項１又は２記載の顔形状提示装置。
【請求項４】
外部から入力される信号に応じた音声を出力する音声出力手段と、入力される音声に対応する信号を導出する音声入力手段と、の少なくとも一方を更に含むことを特徴とする請求項１から請求項３までのいずれか１項に記載の顔形状提示装置。
【請求項１】
弾性変形可能な、顔形状のマスクと、外部から入力される顔データに応じて、前記マスクを弾性変形させるアクチュエータとを含み、任意な顔の形状を提示することを特徴とする顔形状提示装置。
【請求項２】
前記アクチュエータは、前記マスクに接触し該接触部分に力を加えるＮ個（Ｎは自然数、以下同じ）の接触部と、前記Ｎ個の接触部に対応して設けられ、対応する接触部の位置を、前記顔データに応じて変化させる位置制御部とを含むことを特徴とする請求項１記載の顔形状提示装置。
【請求項３】
前記顔データに対応する顔の映像を、前記マスクに投影する投影手段を更に含むことを特徴とする請求項１又は２記載の顔形状提示装置。
【請求項４】
外部から入力される信号に応じた音声を出力する音声出力手段と、入力される音声に対応する信号を導出する音声入力手段と、の少なくとも一方を更に含むことを特徴とする請求項１から請求項３までのいずれか１項に記載の顔形状提示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図１０】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図１０】
【図１６】
【公開番号】特開２００６−３４３５８３（Ｐ２００６−３４３５８３Ａ）
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願番号】特願２００５−１６９７５０（Ｐ２００５−１６９７５０）
【出願日】平成１７年６月９日（２００５．６．９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【公開日】平成１８年１２月２１日（２００６．１２．２１）
【国際特許分類】
【出願日】平成１７年６月９日（２００５．６．９）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
[ Back to top ]