動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラム
【課題】付加価値のある動画像を効率的に伝送する。
【解決手段】通信ネットワークを介して送信装置と受信装置との間で人物の動画像を伝送する動画伝送システムにおいて、前記送信装置は、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する送信側仮想メイク画像生成手段と、仮想メイク画像のメイク情報を取得するメイク情報取得手段と、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有し、前記受信装置は、前記送信装置から前記メイク情報と前記原画像フレームとを取得し、それぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する受信側仮想メイク画像生成手段とを有する。
【解決手段】通信ネットワークを介して送信装置と受信装置との間で人物の動画像を伝送する動画伝送システムにおいて、前記送信装置は、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する送信側仮想メイク画像生成手段と、仮想メイク画像のメイク情報を取得するメイク情報取得手段と、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有し、前記受信装置は、前記送信装置から前記メイク情報と前記原画像フレームとを取得し、それぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する受信側仮想メイク画像生成手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムに係り、特に付加価値のある動画像を効率的に伝送するための動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムに関する。
【背景技術】
【０００２】
従来、テレビ電話やテレビ会議等、画面を通じて相手の顔を見ながら会話するコミュニケーションツールが存在している。しかしながら、特にテレビ電話については、現在のところ一般の家庭やオフィスに広く普及しているとはいい難い状況にある。
【０００３】
その理由としては、特に女性の場合は、相手がある程度以上に親しい間柄でもない場合等は、自宅で素顔（すっぴん顔）のまま画面に出ることに抵抗があり、特に最近のテレビ電話の映像性能の高品質化により、肌が鮮明に表示されるため、この傾向が更に広がっている。
【０００４】
ここで、画面に表示されるユーザの顔に対して、ユーザの顔を撮影した動画像に仮想的にメイクアップを施すメイクアップシミュレーションシステムが存在している（例えば、特許文献１参照。）
このようなシステムでは、撮影したユーザの動画像を表示する表示手段を備え、動画像から所定のトラッキングポイントに基づいてユーザの顔を認識し、更にその認識結果に基づいてユーザの顔の所定の箇所に仮想的にファンデーションや口紅等を塗布して所定のメイクアップを施し表示手段に出力することができる。
【０００５】
また、テレビ電話等で伝送される動画は、１秒間に何枚かの静止画フレームを連続的に表示する方法が主流となっている。例えば、テレビ電話機能を有する携帯端末の形態では、１秒間に１５フレーム程度の送受信が可能であり、ブロードバンド回線に接続するＩＰ電話機の形態では、１秒間に１５〜３０フレーム程度を送受信できる。また、データを圧縮して通信時の伝送効率を上げるため、同じ条件の画像を連続的に送付するのではなく、差分のみを送信したり、情報の変化を数値に置き換えて送信したり、また回線の混み具合により送付データの質を変化させる等の圧縮をして送付している。
【０００６】
また、近年では、Ｈ．２６４方式という動画圧縮規格により、ＭＰＥＧ２と同画質で約１／２以下のデータ量で済む圧縮フォーマットが実用化され、ワンセグ放送、Ｂｌｕ−ｒａｙ ＤＩＳＣ、ＰＳＰ、ｉＰｏｄ等の動画映像に広く使用されている。しかしながら、これらは何れもカメラ等で撮影された動画像そのものを送ることが前提となっている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２１６０００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ここで、上述したシステムで生成された仮想メイクアップシミュレーション画像をテレビ電話等で使用するためには、話し相手によって素顔やメイク顔を自由に選択できるのがユーザにとっては好ましく、また、どの程度メイクされたかをデータ量的に判断して利用者に対して課金処理等を施すのが好ましい。このような場合、単純に素顔画像にメイク画像を合成した後に送信したのでは、素顔とメイク顔の切り替えやメイク分のデータ量や伝送効率等を正確に取得することができない。
【０００９】
つまり、上述した従来のシステム構成は、上記の内容を想定していたものではなく、メイクシミュレーションが施された合成画像のみを伝送しても上述の課題に対応することができない。
【００１０】
更に、近年では、テレビ電話の利用時に直接顔を見せたくない相手に対して、自分の代わりに好きなキャラクターを表示させる、いわゆる「キャラ電」と呼ばれる仕組みが存在する。しかしながら、「キャラ電」は、直接本人の顔が表示されないため、テレビ電話の存在意義からいっても好ましいものとはいえない。
【００１１】
本発明は、上述した課題に鑑みてなされたものであって、付加価値のある動画像を効率的に伝送するための動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、通信ネットワークを介して送信装置と受信装置との間で人物の動画像を伝送する動画伝送システムにおいて、前記送信装置は、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する送信側仮想メイク画像生成手段と、前記送信側仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有し、前記受信装置は、前記送信装置から前記メイク情報と前記原画像フレームとを取得し、それぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する受信側仮想メイク画像生成手段とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、仮想メイクアップ画像を付加的に生成し、その情報を少ないデータ量で伝送することができるため、付加価値のある動画像を効率的に伝送することができる。
【００１５】
請求項２に記載された発明は、前記通信ネットワークを介して前記送信装置及び前記受信装置とデータの送受信が可能な動画伝送管理装置を有し、動画伝送管理装置は、前記送信装置から前記メイク情報を取得し、取得した前記メイク情報のデータ量を取得するデータ量取得手段と、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段とを有することを特徴とする。
【００１６】
請求項２記載の発明によれば、動画伝送管理装置により、仮想メイクアップシミュレーションの動画伝送時における課金処理を効率的且つ正確に行うことができる。
【００１７】
請求項３に記載された発明は、前記メイク情報取得手段は、前記送信側仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする。
【００１８】
請求項３記載の発明によれば、情報量の少ないメイク情報のみを伝送することになるため、データ量を削減することができ伝送効率を向上させると共に、伝送中のデータの内容を第三者に見られても具体的な内容を把握することができないため、秘匿性を向上させることができる。
【００１９】
請求項４に記載された発明は、前記動画伝送管理装置は、前記受信装置毎に予め設定されたユーザ情報又は送信設定内容に基づいて、前記メイク情報の内容を変更し、変更されたメイク情報を送信することを特徴とする。
【００２０】
請求項４記載の発明によれば、複数の受信装置に対して、異なる仮想メイク画像を容易に生成させることができる。
【００２１】
請求項５に記載された発明は、前記動画伝送管理装置は、前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信することを特徴とする。
【００２２】
請求項５記載の発明によれば、受信装置毎に適切な情報を送信することができる。
【００２３】
請求項６に記載された発明は、通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段と、前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有することを特徴とする。
【００２４】
請求項６記載の発明によれば、仮想メイクアップ画像を付加的に生成し、その情報を少ないデータ量で伝送することができるため、付加価値のある動画像を効率的に伝送することができる。
【００２５】
請求項７に記載された発明は、前記メイク情報取得手段は、前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする。
【００２６】
請求項７記載の発明によれば、上述した少ない情報であっても原画像に対する仮想メイク画像を生成することができる。
【００２７】
請求項８に記載された発明は、通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置において、前記送信装置にて撮影された原画像フレームを取得する原画像取得手段と、前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段と、前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段とを有することを特徴とする。
【００２８】
請求項８記載の発明によれば、原画像フレームとメイク情報とから仮想メイクアップ画像を付加的に生成することができ、これにより、付加価値のあるサービスを提供することができる。
【００２９】
請求項９に記載された発明は、通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置において、前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段と、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段と、前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段とを有することを特徴とする。
【００３０】
請求項９記載の発明によれば、メイク情報のデータ量に基づいて、適切な課金設定を行うことができる。
【００３１】
請求項１０に記載された発明は、前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする。
【００３２】
請求項１０記載の発明によれば、受信装置毎に適切な情報を送信することができる。
【００３３】
請求項１１に記載された発明は、通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置における送信プログラムにおいて、コンピュータを、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段、前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段、及び、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段として機能させる。
【００３４】
請求項１１記載の発明によれば、仮想メイクアップ画像を付加的に生成し、その情報を少ないデータ量で伝送することができるため、付加価値のある動画像を効率的に伝送することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における送信処理を容易に実現することができる。
【００３５】
請求項１２に記載された発明は、前記メイク情報取得手段は、前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする。
【００３６】
請求項１２記載の発明によれば、上述した少ない情報であっても原画像に対する仮想メイク画像を生成することができる。
【００３７】
請求項１３に記載された発明は、通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置における受信プログラムにおいて、コンピュータを、前記送信装置にて撮影された原画像フレームを取得する原画像取得手段、前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段、及び、前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段として機能させる。
【００３８】
請求項１３記載の発明によれば、原画像フレームとメイク情報とから仮想メイクアップ画像を付加的に生成することができ、これにより、付加価値のあるサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における受信処理を容易に実現することができる。
【００３９】
請求項１４に記載された発明は、通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置における動画伝送管理プログラムにおいて、コンピュータを、前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段、及び、前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段として機能させる。
【００４０】
請求項１４記載の発明によれば、メイク情報のデータ量に基づいて、適切な課金設定を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における動画伝送処理を容易に実現することができる。
【００４１】
請求項１５に記載された発明は、前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする。
【００４２】
請求項１５記載の発明によれば、受信装置毎に適切な情報を送信することができる。
【発明の効果】
【００４３】
本発明によれば、付加価値のある動画像を効率的に伝送することができる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態における動画伝送システムのシステム構成の一例を説明するための図である。
【図２】第１の実施形態における送信装置の機能構成の一例を示す図である。
【図３】第１の実施形態における動画管理サーバの機能構成の一例を示す図である。
【図４】第１の実施形態における受信装置の機能構成の一例を示す図である。
【図５】本実施形態における画像フレームの伝送の様子を説明するための図である。
【図６】本実施形態におけるメイク情報の生成処理について説明するための図である。
【図７】動画管理サーバにおける課金処理の一例を示すものである。
【図８】仮想メイクアップシミュレーションにおけるパラメータ情報の一例を示す図である。
【図９】動画管理サーバの具体的な動作を説明するための図である。
【図１０】第２の実施形態における送信装置の機能構成の一例を示す図である。
【図１１】第２の実施形態における分離処理の実施例について説明するための図である。
【図１２】本実施形態における動画伝送処理が実現可能なハードウェア構成の一例を示す図である。
【図１３】本実施形態における送信処理手順の一例を示すフローチャートである。
【図１４】本実施形態における動画管理処理手順の一例を示すフローチャートである。
【図１５】本実施形態における受信処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００４５】
＜本発明について＞
本発明は、例えばテレビ電話やテレビ会議、携帯電話等のモバイル端末等、各コミュニケーションツールにおいて送信側と受信側にソフトウェアをインストールさせ、送信側で撮影された動画像等に対する仮想メイクアップにより得られたメイク情報等を、撮影されたユーザのオリジナルの動画情報の送信とは別に送信し、受信側若しくは動画管理サーバ側等で仮想メイク画像を合成して受信装置に表示させる。
【００４６】
具体的には、送信側からオリジナルの動画ストリーム信号として連続した画像フレーム（ラスター情報）を送信するタイミングに同期させて、その画像フレームに対応するメイク情報（例えば、ベクター情報やパラメータ情報）等を送信する。このようにメイク情報のみを画像フレームと分けて送信することにより、そのデータ量やデータの内容等による伝送時の課金処理等を行う場合、その情報量を基準に効率的に算出することができ、ユーザ毎の利用内容に応じて適切な課金設定を高精度に行うことができる。
【００４７】
以下に、本発明における動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムを好適に実施した形態について、図面を用いて説明する。
【００４８】
＜動画伝送システム：システム構成例＞
まず、本実施形態におけるシステム構成例について図を用いて説明する。図１は、本実施形態における動画伝送システムのシステム構成の一例を説明するための図である。
【００４９】
図１に示す動画伝送システム１０は、送信装置１１と、動画管理サーバ１２と、受信装置１３とを有するよう構成されており、各構成がインターネットや電話回線等の通信ネットワーク１４により、データや制御信号が送受信可能な状態で接続されている。
【００５０】
なお、図１において、送信装置１１は、動画撮影可能なカメラ（撮像手段）付き携帯端末１１−１であってもよく、また通常のパーソナルコンピュータ（ＰＣ）１１−２であってもよい。また、受信装置１３も同様に、動画撮影可能なカメラ付き携帯端末１３−１であってもよく、ＰＣ１３−２であってもよい。このとき、ＰＣ１１−２，１３−２に対しては、送信側、受信側の各ユーザの動画像を送受信するために、それぞれにユーザの顔を撮影する撮像手段１５−１，１５−２が設けられている。
【００５１】
なお、送信装置１１及び受信装置１３は、それぞれテレビ電話機能により双方向通信を実現するために、送信側と受信側の両方の機能を有する構成となるが、以下の説明では便宜上、送信装置１１により送信される機能と受信装置１３により受信される機能とをそれぞれ分けて説明する。
【００５２】
送信装置１１は、テレビ電話等における送信側の機能を実現するための端末である。具体的には、送信装置１１は、撮像装置１５−１により撮影されたユーザの顔画像をリアルタイムに動画で取得する。また、送信装置１１は、撮像装置１５−１により撮影された動画を構成する画像に対して、ユーザからの指示情報や予め設定された基本メイク情報等に基づき、仮想メイクアップシミュレーションによる仮想メイク画像を生成する。なお、仮想メイクアップシミュレーションについては、上述した特許文献１に示される手法等を用いることができる。
【００５３】
なお、本実施形態において実施される仮想メイクは、通常、顔（例えば、唇（口元）、目元、眉毛、睫毛、頬等の全部又は一部等）に対するメイクであるが、本発明においてはこれに限定されず、例えば、髪型やヘアカラー、帽子、眼鏡、イヤリング、ネックレス、衣類、背景等についても、ユーザによる設定或いは予め設定された内容に基づいてシミュレーションすることができる。
【００５４】
送信装置１１のユーザは、予め設定されたいろいろなパターンの仮想メイクをシミュレーションしながら好みのメイクを選択する。なお、本実施形態における仮想メイクシミュレーションの具体例については後述する。その後、送信装置１１は、撮影された動画像を構成する原画像フレームと、シミュレーションにより得られたメイク情報等とをそれぞれ別々に受信側に送信する。
【００５５】
なお、送信装置１１は、オリジナルの動画情報（ラスター情報）とメイク情報（ベクター情報、パラメータ情報）とを同期させて送信する。具体的には、上述した２つの画像フレームを伝送する際に、同一のタイムスタンプ等の時間情報を付加する。
【００５６】
また、送信装置１１は、動画管理サーバ１２又は受信装置１３等の受信側で合成される動画情報とメイク情報に対して、その画像フレームに対する同一のフレーム識別情報を付加する。これにより、受信装置１３は、上述した時間情報やフレーム識別情報に基づいて、ラスター情報と、メイク情報を容易且つ正確に合成することができる。
【００５７】
なお、本実施形態における送信方式としては、例えば一般的な動画圧縮規格によりパケットデータ等によってストリーム送信することができるが、本発明においては特に限定されるものではない。
【００５８】
また、送信装置１１は、メイク情報ではなく、シミュレーション画像の生成により得られるメイク情報を送信することができる。また、送信装置１１は、設定したメイク情報をメモリ等の蓄積手段に蓄積しておき、テレビ電話時に迅速にメイク情報を蓄積手段から読み出して利用することができる。
【００５９】
ここで、送信装置１１は、画像フレームやメイク情報等の送信時には、発呼処理等により電話をかけたテレビ電話の相手の送信装置１３に通信ネットワーク１４を介して送信する。このとき、送信装置１１は、オリジナルの動画情報（原画像フレーム）を従来の通信手法により目的の送信装置１３に送信し、またメイク情報を動画管理サーバ１２に送信する。この場合、動画管理サーバ１２は、メイク情報やメイク情報の情報量等に基づいた課金等の処理を行うことができる。なお、送信装置１１は、オリジナルの動画情報も動画管理サーバ１２に送信してもよい。
【００６０】
動画管理サーバ１２は、受信装置１１から送信装置１３へ伝送される仮想メイク情報を取得し、取得した仮想メイク情報の情報量やデータの内容等に基づいて課金処理を行う。
【００６１】
また、動画管理サーバ１２は、必要に応じてオリジナルの動画情報も取得し、その原画像フレームと同期可能に送信されるメイク情報とを合成して、仮想メイク画像を生成し、生成した画像を送信装置１３に送信してもよい。
【００６２】
この場合、動画管理サーバ１２には、予め原画像フレームとメイク情報とを合成するためのソフトウェアがインストールされており、合成時にはインストールされたソフトウェアを実行させ、原画像フレームにメイク情報が自動的に合成され、メイク情報が生成される。
【００６３】
また、動画管理サーバ１２には、メイク情報に基づいて、各ユーザに対応するメイクの内容、画像等が蓄積された仮想メイク情報ＤＢを有しており、メイク情報に基づいて仮想メイク情報ＤＢから抽出されたシミュレーション内容を原画像に施すことで、仮想メイク画像を生成することができる。
【００６４】
更に、動画管理サーバ１２は、送信装置１３のユーザ情報を抽出し、抽出したユーザ情報に基づいて、通話中の送信装置１３に対してメイク情報が送信可能な否かを判断し、送信可能な場合にメイク情報を送信することができる。
【００６５】
受信装置１３は、送信装置１１から得られるオリジナルの動画情報（原画像フレーム）と、動画管理サーバ１２から得られるメイク情報とを合成して、ディスプレイ等の表示画面により表示する。また、受信装置１３は、動画管理サーバ１２により既に合成された仮想メイク画像を受信した場合には、そのまま表示画面に表示する。
【００６６】
これにより、送信側のユーザが化粧をしていない場合でも仮想メイクを施した画像を受信側に表示させることができるため、送信側のユーザは何ら躊躇することなく、送信相手とテレビ電話にて会話することができる。
【００６７】
なお、受信装置１３が送信装置からの通話中では、双方向通信であるため、例えば受信装置１３−２にもユーザの顔を撮影する撮像装置１５−２が設けられている。
【００６８】
上述した処理により、原画像とは別にメイク画像等を伝送することで付加価値のある動画像を効率的に伝送することができる。次に、上述した送信装置１１、動画管理サーバ１２、及び受信装置１３における各機能構成について図を用いて具体的に説明する。
【００６９】
＜第１の実施形態＞
＜送信装置１１：機能構成例＞
第１の実施形態における送信装置１１の機能構成例について、図を用いて説明する。図２は、第１の実施形態における送信装置の機能構成の一例を示す図である。図２に示す送信装置１１は、入力手段２１と、出力手段２２と、蓄積手段２３と、撮像手段２４と、仮想メイク画像生成手段２５と、メイク情報取得手段２６と、画面生成手段２７と、送受信手段２８と、制御手段２９とを有するよう構成されている。
【００７０】
入力手段２１は、撮像手段２４により撮影されたユーザの顔を含む人物画像若しくは送受信手段２８により外部装置から得られたユーザの顔を含む人物画像を入力する。また、入力手段２１は、送信側ユーザの顔を含む動画像を撮影する撮影指示、仮想メイク画像生成指示、メイク情報取得指示、画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【００７１】
出力手段２２は、入力手段２１により入力された内容や、入力内容に基づいて実行されたメイク情報の内容等の表示・出力等を行う。なお、出力手段２２は、ディスプレイやスピーカ等からなる。更に、出力手段２２は、プリンタ等の機能を有していてもよく、その場合には画面生成手段２７により生成される画面の内容等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【００７２】
蓄積手段２３は、撮影されたオリジナルの動画情報や仮想メイク画像の生成により得られるメイク情報、仮想メイク画像、画面生成手段２７により得られるコントラスト調整等の各種画像情報、送信先情報（氏名、電話番号等）等の各種データを蓄積する。
【００７３】
また、蓄積手段２３は、送受信手段２８により取得される上述した各種情報等も蓄積することができる。更に、蓄積手段２３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００７４】
撮像手段２４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等からなり、テレビ電話等に用いられるユーザの動画像を撮影することができる。なお、撮像手段２４は、例えば送信装置１１−１のような場合には内蔵型カメラであり、送信装置１１−２のような場合には、上述した撮像装置１５−１が接続される。
【００７５】
仮想メイク画像生成手段２５は、撮像手段２４により撮影された画像に対してユーザによって選択された化粧メイクアップ方法に基づいて仮想メイクアップシミュレーションを行い、画像上に仮想メイク画像を表示する。
【００７６】
ここで、仮想メイク画像生成手段２５は、上述したように、ユーザの顔の眉毛、目元、口元、頬の顔の全部又は一部（局部も含む）、或いは髪、洋服等をユーザにより設定された内容又は予め設定させた内容に基づいて仮想メイクアップシミュレーションを行い、仮想メイク画像を生成する。なお、本実施形態では、仮想メイク画像生成手段２５によるメイクとして、例えばユーザの顔画像にファンデーション，眉，シャドウ，口紅，チーク等から成るメイクアップを施した、メイクアップ後の画像を取得する。
【００７７】
ここで、仮想メイク画像生成手段２５は、具体的には、仮想メイク画像生成手段２５は、撮影した顔画像の１フレーム（１コマ）から顔のパーツの輪郭情報（ベクターデータ）を抽出し、その抽出した１フレーム分の塗布エリア（ベクターデータ）を、例えば上述した特許文献１（特開２００７−２１６０００号公報）に示されているメイクアップ手法に基づきグラデーション、透明度等をコントロールし、ペイントする。このペイントの結果、１フレーム分のメイクが施された顔の合成画像が生成される。
【００７８】
また、仮想メイク画像生成手段２５は、上述した手法を各フレーム（毎秒１５〜３０或いはそれ以上）繰り返すことで、メイクアップ動画像を生成する。したがって、このフレーム毎のデータを受信側に送信することで、受信側では連続した動画として表示される。
【００７９】
メイク情報取得手段２６は、仮想メイク画像生成手段２５により生成された仮想メイクアップシミュレーションに関する情報（どの部分（領域）にどのような色のメイクを施したかを示す情報）等をメイク情報として取得する。具体的には、メイク情報取得手段２６は、仮想メイク画像生成手段２５により得られた仮想メイク画像の生成において得られる上述したベクターデータ、及び、ベクターデータと顔画像とを対応付けるためのベクター座標値と、メイクテクニック等を表した数値情報等のパラメータ情報等からなるメイク情報を取得する。
【００８０】
また、メイク情報取得手段２６は、オリジナルの動画情報（原画像フレーム）、及びメイク情報に対して同期を取るための識別情報を付加する。なお、識別情報には、例えば上述した時間情報や画像フレームの識別情報（フレーム番号）等が付加される。このように、メイク情報取得手段２６により取得されるメイク情報に基づいて、そのデータ量やデータ内容に基づく課金処理を行うことができる。
【００８１】
本実施形態では、メイク情報取得手段２６により得られるテキスト情報のみからなるメイク情報のみを取得して伝送することになるため、データ量を削減することができ伝送効率を向上させると共に、伝送中のデータの内容を第三者に見られても具体的な内容を把握することができないため、秘匿性を向上させることができる。
【００８２】
画面生成手段２７は、本実施形態における送信装置１１の各機能構成で実行するために必要なデータの入力や、実行結果の出力、エラー時の通知等の各種画面を生成し、生成した画面をディスプレイ等の出力手段２２に出力する。具体的には、画面生成手段２７は、仮想メイク画像生成手段２５により得られる仮想メイク画像や原画像フレーム、メイク情報等のうち、少なくとも１つを出力手段２２に表示するための画面を生成する。
【００８３】
送受信手段２８は、通信ネットワーク１４等により接続された外部装置等から本実施形態における必要な各種データを入力したり、送信装置１１により実行された各種実行結果を外部装置に出力することができる。また、送受信手段２８は、予め設定された条件に基づいて原画像のフレームと、メイク情報とをテレビ電話の相手の受信装置１３又は動画管理サーバ１２に出力する。
【００８４】
制御手段２９は、送信装置１１の各構成部全体の制御を行う。具体的には、制御手段２９は、例えば本実施形態におけるテレビ電話を実現するために、仮想メイクアップシミュレーション処理を行うための実行プログラムをインストールし、そのインストールされたソフトウェアを実行することにより、例えばユーザ等による入力手段２１からの各種指示情報等に基づいて、化粧メイク画像生成処理、メイク情報取得処理、画面生成処理、送受信処理等の各制御を行う。
【００８５】
＜動画管理サーバ１２：機能構成例＞
次に、本実施形態における動画管理サーバ１２の機能構成例について、図を用いて説明する。図３は、第１の実施形態における動画管理サーバの機能構成の一例を示す図である。図３に示す動画管理サーバ１２は、入力手段３１と、出力手段３２と、蓄積手段３３と、端末管理手段３４と、送信設定手段３５と、仮想メイク情報量取得手段３６と、課金手段３７と、仮想メイク画像生成手段３８と、送受信手段３９と、制御手段４０とを有するよう構成されている。
【００８６】
入力手段３１は、サーバ管理者等のユーザからの端末管理指示、送信設定指示、仮想メイク情報量取得指示、課金指示、仮想メイク画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【００８７】
出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行されたメイク情報の内容等の表示・出力等を行う。なお、出力手段３２は、ディスプレイやスピーカ等からなる。更に、出力手段３２は、プリンタ等の機能を有していてもよく、その場合には仮想メイク画像生成手段３８により生成される画面の内容等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【００８８】
蓄積手段３３は、端末管理情報、送信設定情報、仮想メイク情報量、課金内容、合成された画像内容、仮想メイクに関する画像等の各種データを蓄積する。
【００８９】
また、蓄積手段３３は、送受信手段３９により取得される上述した各種情報等も蓄積する。更に、蓄積手段３３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００９０】
端末管理手段３４は、テレビ電話を開始している送信装置１１及び受信装置１３のそれぞれの通信内容を管理する。つまり、端末管理手段３４は、送信側からの原画像に仮想メイクアップシミュレーションツールを利用して送信しているか否か、どのレベルまでのアプリケーションの使用が可能であるか否かをユーザ情報及び課金情報に基づいて判断する。例えば、予め設定されたユーザに対する使用可能レベルを判断し、レベルがＡであれば、背景も含めた合成画像を許可したり、レベルがＢであれば、背景の合成はできなくておも顔全体の化粧のみシミュレーションすることができる等、そのレベルに対応させて動画の処理内容を変更することができる。
【００９１】
また、端末管理手段３４は、送信装置１３のユーザ情報を抽出し、抽出したユーザ情報に基づいて、通話中の送信装置１３に対してメイク情報が送信可能な否かを判断し、例えば原画像フレームとメイク情報とから仮想メイク画像を生成するプログラムがインストール済みで、送信可能な場合にメイク情報を送信させ、例えば、上記プログラムの未インストールの場合や、送信装置１２側で指示された内容、受信する受信装置１３の性能等に基づいて、受信側で原画像フレームとメイク情報とから仮想メイク画像を生成することができない場合には、原画像フレームにメイク情報を反映させた仮想メイク画像を生成し、生成された仮想メイク画像を送信させる。
【００９２】
また、送信設定手段３５は、送信装置１１から得られる送信側ユーザのオリジナルの動画情報（原画像フレーム）に対して、受信側に送るときの画像内容を設定する。つまり、送信設定手段３５は、端末管理手段３４により得られる各受信装置１３に対する設定情報（例えば、画素サイズや大きさを受信先のディスプレイや、伝送効率、通信条件、受信装置１３の処理性能等）に基づいて画像調整を行う。
【００９３】
また、送信設定手段３５は、例えばストリーミング等により顔画像を同時に複数の受信者に送付する場合に、動画管理サーバ１２から送信されるベクターデータ及びパラメータ情報のメイク情報を予め蓄積されたユーザ情報や受信装置毎の送信設定内容等に基づいて、それぞれの受信装置に対応させて変化させることで、受信装置毎に異なる表現をさせることができる。
【００９４】
仮想メイク情報量取得手段３６は、送信装置１１から送信されたメイク情報を取得し、その仮想メイクアップシミュレーション部分に対応するデータ量（情報量）及び／又はそのデータの内容を取得する。例えば、化粧識別情報が、顔に対するメイクアップあり、その内容が口紅であった場合に、予め蓄積手段３３に蓄積されている化粧識別情報に対応する、基本となるデータ量を取得する。
【００９５】
また、仮想メイク情報量取得手段３６は、１フレーム中に複数の化粧範囲がある場合（例えば、唇とアイシャドウ等）には、それぞれから得られるデータ量を加算して全体のデータ量を算出する。また、仮想メイク情報量取得手段３６は、化粧範囲の数や仮想メイクする種類等のデータ内容を取得する。これにより、データ量やデータ内容に応じて容易且つ正確に課金を行うことができる。
【００９６】
また、送信設定手段３５は、送信装置１１のユーザの使用可能期限が切れていないか否かを判断し、期限が切れている場合には、本実施形態における仮想メイクが使用できないようにしたり、再契約させるための通知を生成し、送信装置１１に送信することができる。
【００９７】
なお、仮想メイク情報量取得手段３６は、各フレームについて、上述したデータ量の算出処理を行うことなく、例えば、本実施形態における動画伝送システムの実行時、化粧箇所やメイクカラーの変更時、予め設定された時間間隔毎、又は動画管理サーバ１２の管理者（ユーザ）等からの指示等により、上述した仮想メイク情報量の取得を行う。
【００９８】
課金手段３７は、仮想メイク情報量取得手段３６により得られる仮想メイク情報量に基づいて、その送信装置１１に対する課金処理を行う。なお、課金手段３７は、課金のタイミングを仮想メイク情報量取得手段３６により得られる仮想メイク情報量の取得時や、管理者等からの指示等により課金を行う。また、課金は、定量性の料金設定にしてもよく、従量性の料金設定にしてもよく、利用回数や利用量に応じて所定の割引をおこなってもよい。
【００９９】
なお、本実施形態では、上述したように送信装置１１から通信ネットワーク１４を介して動画管理サーバ１２が取得する仮想メイク情報量により課金を行っているが、本発明においての課金方法はこれに限定されるものではなく。例えば、実際の化粧品を使用したと同様な課金の仕組みを構築することもできる。
【０１００】
上述した内容を具体的に説明すると、例えばユーザが送信装置１１を用いて仮想的に化粧を施した仮想メイク画像を生成する場合、予め仮想的なボトルやコンパクトケース等の容器に入れられたファンデーションや口紅、マスカラ等の各化粧品を画面に表示しておき、上述した仮想メイクを行った際に使用された所定量分の各化粧品がそれぞれの容器から消費される。また、容器内の化粧料が空になると同じ化粧品を購入したり、必要に応じて新たな化粧品を購入する。そこで本発明では、この購入時に課金を行うようにすることもできる。
【０１０１】
なお、上述の課金処理を実現するために、容器内の化粧料のデータは、予め設定されるユーザ毎の個人データベース等に保管されており、使用の都度化粧品の量が容器から減っていき、また逆に、購入すればその分の量が増加するように管理する。なお、これらの管理情報は、送信装置１１及び動画管理サーバ１２の両方が管理しておいてもよく、何れか一方が管理しておいてもよい。
【０１０２】
更に、上述した仮想メイク時の化粧の使用量について、例えば送信装置１１に設けられたタッチパネル等を利用する場合には、ユーザが選択した化粧品に対して、ユーザの指で掬い取るような操作をタッチパネルで行うことにより、タッチパネルから検出した指でなぞられたエリアを、化粧品を使用したエリアと判断して、面積に対応した使用量を取得することができる。
【０１０３】
更に、送信装置１１に圧力センシング等のように指の力を検出する機能を有している場合には、その力の情報（指圧）と、化粧品毎に予め設定された柔らかさや硬さ等の成分情報等に基づいて、上述した面積の情報と合わせて体積としての使用量を算出することができる。この場合、例えば、「使用量＝面積×Ｚ（指圧による深さ）×係数（化粧品の硬度等）」のように計算することで、体積が算出される。このように、使用量を算出された体積から数値化することができるため、その分の化粧の量を容器から減らす表示を行うことで、仮想空間上で実際の化粧料の使用と同様の化粧の消費と課金処理とを実現することができる。なお、上述した指の動作は、指に限定されず、例えば筆等の専用の化粧器具であってもよい。
【０１０４】
上述の処理等により、ユーザが指定した化粧品の容器から取得した所定量分の化粧料は、その取得した量に対応して仮想メイク画像に反映される。
【０１０５】
仮想メイク画像生成手段３８は、送信設定手段３５により得られる送信内容が「仮想メイク画像」である場合には、送信装置１１から得られる原画像フレーム及びメイク情報を、受信したストリーム信号等に付加されているフレーム識別信号やタイムスタンプ等の時間情報等に基づいて合成して仮想メイク画像を生成する。
【０１０６】
なお、仮想メイク画像生成手段３８は、メイク情報に基づいて、原画像フレームに仮想メイクアップシミュレーションを施す場合には、例えば上述したような送信装置１１における手法と同様の手法で仮想メイク画像を生成することができる。また、この場合、仮想メイク画像生成手段３８は、予め蓄積手段３３に蓄積されたユーザ情報や端末管理手段３４、送信設定手段３５により得られる各種設定情報等に基づいて、受信装置毎（ユーザ毎）に異なる仮想メイク画像を生成することができる。
【０１０７】
更に、仮想メイク画像生成手段３８は、上述したように、ユーザが指定した化粧品の容器から取得した所定量分の化粧料を用いて、その取得した量に対応させた仮想メイク画像を生成することができる。つまり、本実施形態では、算出された使用量を課金に使用するだけでなく、仮想メイクアップシミュレーションを施す場合の物理量（パラメータ）として使用することができる。したがって、仮想メイク画像生成手段３８は、取得した物理量を、予め設定される仮想メイクにおける化粧の色の濃さや厚さ等に対応させて仮想メイク画像を生成することができる。なお、この場合には、上述した使用量の算出で用いられる係数に、化粧品の硬度ではなく、化粧品の透明度等を設定してもよい。
【０１０８】
更に、送信装置１１の表示画面に圧力センシング等のように指の力を検出する機能を有している場合には、例えばユーザの指等で画面に表示された自分又は他人の顔画像をなぞることで、仮想メイク画像生成手段３８は、そのなぞられたエリアにユーザの指圧と上述した物理量とに対応した化粧が塗布された仮想メイク画像を生成する。
【０１０９】
送受信手段３９は、通信ネットワーク１４等により接続された外部装置等から本実施形態における必要な各種データを入力したり、送信装置１１により実行された各種実行結果を外部装置に出力することができる。また、送受信手段２８は、予め設定された条件に基づいて原画像フレーム及びメイク情報、或いは仮想メイク画像生成手段３８にて生成された仮想メイク画像のフレーム等をストリーム信号としてテレビ電話の相手の受信装置１３に出力する。
【０１１０】
制御手段４０は、動画管理サーバ１２の各構成部全体の制御を行う。具体的には、制御手段４０は、例えば本実施形態におけるテレビ電話を実現するために、仮想メイクアップ処理を行うための実行プログラムをインストールし、そのインストールされたソフトウェアを実行することにより、例えばユーザ等による入力手段３１からの各種指示情報等に基づいて、端末管理処理、送信設定処理、仮想メイク情報量取得処理、課金処理、仮想メイク画像生成処理、送受信処理等の各制御を行う。
【０１１１】
＜受信装置１３：機能構成例＞
次に、本実施形態における受信装置１３の機能構成例について、図を用いて説明する。図４は、第１の実施形態における受信装置の機能構成の一例を示す図である。図４に示す受信装置１３は、入力手段５１と、出力手段５２と、蓄積手段５３と、原画像取得手段５４と、メイク情報取得手段５５と、仮想メイク画像生成手段５６と、送受信手段５７と、制御手段５８とを有するよう構成されている。
【０１１２】
入力手段５１は、受信側ユーザ等からの原画像取得指示、仮想メイク情報取得指示、仮想メイク画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段５１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【０１１３】
出力手段５２は、入力手段５１により入力された内容や、入力内容に基づいて実行された画像合成された化粧メイク画像の内容等の表示・出力等を行う。なお、出力手段５２は、ディスプレイやスピーカ等からなる。更に、出力手段５２は、プリンタ等の機能を有していてもよく、その場合には仮想メイク画像生成手段５６により生成される画面の内容等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【０１１４】
蓄積手段５３は、原画像フレーム、メイク情報、仮想メイク画像、通話履歴、送信装置１１や動画管理サーバ１２と画像や音声データの送受信を行うためのアドレス情報等の各種データを蓄積する。また、蓄積手段５３は、送受信手段５７により取得される上述した各種情報等も蓄積する。更に、蓄積手段５３は、必要に応じて蓄積されている各種データを読み出すことができる。また、蓄積手段５３は、各ユーザ毎に個別データを有しており、メイク情報に基づいて原画像フレームに仮想メイクを反映させる際、例えばメイク情報に含まれる数値情報に対して個別データに含まれる数値等を用いて演算して、各装置毎に個別にメイク結果を表示させることができる。
【０１１５】
原画像取得手段５４は、通信ネットワーク１４を介して受信装置１１又は動画管理サーバ１２から受信したストリーム信号から、送信側にて撮影されたオリジナルの動画情報である原画像データを取得する。このとき、取得される原画像データは、動画ストリームとして連続的に取得されるため、取得したストリーム信号に含まれる原画像フレームを連続して表示させることで、動画が形成される。なお、本実施形態では、動画ではなく静止画を表示させてもよい。
【０１１６】
メイク情報取得手段５５は、予め設定された送信装置１１又は動画管理サーバ１２から送信されたメイク情報等を取得する。
【０１１７】
仮想メイク画像生成手段５６は、原画像取得手段５４から得られる原画像と、メイク情報取得手段５５から得られるメイク情報とに基づいて仮想メイク画像の生成を行う。具体的には、仮想メイク画像生成手段５６は、メイク情報が取得できている場合は、送信された原画像フレーム（ラスターデータ）に対して時間情報やフレーム識別情報等の識別情報に基づいてフレーム同期処理を行い、ベクターデータや数値情報等のメイク情報を反映させて、仮想メイク画像を生成して出力手段５２により出力する。
【０１１８】
なお、仮想メイク画像生成手段５６は、メイク情報に含まれる数値情報を用いて所定の演算を行うことにより、又は蓄積手段５３に予め蓄積された数値情報等の個別データを用いて演算することにより、個別メイクの内容を変化させて各受信装置独自の仮想メイク画像を生成することもできる。
【０１１９】
なお、仮想メイク画像生成手段５６は、例えばメイクテクニック等の数値以外のメイク情報を取得した場合には、そのメイク情報に対応するデータを蓄積手段５３或いは動画管理サーバ１２の蓄積手段３３にある仮想メイク情報ＤＢから抽出し、抽出されたデータに含まれる化粧方法、化粧品情報等に基づいて、原画像フレームに対して仮想メイク画像を生成して出力手段５２により出力する。
【０１２０】
ここで、動画管理サーバ１２にて既に仮想メイク画像が生成されており、その情報を受信装置１３が受信した場合には、上述した原画像取得手段５４、メイク情報取得手段５５、及び仮想メイク画像生成手段５６における動作を行わず、動画管理サーバ１２から得られる仮想メイク画像を出力手段５２により出力する。これにより、受信装置１３の処理負担を軽減することができる。
【０１２１】
送受信手段５７は、通信ネットワーク１４等により接続された外部装置等から本実施形態における必要な各種データを入力したり、受信装置１３により実行された各種実行結果を外部装置に出力することができる。
【０１２２】
制御手段５８は、受信装置１３の各構成部全体の制御を行う。具体的には、制御手段５８は、例えば本実施形態におけるテレビ電話を実現するために、仮想メイクアップ処理を行うための実行プログラムをインストールし、そのインストールされたソフトウェアを実行することにより、例えばユーザ等による入力手段５１からの各種指示情報等に基づいて、原画像取得処理、仮想メイク情報取得処理、仮想メイク画像生成処理、送受信処理等の各制御を行う。
【０１２３】
上述した本実施形態における送信装置１１、動画管理サーバ１２、及び受信装置１３により、必要となる情報がラスターデータ（画像のピクセルの集合体）とベクターデータ（領域を表した閉ループの座標データ）と色、塗り方等のメイクテクニックに関する数値情報等のパラメータ情報等からなるメイク情報で構成されているため、付加価値のある動画像を効率的に伝送することができる。
【０１２４】
＜本実施形態における動画伝送の具体例＞
ここで、本実施形態における動画伝送の具体例について、図を用いて説明する。図５は、本実施形態における画像フレームの伝送の様子を説明するための図である。
【０１２５】
本実施形態においては、動画送信に対して、送信及び受信（再生）の双方のソフトウェアを用いて、通常の原画像に対する動作はそのままの既存動画送信システム６１とし、フレーム（例えば、テレビ等で約１５〜３０フレーム／秒（ｆｐｓ））それぞれに対して仮想メイクアップシミュレーション動画伝送システム６２としてそれぞれ伝送するために画像伝送データを解析する。
【０１２６】
なお、送信装置１１には、送信ソフトウェアと本実施形態におけるマスクデータとしてのメイク情報（例えば、ベクター情報やパラメータ情報）を取得するための送信ソフトウェアが予めインストールされており、一方、受信装置１３には、受信ソフトウェアと本実施形態におけるメイク情報（マスク）から仮想メイク画像を生成するための受信ソフトウェアが予めインストールされている。
【０１２７】
図５に示すように、仮想メイク画像からマスクデータとして上述したメイク情報を抽出して、それぞれ原画像の各フレームと同期（シンクロ）を取りながら対応するフレームを伝送する。
【０１２８】
なお、図５に示すマスクデータの例では、原画像フレームに対応するマスクデータ（メイク情報）を１フレーム毎に対応させて送信しているが本発明においてはこれに限定されるものではなく、例えば、数フレーム毎に１つのメイク情報を生成してもよく、動画中の前後のフレームの顔の動き等に応じて動きの大きい場合は、マスクフレームの間隔を短くし、動きの小さい場合は、マスクフレームの間隔を長くしても誤差がないため、フレーム間隔を撮影されている人物の動きに応じて調整することもできる。なお、撮影された人物の動きについては、前後の画像の画素毎の色度情報に基づいて動きを抽出する一般的な画像解析手法等を用いることができる。なお、この場合には、複数の原画像フレームに対して１つのマスクフレームを用いてマスクさせるといった処理を行うことができる。
【０１２９】
上述したように、送信側からオリジナルの動画ストリーム信号として連続した画像フレーム（ラスター情報）を送信するタイミングに同期させて、その画像フレームに対応するメイク情報（例えば、ベクター情報やパラメータ情報）等を送信することで、例えば課金処理等を行う場合に、メイク情報からデータ量やデータの内容等による伝送時の情報量を基準に効率的に算出することができるため、ユーザ毎の利用内容に応じて適切な課金設定を高精度に行うことができる。
【０１３０】
＜本実施形態におけるメイク情報の生成について＞
次に、本実施形態におけるメイク情報の生成について、具体的に図を用いて説明する。図６は、本実施形態におけるメイク情報の生成処理について説明するための図である。なお、図６には、仮想メイクアップシミュレーション等のソフトウェアが行う処理を表す画面イメージが示されている。
【０１３１】
図６（ａ）では、カメラ等により実際に撮影された仮想メイクアップ前画像（原画像）を表示した例を表している。また、図６（ｂ）では、顔認識処理により得られた輪郭情報やトラッキングポイントをメイクアップ前画像に重ねて表示した例を表している。また、図６（ｃ）では、得られた情報に基づいて仮想メイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像（仮想メイク画像）を表示した例を表している。
【０１３２】
送信側ユーザは、図６（ｃ）に示す仮想メイクアップシミュレーション後の画像を確認し、好みの化粧メイク画像が得られた場合には、そのデータに基づいて、オリジナルの動画情報（ラスター情報）（図６（ｄ））と、メイク情報（図６（ｅ））とを取得する。
【０１３３】
ここで、メイク情報は、上述したように撮影された顔の「輪郭情報」や「メイク塗布エリア（例えば、座標（ｘ，ｙ，ｚ））、色情報等のベクターデータ、ベクター座標値、メイクテクニックを表したパラメータ情報が、「ユーザ情報」や原画像と同期を取るためにフレームに付加された「フレーム情報」と共に記録されている。
【０１３４】
なお、メイク情報としては、本発明においてはこれに限定されるものではなく、例えば、フレーム情報の代わりに時間情報が含まれていてもよく、その他の情報が含まれていてもよい。これにより、動画管理サーバ１２や受信装置１３は、これらの情報に基づいて、予めインストールされたソフトウェアに基づいて、原画像の所定フレーム（ラスター情報）に対して上述したメイク情報との合成処理を行い、仮想メイク画像を生成することができる。これにより、課金処理や実際にメイク情報を通じたテレビ電話による通話を実現することができる。なお、上述した図６（ｄ）は、図６（ａ）の画像をそのまま使用することもできる。
【０１３５】
また、図７は、動画管理サーバにおける課金処理の一例を示すものである。図７に示す例では、図６に示す原画像（図６（ｄ））と、メイク情報（図６（ｅ））とに基づいて、動画管理サーバ１２において、仮想メイク情報ＤＢ６３に含まれているデータから仮想メイクアップシミュレーションを行うための対応する各種情報を抽出し、原画像に仮想メイクアップシミュレーションを施すことにより、仮想メイク画像を生成することができる。また、上述したメイク情報に基づく課金処理は、例えば、動画管理サーバ１２に設けられる課金ＤＢ６４に格納される。
【０１３６】
また、図８は、仮想メイクアップシミュレーションにおけるパラメータ情報の一例を示す図である。図８に示すパラメータ情報は、仮想メイク情報ＤＢ６３に含まれており、そのパラメータファイルよって、目元，口元，チーク等にそれぞれトラッキングポイントと関連付けてメイクアップの施し方や色等のメイクテクニックが設定されており、これにより、仮想メイクが行われる。なお、上述したパラメータファイルは、メイクアップパターン（イメージ）毎に設定されるものであり、図８の例では、クラスエレガンスの例を表している。
【０１３７】
本実施形態では、仮想メイクアップ前画像（原画像）に仮想メイクを施す場合に、仮想メイクアップの前画像に含まれるユーザの顔から輪郭情報や塗布エリアを得ることにより、仮想メイク画像生成手段はその輪郭情報等と関連付けてメイクアップの施し方や色等のメイクテクニックを図８のようなパラメータ情報として設定しておくことができる。また、本実施形態では、メイクアップ処理の一例として、ファンデーション処理、眉処理、シャドウ処理、口紅処理、及びチーク処理からなる仮想メイク処理を行うことができ、また他の処理との組み合わせであってもよい。
【０１３８】
また、パラメータ情報は、上述したように、顔に対するメイクアップに限定されずに、例えば、髪型やヘアカラー、帽子、眼鏡、イヤリング、ネックレス、衣類、背景等についてもパラメータファイルを生成しておくことで、多種の仮想メイクを実現することができる。
【０１３９】
上述したように本実施形態によれば、付加価値のある動画像を効率的に伝送することができる。
【０１４０】
＜動画管理サーバ１２の動作について＞
ここで、上述した動画管理サーバ１２の具体的な動作について、図を用いて説明する。図９は、動画管理サーバの具体的な動作を説明するための図である。なお、図９（ａ）は、動画管理サーバ１２にて仮想メイク画像を生成して、複数の受信装置（図９の例では、一例として受信装置１３−１〜１３−３）に一度に伝送する例を示し、図９（ｂ）は、オリジナルの動画情報及びメイク情報をそれぞれ送信し、複数の受信装置（図９の例では、一例として受信装置１３−１〜１３−３）において、それぞれ仮想メイク画像を生成する例を示している。つまり、図９（ａ）は、動画管理サーバ１２側で複数配信先に異なるメーキャップの動画を生成し配信する例を示し、図９（ｂ）は、動画管理サーバ１２側で動画情報とメイク情報（ベクター＋数値情報等）を平行して配信し、各受信装置１３−１〜１３−３上でそれぞれ異なる処理をして動画を生成する例を示している。
【０１４１】
本実施形態では、例えばストリーミング等により顔画像を同時に複数の受信者に送付する場合に、動画管理サーバ１２から送信されるベクターデータ及びパラメータ情報をそれぞれの受信者に合わせて変化させることで、各受信装置に異なる表現をすることも可能となる。
【０１４２】
例えば、仮想空間において、複数人が集うパーティー等を行う場合、本実施形態では、受信相手に合わせて異なるメイクの自分像を配信することができる。この場合、図９（ａ）に示すような既存のストリーミング等の技術を使用すると、個々に別々のストリーミング動画（ラスターデータ）を生成する必要が生じるため、受信装置１３−１〜１３−３側での負荷がない分、動画管理サーバ１２に大きな負荷がかかる。
【０１４３】
そこで、図９（ｂ）に示すように例えばラスターデータと、ベクターデータや数値情報等のメイク情報とを同期させて受信側で各個別データ等を用いて処理することにより、異なる処理がそれぞれの受信装置１３−１〜１３−３で分散的に処理することができる動画管理サーバ１２における負荷が少なくなる。また、受信装置１３−１〜１３−３でも分散した処理が行われるため負荷が少ない。
【０１４４】
また、本実施形態を用いることで、受信側のパソコンデバイスの状況に合わせた表現が可能となる。具体的に説明すると、例えば、パソコンのディスプレイの発色は、機器により微妙に異なる。したがって、動画管理サーバ１２から送信されるベクターデータ及びメイク情報に対して受信装置側で統一したカラー情報により補正し、その誤差を受信したメイク情報の色情報に反映することで、受信側の環境で正確な発色を実現することができる。
【０１４５】
なお、図９の例では、複数の受信装置の数を３つにして説明したが、本発明においてはこれに限定されるものではなく、２つや４つ以上でもよい。
【０１４６】
＜第２の実施形態＞
＜送信装置１１'：機能構成例＞
第１の実施形態における送信装置１１については、仮想メイク画像生成手段２５において、仮想メイク画像を生成した際に得られるメイク情報を取得してオリジナルの動画情報と別々に受信装置１３に送信する例について説明したが、本発明においては、これに限定されるものではなく、例えば、仮想メイク画像生成手段２５から仮想メイク部分のみの情報を仮想メイクフレーム情報として取得し、その仮想メイクフレームをオリジナルの動画情報とは別に送信するようにしてもよい。
【０１４７】
ここで、上述の内容を第２の実施形態とし、特に第１の実施形態と異なる部分について、具体的に説明する。図１０は、第２の実施形態における送信装置の機能構成の一例を示す図である。図１０に示す送信装置１１'は、上述した第１の実施形態における送信装置１１と比較すると、メイク情報取得手段２６の代わりにフレーム分離手段７０が設けられている。なお、図１０において、図２に示す第１の実施形態における送信装置１１と同様の機能を有する部分については同一の番号を付するものとしてここでの詳細な説明は省略する。
【０１４８】
フレーム分離手段７０は、仮想メイク画像を、撮像手段２４により撮影された動画像を構成する原画像フレームと仮想メイクアップシミュレーション部分のみを抽出した仮想メイクフレームとに分離する。
【０１４９】
なお、フレーム分離手段７０は、上記の分離行う場合には、例えば、同一フレームの原画像と仮想メイク画像とを比較し、それぞれの画素毎の色度情報等に基づき、その色差が所定数以上のものを抽出することにより仮想メイクフレーム情報を抽出することができる。なお、フレーム分離手段７０は、分離した原画像フレームと仮想メイクフレームとがそれぞれ同期が取れるように、上述した時間情報やフレーム情報等のフレーム識別情報を付与する。
【０１５０】
フレーム分離手段７０によって原画像フレームと仮想メイクフレームとを分離することで、仮想メイクに関するデータ量やデータ内容のみを容易且つ正確に取得することができ、この計測結果に基づいて、データ量やデータ内容に基づく課金処理を行うことができる。
【０１５１】
また、フレーム分離手段７０により、仮想メイクアップシミュレーション部分のみからなる画像のみを用いて、データ量を削減することができ伝送効率を向上させると共に、伝送中の仮想メイクフレームの内容を第三者に見られても具体的な内容を把握することができないため、秘匿性を向上させることができる。
【０１５２】
なお、上述した第１の実施形態の機能の他にも、第２の実施形態における入力手段２１は、フレーム分離指示の入力を行い、制御手段２９は、例えばユーザ等による入力手段２１からの各種指示情報等に基づいて、分離処理等の各制御を行う。
【０１５３】
また、第２の実施形態における動画管理サーバ１２及び受信装置１３では、第１の実施形態におけるメイク情報の代わりに仮想メイクフレーム情報を用いて、同様に課金の計算や仮想メイク画像の生成を行う。
【０１５４】
ここで、図１１は、第２の実施形態における分離処理の実施例について説明するための図である。なお、図１１の実施例において、図１１（ａ）〜（ｄ）と、上述した図６（ａ）〜（ｄ）とは同一であるため、ここでの具体的な説明は省略する。
【０１５５】
送信側ユーザは、図１１（ｃ）に示す仮想メイクアップシミュレーション後の画像を確認し、好みの化粧メイク画像が得られた場合には、そのデータに基づいて、元の原画像フレーム（図１１（ｄ））と、仮想メイクフレーム（図１１（ｅ））とに分離する。そして、それぞれのフレームに、受信側で同期させるための識別情報（例えば、フレーム情報）や時間情報等を付加し、動画管理サーバ１２や、テレビ電話やテレビ会議の相手の受信装置１３に送信する。これにより、課金処理や実際に仮想メイクフレームを通じたテレビ電話による通話を実現することができる。なお、上述した図１１（ｄ）は、図１１（ａ）の画像をそのまま使用することもできる。
【０１５６】
＜各装置におけるハードウェア構成例＞
ここで、上述した動画伝送システム１０における送信装置１１（１１'）、動画管理サーバ１２、及び受信装置１３においては、各機能をコンピュータに実行させることができる実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における動画伝送処理等を実現することができる。ここで、本実施形態における動画伝送処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。
【０１５７】
図１２は、本実施形態における動画伝送処理が実現可能なハードウェア構成の一例を示す図である。図１２におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１５８】
入力装置７１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置７１は、ネットワーク接続装置７７等に接続された外部装置から通信ネットワーク１４を介して得られる、外部装置等で既に撮影された原画像等の各種データを入力することもできる。
【０１５９】
出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ７６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。また、出力装置７２は、上述の処理結果等を紙等の印刷媒体に印刷して、ユーザ等に提示することができる。
【０１６０】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【０１６１】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１６２】
メモリ装置７５は、ＣＰＵ７６により補助記憶装置７４から読み出された実行プログラム等を格納する。なお、メモリ装置７５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１６３】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また実行結果等を格納することもできる。
【０１６４】
ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１６５】
上述したようなハードウェア構成により、本発明における動画伝送処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における動画伝送処理を容易に実現することができる。
【０１６６】
以下に、本実施形態の動画伝送処理における送信処理、動画管理処理、受信処理の各処理手順についてフローチャート等を用いて説明する。なお、以下の処理手順では、主に第１の実施形態について説明するが、必要に応じて適宜第２の実施形態に対応させて説明する。
【０１６７】
＜動画伝送処理：送信処理手順＞
本実施形態における送信処理手順について説明する。なお、以下に示す送信処理手順では、既にテレビ電話の発呼が完了している状態における動画伝送システムについて説明するものである。
【０１６８】
図１３は、本実施形態における送信処理手順の一例を示すフローチャートである。図１３においては、送信装置１１は、まず、撮影手段等によりユーザの顔を含む動画像を取得する（Ｓ０１）。次に、仮想メイクアップシミュレーションを使用するか否かを判断し（Ｓ０２）、仮想メイクアップシミュレーションを使用する場合（Ｓ０２において、ＹＥＳ）、シミュレーションを行って仮想メイク画像を生成し（Ｓ０３）、シミその結果を画面に表示する（Ｓ０４）。
【０１６９】
ここで、表示された仮想メイク画像をユーザに確認させ、ＯＫの指示が入力されたか否かを判断し（Ｓ０５）、ＯＫでない場合（Ｓ０５において、ＮＯ）、Ｓ０３に戻り、他のパラメータ等による仮想メイクアップシミュレーションを行う。
【０１７０】
また、Ｓ０５においてＯＫである場合（Ｓ０５において、ＹＥＳ）、仮想メイク画像の生成により得られるメイク情報を取得し（Ｓ０６）、取得した情報に基づいて原画像とメイク情報とを別々に受信装置に送信する（Ｓ０７）。なお、Ｓ０２の処理において、仮想メイクアップシミュレーションを使用しない場合（Ｓ０２において、ＮＯ）、原画像をそのまま送信する（Ｓ０８）。
【０１７１】
また、Ｓ０７又はＳ０８の処理が終了後、テレビ電話を終了するか否かをユーザの指示より判断し（Ｓ０９）、テレビ電話を終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０１に戻り、後続の処理を行う。
【０１７２】
また、Ｓ０９の処理において、テレビ電話を終了する場合（Ｓ０９において、ＹＥＳ）、本実施形態における動画送信処理を終了する。
【０１７３】
なお、第２の実施形態では、Ｓ０５においてＯＫである場合（Ｓ０５において、ＹＥＳ）、Ｓ０６の処理において原画像フレームと仮想メイクフレームとを分離し、Ｓ０７の処理において分離した情報に基づいて原画像と仮想メイクフレームとを別々に受信装置に送信する。
【０１７４】
＜動画伝送処理：動画管理処理手順＞
次に、本実施形態における動画管理処理手順について説明する。なお、以下に示す動画管理処理手順では、既にテレビ電話の通話中状態における動画伝送システムについて説明するものである。
【０１７５】
図１４は、本実施形態における動画管理処理手順の一例を示すフローチャートである。図１４においては、動画管理サーバ１２は、まず送信装置１１からメイク情報を取得すると（Ｓ１１）、そのデータの情報量を取得する（Ｓ１２）。なお、Ｓ１２の処理では、上述したように、メイク情報に対するデータ量やデータ内容等を取得する。次に、Ｓ１２で得られた内容に基づいて課金処理を行う（Ｓ１３）。
【０１７６】
その後、原画像を取得し（Ｓ１４）、Ｓ１１の処理で取得したメイク情報に基づき、原画像から仮想メイク画像を生成し（Ｓ１５）、受信装置１３へ仮想メイク画像を送信する（Ｓ１６）。
【０１７７】
なお、Ｓ１５の処理においては、上述したように、メイク情報に予め付加されているフレーム識別情報や時間情報等に基づいて、原画像とメイク情報とを同期させて仮想メイク画像の生成を行い、更にメイク情報に含まれる数値等のパラメータを演算したり、パラメータ情報を用いて仮想メイク情報ＤＢ６３等を参照して、各種パラメータや画像データ等を取得し、取得した各種データに基づいて、原画像に仮想メイクアップを施し仮想メイク画像を生成する。
【０１７８】
ここで、動画管理処理を終了するか否かを判断し（Ｓ１７）、ユーザからの指示等がなく処理が終了でない場合（Ｓ１７において、ＮＯ）、Ｓ１１に戻り後続の処理を行う。また、Ｓ１７の処理において、処理を終了する指示が入力された場合（Ｓ１７において、ＹＥＳ）、本実施形態における動画伝送処理を終了する。
【０１７９】
なお、Ｓ１６の処理においては、予め設定された送信設定内容に基づいてＳ１５の処理にて仮想メイク画像の生成を行わずに、課金のみを行った原画像とメイク情報とを出力することができる。また、第２の実施形態では、Ｓ１１の処理において、仮想メイクフレームを取得し、Ｓ１２，Ｓ１３の処理において、その取得したフレームの情報量により課金が行われる。更に、Ｓ１５の処理において、原画像フレームと仮想メイクフレームとを合成し、Ｓ１６の処理において合成した仮想メイク画像を送信する。なお、合成の際には、仮想メイクフレームが原画像フレームよりも上面にくるように重ね合わせて合成を行う。
【０１８０】
＜動画伝送処理：受信処理手順＞
次に、本実施形態における受信処理手順について説明する。なお、以下に示す受信処理手順では、既にテレビ電話の通話中状態における動画伝送システムについて説明するものである。
【０１８１】
図１５は、本実施形態における受信処理手順の一例を示すフローチャートである。図１５においては、受信装置１３は、送信装置１１又は動画伝送サーバ１２から画像を取得する（Ｓ２１）。次に、その画像が原画像か否かを判断する（Ｓ２２）。原画像である場合（Ｓ２２において、ＹＥＳ）、予め設定された条件に基づいて仮想メイクアップシミュレーションを使用するか否かを判断し（Ｓ２３）、使用する場合（Ｓ２３において、ＹＥＳ）、送信装置１１又は動画伝送サーバ１２からメイク情報を取得し（Ｓ２４）、取得したメイク情報に基づき、原画像から仮想メイク画像を生成する（Ｓ２５）。なお、仮想メイク画像の生成は、上述したように、フレーム識別情報や時間情報に基づいて原画像とメイク情報とを同期させて行う。
【０１８２】
ここで、Ｓ２５の処理終了後、その仮想メイク画像を画面表示する（Ｓ２６）。なお、Ｓ２２の処理において原画像でない場合（Ｓ２２において、ＮＯ）、既に動画伝送管理サーバ１２において生成された仮想メイク画像が伝送されるため、受信した仮想メイク画像をそのまま画面表示する（Ｓ２６）。
【０１８３】
また、Ｓ２３の処理において、仮想メイクアップシミュレーションを使用しない場合（Ｓ２３において、ＮＯ）、原画像をそのまま画面表示する（Ｓ２６）。なお、この場合には、送信側ユーザの素顔（すっぴん顔）が表示されてしまうため、画像表示を拒否することもできる。また、本実施形態においては、仮想メイクアップ前画像と仮想メイクアップ後画像とを切り替えて表示させることもできる。
【０１８４】
また、Ｓ２６の処理が終了後、テレビ電話を終了するか否かをユーザの指示より判断し（Ｓ２７）、テレビ電話を終了しない場合（Ｓ２７において、ＮＯ）、Ｓ２１に戻り、後続の処理を行う。
【０１８５】
また、Ｓ２７の処理において、テレビ電話を終了する場合（Ｓ２７において、ＹＥＳ）、本実施形態における受信処理を終了する。
【０１８６】
なお、第２の実施形態では、Ｓ２４の処理において、仮想メイクフレームを取得し、Ｓ２５の処理において、原画像フレームと仮想メイクフレームとを合成し、Ｓ２６の処理において合成した仮想メイク画像を画面表示する。なお、合成の際には、仮想メイクフレームが原画像フレームよりも上面にくるように重ね合わせて合成を行う。
【０１８７】
ここで、上述した各実施形態では、素顔に仮想メイクアップした内容について説明するが、本発明においてはこの限りではなく、例えば、ユーザがファンデーションと口紅のみを実際に塗布しているのであれば、他のメイク部分（例えばマスカラやアイシャドウ、チーク等）を仮想メイクして、その部分のみの画像フレーム等を送信するようにしてもよい。
【０１８８】
また、各実施形態における仮想メイクアップシミュレーションで用いられるデータとしては、例えば、「カメラ等で取り込んだ顔の画像（フレーム）」、「その顔画像から解析、抽出した、顔パーツの位置、角度等のジオメトリ情報」、「その顔画像から抽出した顔パーツの形状データ（ベクターデータ）」、「メーキャップ塗布データ（８ｂｉｔアルファーチャネルデータ）」等のデータから成り立っている。
【０１８９】
また、仮想メイクアップシミュレーションの原理では、上述したデータのうち、最初の顔画像（フレーム）１つに対し、２番目のジオメトリデータを１つ対応させるように生成し、その位置に３番目及び４番目のデータを使用し、メーキャップ塗布データを作成する。つまり、顔画像データ（フレーム）の上にデータを合成計算することにより（アルファチャネル）顔画像静止画にメーキャップを施した画像を生成することができる。また、動画メイクアップの場合は、上述した原理により生成される静止画（フレーム）を１秒間に１５〜３０フレームずつ連続的に表示することにより、動画によるメイクアップシミュレーションが可能となる。
【０１９０】
また、仮想メーキャップシミュレーション実現のための画像伝送方式としては、例えば、Ｈ．２６４方式等の圧縮方式、又はＣＤＭＡ−ＥＶＤＯを始めとする各種デバイスによる動画送信の方法等が適用可能であり、特殊な動画フォーマットを作成したり、送付方式を新たに制定することは困難なばかりでなく、既存の流れを混乱させることとなる。そのため、既存の動画送信方法はそのまま（フレーム方式である限り）で、マスクデータのみを画像データ（フレーム）と同期をとりながら同一回線（インターネット、ＣＤＭＡ等）上で送付し、受信側で合成することにより実現する。
【０１９１】
なお、既存の動画送受信システムに必要な処置としては、送信側では、既存の動画送信システムからフレーム毎のビットマップデータを出力する仕組みの追加が必要となる。
【０１９２】
また、本発明の実施形態に示したように、フレーム番号出力の仕組みの追加フレーム番号を既存システムに入力する仕組みの追加、既存の動画送信システムから入力したフレーム毎のビットマップデータを出力する仕組みの追加等を行う
また、動画の表示の場合は、予め設定されたインタフェースを利用し、送信側では取得したビットマップデータによる解析、抽出を行い、マスクデータを作成する。更に、フレーム毎の同期を取りながら送付する。受信側では受け取ったフレーム番号のビットマップデータを取得し、マスクデータによるメーキャップの合成を行い、画面上に表示する。
【０１９３】
上述したように本発明によれば、付加価値のある動画像を効率的に伝送することができる。具体的には、本発明によれば、インターネット等におけるテレビ電話のみならず、デジタルテレビ放送、ビデオオンデマンド等においてバーチャルな化粧を行うデジタルコスメを生成することができ、既存の動画配信技術に何ら変更を加えることなく、上述したマスクフレームと原画像からなるレイヤーとを同期（シンクロ）させることにより実現し、例えば素顔では出られない等といった現在のテレビ電話が抱える問題を解決し、テレビ電話によるグローバルなコミュニケーションの活性化を図ることができる。
【０１９４】
また、本発明は、テレビ電話やテレビ会議への適用に限定されず、例えばデジタルテレビ、インターネットテレビ等の発展によるテレビ番組の提供において、画面の表示される１又は複数の出演者に対して本発明を適用して仮想メイクを施すことで、ローコストな番組制作を実現することができる。
【０１９５】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１９６】
１０，６２ 動画伝送システム
１１，１１' 送信装置
１２ 動画管理サーバ
１３ 受信装置
１４ 通信ネットワーク
１５ 撮像装置
２１，３１，５１ 入力手段
２２，３２，５２ 出力手段
２３，３３，５３ 蓄積手段
２４ 撮像手段
２５，３８，５６ 仮想メイク画像生成手段
２６，５５ メイク情報取得手段
２７ 画面生成手段
２８，３９，５７ 送受信手段
２９，４０，５８ 制御手段
３４ 端末管理手段
３５ 送信設定手段
３６ 仮想メイク情報量取得手段
３７ 課金手段
５４ 原画像取得手段
６１ 既存動画送信システム
６３ 仮想メイク情報ＤＢ
６４ 課金ＤＢ
７０ フレーム分離手段
７１ 入力装置
７２ 出力装置
７３ ドライブ装置
７４ 補助記憶装置
７５ メモリ装置
７６ ＣＰＵ
７７ ネットワーク接続装置
７８ 記録媒体
【技術分野】
【０００１】
本発明は、動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムに係り、特に付加価値のある動画像を効率的に伝送するための動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムに関する。
【背景技術】
【０００２】
従来、テレビ電話やテレビ会議等、画面を通じて相手の顔を見ながら会話するコミュニケーションツールが存在している。しかしながら、特にテレビ電話については、現在のところ一般の家庭やオフィスに広く普及しているとはいい難い状況にある。
【０００３】
その理由としては、特に女性の場合は、相手がある程度以上に親しい間柄でもない場合等は、自宅で素顔（すっぴん顔）のまま画面に出ることに抵抗があり、特に最近のテレビ電話の映像性能の高品質化により、肌が鮮明に表示されるため、この傾向が更に広がっている。
【０００４】
ここで、画面に表示されるユーザの顔に対して、ユーザの顔を撮影した動画像に仮想的にメイクアップを施すメイクアップシミュレーションシステムが存在している（例えば、特許文献１参照。）
このようなシステムでは、撮影したユーザの動画像を表示する表示手段を備え、動画像から所定のトラッキングポイントに基づいてユーザの顔を認識し、更にその認識結果に基づいてユーザの顔の所定の箇所に仮想的にファンデーションや口紅等を塗布して所定のメイクアップを施し表示手段に出力することができる。
【０００５】
また、テレビ電話等で伝送される動画は、１秒間に何枚かの静止画フレームを連続的に表示する方法が主流となっている。例えば、テレビ電話機能を有する携帯端末の形態では、１秒間に１５フレーム程度の送受信が可能であり、ブロードバンド回線に接続するＩＰ電話機の形態では、１秒間に１５〜３０フレーム程度を送受信できる。また、データを圧縮して通信時の伝送効率を上げるため、同じ条件の画像を連続的に送付するのではなく、差分のみを送信したり、情報の変化を数値に置き換えて送信したり、また回線の混み具合により送付データの質を変化させる等の圧縮をして送付している。
【０００６】
また、近年では、Ｈ．２６４方式という動画圧縮規格により、ＭＰＥＧ２と同画質で約１／２以下のデータ量で済む圧縮フォーマットが実用化され、ワンセグ放送、Ｂｌｕ−ｒａｙ ＤＩＳＣ、ＰＳＰ、ｉＰｏｄ等の動画映像に広く使用されている。しかしながら、これらは何れもカメラ等で撮影された動画像そのものを送ることが前提となっている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２１６０００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ここで、上述したシステムで生成された仮想メイクアップシミュレーション画像をテレビ電話等で使用するためには、話し相手によって素顔やメイク顔を自由に選択できるのがユーザにとっては好ましく、また、どの程度メイクされたかをデータ量的に判断して利用者に対して課金処理等を施すのが好ましい。このような場合、単純に素顔画像にメイク画像を合成した後に送信したのでは、素顔とメイク顔の切り替えやメイク分のデータ量や伝送効率等を正確に取得することができない。
【０００９】
つまり、上述した従来のシステム構成は、上記の内容を想定していたものではなく、メイクシミュレーションが施された合成画像のみを伝送しても上述の課題に対応することができない。
【００１０】
更に、近年では、テレビ電話の利用時に直接顔を見せたくない相手に対して、自分の代わりに好きなキャラクターを表示させる、いわゆる「キャラ電」と呼ばれる仕組みが存在する。しかしながら、「キャラ電」は、直接本人の顔が表示されないため、テレビ電話の存在意義からいっても好ましいものとはいえない。
【００１１】
本発明は、上述した課題に鑑みてなされたものであって、付加価値のある動画像を効率的に伝送するための動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、通信ネットワークを介して送信装置と受信装置との間で人物の動画像を伝送する動画伝送システムにおいて、前記送信装置は、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する送信側仮想メイク画像生成手段と、前記送信側仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有し、前記受信装置は、前記送信装置から前記メイク情報と前記原画像フレームとを取得し、それぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する受信側仮想メイク画像生成手段とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、仮想メイクアップ画像を付加的に生成し、その情報を少ないデータ量で伝送することができるため、付加価値のある動画像を効率的に伝送することができる。
【００１５】
請求項２に記載された発明は、前記通信ネットワークを介して前記送信装置及び前記受信装置とデータの送受信が可能な動画伝送管理装置を有し、動画伝送管理装置は、前記送信装置から前記メイク情報を取得し、取得した前記メイク情報のデータ量を取得するデータ量取得手段と、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段とを有することを特徴とする。
【００１６】
請求項２記載の発明によれば、動画伝送管理装置により、仮想メイクアップシミュレーションの動画伝送時における課金処理を効率的且つ正確に行うことができる。
【００１７】
請求項３に記載された発明は、前記メイク情報取得手段は、前記送信側仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする。
【００１８】
請求項３記載の発明によれば、情報量の少ないメイク情報のみを伝送することになるため、データ量を削減することができ伝送効率を向上させると共に、伝送中のデータの内容を第三者に見られても具体的な内容を把握することができないため、秘匿性を向上させることができる。
【００１９】
請求項４に記載された発明は、前記動画伝送管理装置は、前記受信装置毎に予め設定されたユーザ情報又は送信設定内容に基づいて、前記メイク情報の内容を変更し、変更されたメイク情報を送信することを特徴とする。
【００２０】
請求項４記載の発明によれば、複数の受信装置に対して、異なる仮想メイク画像を容易に生成させることができる。
【００２１】
請求項５に記載された発明は、前記動画伝送管理装置は、前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信することを特徴とする。
【００２２】
請求項５記載の発明によれば、受信装置毎に適切な情報を送信することができる。
【００２３】
請求項６に記載された発明は、通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段と、前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有することを特徴とする。
【００２４】
請求項６記載の発明によれば、仮想メイクアップ画像を付加的に生成し、その情報を少ないデータ量で伝送することができるため、付加価値のある動画像を効率的に伝送することができる。
【００２５】
請求項７に記載された発明は、前記メイク情報取得手段は、前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする。
【００２６】
請求項７記載の発明によれば、上述した少ない情報であっても原画像に対する仮想メイク画像を生成することができる。
【００２７】
請求項８に記載された発明は、通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置において、前記送信装置にて撮影された原画像フレームを取得する原画像取得手段と、前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段と、前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段とを有することを特徴とする。
【００２８】
請求項８記載の発明によれば、原画像フレームとメイク情報とから仮想メイクアップ画像を付加的に生成することができ、これにより、付加価値のあるサービスを提供することができる。
【００２９】
請求項９に記載された発明は、通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置において、前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段と、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段と、前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段とを有することを特徴とする。
【００３０】
請求項９記載の発明によれば、メイク情報のデータ量に基づいて、適切な課金設定を行うことができる。
【００３１】
請求項１０に記載された発明は、前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする。
【００３２】
請求項１０記載の発明によれば、受信装置毎に適切な情報を送信することができる。
【００３３】
請求項１１に記載された発明は、通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置における送信プログラムにおいて、コンピュータを、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段、前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段、及び、前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段として機能させる。
【００３４】
請求項１１記載の発明によれば、仮想メイクアップ画像を付加的に生成し、その情報を少ないデータ量で伝送することができるため、付加価値のある動画像を効率的に伝送することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における送信処理を容易に実現することができる。
【００３５】
請求項１２に記載された発明は、前記メイク情報取得手段は、前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする。
【００３６】
請求項１２記載の発明によれば、上述した少ない情報であっても原画像に対する仮想メイク画像を生成することができる。
【００３７】
請求項１３に記載された発明は、通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置における受信プログラムにおいて、コンピュータを、前記送信装置にて撮影された原画像フレームを取得する原画像取得手段、前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段、及び、前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段として機能させる。
【００３８】
請求項１３記載の発明によれば、原画像フレームとメイク情報とから仮想メイクアップ画像を付加的に生成することができ、これにより、付加価値のあるサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における受信処理を容易に実現することができる。
【００３９】
請求項１４に記載された発明は、通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置における動画伝送管理プログラムにおいて、コンピュータを、前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段、及び、前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段として機能させる。
【００４０】
請求項１４記載の発明によれば、メイク情報のデータ量に基づいて、適切な課金設定を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における動画伝送処理を容易に実現することができる。
【００４１】
請求項１５に記載された発明は、前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする。
【００４２】
請求項１５記載の発明によれば、受信装置毎に適切な情報を送信することができる。
【発明の効果】
【００４３】
本発明によれば、付加価値のある動画像を効率的に伝送することができる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態における動画伝送システムのシステム構成の一例を説明するための図である。
【図２】第１の実施形態における送信装置の機能構成の一例を示す図である。
【図３】第１の実施形態における動画管理サーバの機能構成の一例を示す図である。
【図４】第１の実施形態における受信装置の機能構成の一例を示す図である。
【図５】本実施形態における画像フレームの伝送の様子を説明するための図である。
【図６】本実施形態におけるメイク情報の生成処理について説明するための図である。
【図７】動画管理サーバにおける課金処理の一例を示すものである。
【図８】仮想メイクアップシミュレーションにおけるパラメータ情報の一例を示す図である。
【図９】動画管理サーバの具体的な動作を説明するための図である。
【図１０】第２の実施形態における送信装置の機能構成の一例を示す図である。
【図１１】第２の実施形態における分離処理の実施例について説明するための図である。
【図１２】本実施形態における動画伝送処理が実現可能なハードウェア構成の一例を示す図である。
【図１３】本実施形態における送信処理手順の一例を示すフローチャートである。
【図１４】本実施形態における動画管理処理手順の一例を示すフローチャートである。
【図１５】本実施形態における受信処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００４５】
＜本発明について＞
本発明は、例えばテレビ電話やテレビ会議、携帯電話等のモバイル端末等、各コミュニケーションツールにおいて送信側と受信側にソフトウェアをインストールさせ、送信側で撮影された動画像等に対する仮想メイクアップにより得られたメイク情報等を、撮影されたユーザのオリジナルの動画情報の送信とは別に送信し、受信側若しくは動画管理サーバ側等で仮想メイク画像を合成して受信装置に表示させる。
【００４６】
具体的には、送信側からオリジナルの動画ストリーム信号として連続した画像フレーム（ラスター情報）を送信するタイミングに同期させて、その画像フレームに対応するメイク情報（例えば、ベクター情報やパラメータ情報）等を送信する。このようにメイク情報のみを画像フレームと分けて送信することにより、そのデータ量やデータの内容等による伝送時の課金処理等を行う場合、その情報量を基準に効率的に算出することができ、ユーザ毎の利用内容に応じて適切な課金設定を高精度に行うことができる。
【００４７】
以下に、本発明における動画伝送システム、送信装置、受信装置、動画管理装置、送信プログラム、受信プログラム、及び動画管理プログラムを好適に実施した形態について、図面を用いて説明する。
【００４８】
＜動画伝送システム：システム構成例＞
まず、本実施形態におけるシステム構成例について図を用いて説明する。図１は、本実施形態における動画伝送システムのシステム構成の一例を説明するための図である。
【００４９】
図１に示す動画伝送システム１０は、送信装置１１と、動画管理サーバ１２と、受信装置１３とを有するよう構成されており、各構成がインターネットや電話回線等の通信ネットワーク１４により、データや制御信号が送受信可能な状態で接続されている。
【００５０】
なお、図１において、送信装置１１は、動画撮影可能なカメラ（撮像手段）付き携帯端末１１−１であってもよく、また通常のパーソナルコンピュータ（ＰＣ）１１−２であってもよい。また、受信装置１３も同様に、動画撮影可能なカメラ付き携帯端末１３−１であってもよく、ＰＣ１３−２であってもよい。このとき、ＰＣ１１−２，１３−２に対しては、送信側、受信側の各ユーザの動画像を送受信するために、それぞれにユーザの顔を撮影する撮像手段１５−１，１５−２が設けられている。
【００５１】
なお、送信装置１１及び受信装置１３は、それぞれテレビ電話機能により双方向通信を実現するために、送信側と受信側の両方の機能を有する構成となるが、以下の説明では便宜上、送信装置１１により送信される機能と受信装置１３により受信される機能とをそれぞれ分けて説明する。
【００５２】
送信装置１１は、テレビ電話等における送信側の機能を実現するための端末である。具体的には、送信装置１１は、撮像装置１５−１により撮影されたユーザの顔画像をリアルタイムに動画で取得する。また、送信装置１１は、撮像装置１５−１により撮影された動画を構成する画像に対して、ユーザからの指示情報や予め設定された基本メイク情報等に基づき、仮想メイクアップシミュレーションによる仮想メイク画像を生成する。なお、仮想メイクアップシミュレーションについては、上述した特許文献１に示される手法等を用いることができる。
【００５３】
なお、本実施形態において実施される仮想メイクは、通常、顔（例えば、唇（口元）、目元、眉毛、睫毛、頬等の全部又は一部等）に対するメイクであるが、本発明においてはこれに限定されず、例えば、髪型やヘアカラー、帽子、眼鏡、イヤリング、ネックレス、衣類、背景等についても、ユーザによる設定或いは予め設定された内容に基づいてシミュレーションすることができる。
【００５４】
送信装置１１のユーザは、予め設定されたいろいろなパターンの仮想メイクをシミュレーションしながら好みのメイクを選択する。なお、本実施形態における仮想メイクシミュレーションの具体例については後述する。その後、送信装置１１は、撮影された動画像を構成する原画像フレームと、シミュレーションにより得られたメイク情報等とをそれぞれ別々に受信側に送信する。
【００５５】
なお、送信装置１１は、オリジナルの動画情報（ラスター情報）とメイク情報（ベクター情報、パラメータ情報）とを同期させて送信する。具体的には、上述した２つの画像フレームを伝送する際に、同一のタイムスタンプ等の時間情報を付加する。
【００５６】
また、送信装置１１は、動画管理サーバ１２又は受信装置１３等の受信側で合成される動画情報とメイク情報に対して、その画像フレームに対する同一のフレーム識別情報を付加する。これにより、受信装置１３は、上述した時間情報やフレーム識別情報に基づいて、ラスター情報と、メイク情報を容易且つ正確に合成することができる。
【００５７】
なお、本実施形態における送信方式としては、例えば一般的な動画圧縮規格によりパケットデータ等によってストリーム送信することができるが、本発明においては特に限定されるものではない。
【００５８】
また、送信装置１１は、メイク情報ではなく、シミュレーション画像の生成により得られるメイク情報を送信することができる。また、送信装置１１は、設定したメイク情報をメモリ等の蓄積手段に蓄積しておき、テレビ電話時に迅速にメイク情報を蓄積手段から読み出して利用することができる。
【００５９】
ここで、送信装置１１は、画像フレームやメイク情報等の送信時には、発呼処理等により電話をかけたテレビ電話の相手の送信装置１３に通信ネットワーク１４を介して送信する。このとき、送信装置１１は、オリジナルの動画情報（原画像フレーム）を従来の通信手法により目的の送信装置１３に送信し、またメイク情報を動画管理サーバ１２に送信する。この場合、動画管理サーバ１２は、メイク情報やメイク情報の情報量等に基づいた課金等の処理を行うことができる。なお、送信装置１１は、オリジナルの動画情報も動画管理サーバ１２に送信してもよい。
【００６０】
動画管理サーバ１２は、受信装置１１から送信装置１３へ伝送される仮想メイク情報を取得し、取得した仮想メイク情報の情報量やデータの内容等に基づいて課金処理を行う。
【００６１】
また、動画管理サーバ１２は、必要に応じてオリジナルの動画情報も取得し、その原画像フレームと同期可能に送信されるメイク情報とを合成して、仮想メイク画像を生成し、生成した画像を送信装置１３に送信してもよい。
【００６２】
この場合、動画管理サーバ１２には、予め原画像フレームとメイク情報とを合成するためのソフトウェアがインストールされており、合成時にはインストールされたソフトウェアを実行させ、原画像フレームにメイク情報が自動的に合成され、メイク情報が生成される。
【００６３】
また、動画管理サーバ１２には、メイク情報に基づいて、各ユーザに対応するメイクの内容、画像等が蓄積された仮想メイク情報ＤＢを有しており、メイク情報に基づいて仮想メイク情報ＤＢから抽出されたシミュレーション内容を原画像に施すことで、仮想メイク画像を生成することができる。
【００６４】
更に、動画管理サーバ１２は、送信装置１３のユーザ情報を抽出し、抽出したユーザ情報に基づいて、通話中の送信装置１３に対してメイク情報が送信可能な否かを判断し、送信可能な場合にメイク情報を送信することができる。
【００６５】
受信装置１３は、送信装置１１から得られるオリジナルの動画情報（原画像フレーム）と、動画管理サーバ１２から得られるメイク情報とを合成して、ディスプレイ等の表示画面により表示する。また、受信装置１３は、動画管理サーバ１２により既に合成された仮想メイク画像を受信した場合には、そのまま表示画面に表示する。
【００６６】
これにより、送信側のユーザが化粧をしていない場合でも仮想メイクを施した画像を受信側に表示させることができるため、送信側のユーザは何ら躊躇することなく、送信相手とテレビ電話にて会話することができる。
【００６７】
なお、受信装置１３が送信装置からの通話中では、双方向通信であるため、例えば受信装置１３−２にもユーザの顔を撮影する撮像装置１５−２が設けられている。
【００６８】
上述した処理により、原画像とは別にメイク画像等を伝送することで付加価値のある動画像を効率的に伝送することができる。次に、上述した送信装置１１、動画管理サーバ１２、及び受信装置１３における各機能構成について図を用いて具体的に説明する。
【００６９】
＜第１の実施形態＞
＜送信装置１１：機能構成例＞
第１の実施形態における送信装置１１の機能構成例について、図を用いて説明する。図２は、第１の実施形態における送信装置の機能構成の一例を示す図である。図２に示す送信装置１１は、入力手段２１と、出力手段２２と、蓄積手段２３と、撮像手段２４と、仮想メイク画像生成手段２５と、メイク情報取得手段２６と、画面生成手段２７と、送受信手段２８と、制御手段２９とを有するよう構成されている。
【００７０】
入力手段２１は、撮像手段２４により撮影されたユーザの顔を含む人物画像若しくは送受信手段２８により外部装置から得られたユーザの顔を含む人物画像を入力する。また、入力手段２１は、送信側ユーザの顔を含む動画像を撮影する撮影指示、仮想メイク画像生成指示、メイク情報取得指示、画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【００７１】
出力手段２２は、入力手段２１により入力された内容や、入力内容に基づいて実行されたメイク情報の内容等の表示・出力等を行う。なお、出力手段２２は、ディスプレイやスピーカ等からなる。更に、出力手段２２は、プリンタ等の機能を有していてもよく、その場合には画面生成手段２７により生成される画面の内容等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【００７２】
蓄積手段２３は、撮影されたオリジナルの動画情報や仮想メイク画像の生成により得られるメイク情報、仮想メイク画像、画面生成手段２７により得られるコントラスト調整等の各種画像情報、送信先情報（氏名、電話番号等）等の各種データを蓄積する。
【００７３】
また、蓄積手段２３は、送受信手段２８により取得される上述した各種情報等も蓄積することができる。更に、蓄積手段２３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００７４】
撮像手段２４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等からなり、テレビ電話等に用いられるユーザの動画像を撮影することができる。なお、撮像手段２４は、例えば送信装置１１−１のような場合には内蔵型カメラであり、送信装置１１−２のような場合には、上述した撮像装置１５−１が接続される。
【００７５】
仮想メイク画像生成手段２５は、撮像手段２４により撮影された画像に対してユーザによって選択された化粧メイクアップ方法に基づいて仮想メイクアップシミュレーションを行い、画像上に仮想メイク画像を表示する。
【００７６】
ここで、仮想メイク画像生成手段２５は、上述したように、ユーザの顔の眉毛、目元、口元、頬の顔の全部又は一部（局部も含む）、或いは髪、洋服等をユーザにより設定された内容又は予め設定させた内容に基づいて仮想メイクアップシミュレーションを行い、仮想メイク画像を生成する。なお、本実施形態では、仮想メイク画像生成手段２５によるメイクとして、例えばユーザの顔画像にファンデーション，眉，シャドウ，口紅，チーク等から成るメイクアップを施した、メイクアップ後の画像を取得する。
【００７７】
ここで、仮想メイク画像生成手段２５は、具体的には、仮想メイク画像生成手段２５は、撮影した顔画像の１フレーム（１コマ）から顔のパーツの輪郭情報（ベクターデータ）を抽出し、その抽出した１フレーム分の塗布エリア（ベクターデータ）を、例えば上述した特許文献１（特開２００７−２１６０００号公報）に示されているメイクアップ手法に基づきグラデーション、透明度等をコントロールし、ペイントする。このペイントの結果、１フレーム分のメイクが施された顔の合成画像が生成される。
【００７８】
また、仮想メイク画像生成手段２５は、上述した手法を各フレーム（毎秒１５〜３０或いはそれ以上）繰り返すことで、メイクアップ動画像を生成する。したがって、このフレーム毎のデータを受信側に送信することで、受信側では連続した動画として表示される。
【００７９】
メイク情報取得手段２６は、仮想メイク画像生成手段２５により生成された仮想メイクアップシミュレーションに関する情報（どの部分（領域）にどのような色のメイクを施したかを示す情報）等をメイク情報として取得する。具体的には、メイク情報取得手段２６は、仮想メイク画像生成手段２５により得られた仮想メイク画像の生成において得られる上述したベクターデータ、及び、ベクターデータと顔画像とを対応付けるためのベクター座標値と、メイクテクニック等を表した数値情報等のパラメータ情報等からなるメイク情報を取得する。
【００８０】
また、メイク情報取得手段２６は、オリジナルの動画情報（原画像フレーム）、及びメイク情報に対して同期を取るための識別情報を付加する。なお、識別情報には、例えば上述した時間情報や画像フレームの識別情報（フレーム番号）等が付加される。このように、メイク情報取得手段２６により取得されるメイク情報に基づいて、そのデータ量やデータ内容に基づく課金処理を行うことができる。
【００８１】
本実施形態では、メイク情報取得手段２６により得られるテキスト情報のみからなるメイク情報のみを取得して伝送することになるため、データ量を削減することができ伝送効率を向上させると共に、伝送中のデータの内容を第三者に見られても具体的な内容を把握することができないため、秘匿性を向上させることができる。
【００８２】
画面生成手段２７は、本実施形態における送信装置１１の各機能構成で実行するために必要なデータの入力や、実行結果の出力、エラー時の通知等の各種画面を生成し、生成した画面をディスプレイ等の出力手段２２に出力する。具体的には、画面生成手段２７は、仮想メイク画像生成手段２５により得られる仮想メイク画像や原画像フレーム、メイク情報等のうち、少なくとも１つを出力手段２２に表示するための画面を生成する。
【００８３】
送受信手段２８は、通信ネットワーク１４等により接続された外部装置等から本実施形態における必要な各種データを入力したり、送信装置１１により実行された各種実行結果を外部装置に出力することができる。また、送受信手段２８は、予め設定された条件に基づいて原画像のフレームと、メイク情報とをテレビ電話の相手の受信装置１３又は動画管理サーバ１２に出力する。
【００８４】
制御手段２９は、送信装置１１の各構成部全体の制御を行う。具体的には、制御手段２９は、例えば本実施形態におけるテレビ電話を実現するために、仮想メイクアップシミュレーション処理を行うための実行プログラムをインストールし、そのインストールされたソフトウェアを実行することにより、例えばユーザ等による入力手段２１からの各種指示情報等に基づいて、化粧メイク画像生成処理、メイク情報取得処理、画面生成処理、送受信処理等の各制御を行う。
【００８５】
＜動画管理サーバ１２：機能構成例＞
次に、本実施形態における動画管理サーバ１２の機能構成例について、図を用いて説明する。図３は、第１の実施形態における動画管理サーバの機能構成の一例を示す図である。図３に示す動画管理サーバ１２は、入力手段３１と、出力手段３２と、蓄積手段３３と、端末管理手段３４と、送信設定手段３５と、仮想メイク情報量取得手段３６と、課金手段３７と、仮想メイク画像生成手段３８と、送受信手段３９と、制御手段４０とを有するよう構成されている。
【００８６】
入力手段３１は、サーバ管理者等のユーザからの端末管理指示、送信設定指示、仮想メイク情報量取得指示、課金指示、仮想メイク画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【００８７】
出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行されたメイク情報の内容等の表示・出力等を行う。なお、出力手段３２は、ディスプレイやスピーカ等からなる。更に、出力手段３２は、プリンタ等の機能を有していてもよく、その場合には仮想メイク画像生成手段３８により生成される画面の内容等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【００８８】
蓄積手段３３は、端末管理情報、送信設定情報、仮想メイク情報量、課金内容、合成された画像内容、仮想メイクに関する画像等の各種データを蓄積する。
【００８９】
また、蓄積手段３３は、送受信手段３９により取得される上述した各種情報等も蓄積する。更に、蓄積手段３３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００９０】
端末管理手段３４は、テレビ電話を開始している送信装置１１及び受信装置１３のそれぞれの通信内容を管理する。つまり、端末管理手段３４は、送信側からの原画像に仮想メイクアップシミュレーションツールを利用して送信しているか否か、どのレベルまでのアプリケーションの使用が可能であるか否かをユーザ情報及び課金情報に基づいて判断する。例えば、予め設定されたユーザに対する使用可能レベルを判断し、レベルがＡであれば、背景も含めた合成画像を許可したり、レベルがＢであれば、背景の合成はできなくておも顔全体の化粧のみシミュレーションすることができる等、そのレベルに対応させて動画の処理内容を変更することができる。
【００９１】
また、端末管理手段３４は、送信装置１３のユーザ情報を抽出し、抽出したユーザ情報に基づいて、通話中の送信装置１３に対してメイク情報が送信可能な否かを判断し、例えば原画像フレームとメイク情報とから仮想メイク画像を生成するプログラムがインストール済みで、送信可能な場合にメイク情報を送信させ、例えば、上記プログラムの未インストールの場合や、送信装置１２側で指示された内容、受信する受信装置１３の性能等に基づいて、受信側で原画像フレームとメイク情報とから仮想メイク画像を生成することができない場合には、原画像フレームにメイク情報を反映させた仮想メイク画像を生成し、生成された仮想メイク画像を送信させる。
【００９２】
また、送信設定手段３５は、送信装置１１から得られる送信側ユーザのオリジナルの動画情報（原画像フレーム）に対して、受信側に送るときの画像内容を設定する。つまり、送信設定手段３５は、端末管理手段３４により得られる各受信装置１３に対する設定情報（例えば、画素サイズや大きさを受信先のディスプレイや、伝送効率、通信条件、受信装置１３の処理性能等）に基づいて画像調整を行う。
【００９３】
また、送信設定手段３５は、例えばストリーミング等により顔画像を同時に複数の受信者に送付する場合に、動画管理サーバ１２から送信されるベクターデータ及びパラメータ情報のメイク情報を予め蓄積されたユーザ情報や受信装置毎の送信設定内容等に基づいて、それぞれの受信装置に対応させて変化させることで、受信装置毎に異なる表現をさせることができる。
【００９４】
仮想メイク情報量取得手段３６は、送信装置１１から送信されたメイク情報を取得し、その仮想メイクアップシミュレーション部分に対応するデータ量（情報量）及び／又はそのデータの内容を取得する。例えば、化粧識別情報が、顔に対するメイクアップあり、その内容が口紅であった場合に、予め蓄積手段３３に蓄積されている化粧識別情報に対応する、基本となるデータ量を取得する。
【００９５】
また、仮想メイク情報量取得手段３６は、１フレーム中に複数の化粧範囲がある場合（例えば、唇とアイシャドウ等）には、それぞれから得られるデータ量を加算して全体のデータ量を算出する。また、仮想メイク情報量取得手段３６は、化粧範囲の数や仮想メイクする種類等のデータ内容を取得する。これにより、データ量やデータ内容に応じて容易且つ正確に課金を行うことができる。
【００９６】
また、送信設定手段３５は、送信装置１１のユーザの使用可能期限が切れていないか否かを判断し、期限が切れている場合には、本実施形態における仮想メイクが使用できないようにしたり、再契約させるための通知を生成し、送信装置１１に送信することができる。
【００９７】
なお、仮想メイク情報量取得手段３６は、各フレームについて、上述したデータ量の算出処理を行うことなく、例えば、本実施形態における動画伝送システムの実行時、化粧箇所やメイクカラーの変更時、予め設定された時間間隔毎、又は動画管理サーバ１２の管理者（ユーザ）等からの指示等により、上述した仮想メイク情報量の取得を行う。
【００９８】
課金手段３７は、仮想メイク情報量取得手段３６により得られる仮想メイク情報量に基づいて、その送信装置１１に対する課金処理を行う。なお、課金手段３７は、課金のタイミングを仮想メイク情報量取得手段３６により得られる仮想メイク情報量の取得時や、管理者等からの指示等により課金を行う。また、課金は、定量性の料金設定にしてもよく、従量性の料金設定にしてもよく、利用回数や利用量に応じて所定の割引をおこなってもよい。
【００９９】
なお、本実施形態では、上述したように送信装置１１から通信ネットワーク１４を介して動画管理サーバ１２が取得する仮想メイク情報量により課金を行っているが、本発明においての課金方法はこれに限定されるものではなく。例えば、実際の化粧品を使用したと同様な課金の仕組みを構築することもできる。
【０１００】
上述した内容を具体的に説明すると、例えばユーザが送信装置１１を用いて仮想的に化粧を施した仮想メイク画像を生成する場合、予め仮想的なボトルやコンパクトケース等の容器に入れられたファンデーションや口紅、マスカラ等の各化粧品を画面に表示しておき、上述した仮想メイクを行った際に使用された所定量分の各化粧品がそれぞれの容器から消費される。また、容器内の化粧料が空になると同じ化粧品を購入したり、必要に応じて新たな化粧品を購入する。そこで本発明では、この購入時に課金を行うようにすることもできる。
【０１０１】
なお、上述の課金処理を実現するために、容器内の化粧料のデータは、予め設定されるユーザ毎の個人データベース等に保管されており、使用の都度化粧品の量が容器から減っていき、また逆に、購入すればその分の量が増加するように管理する。なお、これらの管理情報は、送信装置１１及び動画管理サーバ１２の両方が管理しておいてもよく、何れか一方が管理しておいてもよい。
【０１０２】
更に、上述した仮想メイク時の化粧の使用量について、例えば送信装置１１に設けられたタッチパネル等を利用する場合には、ユーザが選択した化粧品に対して、ユーザの指で掬い取るような操作をタッチパネルで行うことにより、タッチパネルから検出した指でなぞられたエリアを、化粧品を使用したエリアと判断して、面積に対応した使用量を取得することができる。
【０１０３】
更に、送信装置１１に圧力センシング等のように指の力を検出する機能を有している場合には、その力の情報（指圧）と、化粧品毎に予め設定された柔らかさや硬さ等の成分情報等に基づいて、上述した面積の情報と合わせて体積としての使用量を算出することができる。この場合、例えば、「使用量＝面積×Ｚ（指圧による深さ）×係数（化粧品の硬度等）」のように計算することで、体積が算出される。このように、使用量を算出された体積から数値化することができるため、その分の化粧の量を容器から減らす表示を行うことで、仮想空間上で実際の化粧料の使用と同様の化粧の消費と課金処理とを実現することができる。なお、上述した指の動作は、指に限定されず、例えば筆等の専用の化粧器具であってもよい。
【０１０４】
上述の処理等により、ユーザが指定した化粧品の容器から取得した所定量分の化粧料は、その取得した量に対応して仮想メイク画像に反映される。
【０１０５】
仮想メイク画像生成手段３８は、送信設定手段３５により得られる送信内容が「仮想メイク画像」である場合には、送信装置１１から得られる原画像フレーム及びメイク情報を、受信したストリーム信号等に付加されているフレーム識別信号やタイムスタンプ等の時間情報等に基づいて合成して仮想メイク画像を生成する。
【０１０６】
なお、仮想メイク画像生成手段３８は、メイク情報に基づいて、原画像フレームに仮想メイクアップシミュレーションを施す場合には、例えば上述したような送信装置１１における手法と同様の手法で仮想メイク画像を生成することができる。また、この場合、仮想メイク画像生成手段３８は、予め蓄積手段３３に蓄積されたユーザ情報や端末管理手段３４、送信設定手段３５により得られる各種設定情報等に基づいて、受信装置毎（ユーザ毎）に異なる仮想メイク画像を生成することができる。
【０１０７】
更に、仮想メイク画像生成手段３８は、上述したように、ユーザが指定した化粧品の容器から取得した所定量分の化粧料を用いて、その取得した量に対応させた仮想メイク画像を生成することができる。つまり、本実施形態では、算出された使用量を課金に使用するだけでなく、仮想メイクアップシミュレーションを施す場合の物理量（パラメータ）として使用することができる。したがって、仮想メイク画像生成手段３８は、取得した物理量を、予め設定される仮想メイクにおける化粧の色の濃さや厚さ等に対応させて仮想メイク画像を生成することができる。なお、この場合には、上述した使用量の算出で用いられる係数に、化粧品の硬度ではなく、化粧品の透明度等を設定してもよい。
【０１０８】
更に、送信装置１１の表示画面に圧力センシング等のように指の力を検出する機能を有している場合には、例えばユーザの指等で画面に表示された自分又は他人の顔画像をなぞることで、仮想メイク画像生成手段３８は、そのなぞられたエリアにユーザの指圧と上述した物理量とに対応した化粧が塗布された仮想メイク画像を生成する。
【０１０９】
送受信手段３９は、通信ネットワーク１４等により接続された外部装置等から本実施形態における必要な各種データを入力したり、送信装置１１により実行された各種実行結果を外部装置に出力することができる。また、送受信手段２８は、予め設定された条件に基づいて原画像フレーム及びメイク情報、或いは仮想メイク画像生成手段３８にて生成された仮想メイク画像のフレーム等をストリーム信号としてテレビ電話の相手の受信装置１３に出力する。
【０１１０】
制御手段４０は、動画管理サーバ１２の各構成部全体の制御を行う。具体的には、制御手段４０は、例えば本実施形態におけるテレビ電話を実現するために、仮想メイクアップ処理を行うための実行プログラムをインストールし、そのインストールされたソフトウェアを実行することにより、例えばユーザ等による入力手段３１からの各種指示情報等に基づいて、端末管理処理、送信設定処理、仮想メイク情報量取得処理、課金処理、仮想メイク画像生成処理、送受信処理等の各制御を行う。
【０１１１】
＜受信装置１３：機能構成例＞
次に、本実施形態における受信装置１３の機能構成例について、図を用いて説明する。図４は、第１の実施形態における受信装置の機能構成の一例を示す図である。図４に示す受信装置１３は、入力手段５１と、出力手段５２と、蓄積手段５３と、原画像取得手段５４と、メイク情報取得手段５５と、仮想メイク画像生成手段５６と、送受信手段５７と、制御手段５８とを有するよう構成されている。
【０１１２】
入力手段５１は、受信側ユーザ等からの原画像取得指示、仮想メイク情報取得指示、仮想メイク画像生成指示、送受信指示等の各種指示の入力を受け付ける。なお、入力手段５１は、例えばキーボードや、マウス等のポインティングデバイス等からなる。
【０１１３】
出力手段５２は、入力手段５１により入力された内容や、入力内容に基づいて実行された画像合成された化粧メイク画像の内容等の表示・出力等を行う。なお、出力手段５２は、ディスプレイやスピーカ等からなる。更に、出力手段５２は、プリンタ等の機能を有していてもよく、その場合には仮想メイク画像生成手段５６により生成される画面の内容等を、紙等の印刷媒体に印刷してユーザ等に提示することもできる。
【０１１４】
蓄積手段５３は、原画像フレーム、メイク情報、仮想メイク画像、通話履歴、送信装置１１や動画管理サーバ１２と画像や音声データの送受信を行うためのアドレス情報等の各種データを蓄積する。また、蓄積手段５３は、送受信手段５７により取得される上述した各種情報等も蓄積する。更に、蓄積手段５３は、必要に応じて蓄積されている各種データを読み出すことができる。また、蓄積手段５３は、各ユーザ毎に個別データを有しており、メイク情報に基づいて原画像フレームに仮想メイクを反映させる際、例えばメイク情報に含まれる数値情報に対して個別データに含まれる数値等を用いて演算して、各装置毎に個別にメイク結果を表示させることができる。
【０１１５】
原画像取得手段５４は、通信ネットワーク１４を介して受信装置１１又は動画管理サーバ１２から受信したストリーム信号から、送信側にて撮影されたオリジナルの動画情報である原画像データを取得する。このとき、取得される原画像データは、動画ストリームとして連続的に取得されるため、取得したストリーム信号に含まれる原画像フレームを連続して表示させることで、動画が形成される。なお、本実施形態では、動画ではなく静止画を表示させてもよい。
【０１１６】
メイク情報取得手段５５は、予め設定された送信装置１１又は動画管理サーバ１２から送信されたメイク情報等を取得する。
【０１１７】
仮想メイク画像生成手段５６は、原画像取得手段５４から得られる原画像と、メイク情報取得手段５５から得られるメイク情報とに基づいて仮想メイク画像の生成を行う。具体的には、仮想メイク画像生成手段５６は、メイク情報が取得できている場合は、送信された原画像フレーム（ラスターデータ）に対して時間情報やフレーム識別情報等の識別情報に基づいてフレーム同期処理を行い、ベクターデータや数値情報等のメイク情報を反映させて、仮想メイク画像を生成して出力手段５２により出力する。
【０１１８】
なお、仮想メイク画像生成手段５６は、メイク情報に含まれる数値情報を用いて所定の演算を行うことにより、又は蓄積手段５３に予め蓄積された数値情報等の個別データを用いて演算することにより、個別メイクの内容を変化させて各受信装置独自の仮想メイク画像を生成することもできる。
【０１１９】
なお、仮想メイク画像生成手段５６は、例えばメイクテクニック等の数値以外のメイク情報を取得した場合には、そのメイク情報に対応するデータを蓄積手段５３或いは動画管理サーバ１２の蓄積手段３３にある仮想メイク情報ＤＢから抽出し、抽出されたデータに含まれる化粧方法、化粧品情報等に基づいて、原画像フレームに対して仮想メイク画像を生成して出力手段５２により出力する。
【０１２０】
ここで、動画管理サーバ１２にて既に仮想メイク画像が生成されており、その情報を受信装置１３が受信した場合には、上述した原画像取得手段５４、メイク情報取得手段５５、及び仮想メイク画像生成手段５６における動作を行わず、動画管理サーバ１２から得られる仮想メイク画像を出力手段５２により出力する。これにより、受信装置１３の処理負担を軽減することができる。
【０１２１】
送受信手段５７は、通信ネットワーク１４等により接続された外部装置等から本実施形態における必要な各種データを入力したり、受信装置１３により実行された各種実行結果を外部装置に出力することができる。
【０１２２】
制御手段５８は、受信装置１３の各構成部全体の制御を行う。具体的には、制御手段５８は、例えば本実施形態におけるテレビ電話を実現するために、仮想メイクアップ処理を行うための実行プログラムをインストールし、そのインストールされたソフトウェアを実行することにより、例えばユーザ等による入力手段５１からの各種指示情報等に基づいて、原画像取得処理、仮想メイク情報取得処理、仮想メイク画像生成処理、送受信処理等の各制御を行う。
【０１２３】
上述した本実施形態における送信装置１１、動画管理サーバ１２、及び受信装置１３により、必要となる情報がラスターデータ（画像のピクセルの集合体）とベクターデータ（領域を表した閉ループの座標データ）と色、塗り方等のメイクテクニックに関する数値情報等のパラメータ情報等からなるメイク情報で構成されているため、付加価値のある動画像を効率的に伝送することができる。
【０１２４】
＜本実施形態における動画伝送の具体例＞
ここで、本実施形態における動画伝送の具体例について、図を用いて説明する。図５は、本実施形態における画像フレームの伝送の様子を説明するための図である。
【０１２５】
本実施形態においては、動画送信に対して、送信及び受信（再生）の双方のソフトウェアを用いて、通常の原画像に対する動作はそのままの既存動画送信システム６１とし、フレーム（例えば、テレビ等で約１５〜３０フレーム／秒（ｆｐｓ））それぞれに対して仮想メイクアップシミュレーション動画伝送システム６２としてそれぞれ伝送するために画像伝送データを解析する。
【０１２６】
なお、送信装置１１には、送信ソフトウェアと本実施形態におけるマスクデータとしてのメイク情報（例えば、ベクター情報やパラメータ情報）を取得するための送信ソフトウェアが予めインストールされており、一方、受信装置１３には、受信ソフトウェアと本実施形態におけるメイク情報（マスク）から仮想メイク画像を生成するための受信ソフトウェアが予めインストールされている。
【０１２７】
図５に示すように、仮想メイク画像からマスクデータとして上述したメイク情報を抽出して、それぞれ原画像の各フレームと同期（シンクロ）を取りながら対応するフレームを伝送する。
【０１２８】
なお、図５に示すマスクデータの例では、原画像フレームに対応するマスクデータ（メイク情報）を１フレーム毎に対応させて送信しているが本発明においてはこれに限定されるものではなく、例えば、数フレーム毎に１つのメイク情報を生成してもよく、動画中の前後のフレームの顔の動き等に応じて動きの大きい場合は、マスクフレームの間隔を短くし、動きの小さい場合は、マスクフレームの間隔を長くしても誤差がないため、フレーム間隔を撮影されている人物の動きに応じて調整することもできる。なお、撮影された人物の動きについては、前後の画像の画素毎の色度情報に基づいて動きを抽出する一般的な画像解析手法等を用いることができる。なお、この場合には、複数の原画像フレームに対して１つのマスクフレームを用いてマスクさせるといった処理を行うことができる。
【０１２９】
上述したように、送信側からオリジナルの動画ストリーム信号として連続した画像フレーム（ラスター情報）を送信するタイミングに同期させて、その画像フレームに対応するメイク情報（例えば、ベクター情報やパラメータ情報）等を送信することで、例えば課金処理等を行う場合に、メイク情報からデータ量やデータの内容等による伝送時の情報量を基準に効率的に算出することができるため、ユーザ毎の利用内容に応じて適切な課金設定を高精度に行うことができる。
【０１３０】
＜本実施形態におけるメイク情報の生成について＞
次に、本実施形態におけるメイク情報の生成について、具体的に図を用いて説明する。図６は、本実施形態におけるメイク情報の生成処理について説明するための図である。なお、図６には、仮想メイクアップシミュレーション等のソフトウェアが行う処理を表す画面イメージが示されている。
【０１３１】
図６（ａ）では、カメラ等により実際に撮影された仮想メイクアップ前画像（原画像）を表示した例を表している。また、図６（ｂ）では、顔認識処理により得られた輪郭情報やトラッキングポイントをメイクアップ前画像に重ねて表示した例を表している。また、図６（ｃ）では、得られた情報に基づいて仮想メイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像（仮想メイク画像）を表示した例を表している。
【０１３２】
送信側ユーザは、図６（ｃ）に示す仮想メイクアップシミュレーション後の画像を確認し、好みの化粧メイク画像が得られた場合には、そのデータに基づいて、オリジナルの動画情報（ラスター情報）（図６（ｄ））と、メイク情報（図６（ｅ））とを取得する。
【０１３３】
ここで、メイク情報は、上述したように撮影された顔の「輪郭情報」や「メイク塗布エリア（例えば、座標（ｘ，ｙ，ｚ））、色情報等のベクターデータ、ベクター座標値、メイクテクニックを表したパラメータ情報が、「ユーザ情報」や原画像と同期を取るためにフレームに付加された「フレーム情報」と共に記録されている。
【０１３４】
なお、メイク情報としては、本発明においてはこれに限定されるものではなく、例えば、フレーム情報の代わりに時間情報が含まれていてもよく、その他の情報が含まれていてもよい。これにより、動画管理サーバ１２や受信装置１３は、これらの情報に基づいて、予めインストールされたソフトウェアに基づいて、原画像の所定フレーム（ラスター情報）に対して上述したメイク情報との合成処理を行い、仮想メイク画像を生成することができる。これにより、課金処理や実際にメイク情報を通じたテレビ電話による通話を実現することができる。なお、上述した図６（ｄ）は、図６（ａ）の画像をそのまま使用することもできる。
【０１３５】
また、図７は、動画管理サーバにおける課金処理の一例を示すものである。図７に示す例では、図６に示す原画像（図６（ｄ））と、メイク情報（図６（ｅ））とに基づいて、動画管理サーバ１２において、仮想メイク情報ＤＢ６３に含まれているデータから仮想メイクアップシミュレーションを行うための対応する各種情報を抽出し、原画像に仮想メイクアップシミュレーションを施すことにより、仮想メイク画像を生成することができる。また、上述したメイク情報に基づく課金処理は、例えば、動画管理サーバ１２に設けられる課金ＤＢ６４に格納される。
【０１３６】
また、図８は、仮想メイクアップシミュレーションにおけるパラメータ情報の一例を示す図である。図８に示すパラメータ情報は、仮想メイク情報ＤＢ６３に含まれており、そのパラメータファイルよって、目元，口元，チーク等にそれぞれトラッキングポイントと関連付けてメイクアップの施し方や色等のメイクテクニックが設定されており、これにより、仮想メイクが行われる。なお、上述したパラメータファイルは、メイクアップパターン（イメージ）毎に設定されるものであり、図８の例では、クラスエレガンスの例を表している。
【０１３７】
本実施形態では、仮想メイクアップ前画像（原画像）に仮想メイクを施す場合に、仮想メイクアップの前画像に含まれるユーザの顔から輪郭情報や塗布エリアを得ることにより、仮想メイク画像生成手段はその輪郭情報等と関連付けてメイクアップの施し方や色等のメイクテクニックを図８のようなパラメータ情報として設定しておくことができる。また、本実施形態では、メイクアップ処理の一例として、ファンデーション処理、眉処理、シャドウ処理、口紅処理、及びチーク処理からなる仮想メイク処理を行うことができ、また他の処理との組み合わせであってもよい。
【０１３８】
また、パラメータ情報は、上述したように、顔に対するメイクアップに限定されずに、例えば、髪型やヘアカラー、帽子、眼鏡、イヤリング、ネックレス、衣類、背景等についてもパラメータファイルを生成しておくことで、多種の仮想メイクを実現することができる。
【０１３９】
上述したように本実施形態によれば、付加価値のある動画像を効率的に伝送することができる。
【０１４０】
＜動画管理サーバ１２の動作について＞
ここで、上述した動画管理サーバ１２の具体的な動作について、図を用いて説明する。図９は、動画管理サーバの具体的な動作を説明するための図である。なお、図９（ａ）は、動画管理サーバ１２にて仮想メイク画像を生成して、複数の受信装置（図９の例では、一例として受信装置１３−１〜１３−３）に一度に伝送する例を示し、図９（ｂ）は、オリジナルの動画情報及びメイク情報をそれぞれ送信し、複数の受信装置（図９の例では、一例として受信装置１３−１〜１３−３）において、それぞれ仮想メイク画像を生成する例を示している。つまり、図９（ａ）は、動画管理サーバ１２側で複数配信先に異なるメーキャップの動画を生成し配信する例を示し、図９（ｂ）は、動画管理サーバ１２側で動画情報とメイク情報（ベクター＋数値情報等）を平行して配信し、各受信装置１３−１〜１３−３上でそれぞれ異なる処理をして動画を生成する例を示している。
【０１４１】
本実施形態では、例えばストリーミング等により顔画像を同時に複数の受信者に送付する場合に、動画管理サーバ１２から送信されるベクターデータ及びパラメータ情報をそれぞれの受信者に合わせて変化させることで、各受信装置に異なる表現をすることも可能となる。
【０１４２】
例えば、仮想空間において、複数人が集うパーティー等を行う場合、本実施形態では、受信相手に合わせて異なるメイクの自分像を配信することができる。この場合、図９（ａ）に示すような既存のストリーミング等の技術を使用すると、個々に別々のストリーミング動画（ラスターデータ）を生成する必要が生じるため、受信装置１３−１〜１３−３側での負荷がない分、動画管理サーバ１２に大きな負荷がかかる。
【０１４３】
そこで、図９（ｂ）に示すように例えばラスターデータと、ベクターデータや数値情報等のメイク情報とを同期させて受信側で各個別データ等を用いて処理することにより、異なる処理がそれぞれの受信装置１３−１〜１３−３で分散的に処理することができる動画管理サーバ１２における負荷が少なくなる。また、受信装置１３−１〜１３−３でも分散した処理が行われるため負荷が少ない。
【０１４４】
また、本実施形態を用いることで、受信側のパソコンデバイスの状況に合わせた表現が可能となる。具体的に説明すると、例えば、パソコンのディスプレイの発色は、機器により微妙に異なる。したがって、動画管理サーバ１２から送信されるベクターデータ及びメイク情報に対して受信装置側で統一したカラー情報により補正し、その誤差を受信したメイク情報の色情報に反映することで、受信側の環境で正確な発色を実現することができる。
【０１４５】
なお、図９の例では、複数の受信装置の数を３つにして説明したが、本発明においてはこれに限定されるものではなく、２つや４つ以上でもよい。
【０１４６】
＜第２の実施形態＞
＜送信装置１１'：機能構成例＞
第１の実施形態における送信装置１１については、仮想メイク画像生成手段２５において、仮想メイク画像を生成した際に得られるメイク情報を取得してオリジナルの動画情報と別々に受信装置１３に送信する例について説明したが、本発明においては、これに限定されるものではなく、例えば、仮想メイク画像生成手段２５から仮想メイク部分のみの情報を仮想メイクフレーム情報として取得し、その仮想メイクフレームをオリジナルの動画情報とは別に送信するようにしてもよい。
【０１４７】
ここで、上述の内容を第２の実施形態とし、特に第１の実施形態と異なる部分について、具体的に説明する。図１０は、第２の実施形態における送信装置の機能構成の一例を示す図である。図１０に示す送信装置１１'は、上述した第１の実施形態における送信装置１１と比較すると、メイク情報取得手段２６の代わりにフレーム分離手段７０が設けられている。なお、図１０において、図２に示す第１の実施形態における送信装置１１と同様の機能を有する部分については同一の番号を付するものとしてここでの詳細な説明は省略する。
【０１４８】
フレーム分離手段７０は、仮想メイク画像を、撮像手段２４により撮影された動画像を構成する原画像フレームと仮想メイクアップシミュレーション部分のみを抽出した仮想メイクフレームとに分離する。
【０１４９】
なお、フレーム分離手段７０は、上記の分離行う場合には、例えば、同一フレームの原画像と仮想メイク画像とを比較し、それぞれの画素毎の色度情報等に基づき、その色差が所定数以上のものを抽出することにより仮想メイクフレーム情報を抽出することができる。なお、フレーム分離手段７０は、分離した原画像フレームと仮想メイクフレームとがそれぞれ同期が取れるように、上述した時間情報やフレーム情報等のフレーム識別情報を付与する。
【０１５０】
フレーム分離手段７０によって原画像フレームと仮想メイクフレームとを分離することで、仮想メイクに関するデータ量やデータ内容のみを容易且つ正確に取得することができ、この計測結果に基づいて、データ量やデータ内容に基づく課金処理を行うことができる。
【０１５１】
また、フレーム分離手段７０により、仮想メイクアップシミュレーション部分のみからなる画像のみを用いて、データ量を削減することができ伝送効率を向上させると共に、伝送中の仮想メイクフレームの内容を第三者に見られても具体的な内容を把握することができないため、秘匿性を向上させることができる。
【０１５２】
なお、上述した第１の実施形態の機能の他にも、第２の実施形態における入力手段２１は、フレーム分離指示の入力を行い、制御手段２９は、例えばユーザ等による入力手段２１からの各種指示情報等に基づいて、分離処理等の各制御を行う。
【０１５３】
また、第２の実施形態における動画管理サーバ１２及び受信装置１３では、第１の実施形態におけるメイク情報の代わりに仮想メイクフレーム情報を用いて、同様に課金の計算や仮想メイク画像の生成を行う。
【０１５４】
ここで、図１１は、第２の実施形態における分離処理の実施例について説明するための図である。なお、図１１の実施例において、図１１（ａ）〜（ｄ）と、上述した図６（ａ）〜（ｄ）とは同一であるため、ここでの具体的な説明は省略する。
【０１５５】
送信側ユーザは、図１１（ｃ）に示す仮想メイクアップシミュレーション後の画像を確認し、好みの化粧メイク画像が得られた場合には、そのデータに基づいて、元の原画像フレーム（図１１（ｄ））と、仮想メイクフレーム（図１１（ｅ））とに分離する。そして、それぞれのフレームに、受信側で同期させるための識別情報（例えば、フレーム情報）や時間情報等を付加し、動画管理サーバ１２や、テレビ電話やテレビ会議の相手の受信装置１３に送信する。これにより、課金処理や実際に仮想メイクフレームを通じたテレビ電話による通話を実現することができる。なお、上述した図１１（ｄ）は、図１１（ａ）の画像をそのまま使用することもできる。
【０１５６】
＜各装置におけるハードウェア構成例＞
ここで、上述した動画伝送システム１０における送信装置１１（１１'）、動画管理サーバ１２、及び受信装置１３においては、各機能をコンピュータに実行させることができる実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における動画伝送処理等を実現することができる。ここで、本実施形態における動画伝送処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。
【０１５７】
図１２は、本実施形態における動画伝送処理が実現可能なハードウェア構成の一例を示す図である。図１２におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１５８】
入力装置７１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置７１は、ネットワーク接続装置７７等に接続された外部装置から通信ネットワーク１４を介して得られる、外部装置等で既に撮影された原画像等の各種データを入力することもできる。
【０１５９】
出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ７６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。また、出力装置７２は、上述の処理結果等を紙等の印刷媒体に印刷して、ユーザ等に提示することができる。
【０１６０】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【０１６１】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１６２】
メモリ装置７５は、ＣＰＵ７６により補助記憶装置７４から読み出された実行プログラム等を格納する。なお、メモリ装置７５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１６３】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また実行結果等を格納することもできる。
【０１６４】
ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１６５】
上述したようなハードウェア構成により、本発明における動画伝送処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における動画伝送処理を容易に実現することができる。
【０１６６】
以下に、本実施形態の動画伝送処理における送信処理、動画管理処理、受信処理の各処理手順についてフローチャート等を用いて説明する。なお、以下の処理手順では、主に第１の実施形態について説明するが、必要に応じて適宜第２の実施形態に対応させて説明する。
【０１６７】
＜動画伝送処理：送信処理手順＞
本実施形態における送信処理手順について説明する。なお、以下に示す送信処理手順では、既にテレビ電話の発呼が完了している状態における動画伝送システムについて説明するものである。
【０１６８】
図１３は、本実施形態における送信処理手順の一例を示すフローチャートである。図１３においては、送信装置１１は、まず、撮影手段等によりユーザの顔を含む動画像を取得する（Ｓ０１）。次に、仮想メイクアップシミュレーションを使用するか否かを判断し（Ｓ０２）、仮想メイクアップシミュレーションを使用する場合（Ｓ０２において、ＹＥＳ）、シミュレーションを行って仮想メイク画像を生成し（Ｓ０３）、シミその結果を画面に表示する（Ｓ０４）。
【０１６９】
ここで、表示された仮想メイク画像をユーザに確認させ、ＯＫの指示が入力されたか否かを判断し（Ｓ０５）、ＯＫでない場合（Ｓ０５において、ＮＯ）、Ｓ０３に戻り、他のパラメータ等による仮想メイクアップシミュレーションを行う。
【０１７０】
また、Ｓ０５においてＯＫである場合（Ｓ０５において、ＹＥＳ）、仮想メイク画像の生成により得られるメイク情報を取得し（Ｓ０６）、取得した情報に基づいて原画像とメイク情報とを別々に受信装置に送信する（Ｓ０７）。なお、Ｓ０２の処理において、仮想メイクアップシミュレーションを使用しない場合（Ｓ０２において、ＮＯ）、原画像をそのまま送信する（Ｓ０８）。
【０１７１】
また、Ｓ０７又はＳ０８の処理が終了後、テレビ電話を終了するか否かをユーザの指示より判断し（Ｓ０９）、テレビ電話を終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０１に戻り、後続の処理を行う。
【０１７２】
また、Ｓ０９の処理において、テレビ電話を終了する場合（Ｓ０９において、ＹＥＳ）、本実施形態における動画送信処理を終了する。
【０１７３】
なお、第２の実施形態では、Ｓ０５においてＯＫである場合（Ｓ０５において、ＹＥＳ）、Ｓ０６の処理において原画像フレームと仮想メイクフレームとを分離し、Ｓ０７の処理において分離した情報に基づいて原画像と仮想メイクフレームとを別々に受信装置に送信する。
【０１７４】
＜動画伝送処理：動画管理処理手順＞
次に、本実施形態における動画管理処理手順について説明する。なお、以下に示す動画管理処理手順では、既にテレビ電話の通話中状態における動画伝送システムについて説明するものである。
【０１７５】
図１４は、本実施形態における動画管理処理手順の一例を示すフローチャートである。図１４においては、動画管理サーバ１２は、まず送信装置１１からメイク情報を取得すると（Ｓ１１）、そのデータの情報量を取得する（Ｓ１２）。なお、Ｓ１２の処理では、上述したように、メイク情報に対するデータ量やデータ内容等を取得する。次に、Ｓ１２で得られた内容に基づいて課金処理を行う（Ｓ１３）。
【０１７６】
その後、原画像を取得し（Ｓ１４）、Ｓ１１の処理で取得したメイク情報に基づき、原画像から仮想メイク画像を生成し（Ｓ１５）、受信装置１３へ仮想メイク画像を送信する（Ｓ１６）。
【０１７７】
なお、Ｓ１５の処理においては、上述したように、メイク情報に予め付加されているフレーム識別情報や時間情報等に基づいて、原画像とメイク情報とを同期させて仮想メイク画像の生成を行い、更にメイク情報に含まれる数値等のパラメータを演算したり、パラメータ情報を用いて仮想メイク情報ＤＢ６３等を参照して、各種パラメータや画像データ等を取得し、取得した各種データに基づいて、原画像に仮想メイクアップを施し仮想メイク画像を生成する。
【０１７８】
ここで、動画管理処理を終了するか否かを判断し（Ｓ１７）、ユーザからの指示等がなく処理が終了でない場合（Ｓ１７において、ＮＯ）、Ｓ１１に戻り後続の処理を行う。また、Ｓ１７の処理において、処理を終了する指示が入力された場合（Ｓ１７において、ＹＥＳ）、本実施形態における動画伝送処理を終了する。
【０１７９】
なお、Ｓ１６の処理においては、予め設定された送信設定内容に基づいてＳ１５の処理にて仮想メイク画像の生成を行わずに、課金のみを行った原画像とメイク情報とを出力することができる。また、第２の実施形態では、Ｓ１１の処理において、仮想メイクフレームを取得し、Ｓ１２，Ｓ１３の処理において、その取得したフレームの情報量により課金が行われる。更に、Ｓ１５の処理において、原画像フレームと仮想メイクフレームとを合成し、Ｓ１６の処理において合成した仮想メイク画像を送信する。なお、合成の際には、仮想メイクフレームが原画像フレームよりも上面にくるように重ね合わせて合成を行う。
【０１８０】
＜動画伝送処理：受信処理手順＞
次に、本実施形態における受信処理手順について説明する。なお、以下に示す受信処理手順では、既にテレビ電話の通話中状態における動画伝送システムについて説明するものである。
【０１８１】
図１５は、本実施形態における受信処理手順の一例を示すフローチャートである。図１５においては、受信装置１３は、送信装置１１又は動画伝送サーバ１２から画像を取得する（Ｓ２１）。次に、その画像が原画像か否かを判断する（Ｓ２２）。原画像である場合（Ｓ２２において、ＹＥＳ）、予め設定された条件に基づいて仮想メイクアップシミュレーションを使用するか否かを判断し（Ｓ２３）、使用する場合（Ｓ２３において、ＹＥＳ）、送信装置１１又は動画伝送サーバ１２からメイク情報を取得し（Ｓ２４）、取得したメイク情報に基づき、原画像から仮想メイク画像を生成する（Ｓ２５）。なお、仮想メイク画像の生成は、上述したように、フレーム識別情報や時間情報に基づいて原画像とメイク情報とを同期させて行う。
【０１８２】
ここで、Ｓ２５の処理終了後、その仮想メイク画像を画面表示する（Ｓ２６）。なお、Ｓ２２の処理において原画像でない場合（Ｓ２２において、ＮＯ）、既に動画伝送管理サーバ１２において生成された仮想メイク画像が伝送されるため、受信した仮想メイク画像をそのまま画面表示する（Ｓ２６）。
【０１８３】
また、Ｓ２３の処理において、仮想メイクアップシミュレーションを使用しない場合（Ｓ２３において、ＮＯ）、原画像をそのまま画面表示する（Ｓ２６）。なお、この場合には、送信側ユーザの素顔（すっぴん顔）が表示されてしまうため、画像表示を拒否することもできる。また、本実施形態においては、仮想メイクアップ前画像と仮想メイクアップ後画像とを切り替えて表示させることもできる。
【０１８４】
また、Ｓ２６の処理が終了後、テレビ電話を終了するか否かをユーザの指示より判断し（Ｓ２７）、テレビ電話を終了しない場合（Ｓ２７において、ＮＯ）、Ｓ２１に戻り、後続の処理を行う。
【０１８５】
また、Ｓ２７の処理において、テレビ電話を終了する場合（Ｓ２７において、ＹＥＳ）、本実施形態における受信処理を終了する。
【０１８６】
なお、第２の実施形態では、Ｓ２４の処理において、仮想メイクフレームを取得し、Ｓ２５の処理において、原画像フレームと仮想メイクフレームとを合成し、Ｓ２６の処理において合成した仮想メイク画像を画面表示する。なお、合成の際には、仮想メイクフレームが原画像フレームよりも上面にくるように重ね合わせて合成を行う。
【０１８７】
ここで、上述した各実施形態では、素顔に仮想メイクアップした内容について説明するが、本発明においてはこの限りではなく、例えば、ユーザがファンデーションと口紅のみを実際に塗布しているのであれば、他のメイク部分（例えばマスカラやアイシャドウ、チーク等）を仮想メイクして、その部分のみの画像フレーム等を送信するようにしてもよい。
【０１８８】
また、各実施形態における仮想メイクアップシミュレーションで用いられるデータとしては、例えば、「カメラ等で取り込んだ顔の画像（フレーム）」、「その顔画像から解析、抽出した、顔パーツの位置、角度等のジオメトリ情報」、「その顔画像から抽出した顔パーツの形状データ（ベクターデータ）」、「メーキャップ塗布データ（８ｂｉｔアルファーチャネルデータ）」等のデータから成り立っている。
【０１８９】
また、仮想メイクアップシミュレーションの原理では、上述したデータのうち、最初の顔画像（フレーム）１つに対し、２番目のジオメトリデータを１つ対応させるように生成し、その位置に３番目及び４番目のデータを使用し、メーキャップ塗布データを作成する。つまり、顔画像データ（フレーム）の上にデータを合成計算することにより（アルファチャネル）顔画像静止画にメーキャップを施した画像を生成することができる。また、動画メイクアップの場合は、上述した原理により生成される静止画（フレーム）を１秒間に１５〜３０フレームずつ連続的に表示することにより、動画によるメイクアップシミュレーションが可能となる。
【０１９０】
また、仮想メーキャップシミュレーション実現のための画像伝送方式としては、例えば、Ｈ．２６４方式等の圧縮方式、又はＣＤＭＡ−ＥＶＤＯを始めとする各種デバイスによる動画送信の方法等が適用可能であり、特殊な動画フォーマットを作成したり、送付方式を新たに制定することは困難なばかりでなく、既存の流れを混乱させることとなる。そのため、既存の動画送信方法はそのまま（フレーム方式である限り）で、マスクデータのみを画像データ（フレーム）と同期をとりながら同一回線（インターネット、ＣＤＭＡ等）上で送付し、受信側で合成することにより実現する。
【０１９１】
なお、既存の動画送受信システムに必要な処置としては、送信側では、既存の動画送信システムからフレーム毎のビットマップデータを出力する仕組みの追加が必要となる。
【０１９２】
また、本発明の実施形態に示したように、フレーム番号出力の仕組みの追加フレーム番号を既存システムに入力する仕組みの追加、既存の動画送信システムから入力したフレーム毎のビットマップデータを出力する仕組みの追加等を行う
また、動画の表示の場合は、予め設定されたインタフェースを利用し、送信側では取得したビットマップデータによる解析、抽出を行い、マスクデータを作成する。更に、フレーム毎の同期を取りながら送付する。受信側では受け取ったフレーム番号のビットマップデータを取得し、マスクデータによるメーキャップの合成を行い、画面上に表示する。
【０１９３】
上述したように本発明によれば、付加価値のある動画像を効率的に伝送することができる。具体的には、本発明によれば、インターネット等におけるテレビ電話のみならず、デジタルテレビ放送、ビデオオンデマンド等においてバーチャルな化粧を行うデジタルコスメを生成することができ、既存の動画配信技術に何ら変更を加えることなく、上述したマスクフレームと原画像からなるレイヤーとを同期（シンクロ）させることにより実現し、例えば素顔では出られない等といった現在のテレビ電話が抱える問題を解決し、テレビ電話によるグローバルなコミュニケーションの活性化を図ることができる。
【０１９４】
また、本発明は、テレビ電話やテレビ会議への適用に限定されず、例えばデジタルテレビ、インターネットテレビ等の発展によるテレビ番組の提供において、画面の表示される１又は複数の出演者に対して本発明を適用して仮想メイクを施すことで、ローコストな番組制作を実現することができる。
【０１９５】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１９６】
１０，６２ 動画伝送システム
１１，１１' 送信装置
１２ 動画管理サーバ
１３ 受信装置
１４ 通信ネットワーク
１５ 撮像装置
２１，３１，５１ 入力手段
２２，３２，５２ 出力手段
２３，３３，５３ 蓄積手段
２４ 撮像手段
２５，３８，５６ 仮想メイク画像生成手段
２６，５５ メイク情報取得手段
２７ 画面生成手段
２８，３９，５７ 送受信手段
２９，４０，５８ 制御手段
３４ 端末管理手段
３５ 送信設定手段
３６ 仮想メイク情報量取得手段
３７ 課金手段
５４ 原画像取得手段
６１ 既存動画送信システム
６３ 仮想メイク情報ＤＢ
６４ 課金ＤＢ
７０ フレーム分離手段
７１ 入力装置
７２ 出力装置
７３ ドライブ装置
７４ 補助記憶装置
７５ メモリ装置
７６ ＣＰＵ
７７ ネットワーク接続装置
７８ 記録媒体
【特許請求の範囲】
【請求項１】
通信ネットワークを介して送信装置と受信装置との間で人物の動画像を伝送する動画伝送システムにおいて、
前記送信装置は、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する送信側仮想メイク画像生成手段と、
前記送信側仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、
前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有し、
前記受信装置は、前記送信装置から前記メイク情報と前記原画像フレームとを取得し、それぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する受信側仮想メイク画像生成手段とを有することを特徴とする動画伝送システム。
【請求項２】
前記通信ネットワークを介して前記送信装置及び前記受信装置とデータの送受信が可能な動画伝送管理装置を有し、
動画伝送管理装置は、前記送信装置から前記メイク情報を取得し、取得した前記メイク情報のデータ量を取得するデータ量取得手段と、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段とを有することを特徴とする請求項１に記載の動画伝送システム。
【請求項３】
前記メイク情報取得手段は、
前記送信側仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする請求項１又は２に記載の動画伝送システム。
【請求項４】
前記動画伝送管理装置は、
前記受信装置毎に予め設定されたユーザ情報又は送信設定内容に基づいて、前記メイク情報の内容を変更し、変更されたメイク情報を送信することを特徴とする請求項２又は３に記載の動画伝送システム。
【請求項５】
前記動画伝送管理装置は、
前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信することを特徴とする請求項２乃至４の何れか１項に記載の動画伝送システム。
【請求項６】
通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置において、
撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段と、
前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、
前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有することを特徴とする送信装置。
【請求項７】
前記メイク情報取得手段は、
前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする請求項６に記載の送信装置。
【請求項８】
通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置において、
前記送信装置にて撮影された原画像フレームを取得する原画像取得手段と、
前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段と、
前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段とを有することを特徴とする受信装置。
【請求項９】
通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置において、
前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段と、
前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段と、
前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段とを有することを特徴とする動画伝送管理装置。
【請求項１０】
前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする請求項９に記載の動画伝送管理装置。
【請求項１１】
通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置における送信プログラムにおいて、
コンピュータを、
撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段、
前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段、及び、
前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段として機能させるための送信プログラム。
【請求項１２】
前記メイク情報取得手段は、
前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする請求項１１に記載の送信プログラム。
【請求項１３】
通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置における受信プログラムにおいて、
コンピュータを、
前記送信装置にて撮影された原画像フレームを取得する原画像取得手段、
前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段、及び、
前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段として機能させるための受信プログラム。
【請求項１４】
通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置における動画伝送管理プログラムにおいて、
コンピュータを、
前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段、
前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段、及び、
前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段として機能させるための動画伝送管理プログラム。
【請求項１５】
前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする請求項１４に記載の動画伝送管理プログラム。
【請求項１】
通信ネットワークを介して送信装置と受信装置との間で人物の動画像を伝送する動画伝送システムにおいて、
前記送信装置は、撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する送信側仮想メイク画像生成手段と、
前記送信側仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、
前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有し、
前記受信装置は、前記送信装置から前記メイク情報と前記原画像フレームとを取得し、それぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する受信側仮想メイク画像生成手段とを有することを特徴とする動画伝送システム。
【請求項２】
前記通信ネットワークを介して前記送信装置及び前記受信装置とデータの送受信が可能な動画伝送管理装置を有し、
動画伝送管理装置は、前記送信装置から前記メイク情報を取得し、取得した前記メイク情報のデータ量を取得するデータ量取得手段と、前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段とを有することを特徴とする請求項１に記載の動画伝送システム。
【請求項３】
前記メイク情報取得手段は、
前記送信側仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする請求項１又は２に記載の動画伝送システム。
【請求項４】
前記動画伝送管理装置は、
前記受信装置毎に予め設定されたユーザ情報又は送信設定内容に基づいて、前記メイク情報の内容を変更し、変更されたメイク情報を送信することを特徴とする請求項２又は３に記載の動画伝送システム。
【請求項５】
前記動画伝送管理装置は、
前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信することを特徴とする請求項２乃至４の何れか１項に記載の動画伝送システム。
【請求項６】
通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置において、
撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段と、
前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段と、
前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段とを有することを特徴とする送信装置。
【請求項７】
前記メイク情報取得手段は、
前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする請求項６に記載の送信装置。
【請求項８】
通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置において、
前記送信装置にて撮影された原画像フレームを取得する原画像取得手段と、
前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段と、
前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段とを有することを特徴とする受信装置。
【請求項９】
通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置において、
前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段と、
前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段と、
前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段とを有することを特徴とする動画伝送管理装置。
【請求項１０】
前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする請求項９に記載の動画伝送管理装置。
【請求項１１】
通信ネットワークを介して所定の受信装置に対して動画像を伝送する送信装置における送信プログラムにおいて、
コンピュータを、
撮像手段により撮影された前記人物の顔を含む原画像に対して、前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成する仮想メイク画像生成手段、
前記仮想メイク画像生成手段により得られる仮想メイク画像のメイク情報を取得するメイク情報取得手段、及び、
前記メイク情報取得手段により得られるメイク情報と元の原画像フレームとを別々に前記受信装置に送信する送信手段として機能させるための送信プログラム。
【請求項１２】
前記メイク情報取得手段は、
前記仮想メイク画像生成手段により得られる仮想メイク画像から、顔のパーツの輪郭情報及び塗布エリアを含むベクターデータと、メイクテクニックに関する数値情報を含むパラメータ情報とを有するメイク情報を取得することを特徴とする請求項１１に記載の送信プログラム。
【請求項１３】
通信ネットワークを介して所定の送信装置から送信された動画像を受信する受信装置における受信プログラムにおいて、
コンピュータを、
前記送信装置にて撮影された原画像フレームを取得する原画像取得手段、
前記送信装置にて処理された前記原画像フレームに対する仮想メイク画像の生成により得られるメイク情報と取得するメイク情報取得手段、及び、
前記原画像取得手段により得られる前記原画像フレームと前記メイク情報取得手段により得られるメイク情報とにそれぞれに付加されている識別情報又は時間情報に基づいて、前記原画像フレームに同期した前記メイク情報を反映させて前記仮想メイク画像を生成する仮想メイク画像生成手段として機能させるための受信プログラム。
【請求項１４】
通信ネットワークを介して送信装置と受信装置との間で送受信される人物の動画像を管理する動画伝送管理装置における動画伝送管理プログラムにおいて、
コンピュータを、
前記送信装置において、撮像手段により撮影された前記人物の顔を含む原画像に対して前記顔の所定の位置に仮想メイクアップを施した仮想メイク画像を生成した際に得られるメイク情報のデータ量を取得するデータ量取得手段、
前記データ量取得手段により得られるデータ量に基づいて、前記動画像の伝送に対する課金を行う課金手段、及び、
前記受信装置に対応させて前記メイク情報の内容を変更し、変更されたメイク情報を送信させる送信設定手段として機能させるための動画伝送管理プログラム。
【請求項１５】
前記受信装置のユーザ情報を抽出し、抽出した前記ユーザ情報に基づいて、通話中の前記受信装置に対して前記メイク情報が送信可能な否かを判断し、送信可能な場合に前記メイク情報を送信させる端末管理手段を有することを特徴とする請求項１４に記載の動画伝送管理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２２８９３６（Ｐ２０１１−２２８９３６Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９６９４９（Ｐ２０１０−９６９４９）
【出願日】平成２２年４月２０日（２０１０．４．２０）
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２０日（２０１０．４．２０）
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【Ｆターム（参考）】
[ Back to top ]