画像合成装置、画像合成方法及び画像合成プログラム
【課題】人物と背景を動画像に合成する装置を提供する。
【解決手段】人物実動画像入力・記憶手段、背景実動画像入力・記憶手段、光環境実動画像入力・記憶手段、人物の顔の表面反射特性情報入力・記憶手段、人物画像抽出手段、人物および顔の三次元形状情報に基づいて顔の追跡情報を求める追跡処理手段、背景の実動画像に応じた光環境情報を求める光環境情報処理手段、顔の陰影情報及び顔の表面反射情報を求める合成顔画像情報処理手段、顔画像から肌情報を求める肌情報処理手段、肌情報と顔の陰影情報と顔の表面反射情報に基づき顔の合成画像を合成する顔画像合成処理手段、顔の合成画像と人物画像及び背景の実動画像に基づいて人物背景合成動画像を合成する人物背景動画像合成処理手段とを具備する。
【解決手段】人物実動画像入力・記憶手段、背景実動画像入力・記憶手段、光環境実動画像入力・記憶手段、人物の顔の表面反射特性情報入力・記憶手段、人物画像抽出手段、人物および顔の三次元形状情報に基づいて顔の追跡情報を求める追跡処理手段、背景の実動画像に応じた光環境情報を求める光環境情報処理手段、顔の陰影情報及び顔の表面反射情報を求める合成顔画像情報処理手段、顔画像から肌情報を求める肌情報処理手段、肌情報と顔の陰影情報と顔の表面反射情報に基づき顔の合成画像を合成する顔画像合成処理手段、顔の合成画像と人物画像及び背景の実動画像に基づいて人物背景合成動画像を合成する人物背景動画像合成処理手段とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、別々に撮像した人物の動画像と背景動画像とを合成する画像合成装置、方法及びプログラムに関する。
【背景技術】
【０００２】
画像合成技術の進歩に伴って、テレビジョン撮影等においては、人物画像と背景画像とを別々に撮像し、人物画像に対して特定の閾値で該人物画像の人物領域のみを抽出し、抽出した人物領域と前記背景画像とをクロマキー合成し、該人物があたかもその背景の撮像場所にいるかのように合成する技術が実用化されている。しかし、この技術においては、人物の表面に現れる陰影が、背景画像の照明条件に応じて現れていないため、不自然な画像となる一つの課題を有していた。
【０００３】
このような課題を改善する技術として、例えば、特許文献１に記載の技術が提案されている。この技術は、対象となる物体の表面色を拡散反射成分と鏡面反射成分に分離するとともに、それらの信頼度を計算した上で、反射モデルを適用して各画像における法線方向を復元し、該法線方向により与えられた照明方向と前記反射モデルによって照明方向、すなわち陰影を修正した画像を生成するものである。
【０００４】
【特許文献１】特開平５−２３３８２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術は、画像中のまとまった領域に対する統計処理で対象物の色を推定するため、例えば車のようにある程度広い領域で均一な色になっていることが期待できる対象物に対してはうまく機能するが、人の肌のように細かな周期で色合いが変化し、それが見る人の印象に影響を与える対象物に対してはうまく機能させることができなかった。
【０００６】
本発明は、上記従来の課題に鑑みてなされたものであり、別々に撮像された人物と背景とを、あたかも同じ場所で撮像されたと同様の自然な動画像に合成することができる画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、人物の実動画像に基づいて合成された該人物の顔の合成画像を、前記人物の実動画像とは別に撮像された背景の実動画像と合成する画像合成装置であって、
前記人物の実動画像を入力又は記憶する人物実動画像入力・記憶手段と、
前記背景の実動画像を入力又は記憶する背景実動画像入力・記憶手段と、
前記背景の実動画像とともに撮像された該背景の光環境実動画像を入力又は記憶する光環境実動画像入力・記憶手段と、
前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる前記人物の顔の表面反射特性情報を入力又は記憶する表面反射特性情報入力・記憶手段と、
前記人物実動画像入力・記憶手段に記憶された前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理手段と、
抽出された前記人物画像、及び前記表面反射特性情報入力・記憶手段が入力又は記憶した前記顔の三次元形状情報に基づいて、前記人物の顔画像、並びに前記人物の顔の特定部位の位置情報及び該顔の方向情報からなる顔の追跡情報を求める追跡処理手段と、
前記光環境実動画像入力・記憶手段が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理手段と、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理手段と、
前記人物の顔画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理手段と、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理手段と、
前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理手段とを具備する画像合成装置を提供することにより、前記目的を達成したものである。
【０００８】
また、本発明は、人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶するデータ入力・記憶処理ステップと、
前記光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理ステップと、
前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理ステップと、
前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理ステップと、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理ステップと、
前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理ステップと、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理ステップと、
前記顔の合成画像、前記人物画像、及び前記背景の実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理ステップとを具備する画像合成方法を提供するものである。
【０００９】
また、本発明は、コンピュータに、人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶手段に記憶させるデータ入力・記憶処理機能と、人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理機能と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理機能と、光環境実動画像の各フレーム画像に基づいて、記憶された前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理機能と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理機能と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理機能と、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理機能と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理機能とを実現させる画像合成プログラムを提供するものである。
【発明の効果】
【００１０】
本発明によれば、別々の場所で撮像された人物の顔画像と背景画像とを、背景画像と略同じ照明条件で合成することができるので、得られた合成動画像は、人物と背景との間の光の反射具合等に違和感がなく、当該人物と背景とがあたかも同じ撮影場所で自然に撮像されたような動画像を合成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の画像合成装置を、その好ましい一実施形態に基づいて説明する。
【００１２】
図１は、本発明の画像合成装置の一実施形態を示すものである。本実施形態の画像合成装置は、人物の実動画像（以下、人物実動画像ともいう。）に基づいて合成された該人物の顔の合成画像を含む人物画像を、前記人物実動画像とは別に撮像された背景の実動画像（以下、背景実動画像ともいう。）と合成するものである。
【００１３】
図１に示すように、画像合成装置１は、前記人物実動画像を入力又は記憶する人物実動画像入力・記憶手段１１と、前記背景実動画像を入力又は記憶する背景実動画像入力・記憶手段１２と、前記背景の実動画像とともに撮像した該背景の光環境実動画像を入力又は記憶する光環境実動画像入力・記憶手段１３と、前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる前記人物の顔の表面反射特性情報を入力又は記憶する顔の表面反射特性情報入力・記憶手段１４と、人物実動画像入力・記憶手段１１に記憶された前記人物実動画像の各フレーム画像から前記人物画像（人物領域画像）を抽出する人物画像抽出処理手段２１と、抽出された前記人物画像、及び表面反射特性情報入力・記憶手段１４が入力又は記憶した前記顔の三次元形状情報に基づいて、前記人物の顔画像（顔領域画像）、並びに前記人物の顔の特定部位の位置情報及び該顔の方向情報からなる顔の追跡情報を求める追跡処理手段２２と、前記光環境実動画像入力・記憶手段１３が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じて光源を点光源に近似させた光環境情報を求める光環境情報処理手段２３と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理手段２４と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理手段２５と、前記陰影成分情報からその高周波陰影成分情報を求めた上で、前記肌情報、前記高周波陰影成分情報、前記顔の陰影情報及び表面反射情報に基づいて、前記顔の合成画像を合成する陰影成分情報処理手段２６兼顔画像合成処理手段２７と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理手段２８と、前記人物背景合成動画像を表示する動画像表示処理手段２９とを具備している。
【００１４】
以下、本実施形態の画像合成装置１を更に詳しく説明する。
上記各手段１１〜１４及び２１〜２９を具備する本実施形態の画像合成装置１は、図２に示すように、コンピュータ１０における中央処理装置（以下「ＣＰＵ」という）１０Ａが、基本ソフトウェア（ＯＳ）とともに作動する画像合成プログラム（以下、単にプログラムともいう。）１００に基づいて実行するように構成されている。
【００１５】
プログラム１００は、コンピュータ１０に、前記各手段１１〜１４及び２１〜２９を実行させるために、前記各実動画像及び前記表面反射特性情報を前記各入力・記憶手段１１〜１４にそれぞれ入力又は記憶させるデータ入力・記憶処理機能１０１と、人物実動画像の各フレーム画像から前記人物画像を抽出する人物画像抽出処理機能１０２と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記顔の追跡情報を求める追跡処理機能１０３と、光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じて、光源を点光源に近似させた光環境情報を求める光環境情報処理機能１０４と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理機能１０５と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる前記肌情報を求める肌情報処理機能１０６と、前記陰影成分情報から高周波陰影成分情報を求める陰影成分情報処理機能１０７と、前記肌情報、前記高周波陰影成分情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理機能１０８と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理機能１０９と、人物背景合成動画像を表示手段に表示させる動画像表示処理機能１１０とを実現させたプログラムである。
【００１６】
画像合成装置１は、中央演算処理装置（ＣＰＵ）１０Ａ、メインメモリ（ＲＡＭ）１０Ｂ、画像処理プロセッサ（ＧＰＵ）１０Ｃ、ビデオメモリ（ＶＲＡＭ）１０Ｄ、チップセット１０Ｅ、ファイル記憶装置（ＨＤＤ）１０Ｆ、表示装置（モニター）１０Ｇ、表面反射特性情報入力装置１０Ｈ、入力装置１０Ｉ及びこれらの間を接続するバス１０Ｊを備えたコンピュータ１０と、人物実動画像入力装置（ビデオカメラ）１０Ｋと、背景実動画像入力装置（ビデオカメラ）１０Ｌ、光環境実動画像入力装置（ビデオカメラ）１０Ｍとで構成されている。画像合成装置１は、本実施形態のように、汎用のＣＰＵを備えた汎用のコンピュータで構成してもよいし、専用のＣＰＵを備えた画像合成処理専用のコンピュータとして構成してもよい。
【００１７】
人物実動画像入力装置１０Ｋ、背景実動画像入力装置１０Ｌ及び光環境実動画像入力装置１０Ｍは、それぞれビデオカメラ等の撮像手段で構成し、画像合成に使用される実動画像を各装置からリアルタイムに取得することもできるし、ファイル記憶装置１０Ｆに格納可能な動画ファイルにコンピュータ１０ないしこれとは別に用意したコンピュータを用いて変換しておき、画像合成に使用されるデータをファイル記憶装置１０Ｆから取得することもできるし、これらの取得法を組み合わせることもできる。
本実施形態においては、以下に説明するように、人物実動画像入力装置１０Ｋからは動画像をリアルタイムに取得し、背景実動画像入力装置１０Ｌ、光環境実動画像入力装置１０Ｍ及び表面反射特性情報入力装置１０Ｈからは実動画像を所定の動画ファイルとして予めファイル記憶装置１０Ｆに格納し、これらのデータによって画像合成を行う。このようなデータ取得法の組み合わせは、コンピュータによる演算処理の負荷を軽減することができるので、リアルタイム処理を実現する上で好ましい。本実施形態におけるようなリアルタイムな処理は、画像処理系記述言語（例えばＯｐｅｎＧＬ（米国シリコングラフィックス社の登録商標）やＤｉｒｅｃｔＸ（米国マイクロソフト社の登録商標））を用い、ＧＰＵ１０Ｃの機能を利用することで、実装が可能となる。
【００１８】
ＣＰＵ１０Ａは、メインメモリ１０Ｂに記憶されたプログラム１００を解釈してその指令内容を実行する所定の演算処理回路を備えている。メインメモリ１０Ｂは、基本ソフトウェアＯＳ、プログラム１００並びにＣＰＵ１０Ａ及びＧＰＵ１０Ｃで使用される処理用データ等が記憶される記憶装置である。本実施形態では、ＧＰＵ１０Ｃの演算処理用にメモリ（図示せず）を備えているので、ＧＰＵ１０Ｃでの処理用データはこのメモリに記憶される。ＧＰＵ１０Ｃは、最終的な動画像の合成を含む画像処理をＣＰＵ１０Ａに代わって行う専用の演算処理回路を備えた演算処理装置である。ビデオメモリ１０Ｄは、ＧＰＵ１０Ｃで行った画像処理の結果最終的に表示される画像を記憶するメモリである。チップセット１０Ｅは、制御回路が集積された複数の集積回路（ＬＳＩ）であり、ＣＰＵ１０Ａとそれに接続される周辺デバイスとの間に介装される。ファイル記憶装置１０Ｆは、画像処理に必要な各情報が所定のファイル形式で記憶された補助記憶装置である。表示装置１０Ｇは、ＧＰＵ１０Ｃで画像処理された画像がビデオメモリ１０Ｄを介して表示される表示装置である。人物実動画像入力装置１０Ｋは、合成対象となる人物の実動画像をリアルタイムで入力する装置である。背景実動画像入力装置１０Ｌ、光環境実動画像入力装置１０Ｍ及び表面反射特性情報入力装置１０Ｈは、所定のファイル形式でファイル記憶装置１０Ｆに取り込まれて蓄積されるべき各動画像及び情報を入力する装置である。入力装置１０Ｉは、オペレータによる各種の入力操作行う装置である。バス１０Ｊは、それぞれの通信プロトコルに応じて各回路・装置を通信可能に接続している。
本実施形態の画像合成装置１においては、基本ソフトウェアＯＳ及びプログラム１００と協働することにより、ＣＰＵ１０Ａ及び／又はＧＰＵ１０Ｃが主として上記各処理手段２１〜２８として機能し、人物実動画像入力装置１０Ｋ及び／又はファイル記憶装置１０Ｆが主として上記各入力・記憶手段１１〜１４として機能する。
動画像を記憶装置に保存する際のファイル形式には、ＭＰＥＧ形式やＱｕｉｃｋ Ｔｉｍｅ形式、ＡＶＩ形式等の様々なファイル形式を採用することができるが、画質の劣化が起こらない可逆変換に基づくファイル形式が好ましく、その中でも一般的に用いられており、汎用性に優れている非圧縮ＡＶＩ形式がより好ましい。
【００１９】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ファイル記憶装置１０Ｆ、人物実動画像入力装置１０Ｋ、及び表面反射特性情報入力装置１０Ｈ等と協働し、データ入力・記憶処理機能１０１により、人物実動画像入力装置１０Ｋから前記人物実動画像、ファイル記憶装置１０Ｆから前記背景実動画像、前記背景の光環境動画像、及び前記人物の顔の表面反射特性情報をＧＰＵ１０Ｃ上のデータ記憶部にそれぞれ記憶させることを実現させている。
【００２０】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ等と協働し、人物画像抽出処理機能１０２により、人物実動画像の各フレーム画像から前記人物画像を抽出することを実現させている。
【００２１】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、追跡処理機能１０３により、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記顔の追跡情報を求めることを実現させている。
【００２２】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、光環境情報処理機能１０４により、光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じて、光源を点光源に近似させた光環境情報を求めることを実現させている。
【００２３】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、合成顔画像情報処理機能１０５により、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求めることを実現させている。
【００２４】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、肌情報処理機能１０６により、前記人物の顔画像から、前記色成分情報及び前記陰影成分情報からなる肌情報を求めることを実現させている。
【００２５】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、陰影成分情報処理機能１０７により、前記陰影成分情報から前記高周波陰影成分情報を求めることを実現させている。
【００２６】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、顔画像合成処理機能１０８により、前記肌情報、前記高周波陰影成分情報、前記顔の陰影情報及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成することを実現している。
【００２７】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、人物背景合成動画像合成処理機能１０９により、前記顔の合成画像、前記人物画像、及び前記背景実動画像から前記人物背景合成動画像を合成することを実現している。
【００２８】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ、ビデオメモリ１０Ｄ、ファイル記憶装置１０Ｆ及び表示装置１０Ｇと協働し、動画像表示処理機能１１０により、前記人物背景合成動画像を表示装置１０Ｇに表示させることを実現させている。
プログラム１００は、本実施形態のように汎用のコンピュータシステムにインストールされて使用される場合には、プログラムのインストーラーとともに記録媒体に記録されて提供される。また、画像合成処理専用の専用コンピュータに組み込まれる場合には、不揮発メモリに記録されて提供される。
【００２９】
次に、本発明の画像合成方法を好ましい実施形態に基づいて説明する。
図３〜図７に示すように、本実施形態の画像合成方法は、人物実動画像とは別に撮像された背景実動画像、前記背景実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力し記憶するデータ入力・記憶処理ステップＳ１と、前記光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理ステップＳ２と、前記人物実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理ステップＳ３と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理ステップＳ４と、前記人物の顔画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理ステップＳ５と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び顔の表面反射情報を求める合成顔画像情報処理ステップＳ６と、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理ステップＳ７と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理ステップＳ８とを具備する。
【００３０】
以下、本実施形態の画像合成方法を、前記画像合成装置１を使用した画像合成方法に基づいて詳しく説明する。
画像合成装置１では、図３に示すように、先ず、データ入力・記憶処理ステップＳ１において、ＣＰＵ１０Ａが、プログラム１００におけるデータ入力・記憶処理機能１０１により、対象となる人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を、背景実動画像入力装置１０Ｌ、光環境実動画像入力装置１０Ｍ及び表面反射特性情報入力装置１０Ｈから得た上で、所定のファイル形式にてファイル記憶装置１０Ｆに予め記憶させる。
【００３１】
背景実動画像入力装置１０Ｌ及び光環境実動画像力装置１０Ｍによって入力される背景実動画像及び光環境実動画像は以下のようにして取得される。
【００３２】
図８に示すように、背景の実動画像を撮像する背景撮像用のビデオカメラＶ１と、該背景の光環境実動画像を撮像するビデオカメラＶ２とを、それらのレンズの光軸Ｘが同一直線状に位置するように前後に間隔をおいて設置する。これらのビデオカメラＶ１、Ｖ２の間に、表面が鏡面加工された球体Ｓをその中心に前記光軸Ｘが通るように設置する。カメラＶ２のフォーカスは、球体Ｓ上に映る像が最も鮮明になるように合わせる。カメラＶ１及びＶ２、球体Ｓは、撮像中は互いの相対位置が変わらないように固定される。背景実動画像は、定点に静止した状態で撮像してもよいし、移動しながら撮像してもよい。ビデオカメラＶ１は、後に人物実動画像を撮影するカメラと同じ機種であることが好ましい。ビデオカメラＶ１及びＶ２は、カラー（ＲＧＢ）での撮像が可能であれば、アナログ式、ディジタル式の何れのビデオカメラでも良いが、後のデータの取り扱い等を考慮すると、ディジタル式のビデオカメラが好ましい。
【００３３】
ビデオカメラＶ２で撮像される光環境実動画像は、中央に大きく球体Ｓが撮像され、その周辺に背景も撮像されるが、後述する光環境情報処理に用いられるのは、球体Ｓの部分の画像である。撮像された画像中、球体Ｓには、周囲の風景が歪んで映し出される。球体Ｓの表面では鏡面反射（入射角と反射角が完全に等しい反射）が起こっていることから、球体Ｓの部分の画像は、各対応する方向からどれだけの光が入ってきたかを表している。球体Ｓの形状は完全に幾何学的に表現できるので、球体Ｓの各部位を通してビデオカメラＶ２に入ってくる光が、どの方角から来た光であるかは、完全に特定することができる。
【００３４】
本実施形態においては、背景実動画像及び光環境実動画像は、予め動画ファイルとしてファイル記憶装置１０Ｆに記憶されるので、ビデオカメラＶ１及びＶ２は、コンピュータ１０に接続されていなくてもよいが、これらのビデオカメラを前記背景実動画像入力装置１０Ｌ及び光環境実動画像入力装置１０Ｍとし、それらから実動画像を取り込んでリアルタイム処理により画像合成を行うこともできる。この場合には、これらのビデオカメラＶ１及びＶ２は、ＩＥＥＥ１３９４等のインターフェースを介してコンピュータ１０に接続される。また、ビデオカメラＶ１及びＶ２から取得される各動画像は、同期が取れている必要がある。この同期させる方法に特に制限はないが、簡便な方法としては、例えば、撮像の前後にストロボを光らせた画像も取得し、該ストロボが光った時間が揃うように同期させる方法がとられる。
【００３５】
画像合成装置１では、光環境情報処理ステップＳ２（図３参照）において、ＣＰＵ１０Ａが、プログラム１００における光環境情報処理機能１０４により、光環境情報を求める。本実施形態では、ファイル記憶装置１０Ｆに記憶された前記光環境実動画像の各フレーム画像について、仰角・方位角が二次元（ｘ、ｙ）座標となるように座標変換を行った後、前記背景実動画像の各フレーム画像に応じて光源を点光源に近似させた光環境情報を求める。背景実動画像から前記球体Ｓの領域を抽出する方法に特に制限はない。本実施形態では、前記球体Ｓの境界が明瞭に見えるような条件で予め撮影を行い、そのときに得られる１フレーム画像から市販の画像処理ソフトウェアを使用して前記境界がなす円周の前記画像中における位置を取得することにより行う。前記ビデオカメラＶ２と前記球体Ｓの相対位置が変わらなければ、前記背景実動画像中における前記球体Ｓが占める位置も変わらないので、前記球体Ｓの領域は、前記円周により抽出することができる。
【００３６】
本実施形態では、この光環境情報は、メジアンカット法（Debevec,P. 2005. A median cut algorithm for light probe sampling. In Proceedings of SIGGRAPH 2005 Conference Abstracts and Applications(Poster), ACM Press/ACM SIGGRAPH, Computer Graphics Proceedings, Annual Conference Series, ACM.）に基づいて次のように求められる。
【００３７】
先ず、近似に用いる点光源の数を設定する。この点光源の数は、光環境実動画像の構造の細かさ及び合成する顔の光反射特性における光沢の幅に基づいて２n（２、４、８、１６、３２、６４、・・・）の中から予め設定される。そして、図９に示したように、ＣＰＵ１０Ａが、設定された光源の数に応じて下記処理１〜処理４を行う。
処理１：画像全体を唯一の矩形領域としてリストに載せる。つまり、プログラム中において、要素数が可変で、各要素が画像中の任意の矩形領域を表す配列を用意し、その一つ目の要素に画像全体を割り当てる。具体的には、ピクセル数で数えたときに画像の幅がＷ、画像の高さがＨであったとき、画像中の各ピクセルの座標を（ｘ，ｙ）で表現し、画像全体の左上を（１，１）、右下を（Ｗ，Ｈ）となるように座標系をとることで配列の各要素に任意の矩形領域を割り当てる。任意の矩形領域の左上の座標が（ｘ１，ｙ１）、右下の座標が（ｘ２，ｙ２）であった場合、（ｘ１，ｙ１，ｘ２，ｙ２）の４要素の数列によりこの矩形領域を特定することができるので、各要素に４つの数列を格納できるようにしておけばよい。画像全体を唯一の矩形領域としてリストに載せるとは、前記手法に従えば、要素数がただ１つの配列を用意し、その唯一の要素を（１，１，Ｗ，Ｈ）とすればよい。
処理２：前記リストに載っている各矩形領域をその領域の短辺に平行な境界線で２つに分割（区分）する。前記境界線による分割は、分割後の各領域の光量が等しくなるように行われる。本実施形態では、光環境実動画像はＲＧＢの３チャンネルで得られており、各ピクセルにおける光量Ｙは、ＩＴＵ−ＲのＢＴ．７０９に従うものとされ、ＲＧＢとの関係で、次式（１）によって求められる。
Ｙ＝０．２１２５Ｒ＋０．７１５４Ｇ＋０．０７２１Ｂ （１）
処理３：上記処理２が点光源の数に応じてｎ回繰り返され、その結果もとの画像は２nの領域に分割される。
処理４：各領域内の光の重心を求め、そこに該領域中の光量の総和に相当する点光源があると近似する。ここで、光の重心とは具体的には、前記座標系における座標（ｘ，ｙ）の前記光量をＹ（ｘ，ｙ）で表すとき、重心ｘｃ、ｙｃは、ｘｃ＝Σ（ｘ×Ｙ（ｘ，ｙ）
）／ΣＹ（ｘ，ｙ）及びｙｃ＝Σ（ｙ×Ｙ（ｘ，ｙ））／ΣＹ（ｘ，ｙ）で求まる。ただ
し、Σは該領域の全てのピクセルにわたる総和を表す。
本実施形態のように、光環境実動画像を予め取得し、動画ファイルとして格納しておく場合には、この処理は予め済ませておくことができる。これにより処理を行うときのコンピュータに対する計算負荷を軽減させることができる。
【００３８】
顔の表面反射特性情報には、顔の三次元形状情報、法線情報、及び光反射特性情報（光沢の光反射特性情報）が含まれている。該光反射特性情報を表す関数は双方向反射関数（ＢＲＤＦ）と呼ばれており、ある方向から光を照射したときにどの向きにどの程度光が反射するかを表す関数で、一般には入射方向と出射方向に依存した複雑な形となる。ただし知覚的には、光沢は強度及び幅でほぼ表現できることが知られているので、実用上はＢＲＤＦの光沢成分を強度及び幅の２つのパラメータを含むモデルで近似したときのそれぞれのパラメータの値を光反射特性情報としても差し支えなく、本実施形態においても光沢の強度及び幅を光反射特性情報とする。本実施形態では、表面反射特性情報は、以下に説明する表面反射特性測定装置（以下、測定装置という。）Ａにより測定されるデータに基づいて算出される。
【００３９】
図１０に示したように、本実施形態の測定装置Ａは、顔の光反射特性情報測定手段１Ａと、顔の三次元形状情報測定手段１Ｂと、顔の法線情報測定手段１Ｃとを具備している。
【００４０】
光反射特性情報測定手段１Ａは、顔Ｆを臨む軌道上で移動可能に垂設され、顔Ｆに線状の光を照射する可動光源２と、前記軌道に沿って移動させながら可動光源２から顔Ｆに光が照射された状態を撮像するように配設された撮像手段３と、撮像手段３で撮像された顔Ｆの前記状態の画像データに基づいて、顔Ｆの光反射特性を求める情報処理手段４とを備えている。
【００４１】
三次元形状情報測定手段１Ｂは、明暗の繰り返しからなる光学パターンを顔Ｆに投影する投影手段５を備えている。本実施形態では、撮像手段３は、顔Ｆに前記光学パターンが投影された状態を撮像するように配設されている。また、情報処理手段４は、撮像手段３で撮像された前記光学パターンが投影された状態の顔Ｆの画像データに基づいて、顔Ｆの三次元形状情報を求めるように設けられている。
【００４２】
法線情報測定手段１Ｃは、定位置に固定され顔に光を照射する複数の固定光源６を備えている。本実施形態では、撮像手段３は、前記測定対象に前記各固定光源から光が照射された状態を撮像するように配設されている。また、情報処理手段４は、撮像手段３で撮像された固定光源６から顔Ｆに光が照射された状態の画像データに基づいて顔の法線情報を求めるように設けられている。
【００４３】
＜光反射特性情報測定手段１Ａ＞
測定装置は、可動光源２の位置移動、各固定光源６の点灯及び消灯、投影手段５による前記光学パターンの投影及び該光学パターンの切り替え、並びに撮像手段３での前記各状態の顔の撮像及び撮像された前記各状態の画像データの情報処理手段４への取り込みを制御する制御手段７を備えている。本実施形態では、情報処理手段４及び制御手段７は、情報処理手段４及び制御手段７として機能するコンピュータシステム（以下、単にコンピュータともいう。）８で構成されている。
【００４４】
測定装置は、測定対象となる人が座った状態で収容できる空間を形成し、且つ可動光源２の軌道となる可動ステージ及び各固定光源６が取り付けられたフレーム９を備えている。
【００４５】
可動光源２の光源は、その軌道上の任意の位置から、撮像手段３で撮像できる強度の光を測定対象に照射できるものであれば、その光源の種類に特に制限はないが、蛍光灯、発光ダイオードアレイ、ネオン管などが好ましく、さらには線光源の軸を中心に考えたときに放射光量の軸対象性に優れており、細い形態のものが容易に入手できることを考慮すると、ネオン管が好ましい。可動光源２の光源の長さは、測定対象を含んで余りある上下に充分な長さであればよい。
【００４６】
可動光源２の軌道は、測定対象の外形、光源の形状、光源を動かす可動ステージの形態に応じて設定される。本実施形態では、可動光源２の軌道は、測定装置を平面視したときに測定対象に対して左右対称で且つ測定対象に対して開く略Ｖ字状の２本の軌道とされている。可動ステージとしては直線状に動かすものが容易に入手可能であり、それらを２つ組み合わせて測定対象を取り囲むように配置することで、可動光源２を測定対象の周囲で動かすことを実現している。可動光源をこのような略Ｖ字状の軌道に沿って移動させることによって、測定対象に向かって単に直線的に動かしたときには光沢を観察することができない部分からの光沢情報を得ることができる。なお、可動光源２の軌道は、曲線であっても良く、略円形であっても良い。
【００４７】
本実施形態では、可動光源２は、測定対象の左側を移動する光源２Ａと、測定対象の右側を移動する光源２Ｂとの二つの光源を備えている。測定開始時には、これらの光源は測定対象から見てそれぞれ左後方、右後方の定位置にある。ネオン管は点灯直後には光強度の安定性があまりよくなく、光源点灯直後は揺らぎは大きくなってしまうが、光源の強度の揺らぎは取得する光反射特性情報に強く影響を与える。そのため、これらの光源は装置起動時に点灯しておき、使用していない間は定位置に配置しておく。さらに、この定位置から測定対象を見込む方向には遮蔽板２１Ａ及び２１Ｂを設置しておき、光源が定位置にある間は点灯していても測定対象を照らさないようにしておく。
【００４８】
光源２Ａ、２Ｂは、前記可動ステージに沿って移動するキャリッジ（図示せず）に取り付けられている。該キャリッジは、制御手段７に電気的に接続されており、その駆動手段が制御手段７によって制御されることによって、光源２Ａ、２Ｂの所定の静止位置に応じて静止したり移動したりする。
【００４９】
光源２Ａ、２Ｂの測定対象への光照射のための静止位置の間隔は、光反射特性の精度を高める観点からは、短ければ短いほど良いが、それに伴い測定時間も増加するため、本実施形態のように、測定対象が人の場合など、ある場所に長時間静止し続けることが困難なものの場合は、実用上は測定時間との兼ね合いで決める。静止位置の間隔の上限は以下のようにして決める。測定対象の任意の部位の撮像手段からの見えに着目したとき、光源を移動させると光沢が認められる角度条件近傍では暗かったものが明るくなり、再び暗くなるという現象が見られる。静止位置の間隔の上限は、この明るくなる領域の幅に比べて充分に短くなる範囲で設定するのが好ましい。本実施形態においては、静止位置の間隔は前記可動ステージ上で１ｃｍとした。
【００５０】
撮像手段３は、測定対象である顔に対峙するように顔の略正面に固定される。撮像手段３は、前記各状態の測定対象である顔の全像を所定の画角に収めて撮像できるもので、充分な空間分解能を有するものであれば、特に制限はない。異なる露出で撮像できることが好ましく、さらに動画と静止画の何れも撮像できるものが好ましい。また、制御手段７によって、撮像及び撮像した画像を画像データ（電子データ）としてコンピュータ８への取り込みの制御が可能な、荷電結合素子（ＣＣＤ）や相補型酸化物半導体（ＣＭＯＳ）素子を備えたビデオカメラが好ましい。可動光源２を連続的に移動させても、露出を異にしての一連の撮像の時間の間に光源の移動が殆ど起こっていないとみなせる程度に撮像手段が高速な場合には、光源は静止することなく移動させても構わない。また、撮像手段の光量に対するダイナミックレンジが光沢の強い部分に対応するのに充分な広さを持っており、かつ光量に対する分解能が光沢の弱い部分を表すのに充分な細かさを持っている場合には、異なる露出で撮像する必要はなく、単一の露出で撮像すれば充分である。
【００５１】
撮像手段３は、後のデータ処理が簡単になるように、画素値が入射光量に対して線形になるものを用いており、さらに反射光量の大きなレンジに対応するために露出を変えて撮像できる機能を有している。
【００５２】
＜三次元形状情報測定手段１Ｂ＞
投影手段５は、顔に白黒（明暗）の横縞の繰り返しからなる光学パターンを投影する装置である。投影手段５は、その投影位置から撮像手段３で撮像できる強度の光を任意のパターンで測定対象に投影できるものであれは、その種類に特に制限はないが、容易に安価に入手できること、投影パターンを容易に設定できることを考慮すると、コンピュータに接続可能な市販のプロジェクターが好ましい。また、投影手段５は、本実施形態のように投影する光学パターンを制御手段７において自動的に変更可能なものが好ましい。
【００５３】
投影手段５の配置は、測定対象の測定したい領域中に投影パターンが投影されず影になってしまうことが起こらない範囲で、測定対象に対する撮像手段３の向きと投影手段５の向きがなるべく異なっていることが望ましい。鼻の影が発生しにくいこと、投影パターンが左右均等に投影されることを考慮すると、測定対象から見て撮像手段の下方に設置することが好ましい。
【００５４】
光学パターンにおける明暗の幅の切り替えは、制御手段７において自動的に行われる。光学パターンにおける明暗の繰り返しをどこまで細かくするかについては、得られる形状の精度向上のためには細かければ細かいほど望ましいが、投影手段の分解能、撮像手段の分解能によって限界がある。目的を考慮すると、測定対象に投影される最も細かいパターンの繰返し幅を２０ｍｍ以下とすることが好ましく、５ｍｍ以下とすることがより好ましい。投影手段及び撮像手段の分解能は、これを実現するのに充分な性能を有する必要がある。具体的には、例えば、投影パターンは空間を上下２分割したものから始めて順次分割数を倍に増やしていき、最終的には２10（＝１０２４）分割したものまでの１０のパターンを投影する。
【００５５】
＜法線情報測定手段１Ｃ＞
固定光源６の光源には、点光源が用いられる。固定光源６の光源は、その固定位置から撮像手段３で撮像できる強度の光を測定対象に照射できるものであれば、その光源の種類に特に制限はないが、点灯後すぐに強度が安定すること、耐久性に優れていることを考慮すると、発光ダイオード（ＬＥＤ）が好ましい。
【００５６】
固定光源６の向きとそのときの撮像装置３に入ってくる光量の複数の関係からフィッティングを行って法線を求めることになるので、固定光源６の数は多ければ多いほど好ましく、さらに測定対象から見て均等に配置されていることが好ましい。一方で測定時間を短縮するためには光源の数は少ないほど好ましく、少ない数で効率的にデータを取得することを考慮すると、測定対象に対して前方に、測定対象を取り囲むようにリング状に配置することが好ましい。本実施形態においては、表面反射特性に必要な精度を確保するためには、固定光源６は９個で充分であった。
【００５７】
固定光源６は、個々の光源が接続されるリレー回路（図示せず）を備えている。該リレー回路は、制御手段７に接続されており、制御手段７によって該リレー回路のオン・オフスイッチが制御されることによって、個々の光源が点灯・消灯する。
【００５８】
測定装置においては、測定対象である顔と、撮像手段３及び各固定光源６との間に、それぞれ偏光子３Ａ、６Ａが配されている。ここで、これらの偏光子は、光源側の偏光子と、撮像手段側の偏光子とで、偏光面が互いに交差するように配置されている。ここで、偏光面が互いに交差するとは、光源から照射され測定対象にあたって反射し、撮像手段に入射してくる光の光量が最も小さくなる関係にあることをいう。撮像手段側の偏光子の向きを固定し、光源側の偏光子を回転させながら撮像手段から得られる映像が最も暗くなる条件を満たす光源側の偏光子の向きをもって交差しているとみなすことができる。測定対象に対して光源と撮像手段がほぼ同じ方向にある場合、それぞれの偏光子は直交することになる。この条件のとき、光沢は表面で一回のみ反射するため、光源側の偏光子を通り測定対象で反射した光沢の偏光の向きは保たれることになり、それと直交している撮像手段側の偏光子を通過することはできない。本実施形態では、一連の操作を簡単にするために、他の撮像時にも撮像手段側の偏光子を配置したまま撮像しているが、他の撮像に用いる各光源には偏光子が配置されておらず、そのとき撮像手段側に入ってくる光は殆ど偏光していないため、他の撮像には影響しないとみなせる。
【００５９】
情報処理手段４及び制御手段７は、上述のように、これら各手段として機能するコンピュータ８で構成されている。コンピュータ８は、中央演算処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入力装置、出力装置を備えたハードウェアと、基本ソフトウェア及び基本ソフトウェアと連動して下記ステップに従って測定装置に顔の表面反射特性を算出させるプログラムを備えたソフトウェアを具備している。コンピュータ８は、ＣＰＵが前記主記憶装置に保持された前記各プログラムを解釈してその指令内容を実行し、下記ステップに従ってコンピュータ８を前記情報処理手段４及び制御手段７として機能させる。
【００６０】
＜測定手法＞
次に、前記測定装置による顔の表面反射特性の測定手法について図１０〜図１４を参照しながら説明する。
先ず、ステップＳ１１（図１１参照）において、制御手段７の制御下、投影手段５によって測定対象者の顔に前述の白黒の繰り返しからなる横縞の光学パターンが投影される。光学パターンの周期は、制御手段７によって連続的に変更され、その投影状態が撮像手段３によって連続的に撮像される。全ての光学パターンの投影状態を撮像した後、投影手段５による顔への光学パターンの投影が停止される。
【００６１】
前記光学パターンが投影された状態の顔の投影画像データは、制御手段７の制御下、情報処理手段４に取り込まれる。
【００６２】
次に、ステップＳ１２（図１１参照）において、各固定光源６が、制御手段７の制御下、所定の順番で１回ずつ点灯・消灯され、各固定光源６による顔の固定光源光照射画像が撮像手段３によって撮像される。全ての固定光源６による１回ずつの点灯・消灯が終わると、光源６の点灯・消灯が完了する。
【００６３】
各固定光源６による顔の固定光源光照射画像は、電子データ（固定光源光照射画像データ、以下、固定光源画像データともいう。）として、制御手段７の制御下、情報処理手段４に取り込まれる。
【００６４】
次に、ステップＳ１３（図１１参照）において、可動光源２の光源２Ａが、制御手段７の制御下、顔の左後方の定位置から略Ｖ字状の軌道の尖端側まで移動し、その間において所定位置で静止し、顔の可動光源光照射画像が撮像手段３によって２種類の露出条件で撮像される。光源２Ａによる光の照射及び撮影が終わると、光源２Ａは左後方の定位置に戻り、その光は遮蔽板２１Ａで遮られる。次いで、光源２Ｂが、制御手段７の制御によってまず略Ｖ字状の軌道の尖端側に移動し、しかる後Ｖ字状の軌道の尖端側から顔の右後方まで移動し、その間において所定位置で停止し、顔の可動光照射画像が撮像手段３によって２種類の露出条件で撮像される。光源２Ｂによる光の照射及び撮影が終わると、光源２Ｂは定位置に戻り、その光は遮蔽板２１Ｂで遮られる。
【００６５】
光源２Ａ、２Ｂによる顔の可動光源光照射画像は、電子データ（可動光源光照射画像データ、以下、可動光源画像データともいう。）として、制御手段７の制御下に情報処理手段４に取り込まれる。
【００６６】
上述のようにして情報処理手段４に取り込まれた投影画像データ、固定光源光照射画像データ及び可動光源光照射画像データに基づいて、顔の表面光反射特性が情報処理手段４において以下のように求められる。
【００６７】
即ち、ステップＳ１４（図１１参照）において、情報処理手段４が、該投影画像データに基づいて顔の三次元形状情報（三次元基準座標における座標情報）を演算する。測定対象に光学パターンを投影して三次元形状情報を得る方法には、光切断法、イメージエンコーダ法などがあるが、装置及び解析プログラムの構成を比較的簡単にできることから、前記投影画像データから三次元形状情報を算出する空間コード化法が好ましい。
【００６８】
本実施形態の測定装置において、上記三次元形状情報は、本実施形態では、空間コード化法（Valkenburg,R.J., et al., 1998, Accurate 3D measurement using a structured light system. Image and Vision Computing 16, 2, 99-110）によって求められる。
【００６９】
投影手段５は、１回目に上半分が暗、下半分が明のパターンを投影する。撮像手段から見える測定対象の中で、暗の状態になっている領域は上半分の空間に属し、明の状態になっている領域は下半分の空間に属していることになる。２回目に上半分、下半分をそれぞれ二分して上から順に暗−明−暗−明なる光学パターンを投影したとき、１、２回目共に暗となった領域は１番上の四分の一、１回目に暗、２回目に明となった領域は上から２番目の四分の一といったように、測定対象の各位置が属している空間を絞り込むことができる。
このことを利用して具体的には、以下のようにして形状を求める。図１２に示したように、撮像された一連の画像を元に、測定対象の各位置の状態を２進数で表す。一の位は、１回目のパターンを投影したときに撮像された画像で着目している位置が暗の状態のとき０、明の状態のとき１とする。十の位は、２回目のパターンを投影したときに撮像された画像で着目している位置が暗の状態のとき０、明の状態のとき１とする。以下、３回目のパターンを投影したときの画像と百の位、４回目のパターンを投影したときの画像と千の位というように対応させていく。これを続けていくと、撮像手段３に映し出される測定対象の各微小面に対して一つの２進数が対応することになる。この結果得られる２進数はそれぞれ、空間を横向きに薄く切断していったときの一つと対応する。一方で、測定対象のある微小面が撮像された画像のあるピクセルに現れたとき、当該微小面はそのピクセルに対応する、撮像装置から延びる直線上のどこかに属することになる。先に述べた薄く切断された空間を平面と近似した場合、得られた２進数と対応するピクセルの位置から、前記平面と前記直線の交点として測定対象の当該微小面の空間的な位置を求めることができる。
【００７０】
次に、ステップＳ１５（図１１参照）において、情報処理手段４が、該固定光源画像データ及び前記三次元形状情報に基づいて顔の法線情報を演算する。測定対象の法線を求める方法としては、三次元形状の各面の傾きから求める方法等が挙げられる。測定精度を考慮すると、法線を形状とは別の方法で求めることが望ましく、具体的にはフォトメトリックステレオ法が好ましいが、装置規模の小型化を考慮すると、前記固定光源画像データ及び前記三次元形状情報から、修正フォトメトリックステレオ法を用いるのがより好ましい。以下にその具体的な方法を説明する。
【００７１】
本実施形態の測定装置において、前記法線情報は、法線情報の算出方法（Woodha, R.J. 1980. Photometric method for determining surface orientation from multiple images. Optical Engineering 19, 1, 139-144）を元にした方法によって求められる。この算出方法において、法線情報は、具体的に以下のようにして求められる。
【００７２】
前記固定光源画像データの任意の点（座標）の法線を、顔全面に亘って、以下のようにして求める。
【００７３】
各光源６（本実施形態では９個）がそれぞれ点灯したときの固定光源画像データにおける任意の点の強度をＩｎ（ｎ＝１〜９）とし、着目点の法線ベクトルをＮとする。また、着目点に対する各光源の方向ベクトルをＤｎ（ｎ＝１〜９）とする。さらに、各光源６と着目点との距離をＬｎ（ｎ＝１〜９）とする。また、光の強度が、その点の法線と光源の向きとの内積に比例する（ランバーシアン（Lambertian））と仮定すると、光の強度の理論値Ｉｔｎは、その点の法線ベクトルＮとその点からの光源への方向ベクトルＤｎとによって、下記式（２）で表される。ただし、ｃは定数であり、単位系の取り方や光源の強度、撮像手段の露出条件などにより決まる。また、ｍａｘ（ａ，ｂ）は、ａ、ｂの何れか大きなほうの値をとることを意味する。また、ｄｏｔ（Ａ，Ｂ）は、ベクトルＡとベクトルＢの内積を表す。右辺を除するＬｎ2は、光源から発せられた光の距離による減衰の効果を表している。
Ｉｔｎ＝ｍａｘ（０，ｃ×ｄｏｔ（Ｎ，Ｄｎ））／Ｌｎ2 （ｎは１〜９） （２）
そして、Ｎをフィッティングパラメータとしたときに、この式の値が実測と最も近いときのＮの値が真値であると考え、Σ（Ｉｎ − ｍａｘ（０,ｃ×ｄｏｔ（Ｎ，Ｄｎ））／Ｌｎ2）2が最小となるように、最小自乗法によって、法線ベクトルＮを求める。
【００７４】
上述のようにして求められた三次元形状情報及び法線情報は、ステップＳ１６（図１１参照）において、ハイブリッド法と呼ばれる修正処理によってさらに修正されることが好ましい。この修正によって、三次元形状情報と法線情報の整合性が確保でき、さらに三次元形状情報と法線情報の正確さが向上する。異なる方法で得られた三次元形状情報及び法線情報の整合性を確保し、正確さを向上させる方法は現時点ではハイブリッド法が唯一の方法であるが、今後新しい方法が開発された際にはそのような方法で置き換えても良い。
【００７５】
本実施形態の測定装置Ａでは、前記三次元形状情報及び法線情報の修正方法として、ハイブリッド法（Nehab,D.,Rusinkiewicz, et al., 2005, Efficiently Efficiently combining position and normals for precise3D geometry. ACM Transactions on Graphics 24, 3, 536-543.）によって行われる。
【００７６】
具体的には、図１３に示すように、前記三次元形状情報におけるあるピクセル近傍での形状に着目したとき、該ピクセル及びそれと接している上下左右のピクセルで形成される４つの三角形を考える。それぞれのピクセルには３次元空間での位置情報が含まれているので、各三角形の法線ベクトルを求めることができる。各三角形の法線ベクトルを平均したものを該ピクセルでの法線ベクトルＮ’とする。このようにして求めた法線ベクトルＮ’は、当該文献中にも指摘されている通り、法線ベクトルＮに比べて高周波成分は精度が低く、低周波成分は精度が高いので、正確さを増すためにＮの高周波成分とＮ’の低周波成分を組み合わせて新しい法線ベクトルとする。具体的には、先ず細かな変化の情報が失われるように法線ベクトルＮ’を平滑化し、その結果をＮｓ’とする。平滑化には一般的なガウシアンフィルタを用いるが、そのフィルタの幅（すなわちカットオフ周波数）は測定対象の凹凸の細かさの程度に応じて最適な値が異なることになるので、平滑化の出力を見ながら毛穴や細かなシワに由来すると思われる構造が失われ、かつ全体の平均的な形状が歪まない値を予め選んでおく。この条件は、例えば測定対象が人の顔であれば細かな凹凸の空間周波数はあまり変わらないので、ある人の顔に関して一旦この値を選んでおけば、別の人の顔を計測する際にも同じ値を使用して構わない。本実施形態においては、１０２４×６７８ピクセルに測定対象全体が含まれる条件で撮像して取得したデータに対して、分散値が１２となるガウシアンフィルタを用いて平滑化を行っている。法線ベクトルＮも法線ベクトルＮ’と同じ平滑化条件で平滑化し、その結果をＮｓとする。そして、得られた平滑化法線ベクトルＮｓを法線ベクトルＮに一致させる回転変換を、各点について求め、この回転変換を前記平滑化法線ベクトルＮｓ’に適用し、法線ベクトルＮ”を求める。
【００７７】
次に、測定対象である顔の実形状を想定し、それと実測値すなわち前記三次元形状情報及び法線ベクトルＮ”との誤差が最小となるように形状を修正する。具体的には、実形状として最もありうる形状を修正形状情報としたときに、該修正形状情報と前記三次元形状情報との誤差の自乗和と、修正形状情報から求めた修正法線情報と前記法線ベクトルＮ”との誤差の自乗和との重み付けした和が最小となるように、修正形状情報及び修正法線情報（修正法線ベクトルＮ）を求める。重み付けの値は、測定系や測定対象により異なるので、予め当該ステップがうまく機能するように、値を設定しておく。
本実施例において、以後使用する前記顔の光反射特性情報及び前記顔の法線情報はそれぞれ、ここで求めた前記修正形状情報及び前記修正法線情報を指す。
【００７８】
次に、ステップＳ１７において、情報処理手段４が、該可動光源画像データに基づいて顔の光反射特性情報を求める。
情報処理手段４によって求められる光反射特性情報は、双方向反射関数（ＢＲＤＦ）またはそれから派生する様々な特徴量を取り得るが、本実施例においては特に、照射される光の強さが一定である場合における、光沢の強度及び幅を言い、具体的には、以下のようにして求められる。
【００７９】
先ず、予め可動光源の光源２Ａ、２Ｂが点灯したときに、各光源をｍ個の仮想点光源の連続体として近似したときに、一つの仮想点光源から発せられる光が空間中のどの方向にどれくらいの強度で放射するかを計測しておく。即ち、一つの仮想点光源に相当する長さの要素以外を遮蔽し、そのとき各方向に放射される光量を計測する。本実施例においては取り扱いを簡単にするために、光源の特性が線光源の軸に対して軸対象で、線光源中の各要素の放射特性は光源の部分によらず（中央部でも端部でも）一定であることを仮定した。各光源を高さ方向にｍ個の単位に分割したときにおける各分割単位に対する方向及び強度を計測する。分割単位の個数ｍは、光源の長さ、測定対象の大きさ、光源と測定対象の距離などに応じて設定され、精度向上の点ではｍは大きければ大きいほど好ましいが、一方で計算コストが上昇してしまうことから、総合的には精度を悪化させない範囲で小さいことが好ましく、本実施形態の場合では、ｍは１００程度であることが好ましい。
【００８０】
次に、顔の光反射特性が、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（以下、ＴＳモデルという。）に従うと仮定する。
即ち、光反射率ｆは、皮膚の屈折率をｎ、光沢の強度をα、広がりをＭとすると、下記式（３）により求められるとする。
ｆ＝α×（Ｆ・Ｇ・Ｄ）／（４ｃｏｓθｉｃｏｓθｒ） （３）
ただし、フレネル項Ｆは、垂直入射に対しては下記式（４）、垂直入射以外は、式（５）で表される。
Ｆ＝（ｎ−１）2／（ｎ＋１）2 （４）
Ｆ＝（１／２）〔ｔａｎ2（θｉ−θｔ）／ｔａｎ2（θｉ＋θｔ）＋
ｓｉｎ2（θｉ−θｔ）／ｓｉｎ2（θｉ＋θｔ）〕 （５）
また、表面粗さ項Ｄは、下記式（６）で表される。
Ｄ＝ｅｘｐ（−ｔａｎ2β／Ｍ2）／πＭ2ｃｏｓ4β （６）
また、形状項Ｇは、下記式（７）で表される。ここで、ｍｉｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃの中で最も小さい値を意味する。
Ｇ＝ｍｉｎ（Ｇｓ，Ｇｍ，１） （７）
ここで、 Ｇｓ＝２（Ｎ・Ｈ）・（Ｎ・Ｓ）／（Ｓ・Ｈ）
Ｇｍ＝２（Ｎ・Ｈ）・（Ｎ・Ｖ）／（Ｖ・Ｈ）
Ｈ＝（Ｓ・Ｖ）／｜Ｓ・Ｖ｜
θｉ＝ａｃｏｓ（ｄｏｔ（Ｎ，Ｓ））
θｒ＝ａｃｏｓ（ｄｏｔ（Ｎ，Ｖ））
（ｄｏｔ（Ａ，Ｂ）は、ベクトルＡとベクトルＢの内積）
θｔ＝ａｓｉｎ（ｓｉｎθｉ／ｎ）
（ｎは皮膚表面の屈折率）
であり、Ｎは、修正法線ベクトル、Ｓは光源方向の単位ベクトル、Ｖは撮像手段方向の単位ベクトル、ＨはＳとＶを２等分する単位ベクトル、βはＮとＨが成す角度、θｉは入射角、θｒは受光角、θｔは屈折角である。
【００８１】
次に、前記可動光源画像データの顔の表面に対応する各点に対して、光反射特性を、次のようにして、顔の全面に亘って求める。
即ち、先ず、顔の中のある点に着目し、可動光源がそれぞれの静止位置（Ｐ１〜Ｐｎのｎ箇所）において光を照射したときの該点の画像の明るさ（実測値）Ｉ１〜Ｉｎを求める。
そして、可動光源がそれぞれの静止位置に来たときの該点に照射される光の各前記仮想点光源の向きＶ１１〜Ｖ１ｍ〜・・・〜Ｖｎ１〜Ｖｎｍと光量Ｌ１（Ｖ１１）〜・・・〜Ｌ１（Ｖ１ｍ）〜Ｌｎ（Ｖｎ１）〜・・・〜Ｌｎ（Ｖｎｍ）を前記計測した方向及び強度のデータから求める。
【００８２】
次に、可動光源の各光源が所定の静止位置において光を照射したとき画像の明るさＩｃ１〜Ｉｃｎを、ＴＳモデルに従うと仮定してＶ１１〜Ｖｎｍ及びＬ１（Ｖ１１）〜Ｌｎ（Ｖｎｍ）から求める。この計算結果には、光沢の強度と幅を表す変数（光反射特性情報）α、Ｍが含まれているので、図１４に示すように、Ｉｃ１〜Ｉｃｎが実測値のＩ１〜Ｉｎと最も一致するように、変数α、Ｍを変数としてシンプレックス法を用いてフィットさせ、光反射特性情報α、Ｍを求める。ここで前記実測値Ｉ１〜Ｉｎは、２種類の露出条件で撮影した画像から値を読み取る。具体的には、あらかじめ明るい露出条件で撮影した画像の画素値が同じ場所を暗い露出条件で撮影したときに比べて何倍になるか係数Ｃとして求めておく。そして、暗い露出条件で撮影したｊ番目の静止位置における画像の該画素値がＩ１ｊ、明るい露出条件で撮影したｊ番目の静止位置における画像の該画素値がＩ２ｊであったとき、画像中の明るい領域（明るい露出条件では画素値が飽和してしまう領域）ではＩｊ＝Ｃ×Ｉ１ｊ、暗い領域ではＩｊ＝Ｉ２ｊとする。
【００８３】
上述のように求めた光反射特性情報α、Ｍのマップの中で、鼻の陰になってしまう等の影響で明らかに数値が正しくない場合には、その値を破棄し、周囲の値で補間する。このようにして求められた表面反射特性情報は、ＣＰＵ１０Ａによって、ファイル装置１０ＦからＧＰＵ１０Ｃ内の処理用データ記憶領域に記憶される。
【００８４】
図４〜図７におけるＳ３〜Ｓ８のリアルタイム処理に先立ち、ＣＰＵ１０Ａは、プログラム１００における人物画像抽出処理機能１０２、追跡処理機能１０３、合成顔画像情報処理機能１０５、肌情報処理機能１０６、陰影成分情報処理機能１０７、顔画像合成処理機能１０８、人物背景合成動画像合成処理機能１０９、動画像表示処理機能１１０をＧＰＵ１０Ｃのプログラム領域にロードする。
【００８５】
本実施形態では、人物実動画像を取り込んでリアルタイム処理を行うため、人物実動画像入力装置１０Ｋは、ＩＥＥＥ１３９４インターフェースを介してコンピュータに接続されたビデオカメラで構成される。該ビデオカメラは、画素の縦横比、周辺部での歪みなど、各機種固有の特性を相殺させるため、背景実動画像入力装置１０Ｌで用いたビデオカメラＶ１と同一機種のビデオカメラを用いるのが好ましい。人物の撮像に際しては、図１５に示すように、ビデオカメラＶ３のレンズに偏光板Ｐ３を取り付ける。また、人物を照らす照明Ｌ３にも偏光板Ｐ３を取り付ける。人物の背後には、従来からクロマキー合成処理を行うために使用されているスクリーン（緑色又は青色）ＳＣを配する。撮像したときに画像上で単一色に映るように、照明Ｌ３の向きやスクリーンＳＣの張り方に配慮する。人物は、顔以外の部分（首から下及び髪の毛）を黒くて光沢があまり出ない衣装で覆う。これは、後述するように、顔の皮膚領域の処理のみを行うので、処理の結果得られる合成映像のうち、人物画像で顔以外の部分が、顔との対比で不自然に見えないようにするためである。前記人物実動画像の冒頭には、後述する追跡処理に使用するために、ビデオカメラＶ３に対して顔を正対させて静止させた状態の画像（正面画像）を一定時間（数秒間）撮像することが好ましい。
【００８６】
図４に示すように、先ず、データ入力・記憶処理ステップＳ１’において、ＣＰＵ１０Ａが、プログラム１００におけるデータ入力・記憶処理機能１０１により、撮像された人物動画像を人物実動画像入力装置１０Ｋからコンピュータ１０に取り込む。取り込まれた人物動画像は、後述するＧＰＵ１０Ｃによるリアルタイムの画像処理に使用される。
【００８７】
画像合成処理装置１では、人物画像抽出処理ステップＳ３（図４参照）において、ＧＰＵ１０Ｃが、あらかじめロードされたプログラム１００における人物画像抽出処理機能１０２を実行し、前記人物実動画像入力装置１０Ｋから取り込まれた前記人物実動画像の各フレーム画像から人物画像のみを抽出する。人物画像のみの抽出処理は、従来からクロマキー合成処理において行われている通常の手法で行われ、人物領域と背景のスクリーン領域とを特定の画素値を閾値として分離して抽出し、抽出した人物画像をＧＰＵ１０Ｃ内の処理用データ記憶部の領域に記憶させる。前記抽出は具体的には、前記人物実動画像のフレーム画像を記憶させると共に、前記フレーム画像に対して、対応するピクセル値が、背景では０、人物領域では１となるようなマスク画像を作成して記憶させ、前記フレーム画像を取り出す際に、前記マスク画像も合わせて参照することで実現する。
【００８８】
画像合成処理装置１では、追跡処理（トラッキング処理）ステップＳ４（図４参照）において、ＧＰＵ１０Ｃは、プログラム１００における追跡処理機能１０３を実行し、ＧＰＵ１０Ｃ上の記憶領域に記憶された前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める。
【００８９】
本実施形態においては、前記人物の顔の追跡情報は、パーティクル・フィルタリング（Oka,K.,and Sato,Y. 2005. Real-time modeling of face deformation for 3-d head pose estimation. In Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures, 308-320.）に基づいて、以下のようにして求められる。ただし、本実施形態では、処理を簡素化するために、顔の表情による形状の変化は考慮されていない。より自然な結果を得るためには、顔の表情による形状の変化を考慮することが好ましい。
【００９０】
先ず、追跡処理に使用するための顔画像における特徴点の初期座標を取得するために、ＧＰＵ１０Ｃは、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記人物画像の最初のフレームを表示装置１０Ｇの画面上に表示させるとともに、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記顔の三次元形状情報に基づいて、予め設定した人物の顔を正面から見たときの特徴点（の一群）を表示装置１０Ｇの画面上に表示させる。顔の特徴点としては、左右両目の目頭、目尻、鼻孔、唇の境界位置、眉頭、眉尻等が挙げられる。本実施形態では、処理の簡素化と追跡情報の精度を考慮し、前記特徴点として、左右両目の目頭、目尻、及び両鼻穴、唇の上下左右境界の位置、計１０点の特徴点が設定されている。本実施形態のプログラム１００においては、特徴点の一群は、表示装置１０Ｇの画面上において、入力装置１０Ｉによる平行移動、拡大縮小表示が可能とされており、前記人物の画像との位置合わせが精度良く行われる。
【００９１】
オペレータは、前記入力装置１０Ｉによって前記特徴点の一群を平行移動又は拡大縮小し、前記人物の画像中の特徴点に対応する座標とを位置合わせする。位置合わせが済むと、オペレータは、前記入力装置１０Ｉからの入力操作によってＣＰＵ１０Ａにその旨の信号を送る。この信号を受けると、ＣＰＵ１０Ａが、画像上での特徴点の位置情報をＧＰＵ１０Ｃに送る。それを受けたＧＰＵ１０Ｃは、各特徴点に対応する位置近傍の画像を取得し、それをテンプレートとして特徴点の位置情報と合わせて記憶領域に記憶する。ＧＰＵ１０Ｃは、前記信号をトリガーとして、図１６にフローチャートで示す追跡処理を開始する。
【００９２】
前述のように、本実施形態では、顔の表情による変化を考慮しないことから、前記人物の画像中の顔の位置の移動は、平行移動（３次元）と回転（３次元）の６次元による表記が可能となる。
ＧＰＵ１０Ｃは、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記人物の画像中の二つ前及び一つ前のフレーム画像の顔における前記特徴点の位置情報から、現在のフレーム画像の顔の位置情報として考えられる候補を複数用意する。候補は、顔が加速しなかったときに予想される位置を中心に選ばれる。
【００９３】
前記中心は、具体的には、次式（８）で表される。
（現在フレーム画像における位置・回転の値）＝（一つ前のフレーム画像における位置・回転の値）＋（（一つ前のフレーム画像における位置・回転の値）−（二つ前のフレーム画像における位置・回転値）） （８）
ただし、式（８）の右辺第２項は顔の動きの速度に関する項である。追跡処理開始時には、二つ前のフレーム画像の各値は取得できないので、速度に関する項が０とされる。
【００９４】
ＧＰＵ１０Ｃは、揺らぎ幅が前記速度に関する項の値に比例するようなガウスノイズ（乱数）を発生させ、それを前記中心に加算することで、前記候補として、前記中心を中心に複数の位置情報を用意する。揺らぎ幅が一定値以下になったときには、揺らぎ幅をその値とすることで、速度に関する項が０でもガウスノイズが発生するようにされている。
【００９５】
ＧＰＵ１０Ｃは、前記候補に対して、特徴点付近の画像と前記テンプレートとの一致度πを求める。一致度πは、ある候補に対して、前記特徴点付近の画像と前記テンプレートとを、特徴点ごと、ピクセルごと、ＲＧＢのチャネルごとに引き算を行い、各ピクセルの差異の自乗和を求め、さらにそれの逆数を求めたものを指す。一致度πは、具体的には、下記式（９）で表される。
π＝１／Σ（Ｉｒ（ｘ，ｙ，λ）−Ｉｔ（ｘ，ｙ，λ））2 （９）
ここで、ｘ、ｙは画像中のピクセルの座標、λはＲ／Ｇ／Ｂのいずれか、Ｉｒ（ｘ，ｙ，λ）は人物実動画像の該ピクセル、該チャネルの画素値、Ｉｔは前記候補の動きに従ってテンプレートを動かしたときの前記人物実動画像の該ピクセルに対応する位置のテンプレート上のピクセルの該チャネルの画素値、Σはテンプレートの存在する全ピクセル及び
全チャネルにわたる総和を表す。
【００９６】
前記人物実動画像中の各ピクセルに対して対応するテンプレートの有無をマスク画像で表すこともでき、対応するテンプレートがあるピクセルの値を１、ないピクセルの値を０としてマスク画像を作成した上で、前記一致度πの計算式（９）は、下記式（１０）で表される。
π＝１／Σ（マスク画像（ｘ，ｙ）×（Ｉｒ（ｘ，ｙ，λ）−Ｉｔ（ｘ，ｙ，λ））2
） （１０）
ここで、Σは画像中の全ピクセルにわたる総和を表す。
この値が大きければ大きいほど特徴点付近の画像と前記テンプレートとが一致していることになる。
【００９７】
前記６次元のうち、ある次元ｘに着目すると、ｉ番目の候補の次元ｘの値をｂ（ｉ，ｘ）、前記一致度をπ（ｉ）としたとき、現在フレーム画像における次元ｘの値は、次式（１１）で求められる。
ｂ（ｘ）＝Σｂ（ｉ，ｘ）π（ｉ）／Σπ（ｉ） （１１）
ここで、Σは選んだ候補全てにわたる総和を表す。
【００９８】
画像合成処理装置１では、肌情報処理ステップＳ５（図４参照）において、ＧＰＵ１０Ｃは、あらかじめロードされたプログラム１００の肌情報処理機能１０６を実行し、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された人物実動画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める。本実施形態では、該肌情報は、Norimichi,T., Ojima,N., Sato,K., Shiraishi,M., Shimizu,H., Nabeshima,H., Akazaki,S., Hori,K., and Miyake,Y. 2003. Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin. ACM Transactions on Graphics 22, 3, 770-779.等で述べられている下記のような主成分分析法に基づいて、求められる。
【００９９】
ＲＧＢチャネルの各値の対数をとり、その符号を反転させたＲ’＝−ｌｏｇ（Ｒ）、Ｇ’＝−ｌｏｇ（Ｇ）、Ｂ’＝−ｌｏｇ（Ｂ）からなる３次元空間を考え、この３次元空間に、撮像した肌の画像の各ピクセルの値を射影すると、肌の色は前記３次元空間中の、ある色成分平面上にほぼ集まることが知られており、また、この色成分平面からのズレは肌の各部位における照度のムラ、つまり陰影により生じることも知られている。本実施形態では、このことを利用して前記各フレーム画像から、次のようにして色成分情報と陰影成分情報を分離する。
【０１００】
先ず、統計的手法により、前記３次元空間上での前記色成分平面を求める。この統計的手法は具体的には主成分分析法及び／又は独立成分分析法を採用することができる。本実施形態では、計算結果が安定して求まることなどから、主成分分析により主成分を求める。具体的には、前記３次元空間に射影した肌の各ピクセルの値に対して主成分分析を行い、その第一主成分ベクトル及び第二主成分ベクトルにより張られる平面を前記色成分平面とする。陰影の効果はＲＧＢの値それぞれにＲＧＢによらない値を乗じることで表せることから、第三のベクトルとして、（１，１，１）なる陰影単位ベクトルを選び、前記３次元空間をこれら３つのベクトルを軸とする斜交座標系で表す。
【０１０１】
対象となる人物の肌の色を色黒、色白にするなどの画像効果を実現するためには、前記斜交座標系における前記色成分平面上への前記各ピクセルの値の射影に対してさらに独立成分分析を行い、２つの独立成分ベクトルを求め、それらを前記第一、第二主成分ベクトルの代わりに用いることが好ましい。この２つの独立成分ベクトルは、肌の色をもたらす２種類の色素、即ちメラニン色素及びヘモグロビン色素に対応し、例えばメラニン色素に対応する軸のスケール変換を行うことで、その後逆変換を行うと、肌の色を自然な色合いに保ちながら色黒にしたり色白にしたりすることができる。このことは前記独立成分分析法に関する文献に詳細に述べられている。
【０１０２】
前記各ピクセルの値は、相対的に比較できれば充分なので、前記斜交座標系の取り方及びその原点の取り方には任意性があるが、非負であったほうが画像データとして扱いやすく、また肌の色を変える等の用途への拡張を考慮すると、本実施形態では、主成分分析を行った後、独立成分分析によりメラニン色素軸、ヘモグロビン色素軸を求めた上で、図１７のように、肌の色の各ピクセルの値に各３成分の最小値が０より小さくならないようにオフセットを設けることが好ましい。前記独立成分ベクトル及び前記オフセットは、事前に数例のテスト撮影を行い、それら画像の解析から求めておく。
このようにして求められた座標系により、人物の顔画像の各フレーム画像から、色成分情報と陰影成分情報を分離し、これらの情報からなる肌情報を求め、該情報をＧＰＵ１０Ｃ内の処理用データ記憶領域に記憶する。
【０１０３】
画像合成処理装置１では、合成顔画像情報処理ステップＳ６（図５参照）において、ＧＰＵ１０Ｃは、あらかじめロードされたプログラム１００の合成顔画像情報処理機能１０５を実行し、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記顔の表面反射特性情報における顔の法線情報、前記各ステップで求められた前記顔の追跡情報及び前記光環境情報における前記点光源の位置、強度情報（光量）に基づいて、図１８に示すように、フレーム毎に前記顔の陰影情報を求める。
【０１０４】
前記各フレーム画像上の任意のピクセルに対して、その位置における顔表面の法線ベクトルをＮ、そこから見たときの各点光源の方向ベクトルをＳ（ｉ）、各点光源の強度をＩ（ｉ）としたとき、そのピクセルの照度に比例した値、即ち陰影成分情報Ｌは、次式（１２）で表される。
Ｌ＝Σｄｏｔ（Ｎ，Ｓ（ｉ））Ｉ（ｉ） （１２）
ここで、Σは全ての点光源（ｎ個の点近似光源）にわたる総和、ｄｏｔ（Ａ，Ｂ）はＡ
とＢの内積を表す。後に計算する陰影を取り除いた肌情報にこれを乗ずることで、陰影を考慮した肌色を求めることができる。
【０１０５】
画像合成処理装置１では、合成顔画像情報処理ステップＳ６において、ＧＰＵ１０Ｃはプログラム１００の合成顔画像情報処理機能１０５を実行し、前記ＧＰＵ上の記憶領域に記憶された前記顔の表面反射特性情報、前記各ステップで求められた前記顔の追跡情報及び前記光環境情報に基づき、前記顔の表面反射情報を求める。ただし、本実施形態では、ここでも、顔の光反射特性情報がＴＳモデルに従うと仮定して、顔の表面反射情報が求められる。
【０１０６】
ＴＳモデルは、前述と同様に、皮膚の屈折率をｎ、光沢の強度をα、広がり（幅）をＭとしたときに、光反射率ｆが下記式（１３）により求められるとするものである。
ｆ＝α×（Ｆ・Ｇ・Ｄ）／（４ｃｏｓθｉｃｏｓθｒ） （１３）
ただし、Ｆはフレネル項、Ｇは形状項、Ｄは表面粗さ項である。
フレネル項Ｆは、垂直入射に対しては下記式（１４）、垂直入射以外は、下記式（１５）で表される。
Ｆ＝（ｎ−１）2／（ｎ＋１）2 （１４）
Ｆ＝（１／２）〔ｔａｎ2（θｉ−θｔ）／ｔａｎ2（θｉ＋θｔ）＋
ｓｉｎ2（θｉ−θｔ）／ｓｉｎ2（θｉ＋θｔ）〕 （１５）
また、表面粗さ項Ｄは、下記式（１６）で表される。
Ｄ＝ｅｘｐ（−ｔａｎ2β／Ｍ2）／πＭ2ｃｏｓ4β （１６）
また、形状項Ｇは、下記式（１７）で表される。ここで、ｍｉｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃの中で最も小さい値を意味する。
Ｇ＝ｍｉｎ（Ｇｓ，Ｇｍ，１） （１７）
ここで、 Ｇｓ＝２（Ｎ・Ｈ）・（Ｎ・Ｓ）／（Ｓ・Ｈ）
Ｇｍ＝２（Ｎ・Ｈ）・（Ｎ・Ｖ）／（Ｖ・Ｈ）
Ｈ＝（Ｓ・Ｖ）／｜Ｓ・Ｖ｜
であり、Ｎは、修正法線ベクトル、Ｓは光源方向の単位ベクトル、Ｖは撮像手段方向の単位ベクトル、ＨはＳとＶを２等分する単位ベクトル、βはＮとＨが成す角度、θｉは入射角、θｒは受光角、θｔは屈折角である。θｔは皮膚の屈折率をｎとして次式（１８）から求める。ここでも、前述したとおり、法線ベクトルはハイブリッド法で修正した修正法線ベクトルを用いる。
ｎ＝ｓｉｎθｉ／ｓｉｎθｔ （１８）
【０１０７】
前記顔の実動画像の各フレーム画像上の任意ピクセルに対して、その位置における顔表面の法線ベクトルをＮ、そこから見たときの各点光源の方向ベクトルをＳ（ｉ）、各点光源の強度をＩ（ｉ）、そこから見たときのカメラの方向ベクトルをＶとしたとき、そのピクセルの光反射率Ｆは次式（１９）で表せる。ただし前記各点光源は、前記光環境情報処理手段によりフレームごとに求めた近似点光源のうち、前記顔の実動画像のフレームに対応したもののことで、前記光環境情報として格納されている。
Ｆ＝Σｆ(ｉ) （１９）
ただし、Σは全ての点光源にわたる計算値の総和、ｆ（ｉ）はｉ番目の点光源に対して
ＴＳモデルに従って求められる反射光量の値である。ｉ番目の点光源に対する反射光量は、前記ＴＳモデルの定義式中の各入力パラメータとして、ＳにＳ（ｉ）、ｃｏｓθｉ＝ｄｏｔ（Ｎ，Ｓ）、ｃｏｓθｒ＝ｄｏｔ（Ｎ，Ｖ）、α、Ｍとして前記顔の表面反射特性の該位置の強度、広がりを代入して求めることができる。
【０１０８】
画像合成処理装置１では、顔動画像合成処理ステップＳ７（図６参照）において、ＧＰＵ１０Ｃは、あらかじめロードされたプログラム１００の陰影成分情報処理機能１０７兼顔画像合成処理機能１０８を実行し、前記肌情報、顔の陰影情報、及び顔の表面反射情報に基づいて、前記顔の合成画像を合成する。
【０１０９】
本実施形態では、図１９に示すように、前記陰影成分情報にローパスフィルタをかけたものを低周波陰影成分情報とし、前記陰影成分情報を低周波陰影成分情報で除した結果を前記陰影成分情報の高周波陰影成分情報とする。前記高周波陰影成分情報は、各情報の取得方法の相違により生じる、顔の色成分（ヘモグロビン成分、メラニン成分）情報と顔の陰影成分の間で高周波での周波数特性が異なってしまうことにより合成画像が不自然になることを防ぐために用いられる。
本実施形態では、前記顔の陰影情報と前記陰影成分情報の高周波陰影成分情報とを乗じたものを最終的な顔の陰影情報とし、これを前記独立成分分析法で求めた陰影成分情報に代えて、メラニン成分情報、ヘモグロビン成分情報と共に、前記独立成分分析法で行った変換の逆変換を行うことで、陰影を考慮した色成分情報を得る。この結果に、前記顔の表面反射光成分情報を加算する。加算する前に、各々の画像には、最終的に背景と合成したときに自然な画像となるように、適切な定数を乗じておく。この定数は、表面反射情報を求めるプロセスと色成分情報を求めるプロセス、及び背景画像を取得するプロセスの各プロセスの結果画像それぞれの単位画素値が表す光量が異なるために必要となる。
【０１１０】
画像合成処理装置１では、人物背景合成動画像合成処理ステップＳ８（図７参照）において、ＧＰＵ１０Ｃは、プログラム１００の人物背景合成動画像合成処理機能１０９を実行し、前記各ステップで求めた前記顔の合成画像及び前記人物画像、並びに前記ファイル記憶装置１０Ｆに記憶された前記背景実動画像に基づいて、人物背景合成動画像（最終合成画像）を合成する。具体的には、顔の合成画像とそれに対応する前記人物実動画像中の１フレーム画像、及び前記背景実動画像の対応する１フレーム画像をフレームごとに順次合成した後、連結して動画像にする。そして、この人物の合成動画像、前記人物画像及び本実施形態では、図２０に示すように、前記顔の合成画像の背景に相当するスクリーンＳＣの領域を、前記背景実動画像と差し替えることで最終的な合成画像を得る。
【０１１１】
以上説明したように、本実施形態の画像合成装置及び方法では、合成の対象とする人物実動画像と、これとは別に撮像される背景実動画像とを合成するに当たって、予め該人物の顔について前記顔の表面反射特性情報を求めておくとともに、前記背景実動画像の撮像とともに該背景の光環境実動画像を撮像しておき、該顔の表面反射特性情報と、前記光環境実動画像から光源を点近似して求めた光環境情報と、前記人物実動画像から抽出した顔の追跡情報とをリアルタイム処理により合成して顔の陰影情報及び顔の表面反射情報を求め、これらの各情報と、前記人物の顔画像から求めた肌情報及び高周波陰影成分情報とともに合成した上で、前記背景実動画像と合成するので、人物と背景の動画像における照明条件を略同じにすることができ、あたかも同じ場所で撮像されたと同様の自然な動画像を得ることができる。
【０１１２】
本発明は、前記実施形態に制限されない。
例えば、画像合成に使用する表面反射特性情報は、他の方法で得られた情報を採用することができる。
【０１１３】
また、肌情報処理手段では、前記色成分平面を導くための解析手法として主成分分析法に変えて、独立成分分析法を用いることができる。また光環境情報処理手段では、光環境実動画像を適切に変換できれば、点光源の代わりに面光源、線光源などを使ってもよい。各情報取得、処理を工夫することで、顔の色成分（ヘモグロビン成分、メラニン成分）情報と顔の陰影成分の間で周波数特性を一致させることができれば、陰影成分の高周波陰影成分情報は使わなくても良い。
【０１１４】
本発明の表面反射特性測定装置の測定対象に特に制限はない。顔以外の身体の各部位の表面反射特性の他、物品の表面反射特性を測定することができる。
【０１１５】
本発明により得られる人物背景合成動画像は、例えば、アミューズメント施設におけるアトラクション、テレビなどにおけるリアルタイム合成処理等に利用される。
【図面の簡単な説明】
【０１１６】
【図１】本発明の画像合成装置の一実施形態の概略を示すデータフローを含むブロック図である。
【図２】本発明の画像合成装置の一実施形態を汎用のコンピュータに適用したブロック図である。
【図３】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図４】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図５】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図６】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図７】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図８】本発明の画像合成方法において背景実画像及び光環境実動画像の撮像に使用される撮像手段の模式図である。
【図９】本発明の画像合成方法において使用される光環境情報を求めるための光源の点近似方法におけるフローを示す図である。
【図１０】本発明の画像合成方法において使用される表面反射特性の測定装置の一実施形態を示す模式図であり、（ａ）は平面図、（ｂ）は側面図である。
【図１１】前記実施形態の表面反射特性測定装置における測定手順の概略を示すフローチャートである。
【図１２】前記実施形態の表面反射特性測定装置の情報処理手段における、空間コード化法による三次元形状情報の算出ステップを説明するための図である。
【図１３】前記実施形態の表面反射特性測定装置の情報処理手段における、ハイブリッド法による三次元形状情報及び法線情報の修正ステップを説明するための図である。
【図１４】前記実施形態の表面反射特性測定装置の情報処理手段における、シンプレックス法による光反射特性情報の算出ステップを説明するための概念図であり、（ａ）は撮像される一連のフレーム画像、（ｂ）は一連のフレーム画像中の特定の位置に着目したときの画素値のグラフ（点）と、反射強度及び幅をパラメータとしてフィッティングを行った結果グラフ（破線）とを示す図である。
【図１５】本発明の画像合成方法において人物実動画像の撮像に使用される装置を示す図であり、（ａ）は平面図、（ｂ）は側面図である。
【図１６】前記実施形態の画像合成方法における追跡処理ステップを説明するフローチャートである。
【図１７】主成分分析法及び独立成分分析法によって人物の顔画像から色成分情報（ヘモグロビン成分とメラニン成分）と陰影成分情報からなる肌情報を求めるステップを説明する概略図である。
【図１８】前記実施形態の画像合成方法における合成顔画像情報処理ステップを説明するフローチャートである。
【図１９】前記実施形態の画像合成方法における顔画像合成処理ステップを説明するフローチャートである。
【図２０】前記実施形態の画像合成方法における人物背景合成動画像合成処理ステップを説明するフローチャートである。
【符号の説明】
【０１１７】
１ 画像合成装置
１１ 人物実動画像入力・記憶手段
１２ 背景実動画像入力・記憶手段
１３ 光環境実動画像入力・記憶手段
１４ 表面反射特性情報入力・記憶手段
２１ 人物画像抽出処理手段
２２ 追跡処理手段
２３ 光環境情報処理手段
２４ 合成顔情報処理手段
２５ 肌情報処理手段
２６ 陰影成分情報処理手段
２７ 顔画像合成処理手段
２８ 人物背景合成動画像合成処理手段
２９ 動画像表示処理手段
１０ コンピュータシステム
１００ 画像合成プログラム
Ａ 表面反射特性測定装置
１Ａ 光反射特性情報測定手段
１Ｂ 三次元形状情報測定手段
１Ｃ 法線情報測定手段
２ 可動光源
２Ａ、２Ｂ 光源
２１Ａ、２１Ｂ 遮蔽板
３ 撮像手段
３Ａ 偏光子
４ 情報処理手段
５ 投影手段
６ 固定光源
６Ａ 偏光子
７ 制御手段
８ コンピュータシステム
９ フレーム
【技術分野】
【０００１】
本発明は、別々に撮像した人物の動画像と背景動画像とを合成する画像合成装置、方法及びプログラムに関する。
【背景技術】
【０００２】
画像合成技術の進歩に伴って、テレビジョン撮影等においては、人物画像と背景画像とを別々に撮像し、人物画像に対して特定の閾値で該人物画像の人物領域のみを抽出し、抽出した人物領域と前記背景画像とをクロマキー合成し、該人物があたかもその背景の撮像場所にいるかのように合成する技術が実用化されている。しかし、この技術においては、人物の表面に現れる陰影が、背景画像の照明条件に応じて現れていないため、不自然な画像となる一つの課題を有していた。
【０００３】
このような課題を改善する技術として、例えば、特許文献１に記載の技術が提案されている。この技術は、対象となる物体の表面色を拡散反射成分と鏡面反射成分に分離するとともに、それらの信頼度を計算した上で、反射モデルを適用して各画像における法線方向を復元し、該法線方向により与えられた照明方向と前記反射モデルによって照明方向、すなわち陰影を修正した画像を生成するものである。
【０００４】
【特許文献１】特開平５−２３３８２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術は、画像中のまとまった領域に対する統計処理で対象物の色を推定するため、例えば車のようにある程度広い領域で均一な色になっていることが期待できる対象物に対してはうまく機能するが、人の肌のように細かな周期で色合いが変化し、それが見る人の印象に影響を与える対象物に対してはうまく機能させることができなかった。
【０００６】
本発明は、上記従来の課題に鑑みてなされたものであり、別々に撮像された人物と背景とを、あたかも同じ場所で撮像されたと同様の自然な動画像に合成することができる画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、人物の実動画像に基づいて合成された該人物の顔の合成画像を、前記人物の実動画像とは別に撮像された背景の実動画像と合成する画像合成装置であって、
前記人物の実動画像を入力又は記憶する人物実動画像入力・記憶手段と、
前記背景の実動画像を入力又は記憶する背景実動画像入力・記憶手段と、
前記背景の実動画像とともに撮像された該背景の光環境実動画像を入力又は記憶する光環境実動画像入力・記憶手段と、
前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる前記人物の顔の表面反射特性情報を入力又は記憶する表面反射特性情報入力・記憶手段と、
前記人物実動画像入力・記憶手段に記憶された前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理手段と、
抽出された前記人物画像、及び前記表面反射特性情報入力・記憶手段が入力又は記憶した前記顔の三次元形状情報に基づいて、前記人物の顔画像、並びに前記人物の顔の特定部位の位置情報及び該顔の方向情報からなる顔の追跡情報を求める追跡処理手段と、
前記光環境実動画像入力・記憶手段が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理手段と、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理手段と、
前記人物の顔画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理手段と、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理手段と、
前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理手段とを具備する画像合成装置を提供することにより、前記目的を達成したものである。
【０００８】
また、本発明は、人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶するデータ入力・記憶処理ステップと、
前記光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理ステップと、
前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理ステップと、
前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理ステップと、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理ステップと、
前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理ステップと、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理ステップと、
前記顔の合成画像、前記人物画像、及び前記背景の実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理ステップとを具備する画像合成方法を提供するものである。
【０００９】
また、本発明は、コンピュータに、人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶手段に記憶させるデータ入力・記憶処理機能と、人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理機能と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理機能と、光環境実動画像の各フレーム画像に基づいて、記憶された前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理機能と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理機能と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理機能と、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理機能と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理機能とを実現させる画像合成プログラムを提供するものである。
【発明の効果】
【００１０】
本発明によれば、別々の場所で撮像された人物の顔画像と背景画像とを、背景画像と略同じ照明条件で合成することができるので、得られた合成動画像は、人物と背景との間の光の反射具合等に違和感がなく、当該人物と背景とがあたかも同じ撮影場所で自然に撮像されたような動画像を合成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の画像合成装置を、その好ましい一実施形態に基づいて説明する。
【００１２】
図１は、本発明の画像合成装置の一実施形態を示すものである。本実施形態の画像合成装置は、人物の実動画像（以下、人物実動画像ともいう。）に基づいて合成された該人物の顔の合成画像を含む人物画像を、前記人物実動画像とは別に撮像された背景の実動画像（以下、背景実動画像ともいう。）と合成するものである。
【００１３】
図１に示すように、画像合成装置１は、前記人物実動画像を入力又は記憶する人物実動画像入力・記憶手段１１と、前記背景実動画像を入力又は記憶する背景実動画像入力・記憶手段１２と、前記背景の実動画像とともに撮像した該背景の光環境実動画像を入力又は記憶する光環境実動画像入力・記憶手段１３と、前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる前記人物の顔の表面反射特性情報を入力又は記憶する顔の表面反射特性情報入力・記憶手段１４と、人物実動画像入力・記憶手段１１に記憶された前記人物実動画像の各フレーム画像から前記人物画像（人物領域画像）を抽出する人物画像抽出処理手段２１と、抽出された前記人物画像、及び表面反射特性情報入力・記憶手段１４が入力又は記憶した前記顔の三次元形状情報に基づいて、前記人物の顔画像（顔領域画像）、並びに前記人物の顔の特定部位の位置情報及び該顔の方向情報からなる顔の追跡情報を求める追跡処理手段２２と、前記光環境実動画像入力・記憶手段１３が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じて光源を点光源に近似させた光環境情報を求める光環境情報処理手段２３と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理手段２４と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理手段２５と、前記陰影成分情報からその高周波陰影成分情報を求めた上で、前記肌情報、前記高周波陰影成分情報、前記顔の陰影情報及び表面反射情報に基づいて、前記顔の合成画像を合成する陰影成分情報処理手段２６兼顔画像合成処理手段２７と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理手段２８と、前記人物背景合成動画像を表示する動画像表示処理手段２９とを具備している。
【００１４】
以下、本実施形態の画像合成装置１を更に詳しく説明する。
上記各手段１１〜１４及び２１〜２９を具備する本実施形態の画像合成装置１は、図２に示すように、コンピュータ１０における中央処理装置（以下「ＣＰＵ」という）１０Ａが、基本ソフトウェア（ＯＳ）とともに作動する画像合成プログラム（以下、単にプログラムともいう。）１００に基づいて実行するように構成されている。
【００１５】
プログラム１００は、コンピュータ１０に、前記各手段１１〜１４及び２１〜２９を実行させるために、前記各実動画像及び前記表面反射特性情報を前記各入力・記憶手段１１〜１４にそれぞれ入力又は記憶させるデータ入力・記憶処理機能１０１と、人物実動画像の各フレーム画像から前記人物画像を抽出する人物画像抽出処理機能１０２と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記顔の追跡情報を求める追跡処理機能１０３と、光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じて、光源を点光源に近似させた光環境情報を求める光環境情報処理機能１０４と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理機能１０５と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる前記肌情報を求める肌情報処理機能１０６と、前記陰影成分情報から高周波陰影成分情報を求める陰影成分情報処理機能１０７と、前記肌情報、前記高周波陰影成分情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理機能１０８と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理機能１０９と、人物背景合成動画像を表示手段に表示させる動画像表示処理機能１１０とを実現させたプログラムである。
【００１６】
画像合成装置１は、中央演算処理装置（ＣＰＵ）１０Ａ、メインメモリ（ＲＡＭ）１０Ｂ、画像処理プロセッサ（ＧＰＵ）１０Ｃ、ビデオメモリ（ＶＲＡＭ）１０Ｄ、チップセット１０Ｅ、ファイル記憶装置（ＨＤＤ）１０Ｆ、表示装置（モニター）１０Ｇ、表面反射特性情報入力装置１０Ｈ、入力装置１０Ｉ及びこれらの間を接続するバス１０Ｊを備えたコンピュータ１０と、人物実動画像入力装置（ビデオカメラ）１０Ｋと、背景実動画像入力装置（ビデオカメラ）１０Ｌ、光環境実動画像入力装置（ビデオカメラ）１０Ｍとで構成されている。画像合成装置１は、本実施形態のように、汎用のＣＰＵを備えた汎用のコンピュータで構成してもよいし、専用のＣＰＵを備えた画像合成処理専用のコンピュータとして構成してもよい。
【００１７】
人物実動画像入力装置１０Ｋ、背景実動画像入力装置１０Ｌ及び光環境実動画像入力装置１０Ｍは、それぞれビデオカメラ等の撮像手段で構成し、画像合成に使用される実動画像を各装置からリアルタイムに取得することもできるし、ファイル記憶装置１０Ｆに格納可能な動画ファイルにコンピュータ１０ないしこれとは別に用意したコンピュータを用いて変換しておき、画像合成に使用されるデータをファイル記憶装置１０Ｆから取得することもできるし、これらの取得法を組み合わせることもできる。
本実施形態においては、以下に説明するように、人物実動画像入力装置１０Ｋからは動画像をリアルタイムに取得し、背景実動画像入力装置１０Ｌ、光環境実動画像入力装置１０Ｍ及び表面反射特性情報入力装置１０Ｈからは実動画像を所定の動画ファイルとして予めファイル記憶装置１０Ｆに格納し、これらのデータによって画像合成を行う。このようなデータ取得法の組み合わせは、コンピュータによる演算処理の負荷を軽減することができるので、リアルタイム処理を実現する上で好ましい。本実施形態におけるようなリアルタイムな処理は、画像処理系記述言語（例えばＯｐｅｎＧＬ（米国シリコングラフィックス社の登録商標）やＤｉｒｅｃｔＸ（米国マイクロソフト社の登録商標））を用い、ＧＰＵ１０Ｃの機能を利用することで、実装が可能となる。
【００１８】
ＣＰＵ１０Ａは、メインメモリ１０Ｂに記憶されたプログラム１００を解釈してその指令内容を実行する所定の演算処理回路を備えている。メインメモリ１０Ｂは、基本ソフトウェアＯＳ、プログラム１００並びにＣＰＵ１０Ａ及びＧＰＵ１０Ｃで使用される処理用データ等が記憶される記憶装置である。本実施形態では、ＧＰＵ１０Ｃの演算処理用にメモリ（図示せず）を備えているので、ＧＰＵ１０Ｃでの処理用データはこのメモリに記憶される。ＧＰＵ１０Ｃは、最終的な動画像の合成を含む画像処理をＣＰＵ１０Ａに代わって行う専用の演算処理回路を備えた演算処理装置である。ビデオメモリ１０Ｄは、ＧＰＵ１０Ｃで行った画像処理の結果最終的に表示される画像を記憶するメモリである。チップセット１０Ｅは、制御回路が集積された複数の集積回路（ＬＳＩ）であり、ＣＰＵ１０Ａとそれに接続される周辺デバイスとの間に介装される。ファイル記憶装置１０Ｆは、画像処理に必要な各情報が所定のファイル形式で記憶された補助記憶装置である。表示装置１０Ｇは、ＧＰＵ１０Ｃで画像処理された画像がビデオメモリ１０Ｄを介して表示される表示装置である。人物実動画像入力装置１０Ｋは、合成対象となる人物の実動画像をリアルタイムで入力する装置である。背景実動画像入力装置１０Ｌ、光環境実動画像入力装置１０Ｍ及び表面反射特性情報入力装置１０Ｈは、所定のファイル形式でファイル記憶装置１０Ｆに取り込まれて蓄積されるべき各動画像及び情報を入力する装置である。入力装置１０Ｉは、オペレータによる各種の入力操作行う装置である。バス１０Ｊは、それぞれの通信プロトコルに応じて各回路・装置を通信可能に接続している。
本実施形態の画像合成装置１においては、基本ソフトウェアＯＳ及びプログラム１００と協働することにより、ＣＰＵ１０Ａ及び／又はＧＰＵ１０Ｃが主として上記各処理手段２１〜２８として機能し、人物実動画像入力装置１０Ｋ及び／又はファイル記憶装置１０Ｆが主として上記各入力・記憶手段１１〜１４として機能する。
動画像を記憶装置に保存する際のファイル形式には、ＭＰＥＧ形式やＱｕｉｃｋ Ｔｉｍｅ形式、ＡＶＩ形式等の様々なファイル形式を採用することができるが、画質の劣化が起こらない可逆変換に基づくファイル形式が好ましく、その中でも一般的に用いられており、汎用性に優れている非圧縮ＡＶＩ形式がより好ましい。
【００１９】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ファイル記憶装置１０Ｆ、人物実動画像入力装置１０Ｋ、及び表面反射特性情報入力装置１０Ｈ等と協働し、データ入力・記憶処理機能１０１により、人物実動画像入力装置１０Ｋから前記人物実動画像、ファイル記憶装置１０Ｆから前記背景実動画像、前記背景の光環境動画像、及び前記人物の顔の表面反射特性情報をＧＰＵ１０Ｃ上のデータ記憶部にそれぞれ記憶させることを実現させている。
【００２０】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ等と協働し、人物画像抽出処理機能１０２により、人物実動画像の各フレーム画像から前記人物画像を抽出することを実現させている。
【００２１】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、追跡処理機能１０３により、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記顔の追跡情報を求めることを実現させている。
【００２２】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、光環境情報処理機能１０４により、光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じて、光源を点光源に近似させた光環境情報を求めることを実現させている。
【００２３】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、合成顔画像情報処理機能１０５により、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求めることを実現させている。
【００２４】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、肌情報処理機能１０６により、前記人物の顔画像から、前記色成分情報及び前記陰影成分情報からなる肌情報を求めることを実現させている。
【００２５】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、陰影成分情報処理機能１０７により、前記陰影成分情報から前記高周波陰影成分情報を求めることを実現させている。
【００２６】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、顔画像合成処理機能１０８により、前記肌情報、前記高周波陰影成分情報、前記顔の陰影情報及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成することを実現している。
【００２７】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ及びファイル記憶装置１０Ｆ等と協働し、人物背景合成動画像合成処理機能１０９により、前記顔の合成画像、前記人物画像、及び前記背景実動画像から前記人物背景合成動画像を合成することを実現している。
【００２８】
プログラム１００は、ＣＰＵ１０Ａ、メインメモリ１０Ｂ、ＧＰＵ１０Ｃ、ビデオメモリ１０Ｄ、ファイル記憶装置１０Ｆ及び表示装置１０Ｇと協働し、動画像表示処理機能１１０により、前記人物背景合成動画像を表示装置１０Ｇに表示させることを実現させている。
プログラム１００は、本実施形態のように汎用のコンピュータシステムにインストールされて使用される場合には、プログラムのインストーラーとともに記録媒体に記録されて提供される。また、画像合成処理専用の専用コンピュータに組み込まれる場合には、不揮発メモリに記録されて提供される。
【００２９】
次に、本発明の画像合成方法を好ましい実施形態に基づいて説明する。
図３〜図７に示すように、本実施形態の画像合成方法は、人物実動画像とは別に撮像された背景実動画像、前記背景実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力し記憶するデータ入力・記憶処理ステップＳ１と、前記光環境実動画像の各フレーム画像に基づいて、前記背景実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理ステップＳ２と、前記人物実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理ステップＳ３と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理ステップＳ４と、前記人物の顔画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理ステップＳ５と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び顔の表面反射情報を求める合成顔画像情報処理ステップＳ６と、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理ステップＳ７と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理ステップＳ８とを具備する。
【００３０】
以下、本実施形態の画像合成方法を、前記画像合成装置１を使用した画像合成方法に基づいて詳しく説明する。
画像合成装置１では、図３に示すように、先ず、データ入力・記憶処理ステップＳ１において、ＣＰＵ１０Ａが、プログラム１００におけるデータ入力・記憶処理機能１０１により、対象となる人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を、背景実動画像入力装置１０Ｌ、光環境実動画像入力装置１０Ｍ及び表面反射特性情報入力装置１０Ｈから得た上で、所定のファイル形式にてファイル記憶装置１０Ｆに予め記憶させる。
【００３１】
背景実動画像入力装置１０Ｌ及び光環境実動画像力装置１０Ｍによって入力される背景実動画像及び光環境実動画像は以下のようにして取得される。
【００３２】
図８に示すように、背景の実動画像を撮像する背景撮像用のビデオカメラＶ１と、該背景の光環境実動画像を撮像するビデオカメラＶ２とを、それらのレンズの光軸Ｘが同一直線状に位置するように前後に間隔をおいて設置する。これらのビデオカメラＶ１、Ｖ２の間に、表面が鏡面加工された球体Ｓをその中心に前記光軸Ｘが通るように設置する。カメラＶ２のフォーカスは、球体Ｓ上に映る像が最も鮮明になるように合わせる。カメラＶ１及びＶ２、球体Ｓは、撮像中は互いの相対位置が変わらないように固定される。背景実動画像は、定点に静止した状態で撮像してもよいし、移動しながら撮像してもよい。ビデオカメラＶ１は、後に人物実動画像を撮影するカメラと同じ機種であることが好ましい。ビデオカメラＶ１及びＶ２は、カラー（ＲＧＢ）での撮像が可能であれば、アナログ式、ディジタル式の何れのビデオカメラでも良いが、後のデータの取り扱い等を考慮すると、ディジタル式のビデオカメラが好ましい。
【００３３】
ビデオカメラＶ２で撮像される光環境実動画像は、中央に大きく球体Ｓが撮像され、その周辺に背景も撮像されるが、後述する光環境情報処理に用いられるのは、球体Ｓの部分の画像である。撮像された画像中、球体Ｓには、周囲の風景が歪んで映し出される。球体Ｓの表面では鏡面反射（入射角と反射角が完全に等しい反射）が起こっていることから、球体Ｓの部分の画像は、各対応する方向からどれだけの光が入ってきたかを表している。球体Ｓの形状は完全に幾何学的に表現できるので、球体Ｓの各部位を通してビデオカメラＶ２に入ってくる光が、どの方角から来た光であるかは、完全に特定することができる。
【００３４】
本実施形態においては、背景実動画像及び光環境実動画像は、予め動画ファイルとしてファイル記憶装置１０Ｆに記憶されるので、ビデオカメラＶ１及びＶ２は、コンピュータ１０に接続されていなくてもよいが、これらのビデオカメラを前記背景実動画像入力装置１０Ｌ及び光環境実動画像入力装置１０Ｍとし、それらから実動画像を取り込んでリアルタイム処理により画像合成を行うこともできる。この場合には、これらのビデオカメラＶ１及びＶ２は、ＩＥＥＥ１３９４等のインターフェースを介してコンピュータ１０に接続される。また、ビデオカメラＶ１及びＶ２から取得される各動画像は、同期が取れている必要がある。この同期させる方法に特に制限はないが、簡便な方法としては、例えば、撮像の前後にストロボを光らせた画像も取得し、該ストロボが光った時間が揃うように同期させる方法がとられる。
【００３５】
画像合成装置１では、光環境情報処理ステップＳ２（図３参照）において、ＣＰＵ１０Ａが、プログラム１００における光環境情報処理機能１０４により、光環境情報を求める。本実施形態では、ファイル記憶装置１０Ｆに記憶された前記光環境実動画像の各フレーム画像について、仰角・方位角が二次元（ｘ、ｙ）座標となるように座標変換を行った後、前記背景実動画像の各フレーム画像に応じて光源を点光源に近似させた光環境情報を求める。背景実動画像から前記球体Ｓの領域を抽出する方法に特に制限はない。本実施形態では、前記球体Ｓの境界が明瞭に見えるような条件で予め撮影を行い、そのときに得られる１フレーム画像から市販の画像処理ソフトウェアを使用して前記境界がなす円周の前記画像中における位置を取得することにより行う。前記ビデオカメラＶ２と前記球体Ｓの相対位置が変わらなければ、前記背景実動画像中における前記球体Ｓが占める位置も変わらないので、前記球体Ｓの領域は、前記円周により抽出することができる。
【００３６】
本実施形態では、この光環境情報は、メジアンカット法（Debevec,P. 2005. A median cut algorithm for light probe sampling. In Proceedings of SIGGRAPH 2005 Conference Abstracts and Applications(Poster), ACM Press/ACM SIGGRAPH, Computer Graphics Proceedings, Annual Conference Series, ACM.）に基づいて次のように求められる。
【００３７】
先ず、近似に用いる点光源の数を設定する。この点光源の数は、光環境実動画像の構造の細かさ及び合成する顔の光反射特性における光沢の幅に基づいて２n（２、４、８、１６、３２、６４、・・・）の中から予め設定される。そして、図９に示したように、ＣＰＵ１０Ａが、設定された光源の数に応じて下記処理１〜処理４を行う。
処理１：画像全体を唯一の矩形領域としてリストに載せる。つまり、プログラム中において、要素数が可変で、各要素が画像中の任意の矩形領域を表す配列を用意し、その一つ目の要素に画像全体を割り当てる。具体的には、ピクセル数で数えたときに画像の幅がＷ、画像の高さがＨであったとき、画像中の各ピクセルの座標を（ｘ，ｙ）で表現し、画像全体の左上を（１，１）、右下を（Ｗ，Ｈ）となるように座標系をとることで配列の各要素に任意の矩形領域を割り当てる。任意の矩形領域の左上の座標が（ｘ１，ｙ１）、右下の座標が（ｘ２，ｙ２）であった場合、（ｘ１，ｙ１，ｘ２，ｙ２）の４要素の数列によりこの矩形領域を特定することができるので、各要素に４つの数列を格納できるようにしておけばよい。画像全体を唯一の矩形領域としてリストに載せるとは、前記手法に従えば、要素数がただ１つの配列を用意し、その唯一の要素を（１，１，Ｗ，Ｈ）とすればよい。
処理２：前記リストに載っている各矩形領域をその領域の短辺に平行な境界線で２つに分割（区分）する。前記境界線による分割は、分割後の各領域の光量が等しくなるように行われる。本実施形態では、光環境実動画像はＲＧＢの３チャンネルで得られており、各ピクセルにおける光量Ｙは、ＩＴＵ−ＲのＢＴ．７０９に従うものとされ、ＲＧＢとの関係で、次式（１）によって求められる。
Ｙ＝０．２１２５Ｒ＋０．７１５４Ｇ＋０．０７２１Ｂ （１）
処理３：上記処理２が点光源の数に応じてｎ回繰り返され、その結果もとの画像は２nの領域に分割される。
処理４：各領域内の光の重心を求め、そこに該領域中の光量の総和に相当する点光源があると近似する。ここで、光の重心とは具体的には、前記座標系における座標（ｘ，ｙ）の前記光量をＹ（ｘ，ｙ）で表すとき、重心ｘｃ、ｙｃは、ｘｃ＝Σ（ｘ×Ｙ（ｘ，ｙ）
）／ΣＹ（ｘ，ｙ）及びｙｃ＝Σ（ｙ×Ｙ（ｘ，ｙ））／ΣＹ（ｘ，ｙ）で求まる。ただ
し、Σは該領域の全てのピクセルにわたる総和を表す。
本実施形態のように、光環境実動画像を予め取得し、動画ファイルとして格納しておく場合には、この処理は予め済ませておくことができる。これにより処理を行うときのコンピュータに対する計算負荷を軽減させることができる。
【００３８】
顔の表面反射特性情報には、顔の三次元形状情報、法線情報、及び光反射特性情報（光沢の光反射特性情報）が含まれている。該光反射特性情報を表す関数は双方向反射関数（ＢＲＤＦ）と呼ばれており、ある方向から光を照射したときにどの向きにどの程度光が反射するかを表す関数で、一般には入射方向と出射方向に依存した複雑な形となる。ただし知覚的には、光沢は強度及び幅でほぼ表現できることが知られているので、実用上はＢＲＤＦの光沢成分を強度及び幅の２つのパラメータを含むモデルで近似したときのそれぞれのパラメータの値を光反射特性情報としても差し支えなく、本実施形態においても光沢の強度及び幅を光反射特性情報とする。本実施形態では、表面反射特性情報は、以下に説明する表面反射特性測定装置（以下、測定装置という。）Ａにより測定されるデータに基づいて算出される。
【００３９】
図１０に示したように、本実施形態の測定装置Ａは、顔の光反射特性情報測定手段１Ａと、顔の三次元形状情報測定手段１Ｂと、顔の法線情報測定手段１Ｃとを具備している。
【００４０】
光反射特性情報測定手段１Ａは、顔Ｆを臨む軌道上で移動可能に垂設され、顔Ｆに線状の光を照射する可動光源２と、前記軌道に沿って移動させながら可動光源２から顔Ｆに光が照射された状態を撮像するように配設された撮像手段３と、撮像手段３で撮像された顔Ｆの前記状態の画像データに基づいて、顔Ｆの光反射特性を求める情報処理手段４とを備えている。
【００４１】
三次元形状情報測定手段１Ｂは、明暗の繰り返しからなる光学パターンを顔Ｆに投影する投影手段５を備えている。本実施形態では、撮像手段３は、顔Ｆに前記光学パターンが投影された状態を撮像するように配設されている。また、情報処理手段４は、撮像手段３で撮像された前記光学パターンが投影された状態の顔Ｆの画像データに基づいて、顔Ｆの三次元形状情報を求めるように設けられている。
【００４２】
法線情報測定手段１Ｃは、定位置に固定され顔に光を照射する複数の固定光源６を備えている。本実施形態では、撮像手段３は、前記測定対象に前記各固定光源から光が照射された状態を撮像するように配設されている。また、情報処理手段４は、撮像手段３で撮像された固定光源６から顔Ｆに光が照射された状態の画像データに基づいて顔の法線情報を求めるように設けられている。
【００４３】
＜光反射特性情報測定手段１Ａ＞
測定装置は、可動光源２の位置移動、各固定光源６の点灯及び消灯、投影手段５による前記光学パターンの投影及び該光学パターンの切り替え、並びに撮像手段３での前記各状態の顔の撮像及び撮像された前記各状態の画像データの情報処理手段４への取り込みを制御する制御手段７を備えている。本実施形態では、情報処理手段４及び制御手段７は、情報処理手段４及び制御手段７として機能するコンピュータシステム（以下、単にコンピュータともいう。）８で構成されている。
【００４４】
測定装置は、測定対象となる人が座った状態で収容できる空間を形成し、且つ可動光源２の軌道となる可動ステージ及び各固定光源６が取り付けられたフレーム９を備えている。
【００４５】
可動光源２の光源は、その軌道上の任意の位置から、撮像手段３で撮像できる強度の光を測定対象に照射できるものであれば、その光源の種類に特に制限はないが、蛍光灯、発光ダイオードアレイ、ネオン管などが好ましく、さらには線光源の軸を中心に考えたときに放射光量の軸対象性に優れており、細い形態のものが容易に入手できることを考慮すると、ネオン管が好ましい。可動光源２の光源の長さは、測定対象を含んで余りある上下に充分な長さであればよい。
【００４６】
可動光源２の軌道は、測定対象の外形、光源の形状、光源を動かす可動ステージの形態に応じて設定される。本実施形態では、可動光源２の軌道は、測定装置を平面視したときに測定対象に対して左右対称で且つ測定対象に対して開く略Ｖ字状の２本の軌道とされている。可動ステージとしては直線状に動かすものが容易に入手可能であり、それらを２つ組み合わせて測定対象を取り囲むように配置することで、可動光源２を測定対象の周囲で動かすことを実現している。可動光源をこのような略Ｖ字状の軌道に沿って移動させることによって、測定対象に向かって単に直線的に動かしたときには光沢を観察することができない部分からの光沢情報を得ることができる。なお、可動光源２の軌道は、曲線であっても良く、略円形であっても良い。
【００４７】
本実施形態では、可動光源２は、測定対象の左側を移動する光源２Ａと、測定対象の右側を移動する光源２Ｂとの二つの光源を備えている。測定開始時には、これらの光源は測定対象から見てそれぞれ左後方、右後方の定位置にある。ネオン管は点灯直後には光強度の安定性があまりよくなく、光源点灯直後は揺らぎは大きくなってしまうが、光源の強度の揺らぎは取得する光反射特性情報に強く影響を与える。そのため、これらの光源は装置起動時に点灯しておき、使用していない間は定位置に配置しておく。さらに、この定位置から測定対象を見込む方向には遮蔽板２１Ａ及び２１Ｂを設置しておき、光源が定位置にある間は点灯していても測定対象を照らさないようにしておく。
【００４８】
光源２Ａ、２Ｂは、前記可動ステージに沿って移動するキャリッジ（図示せず）に取り付けられている。該キャリッジは、制御手段７に電気的に接続されており、その駆動手段が制御手段７によって制御されることによって、光源２Ａ、２Ｂの所定の静止位置に応じて静止したり移動したりする。
【００４９】
光源２Ａ、２Ｂの測定対象への光照射のための静止位置の間隔は、光反射特性の精度を高める観点からは、短ければ短いほど良いが、それに伴い測定時間も増加するため、本実施形態のように、測定対象が人の場合など、ある場所に長時間静止し続けることが困難なものの場合は、実用上は測定時間との兼ね合いで決める。静止位置の間隔の上限は以下のようにして決める。測定対象の任意の部位の撮像手段からの見えに着目したとき、光源を移動させると光沢が認められる角度条件近傍では暗かったものが明るくなり、再び暗くなるという現象が見られる。静止位置の間隔の上限は、この明るくなる領域の幅に比べて充分に短くなる範囲で設定するのが好ましい。本実施形態においては、静止位置の間隔は前記可動ステージ上で１ｃｍとした。
【００５０】
撮像手段３は、測定対象である顔に対峙するように顔の略正面に固定される。撮像手段３は、前記各状態の測定対象である顔の全像を所定の画角に収めて撮像できるもので、充分な空間分解能を有するものであれば、特に制限はない。異なる露出で撮像できることが好ましく、さらに動画と静止画の何れも撮像できるものが好ましい。また、制御手段７によって、撮像及び撮像した画像を画像データ（電子データ）としてコンピュータ８への取り込みの制御が可能な、荷電結合素子（ＣＣＤ）や相補型酸化物半導体（ＣＭＯＳ）素子を備えたビデオカメラが好ましい。可動光源２を連続的に移動させても、露出を異にしての一連の撮像の時間の間に光源の移動が殆ど起こっていないとみなせる程度に撮像手段が高速な場合には、光源は静止することなく移動させても構わない。また、撮像手段の光量に対するダイナミックレンジが光沢の強い部分に対応するのに充分な広さを持っており、かつ光量に対する分解能が光沢の弱い部分を表すのに充分な細かさを持っている場合には、異なる露出で撮像する必要はなく、単一の露出で撮像すれば充分である。
【００５１】
撮像手段３は、後のデータ処理が簡単になるように、画素値が入射光量に対して線形になるものを用いており、さらに反射光量の大きなレンジに対応するために露出を変えて撮像できる機能を有している。
【００５２】
＜三次元形状情報測定手段１Ｂ＞
投影手段５は、顔に白黒（明暗）の横縞の繰り返しからなる光学パターンを投影する装置である。投影手段５は、その投影位置から撮像手段３で撮像できる強度の光を任意のパターンで測定対象に投影できるものであれは、その種類に特に制限はないが、容易に安価に入手できること、投影パターンを容易に設定できることを考慮すると、コンピュータに接続可能な市販のプロジェクターが好ましい。また、投影手段５は、本実施形態のように投影する光学パターンを制御手段７において自動的に変更可能なものが好ましい。
【００５３】
投影手段５の配置は、測定対象の測定したい領域中に投影パターンが投影されず影になってしまうことが起こらない範囲で、測定対象に対する撮像手段３の向きと投影手段５の向きがなるべく異なっていることが望ましい。鼻の影が発生しにくいこと、投影パターンが左右均等に投影されることを考慮すると、測定対象から見て撮像手段の下方に設置することが好ましい。
【００５４】
光学パターンにおける明暗の幅の切り替えは、制御手段７において自動的に行われる。光学パターンにおける明暗の繰り返しをどこまで細かくするかについては、得られる形状の精度向上のためには細かければ細かいほど望ましいが、投影手段の分解能、撮像手段の分解能によって限界がある。目的を考慮すると、測定対象に投影される最も細かいパターンの繰返し幅を２０ｍｍ以下とすることが好ましく、５ｍｍ以下とすることがより好ましい。投影手段及び撮像手段の分解能は、これを実現するのに充分な性能を有する必要がある。具体的には、例えば、投影パターンは空間を上下２分割したものから始めて順次分割数を倍に増やしていき、最終的には２10（＝１０２４）分割したものまでの１０のパターンを投影する。
【００５５】
＜法線情報測定手段１Ｃ＞
固定光源６の光源には、点光源が用いられる。固定光源６の光源は、その固定位置から撮像手段３で撮像できる強度の光を測定対象に照射できるものであれば、その光源の種類に特に制限はないが、点灯後すぐに強度が安定すること、耐久性に優れていることを考慮すると、発光ダイオード（ＬＥＤ）が好ましい。
【００５６】
固定光源６の向きとそのときの撮像装置３に入ってくる光量の複数の関係からフィッティングを行って法線を求めることになるので、固定光源６の数は多ければ多いほど好ましく、さらに測定対象から見て均等に配置されていることが好ましい。一方で測定時間を短縮するためには光源の数は少ないほど好ましく、少ない数で効率的にデータを取得することを考慮すると、測定対象に対して前方に、測定対象を取り囲むようにリング状に配置することが好ましい。本実施形態においては、表面反射特性に必要な精度を確保するためには、固定光源６は９個で充分であった。
【００５７】
固定光源６は、個々の光源が接続されるリレー回路（図示せず）を備えている。該リレー回路は、制御手段７に接続されており、制御手段７によって該リレー回路のオン・オフスイッチが制御されることによって、個々の光源が点灯・消灯する。
【００５８】
測定装置においては、測定対象である顔と、撮像手段３及び各固定光源６との間に、それぞれ偏光子３Ａ、６Ａが配されている。ここで、これらの偏光子は、光源側の偏光子と、撮像手段側の偏光子とで、偏光面が互いに交差するように配置されている。ここで、偏光面が互いに交差するとは、光源から照射され測定対象にあたって反射し、撮像手段に入射してくる光の光量が最も小さくなる関係にあることをいう。撮像手段側の偏光子の向きを固定し、光源側の偏光子を回転させながら撮像手段から得られる映像が最も暗くなる条件を満たす光源側の偏光子の向きをもって交差しているとみなすことができる。測定対象に対して光源と撮像手段がほぼ同じ方向にある場合、それぞれの偏光子は直交することになる。この条件のとき、光沢は表面で一回のみ反射するため、光源側の偏光子を通り測定対象で反射した光沢の偏光の向きは保たれることになり、それと直交している撮像手段側の偏光子を通過することはできない。本実施形態では、一連の操作を簡単にするために、他の撮像時にも撮像手段側の偏光子を配置したまま撮像しているが、他の撮像に用いる各光源には偏光子が配置されておらず、そのとき撮像手段側に入ってくる光は殆ど偏光していないため、他の撮像には影響しないとみなせる。
【００５９】
情報処理手段４及び制御手段７は、上述のように、これら各手段として機能するコンピュータ８で構成されている。コンピュータ８は、中央演算処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入力装置、出力装置を備えたハードウェアと、基本ソフトウェア及び基本ソフトウェアと連動して下記ステップに従って測定装置に顔の表面反射特性を算出させるプログラムを備えたソフトウェアを具備している。コンピュータ８は、ＣＰＵが前記主記憶装置に保持された前記各プログラムを解釈してその指令内容を実行し、下記ステップに従ってコンピュータ８を前記情報処理手段４及び制御手段７として機能させる。
【００６０】
＜測定手法＞
次に、前記測定装置による顔の表面反射特性の測定手法について図１０〜図１４を参照しながら説明する。
先ず、ステップＳ１１（図１１参照）において、制御手段７の制御下、投影手段５によって測定対象者の顔に前述の白黒の繰り返しからなる横縞の光学パターンが投影される。光学パターンの周期は、制御手段７によって連続的に変更され、その投影状態が撮像手段３によって連続的に撮像される。全ての光学パターンの投影状態を撮像した後、投影手段５による顔への光学パターンの投影が停止される。
【００６１】
前記光学パターンが投影された状態の顔の投影画像データは、制御手段７の制御下、情報処理手段４に取り込まれる。
【００６２】
次に、ステップＳ１２（図１１参照）において、各固定光源６が、制御手段７の制御下、所定の順番で１回ずつ点灯・消灯され、各固定光源６による顔の固定光源光照射画像が撮像手段３によって撮像される。全ての固定光源６による１回ずつの点灯・消灯が終わると、光源６の点灯・消灯が完了する。
【００６３】
各固定光源６による顔の固定光源光照射画像は、電子データ（固定光源光照射画像データ、以下、固定光源画像データともいう。）として、制御手段７の制御下、情報処理手段４に取り込まれる。
【００６４】
次に、ステップＳ１３（図１１参照）において、可動光源２の光源２Ａが、制御手段７の制御下、顔の左後方の定位置から略Ｖ字状の軌道の尖端側まで移動し、その間において所定位置で静止し、顔の可動光源光照射画像が撮像手段３によって２種類の露出条件で撮像される。光源２Ａによる光の照射及び撮影が終わると、光源２Ａは左後方の定位置に戻り、その光は遮蔽板２１Ａで遮られる。次いで、光源２Ｂが、制御手段７の制御によってまず略Ｖ字状の軌道の尖端側に移動し、しかる後Ｖ字状の軌道の尖端側から顔の右後方まで移動し、その間において所定位置で停止し、顔の可動光照射画像が撮像手段３によって２種類の露出条件で撮像される。光源２Ｂによる光の照射及び撮影が終わると、光源２Ｂは定位置に戻り、その光は遮蔽板２１Ｂで遮られる。
【００６５】
光源２Ａ、２Ｂによる顔の可動光源光照射画像は、電子データ（可動光源光照射画像データ、以下、可動光源画像データともいう。）として、制御手段７の制御下に情報処理手段４に取り込まれる。
【００６６】
上述のようにして情報処理手段４に取り込まれた投影画像データ、固定光源光照射画像データ及び可動光源光照射画像データに基づいて、顔の表面光反射特性が情報処理手段４において以下のように求められる。
【００６７】
即ち、ステップＳ１４（図１１参照）において、情報処理手段４が、該投影画像データに基づいて顔の三次元形状情報（三次元基準座標における座標情報）を演算する。測定対象に光学パターンを投影して三次元形状情報を得る方法には、光切断法、イメージエンコーダ法などがあるが、装置及び解析プログラムの構成を比較的簡単にできることから、前記投影画像データから三次元形状情報を算出する空間コード化法が好ましい。
【００６８】
本実施形態の測定装置において、上記三次元形状情報は、本実施形態では、空間コード化法（Valkenburg,R.J., et al., 1998, Accurate 3D measurement using a structured light system. Image and Vision Computing 16, 2, 99-110）によって求められる。
【００６９】
投影手段５は、１回目に上半分が暗、下半分が明のパターンを投影する。撮像手段から見える測定対象の中で、暗の状態になっている領域は上半分の空間に属し、明の状態になっている領域は下半分の空間に属していることになる。２回目に上半分、下半分をそれぞれ二分して上から順に暗−明−暗−明なる光学パターンを投影したとき、１、２回目共に暗となった領域は１番上の四分の一、１回目に暗、２回目に明となった領域は上から２番目の四分の一といったように、測定対象の各位置が属している空間を絞り込むことができる。
このことを利用して具体的には、以下のようにして形状を求める。図１２に示したように、撮像された一連の画像を元に、測定対象の各位置の状態を２進数で表す。一の位は、１回目のパターンを投影したときに撮像された画像で着目している位置が暗の状態のとき０、明の状態のとき１とする。十の位は、２回目のパターンを投影したときに撮像された画像で着目している位置が暗の状態のとき０、明の状態のとき１とする。以下、３回目のパターンを投影したときの画像と百の位、４回目のパターンを投影したときの画像と千の位というように対応させていく。これを続けていくと、撮像手段３に映し出される測定対象の各微小面に対して一つの２進数が対応することになる。この結果得られる２進数はそれぞれ、空間を横向きに薄く切断していったときの一つと対応する。一方で、測定対象のある微小面が撮像された画像のあるピクセルに現れたとき、当該微小面はそのピクセルに対応する、撮像装置から延びる直線上のどこかに属することになる。先に述べた薄く切断された空間を平面と近似した場合、得られた２進数と対応するピクセルの位置から、前記平面と前記直線の交点として測定対象の当該微小面の空間的な位置を求めることができる。
【００７０】
次に、ステップＳ１５（図１１参照）において、情報処理手段４が、該固定光源画像データ及び前記三次元形状情報に基づいて顔の法線情報を演算する。測定対象の法線を求める方法としては、三次元形状の各面の傾きから求める方法等が挙げられる。測定精度を考慮すると、法線を形状とは別の方法で求めることが望ましく、具体的にはフォトメトリックステレオ法が好ましいが、装置規模の小型化を考慮すると、前記固定光源画像データ及び前記三次元形状情報から、修正フォトメトリックステレオ法を用いるのがより好ましい。以下にその具体的な方法を説明する。
【００７１】
本実施形態の測定装置において、前記法線情報は、法線情報の算出方法（Woodha, R.J. 1980. Photometric method for determining surface orientation from multiple images. Optical Engineering 19, 1, 139-144）を元にした方法によって求められる。この算出方法において、法線情報は、具体的に以下のようにして求められる。
【００７２】
前記固定光源画像データの任意の点（座標）の法線を、顔全面に亘って、以下のようにして求める。
【００７３】
各光源６（本実施形態では９個）がそれぞれ点灯したときの固定光源画像データにおける任意の点の強度をＩｎ（ｎ＝１〜９）とし、着目点の法線ベクトルをＮとする。また、着目点に対する各光源の方向ベクトルをＤｎ（ｎ＝１〜９）とする。さらに、各光源６と着目点との距離をＬｎ（ｎ＝１〜９）とする。また、光の強度が、その点の法線と光源の向きとの内積に比例する（ランバーシアン（Lambertian））と仮定すると、光の強度の理論値Ｉｔｎは、その点の法線ベクトルＮとその点からの光源への方向ベクトルＤｎとによって、下記式（２）で表される。ただし、ｃは定数であり、単位系の取り方や光源の強度、撮像手段の露出条件などにより決まる。また、ｍａｘ（ａ，ｂ）は、ａ、ｂの何れか大きなほうの値をとることを意味する。また、ｄｏｔ（Ａ，Ｂ）は、ベクトルＡとベクトルＢの内積を表す。右辺を除するＬｎ2は、光源から発せられた光の距離による減衰の効果を表している。
Ｉｔｎ＝ｍａｘ（０，ｃ×ｄｏｔ（Ｎ，Ｄｎ））／Ｌｎ2 （ｎは１〜９） （２）
そして、Ｎをフィッティングパラメータとしたときに、この式の値が実測と最も近いときのＮの値が真値であると考え、Σ（Ｉｎ − ｍａｘ（０,ｃ×ｄｏｔ（Ｎ，Ｄｎ））／Ｌｎ2）2が最小となるように、最小自乗法によって、法線ベクトルＮを求める。
【００７４】
上述のようにして求められた三次元形状情報及び法線情報は、ステップＳ１６（図１１参照）において、ハイブリッド法と呼ばれる修正処理によってさらに修正されることが好ましい。この修正によって、三次元形状情報と法線情報の整合性が確保でき、さらに三次元形状情報と法線情報の正確さが向上する。異なる方法で得られた三次元形状情報及び法線情報の整合性を確保し、正確さを向上させる方法は現時点ではハイブリッド法が唯一の方法であるが、今後新しい方法が開発された際にはそのような方法で置き換えても良い。
【００７５】
本実施形態の測定装置Ａでは、前記三次元形状情報及び法線情報の修正方法として、ハイブリッド法（Nehab,D.,Rusinkiewicz, et al., 2005, Efficiently Efficiently combining position and normals for precise3D geometry. ACM Transactions on Graphics 24, 3, 536-543.）によって行われる。
【００７６】
具体的には、図１３に示すように、前記三次元形状情報におけるあるピクセル近傍での形状に着目したとき、該ピクセル及びそれと接している上下左右のピクセルで形成される４つの三角形を考える。それぞれのピクセルには３次元空間での位置情報が含まれているので、各三角形の法線ベクトルを求めることができる。各三角形の法線ベクトルを平均したものを該ピクセルでの法線ベクトルＮ’とする。このようにして求めた法線ベクトルＮ’は、当該文献中にも指摘されている通り、法線ベクトルＮに比べて高周波成分は精度が低く、低周波成分は精度が高いので、正確さを増すためにＮの高周波成分とＮ’の低周波成分を組み合わせて新しい法線ベクトルとする。具体的には、先ず細かな変化の情報が失われるように法線ベクトルＮ’を平滑化し、その結果をＮｓ’とする。平滑化には一般的なガウシアンフィルタを用いるが、そのフィルタの幅（すなわちカットオフ周波数）は測定対象の凹凸の細かさの程度に応じて最適な値が異なることになるので、平滑化の出力を見ながら毛穴や細かなシワに由来すると思われる構造が失われ、かつ全体の平均的な形状が歪まない値を予め選んでおく。この条件は、例えば測定対象が人の顔であれば細かな凹凸の空間周波数はあまり変わらないので、ある人の顔に関して一旦この値を選んでおけば、別の人の顔を計測する際にも同じ値を使用して構わない。本実施形態においては、１０２４×６７８ピクセルに測定対象全体が含まれる条件で撮像して取得したデータに対して、分散値が１２となるガウシアンフィルタを用いて平滑化を行っている。法線ベクトルＮも法線ベクトルＮ’と同じ平滑化条件で平滑化し、その結果をＮｓとする。そして、得られた平滑化法線ベクトルＮｓを法線ベクトルＮに一致させる回転変換を、各点について求め、この回転変換を前記平滑化法線ベクトルＮｓ’に適用し、法線ベクトルＮ”を求める。
【００７７】
次に、測定対象である顔の実形状を想定し、それと実測値すなわち前記三次元形状情報及び法線ベクトルＮ”との誤差が最小となるように形状を修正する。具体的には、実形状として最もありうる形状を修正形状情報としたときに、該修正形状情報と前記三次元形状情報との誤差の自乗和と、修正形状情報から求めた修正法線情報と前記法線ベクトルＮ”との誤差の自乗和との重み付けした和が最小となるように、修正形状情報及び修正法線情報（修正法線ベクトルＮ）を求める。重み付けの値は、測定系や測定対象により異なるので、予め当該ステップがうまく機能するように、値を設定しておく。
本実施例において、以後使用する前記顔の光反射特性情報及び前記顔の法線情報はそれぞれ、ここで求めた前記修正形状情報及び前記修正法線情報を指す。
【００７８】
次に、ステップＳ１７において、情報処理手段４が、該可動光源画像データに基づいて顔の光反射特性情報を求める。
情報処理手段４によって求められる光反射特性情報は、双方向反射関数（ＢＲＤＦ）またはそれから派生する様々な特徴量を取り得るが、本実施例においては特に、照射される光の強さが一定である場合における、光沢の強度及び幅を言い、具体的には、以下のようにして求められる。
【００７９】
先ず、予め可動光源の光源２Ａ、２Ｂが点灯したときに、各光源をｍ個の仮想点光源の連続体として近似したときに、一つの仮想点光源から発せられる光が空間中のどの方向にどれくらいの強度で放射するかを計測しておく。即ち、一つの仮想点光源に相当する長さの要素以外を遮蔽し、そのとき各方向に放射される光量を計測する。本実施例においては取り扱いを簡単にするために、光源の特性が線光源の軸に対して軸対象で、線光源中の各要素の放射特性は光源の部分によらず（中央部でも端部でも）一定であることを仮定した。各光源を高さ方向にｍ個の単位に分割したときにおける各分割単位に対する方向及び強度を計測する。分割単位の個数ｍは、光源の長さ、測定対象の大きさ、光源と測定対象の距離などに応じて設定され、精度向上の点ではｍは大きければ大きいほど好ましいが、一方で計算コストが上昇してしまうことから、総合的には精度を悪化させない範囲で小さいことが好ましく、本実施形態の場合では、ｍは１００程度であることが好ましい。
【００８０】
次に、顔の光反射特性が、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（以下、ＴＳモデルという。）に従うと仮定する。
即ち、光反射率ｆは、皮膚の屈折率をｎ、光沢の強度をα、広がりをＭとすると、下記式（３）により求められるとする。
ｆ＝α×（Ｆ・Ｇ・Ｄ）／（４ｃｏｓθｉｃｏｓθｒ） （３）
ただし、フレネル項Ｆは、垂直入射に対しては下記式（４）、垂直入射以外は、式（５）で表される。
Ｆ＝（ｎ−１）2／（ｎ＋１）2 （４）
Ｆ＝（１／２）〔ｔａｎ2（θｉ−θｔ）／ｔａｎ2（θｉ＋θｔ）＋
ｓｉｎ2（θｉ−θｔ）／ｓｉｎ2（θｉ＋θｔ）〕 （５）
また、表面粗さ項Ｄは、下記式（６）で表される。
Ｄ＝ｅｘｐ（−ｔａｎ2β／Ｍ2）／πＭ2ｃｏｓ4β （６）
また、形状項Ｇは、下記式（７）で表される。ここで、ｍｉｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃの中で最も小さい値を意味する。
Ｇ＝ｍｉｎ（Ｇｓ，Ｇｍ，１） （７）
ここで、 Ｇｓ＝２（Ｎ・Ｈ）・（Ｎ・Ｓ）／（Ｓ・Ｈ）
Ｇｍ＝２（Ｎ・Ｈ）・（Ｎ・Ｖ）／（Ｖ・Ｈ）
Ｈ＝（Ｓ・Ｖ）／｜Ｓ・Ｖ｜
θｉ＝ａｃｏｓ（ｄｏｔ（Ｎ，Ｓ））
θｒ＝ａｃｏｓ（ｄｏｔ（Ｎ，Ｖ））
（ｄｏｔ（Ａ，Ｂ）は、ベクトルＡとベクトルＢの内積）
θｔ＝ａｓｉｎ（ｓｉｎθｉ／ｎ）
（ｎは皮膚表面の屈折率）
であり、Ｎは、修正法線ベクトル、Ｓは光源方向の単位ベクトル、Ｖは撮像手段方向の単位ベクトル、ＨはＳとＶを２等分する単位ベクトル、βはＮとＨが成す角度、θｉは入射角、θｒは受光角、θｔは屈折角である。
【００８１】
次に、前記可動光源画像データの顔の表面に対応する各点に対して、光反射特性を、次のようにして、顔の全面に亘って求める。
即ち、先ず、顔の中のある点に着目し、可動光源がそれぞれの静止位置（Ｐ１〜Ｐｎのｎ箇所）において光を照射したときの該点の画像の明るさ（実測値）Ｉ１〜Ｉｎを求める。
そして、可動光源がそれぞれの静止位置に来たときの該点に照射される光の各前記仮想点光源の向きＶ１１〜Ｖ１ｍ〜・・・〜Ｖｎ１〜Ｖｎｍと光量Ｌ１（Ｖ１１）〜・・・〜Ｌ１（Ｖ１ｍ）〜Ｌｎ（Ｖｎ１）〜・・・〜Ｌｎ（Ｖｎｍ）を前記計測した方向及び強度のデータから求める。
【００８２】
次に、可動光源の各光源が所定の静止位置において光を照射したとき画像の明るさＩｃ１〜Ｉｃｎを、ＴＳモデルに従うと仮定してＶ１１〜Ｖｎｍ及びＬ１（Ｖ１１）〜Ｌｎ（Ｖｎｍ）から求める。この計算結果には、光沢の強度と幅を表す変数（光反射特性情報）α、Ｍが含まれているので、図１４に示すように、Ｉｃ１〜Ｉｃｎが実測値のＩ１〜Ｉｎと最も一致するように、変数α、Ｍを変数としてシンプレックス法を用いてフィットさせ、光反射特性情報α、Ｍを求める。ここで前記実測値Ｉ１〜Ｉｎは、２種類の露出条件で撮影した画像から値を読み取る。具体的には、あらかじめ明るい露出条件で撮影した画像の画素値が同じ場所を暗い露出条件で撮影したときに比べて何倍になるか係数Ｃとして求めておく。そして、暗い露出条件で撮影したｊ番目の静止位置における画像の該画素値がＩ１ｊ、明るい露出条件で撮影したｊ番目の静止位置における画像の該画素値がＩ２ｊであったとき、画像中の明るい領域（明るい露出条件では画素値が飽和してしまう領域）ではＩｊ＝Ｃ×Ｉ１ｊ、暗い領域ではＩｊ＝Ｉ２ｊとする。
【００８３】
上述のように求めた光反射特性情報α、Ｍのマップの中で、鼻の陰になってしまう等の影響で明らかに数値が正しくない場合には、その値を破棄し、周囲の値で補間する。このようにして求められた表面反射特性情報は、ＣＰＵ１０Ａによって、ファイル装置１０ＦからＧＰＵ１０Ｃ内の処理用データ記憶領域に記憶される。
【００８４】
図４〜図７におけるＳ３〜Ｓ８のリアルタイム処理に先立ち、ＣＰＵ１０Ａは、プログラム１００における人物画像抽出処理機能１０２、追跡処理機能１０３、合成顔画像情報処理機能１０５、肌情報処理機能１０６、陰影成分情報処理機能１０７、顔画像合成処理機能１０８、人物背景合成動画像合成処理機能１０９、動画像表示処理機能１１０をＧＰＵ１０Ｃのプログラム領域にロードする。
【００８５】
本実施形態では、人物実動画像を取り込んでリアルタイム処理を行うため、人物実動画像入力装置１０Ｋは、ＩＥＥＥ１３９４インターフェースを介してコンピュータに接続されたビデオカメラで構成される。該ビデオカメラは、画素の縦横比、周辺部での歪みなど、各機種固有の特性を相殺させるため、背景実動画像入力装置１０Ｌで用いたビデオカメラＶ１と同一機種のビデオカメラを用いるのが好ましい。人物の撮像に際しては、図１５に示すように、ビデオカメラＶ３のレンズに偏光板Ｐ３を取り付ける。また、人物を照らす照明Ｌ３にも偏光板Ｐ３を取り付ける。人物の背後には、従来からクロマキー合成処理を行うために使用されているスクリーン（緑色又は青色）ＳＣを配する。撮像したときに画像上で単一色に映るように、照明Ｌ３の向きやスクリーンＳＣの張り方に配慮する。人物は、顔以外の部分（首から下及び髪の毛）を黒くて光沢があまり出ない衣装で覆う。これは、後述するように、顔の皮膚領域の処理のみを行うので、処理の結果得られる合成映像のうち、人物画像で顔以外の部分が、顔との対比で不自然に見えないようにするためである。前記人物実動画像の冒頭には、後述する追跡処理に使用するために、ビデオカメラＶ３に対して顔を正対させて静止させた状態の画像（正面画像）を一定時間（数秒間）撮像することが好ましい。
【００８６】
図４に示すように、先ず、データ入力・記憶処理ステップＳ１’において、ＣＰＵ１０Ａが、プログラム１００におけるデータ入力・記憶処理機能１０１により、撮像された人物動画像を人物実動画像入力装置１０Ｋからコンピュータ１０に取り込む。取り込まれた人物動画像は、後述するＧＰＵ１０Ｃによるリアルタイムの画像処理に使用される。
【００８７】
画像合成処理装置１では、人物画像抽出処理ステップＳ３（図４参照）において、ＧＰＵ１０Ｃが、あらかじめロードされたプログラム１００における人物画像抽出処理機能１０２を実行し、前記人物実動画像入力装置１０Ｋから取り込まれた前記人物実動画像の各フレーム画像から人物画像のみを抽出する。人物画像のみの抽出処理は、従来からクロマキー合成処理において行われている通常の手法で行われ、人物領域と背景のスクリーン領域とを特定の画素値を閾値として分離して抽出し、抽出した人物画像をＧＰＵ１０Ｃ内の処理用データ記憶部の領域に記憶させる。前記抽出は具体的には、前記人物実動画像のフレーム画像を記憶させると共に、前記フレーム画像に対して、対応するピクセル値が、背景では０、人物領域では１となるようなマスク画像を作成して記憶させ、前記フレーム画像を取り出す際に、前記マスク画像も合わせて参照することで実現する。
【００８８】
画像合成処理装置１では、追跡処理（トラッキング処理）ステップＳ４（図４参照）において、ＧＰＵ１０Ｃは、プログラム１００における追跡処理機能１０３を実行し、ＧＰＵ１０Ｃ上の記憶領域に記憶された前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める。
【００８９】
本実施形態においては、前記人物の顔の追跡情報は、パーティクル・フィルタリング（Oka,K.,and Sato,Y. 2005. Real-time modeling of face deformation for 3-d head pose estimation. In Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures, 308-320.）に基づいて、以下のようにして求められる。ただし、本実施形態では、処理を簡素化するために、顔の表情による形状の変化は考慮されていない。より自然な結果を得るためには、顔の表情による形状の変化を考慮することが好ましい。
【００９０】
先ず、追跡処理に使用するための顔画像における特徴点の初期座標を取得するために、ＧＰＵ１０Ｃは、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記人物画像の最初のフレームを表示装置１０Ｇの画面上に表示させるとともに、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記顔の三次元形状情報に基づいて、予め設定した人物の顔を正面から見たときの特徴点（の一群）を表示装置１０Ｇの画面上に表示させる。顔の特徴点としては、左右両目の目頭、目尻、鼻孔、唇の境界位置、眉頭、眉尻等が挙げられる。本実施形態では、処理の簡素化と追跡情報の精度を考慮し、前記特徴点として、左右両目の目頭、目尻、及び両鼻穴、唇の上下左右境界の位置、計１０点の特徴点が設定されている。本実施形態のプログラム１００においては、特徴点の一群は、表示装置１０Ｇの画面上において、入力装置１０Ｉによる平行移動、拡大縮小表示が可能とされており、前記人物の画像との位置合わせが精度良く行われる。
【００９１】
オペレータは、前記入力装置１０Ｉによって前記特徴点の一群を平行移動又は拡大縮小し、前記人物の画像中の特徴点に対応する座標とを位置合わせする。位置合わせが済むと、オペレータは、前記入力装置１０Ｉからの入力操作によってＣＰＵ１０Ａにその旨の信号を送る。この信号を受けると、ＣＰＵ１０Ａが、画像上での特徴点の位置情報をＧＰＵ１０Ｃに送る。それを受けたＧＰＵ１０Ｃは、各特徴点に対応する位置近傍の画像を取得し、それをテンプレートとして特徴点の位置情報と合わせて記憶領域に記憶する。ＧＰＵ１０Ｃは、前記信号をトリガーとして、図１６にフローチャートで示す追跡処理を開始する。
【００９２】
前述のように、本実施形態では、顔の表情による変化を考慮しないことから、前記人物の画像中の顔の位置の移動は、平行移動（３次元）と回転（３次元）の６次元による表記が可能となる。
ＧＰＵ１０Ｃは、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記人物の画像中の二つ前及び一つ前のフレーム画像の顔における前記特徴点の位置情報から、現在のフレーム画像の顔の位置情報として考えられる候補を複数用意する。候補は、顔が加速しなかったときに予想される位置を中心に選ばれる。
【００９３】
前記中心は、具体的には、次式（８）で表される。
（現在フレーム画像における位置・回転の値）＝（一つ前のフレーム画像における位置・回転の値）＋（（一つ前のフレーム画像における位置・回転の値）−（二つ前のフレーム画像における位置・回転値）） （８）
ただし、式（８）の右辺第２項は顔の動きの速度に関する項である。追跡処理開始時には、二つ前のフレーム画像の各値は取得できないので、速度に関する項が０とされる。
【００９４】
ＧＰＵ１０Ｃは、揺らぎ幅が前記速度に関する項の値に比例するようなガウスノイズ（乱数）を発生させ、それを前記中心に加算することで、前記候補として、前記中心を中心に複数の位置情報を用意する。揺らぎ幅が一定値以下になったときには、揺らぎ幅をその値とすることで、速度に関する項が０でもガウスノイズが発生するようにされている。
【００９５】
ＧＰＵ１０Ｃは、前記候補に対して、特徴点付近の画像と前記テンプレートとの一致度πを求める。一致度πは、ある候補に対して、前記特徴点付近の画像と前記テンプレートとを、特徴点ごと、ピクセルごと、ＲＧＢのチャネルごとに引き算を行い、各ピクセルの差異の自乗和を求め、さらにそれの逆数を求めたものを指す。一致度πは、具体的には、下記式（９）で表される。
π＝１／Σ（Ｉｒ（ｘ，ｙ，λ）−Ｉｔ（ｘ，ｙ，λ））2 （９）
ここで、ｘ、ｙは画像中のピクセルの座標、λはＲ／Ｇ／Ｂのいずれか、Ｉｒ（ｘ，ｙ，λ）は人物実動画像の該ピクセル、該チャネルの画素値、Ｉｔは前記候補の動きに従ってテンプレートを動かしたときの前記人物実動画像の該ピクセルに対応する位置のテンプレート上のピクセルの該チャネルの画素値、Σはテンプレートの存在する全ピクセル及び
全チャネルにわたる総和を表す。
【００９６】
前記人物実動画像中の各ピクセルに対して対応するテンプレートの有無をマスク画像で表すこともでき、対応するテンプレートがあるピクセルの値を１、ないピクセルの値を０としてマスク画像を作成した上で、前記一致度πの計算式（９）は、下記式（１０）で表される。
π＝１／Σ（マスク画像（ｘ，ｙ）×（Ｉｒ（ｘ，ｙ，λ）−Ｉｔ（ｘ，ｙ，λ））2
） （１０）
ここで、Σは画像中の全ピクセルにわたる総和を表す。
この値が大きければ大きいほど特徴点付近の画像と前記テンプレートとが一致していることになる。
【００９７】
前記６次元のうち、ある次元ｘに着目すると、ｉ番目の候補の次元ｘの値をｂ（ｉ，ｘ）、前記一致度をπ（ｉ）としたとき、現在フレーム画像における次元ｘの値は、次式（１１）で求められる。
ｂ（ｘ）＝Σｂ（ｉ，ｘ）π（ｉ）／Σπ（ｉ） （１１）
ここで、Σは選んだ候補全てにわたる総和を表す。
【００９８】
画像合成処理装置１では、肌情報処理ステップＳ５（図４参照）において、ＧＰＵ１０Ｃは、あらかじめロードされたプログラム１００の肌情報処理機能１０６を実行し、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された人物実動画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める。本実施形態では、該肌情報は、Norimichi,T., Ojima,N., Sato,K., Shiraishi,M., Shimizu,H., Nabeshima,H., Akazaki,S., Hori,K., and Miyake,Y. 2003. Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin. ACM Transactions on Graphics 22, 3, 770-779.等で述べられている下記のような主成分分析法に基づいて、求められる。
【００９９】
ＲＧＢチャネルの各値の対数をとり、その符号を反転させたＲ’＝−ｌｏｇ（Ｒ）、Ｇ’＝−ｌｏｇ（Ｇ）、Ｂ’＝−ｌｏｇ（Ｂ）からなる３次元空間を考え、この３次元空間に、撮像した肌の画像の各ピクセルの値を射影すると、肌の色は前記３次元空間中の、ある色成分平面上にほぼ集まることが知られており、また、この色成分平面からのズレは肌の各部位における照度のムラ、つまり陰影により生じることも知られている。本実施形態では、このことを利用して前記各フレーム画像から、次のようにして色成分情報と陰影成分情報を分離する。
【０１００】
先ず、統計的手法により、前記３次元空間上での前記色成分平面を求める。この統計的手法は具体的には主成分分析法及び／又は独立成分分析法を採用することができる。本実施形態では、計算結果が安定して求まることなどから、主成分分析により主成分を求める。具体的には、前記３次元空間に射影した肌の各ピクセルの値に対して主成分分析を行い、その第一主成分ベクトル及び第二主成分ベクトルにより張られる平面を前記色成分平面とする。陰影の効果はＲＧＢの値それぞれにＲＧＢによらない値を乗じることで表せることから、第三のベクトルとして、（１，１，１）なる陰影単位ベクトルを選び、前記３次元空間をこれら３つのベクトルを軸とする斜交座標系で表す。
【０１０１】
対象となる人物の肌の色を色黒、色白にするなどの画像効果を実現するためには、前記斜交座標系における前記色成分平面上への前記各ピクセルの値の射影に対してさらに独立成分分析を行い、２つの独立成分ベクトルを求め、それらを前記第一、第二主成分ベクトルの代わりに用いることが好ましい。この２つの独立成分ベクトルは、肌の色をもたらす２種類の色素、即ちメラニン色素及びヘモグロビン色素に対応し、例えばメラニン色素に対応する軸のスケール変換を行うことで、その後逆変換を行うと、肌の色を自然な色合いに保ちながら色黒にしたり色白にしたりすることができる。このことは前記独立成分分析法に関する文献に詳細に述べられている。
【０１０２】
前記各ピクセルの値は、相対的に比較できれば充分なので、前記斜交座標系の取り方及びその原点の取り方には任意性があるが、非負であったほうが画像データとして扱いやすく、また肌の色を変える等の用途への拡張を考慮すると、本実施形態では、主成分分析を行った後、独立成分分析によりメラニン色素軸、ヘモグロビン色素軸を求めた上で、図１７のように、肌の色の各ピクセルの値に各３成分の最小値が０より小さくならないようにオフセットを設けることが好ましい。前記独立成分ベクトル及び前記オフセットは、事前に数例のテスト撮影を行い、それら画像の解析から求めておく。
このようにして求められた座標系により、人物の顔画像の各フレーム画像から、色成分情報と陰影成分情報を分離し、これらの情報からなる肌情報を求め、該情報をＧＰＵ１０Ｃ内の処理用データ記憶領域に記憶する。
【０１０３】
画像合成処理装置１では、合成顔画像情報処理ステップＳ６（図５参照）において、ＧＰＵ１０Ｃは、あらかじめロードされたプログラム１００の合成顔画像情報処理機能１０５を実行し、前記ＧＰＵ１０Ｃ上の記憶領域に記憶された前記顔の表面反射特性情報における顔の法線情報、前記各ステップで求められた前記顔の追跡情報及び前記光環境情報における前記点光源の位置、強度情報（光量）に基づいて、図１８に示すように、フレーム毎に前記顔の陰影情報を求める。
【０１０４】
前記各フレーム画像上の任意のピクセルに対して、その位置における顔表面の法線ベクトルをＮ、そこから見たときの各点光源の方向ベクトルをＳ（ｉ）、各点光源の強度をＩ（ｉ）としたとき、そのピクセルの照度に比例した値、即ち陰影成分情報Ｌは、次式（１２）で表される。
Ｌ＝Σｄｏｔ（Ｎ，Ｓ（ｉ））Ｉ（ｉ） （１２）
ここで、Σは全ての点光源（ｎ個の点近似光源）にわたる総和、ｄｏｔ（Ａ，Ｂ）はＡ
とＢの内積を表す。後に計算する陰影を取り除いた肌情報にこれを乗ずることで、陰影を考慮した肌色を求めることができる。
【０１０５】
画像合成処理装置１では、合成顔画像情報処理ステップＳ６において、ＧＰＵ１０Ｃはプログラム１００の合成顔画像情報処理機能１０５を実行し、前記ＧＰＵ上の記憶領域に記憶された前記顔の表面反射特性情報、前記各ステップで求められた前記顔の追跡情報及び前記光環境情報に基づき、前記顔の表面反射情報を求める。ただし、本実施形態では、ここでも、顔の光反射特性情報がＴＳモデルに従うと仮定して、顔の表面反射情報が求められる。
【０１０６】
ＴＳモデルは、前述と同様に、皮膚の屈折率をｎ、光沢の強度をα、広がり（幅）をＭとしたときに、光反射率ｆが下記式（１３）により求められるとするものである。
ｆ＝α×（Ｆ・Ｇ・Ｄ）／（４ｃｏｓθｉｃｏｓθｒ） （１３）
ただし、Ｆはフレネル項、Ｇは形状項、Ｄは表面粗さ項である。
フレネル項Ｆは、垂直入射に対しては下記式（１４）、垂直入射以外は、下記式（１５）で表される。
Ｆ＝（ｎ−１）2／（ｎ＋１）2 （１４）
Ｆ＝（１／２）〔ｔａｎ2（θｉ−θｔ）／ｔａｎ2（θｉ＋θｔ）＋
ｓｉｎ2（θｉ−θｔ）／ｓｉｎ2（θｉ＋θｔ）〕 （１５）
また、表面粗さ項Ｄは、下記式（１６）で表される。
Ｄ＝ｅｘｐ（−ｔａｎ2β／Ｍ2）／πＭ2ｃｏｓ4β （１６）
また、形状項Ｇは、下記式（１７）で表される。ここで、ｍｉｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃの中で最も小さい値を意味する。
Ｇ＝ｍｉｎ（Ｇｓ，Ｇｍ，１） （１７）
ここで、 Ｇｓ＝２（Ｎ・Ｈ）・（Ｎ・Ｓ）／（Ｓ・Ｈ）
Ｇｍ＝２（Ｎ・Ｈ）・（Ｎ・Ｖ）／（Ｖ・Ｈ）
Ｈ＝（Ｓ・Ｖ）／｜Ｓ・Ｖ｜
であり、Ｎは、修正法線ベクトル、Ｓは光源方向の単位ベクトル、Ｖは撮像手段方向の単位ベクトル、ＨはＳとＶを２等分する単位ベクトル、βはＮとＨが成す角度、θｉは入射角、θｒは受光角、θｔは屈折角である。θｔは皮膚の屈折率をｎとして次式（１８）から求める。ここでも、前述したとおり、法線ベクトルはハイブリッド法で修正した修正法線ベクトルを用いる。
ｎ＝ｓｉｎθｉ／ｓｉｎθｔ （１８）
【０１０７】
前記顔の実動画像の各フレーム画像上の任意ピクセルに対して、その位置における顔表面の法線ベクトルをＮ、そこから見たときの各点光源の方向ベクトルをＳ（ｉ）、各点光源の強度をＩ（ｉ）、そこから見たときのカメラの方向ベクトルをＶとしたとき、そのピクセルの光反射率Ｆは次式（１９）で表せる。ただし前記各点光源は、前記光環境情報処理手段によりフレームごとに求めた近似点光源のうち、前記顔の実動画像のフレームに対応したもののことで、前記光環境情報として格納されている。
Ｆ＝Σｆ(ｉ) （１９）
ただし、Σは全ての点光源にわたる計算値の総和、ｆ（ｉ）はｉ番目の点光源に対して
ＴＳモデルに従って求められる反射光量の値である。ｉ番目の点光源に対する反射光量は、前記ＴＳモデルの定義式中の各入力パラメータとして、ＳにＳ（ｉ）、ｃｏｓθｉ＝ｄｏｔ（Ｎ，Ｓ）、ｃｏｓθｒ＝ｄｏｔ（Ｎ，Ｖ）、α、Ｍとして前記顔の表面反射特性の該位置の強度、広がりを代入して求めることができる。
【０１０８】
画像合成処理装置１では、顔動画像合成処理ステップＳ７（図６参照）において、ＧＰＵ１０Ｃは、あらかじめロードされたプログラム１００の陰影成分情報処理機能１０７兼顔画像合成処理機能１０８を実行し、前記肌情報、顔の陰影情報、及び顔の表面反射情報に基づいて、前記顔の合成画像を合成する。
【０１０９】
本実施形態では、図１９に示すように、前記陰影成分情報にローパスフィルタをかけたものを低周波陰影成分情報とし、前記陰影成分情報を低周波陰影成分情報で除した結果を前記陰影成分情報の高周波陰影成分情報とする。前記高周波陰影成分情報は、各情報の取得方法の相違により生じる、顔の色成分（ヘモグロビン成分、メラニン成分）情報と顔の陰影成分の間で高周波での周波数特性が異なってしまうことにより合成画像が不自然になることを防ぐために用いられる。
本実施形態では、前記顔の陰影情報と前記陰影成分情報の高周波陰影成分情報とを乗じたものを最終的な顔の陰影情報とし、これを前記独立成分分析法で求めた陰影成分情報に代えて、メラニン成分情報、ヘモグロビン成分情報と共に、前記独立成分分析法で行った変換の逆変換を行うことで、陰影を考慮した色成分情報を得る。この結果に、前記顔の表面反射光成分情報を加算する。加算する前に、各々の画像には、最終的に背景と合成したときに自然な画像となるように、適切な定数を乗じておく。この定数は、表面反射情報を求めるプロセスと色成分情報を求めるプロセス、及び背景画像を取得するプロセスの各プロセスの結果画像それぞれの単位画素値が表す光量が異なるために必要となる。
【０１１０】
画像合成処理装置１では、人物背景合成動画像合成処理ステップＳ８（図７参照）において、ＧＰＵ１０Ｃは、プログラム１００の人物背景合成動画像合成処理機能１０９を実行し、前記各ステップで求めた前記顔の合成画像及び前記人物画像、並びに前記ファイル記憶装置１０Ｆに記憶された前記背景実動画像に基づいて、人物背景合成動画像（最終合成画像）を合成する。具体的には、顔の合成画像とそれに対応する前記人物実動画像中の１フレーム画像、及び前記背景実動画像の対応する１フレーム画像をフレームごとに順次合成した後、連結して動画像にする。そして、この人物の合成動画像、前記人物画像及び本実施形態では、図２０に示すように、前記顔の合成画像の背景に相当するスクリーンＳＣの領域を、前記背景実動画像と差し替えることで最終的な合成画像を得る。
【０１１１】
以上説明したように、本実施形態の画像合成装置及び方法では、合成の対象とする人物実動画像と、これとは別に撮像される背景実動画像とを合成するに当たって、予め該人物の顔について前記顔の表面反射特性情報を求めておくとともに、前記背景実動画像の撮像とともに該背景の光環境実動画像を撮像しておき、該顔の表面反射特性情報と、前記光環境実動画像から光源を点近似して求めた光環境情報と、前記人物実動画像から抽出した顔の追跡情報とをリアルタイム処理により合成して顔の陰影情報及び顔の表面反射情報を求め、これらの各情報と、前記人物の顔画像から求めた肌情報及び高周波陰影成分情報とともに合成した上で、前記背景実動画像と合成するので、人物と背景の動画像における照明条件を略同じにすることができ、あたかも同じ場所で撮像されたと同様の自然な動画像を得ることができる。
【０１１２】
本発明は、前記実施形態に制限されない。
例えば、画像合成に使用する表面反射特性情報は、他の方法で得られた情報を採用することができる。
【０１１３】
また、肌情報処理手段では、前記色成分平面を導くための解析手法として主成分分析法に変えて、独立成分分析法を用いることができる。また光環境情報処理手段では、光環境実動画像を適切に変換できれば、点光源の代わりに面光源、線光源などを使ってもよい。各情報取得、処理を工夫することで、顔の色成分（ヘモグロビン成分、メラニン成分）情報と顔の陰影成分の間で周波数特性を一致させることができれば、陰影成分の高周波陰影成分情報は使わなくても良い。
【０１１４】
本発明の表面反射特性測定装置の測定対象に特に制限はない。顔以外の身体の各部位の表面反射特性の他、物品の表面反射特性を測定することができる。
【０１１５】
本発明により得られる人物背景合成動画像は、例えば、アミューズメント施設におけるアトラクション、テレビなどにおけるリアルタイム合成処理等に利用される。
【図面の簡単な説明】
【０１１６】
【図１】本発明の画像合成装置の一実施形態の概略を示すデータフローを含むブロック図である。
【図２】本発明の画像合成装置の一実施形態を汎用のコンピュータに適用したブロック図である。
【図３】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図４】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図５】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図６】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図７】本発明の画像合成方法の処理ステップを示すデータフロー図である。
【図８】本発明の画像合成方法において背景実画像及び光環境実動画像の撮像に使用される撮像手段の模式図である。
【図９】本発明の画像合成方法において使用される光環境情報を求めるための光源の点近似方法におけるフローを示す図である。
【図１０】本発明の画像合成方法において使用される表面反射特性の測定装置の一実施形態を示す模式図であり、（ａ）は平面図、（ｂ）は側面図である。
【図１１】前記実施形態の表面反射特性測定装置における測定手順の概略を示すフローチャートである。
【図１２】前記実施形態の表面反射特性測定装置の情報処理手段における、空間コード化法による三次元形状情報の算出ステップを説明するための図である。
【図１３】前記実施形態の表面反射特性測定装置の情報処理手段における、ハイブリッド法による三次元形状情報及び法線情報の修正ステップを説明するための図である。
【図１４】前記実施形態の表面反射特性測定装置の情報処理手段における、シンプレックス法による光反射特性情報の算出ステップを説明するための概念図であり、（ａ）は撮像される一連のフレーム画像、（ｂ）は一連のフレーム画像中の特定の位置に着目したときの画素値のグラフ（点）と、反射強度及び幅をパラメータとしてフィッティングを行った結果グラフ（破線）とを示す図である。
【図１５】本発明の画像合成方法において人物実動画像の撮像に使用される装置を示す図であり、（ａ）は平面図、（ｂ）は側面図である。
【図１６】前記実施形態の画像合成方法における追跡処理ステップを説明するフローチャートである。
【図１７】主成分分析法及び独立成分分析法によって人物の顔画像から色成分情報（ヘモグロビン成分とメラニン成分）と陰影成分情報からなる肌情報を求めるステップを説明する概略図である。
【図１８】前記実施形態の画像合成方法における合成顔画像情報処理ステップを説明するフローチャートである。
【図１９】前記実施形態の画像合成方法における顔画像合成処理ステップを説明するフローチャートである。
【図２０】前記実施形態の画像合成方法における人物背景合成動画像合成処理ステップを説明するフローチャートである。
【符号の説明】
【０１１７】
１ 画像合成装置
１１ 人物実動画像入力・記憶手段
１２ 背景実動画像入力・記憶手段
１３ 光環境実動画像入力・記憶手段
１４ 表面反射特性情報入力・記憶手段
２１ 人物画像抽出処理手段
２２ 追跡処理手段
２３ 光環境情報処理手段
２４ 合成顔情報処理手段
２５ 肌情報処理手段
２６ 陰影成分情報処理手段
２７ 顔画像合成処理手段
２８ 人物背景合成動画像合成処理手段
２９ 動画像表示処理手段
１０ コンピュータシステム
１００ 画像合成プログラム
Ａ 表面反射特性測定装置
１Ａ 光反射特性情報測定手段
１Ｂ 三次元形状情報測定手段
１Ｃ 法線情報測定手段
２ 可動光源
２Ａ、２Ｂ 光源
２１Ａ、２１Ｂ 遮蔽板
３ 撮像手段
３Ａ 偏光子
４ 情報処理手段
５ 投影手段
６ 固定光源
６Ａ 偏光子
７ 制御手段
８ コンピュータシステム
９ フレーム
【特許請求の範囲】
【請求項１】
人物の実動画像に基づいて合成された該人物の顔の合成画像を、前記人物の実動画像とは別に撮像された背景の実動画像と合成する画像合成装置であって、
前記人物の実動画像を入力又は記憶する人物実動画像入力・記憶手段と、
前記背景の実動画像を入力又は記憶する背景実動画像入力・記憶手段と、
前記背景の実動画像とともに撮像された該背景の光環境実動画像を入力又は記憶する光環境実動画像入力・記憶手段と、
前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる前記人物の顔の表面反射特性情報を入力又は記憶する表面反射特性情報入力・記憶手段と、
前記人物実動画像入力・記憶手段に記憶された前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理手段と、
抽出された前記人物画像、及び前記表面反射特性情報入力・記憶手段が入力又は記憶した前記顔の三次元形状情報に基づいて、前記人物の顔画像、並びに前記人物の顔の特定部位の位置情報及び該顔の方向情報からなる顔の追跡情報を求める追跡処理手段と、
前記光環境実動画像入力・記憶手段が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理手段と、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理手段と、
前記人物の顔画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理手段と、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理手段と、
前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理手段とを具備する画像合成装置。
【請求項２】
前記肌情報処理手段は、前記人物の顔画像の各フレーム画像から、主成分分析法及び／又は独立成分分析法を用いて前記色成分情報及び陰影成分情報からなる肌情報を求める請求項１に記載の画像合成装置。
【請求項３】
前記光環境情報処理手段は、前記光環境実動画像入力・記憶手段が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じて光源を点光源に近似させた光環境情報を求める請求項１又は２に記載の画像合成装置。
【請求項４】
前記顔画像合成処理手段は、前記陰影成分情報から高周波陰影成分情報を求める陰影成分情報処理手段を具備し、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射光情報に加えて前記高周波陰影成分情報にも基づいて前記顔の合成画像を合成する請求項１〜３の何れかに記載の画像合成装置。
【請求項５】
前記光環境実動画像が、前記背景の実動画像を撮像する背景撮像用のビデオカメラの背後に配設され且つ互いのレンズの光軸が同一直線状に位置するように設定された光環境撮像用のビデオカメラにより撮像された、該光環境撮像用のビデオカメラの前方に配され且つ前記光軸が中心を通る表面が鏡面加工された球又は球殻を含む動画像である請求項１〜４の何れかに記載の画像合成装置。
【請求項６】
人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶するデータ入力・記憶処理ステップと、
前記光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理ステップと、
前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理ステップと、
前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理ステップと、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理ステップと、
前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理ステップと、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理ステップと、
前記顔の合成画像、前記人物画像、及び前記背景の実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理ステップとを具備する画像合成方法。
【請求項７】
コンピュータに、人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶手段に記憶させるデータ入力・記憶処理機能と、人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理機能と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理機能と、光環境実動画像の各フレーム画像に基づいて、記憶された前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理機能と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理機能と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理機能と、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理機能と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理機能とを実現させる画像合成プログラム。
【請求項１】
人物の実動画像に基づいて合成された該人物の顔の合成画像を、前記人物の実動画像とは別に撮像された背景の実動画像と合成する画像合成装置であって、
前記人物の実動画像を入力又は記憶する人物実動画像入力・記憶手段と、
前記背景の実動画像を入力又は記憶する背景実動画像入力・記憶手段と、
前記背景の実動画像とともに撮像された該背景の光環境実動画像を入力又は記憶する光環境実動画像入力・記憶手段と、
前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる前記人物の顔の表面反射特性情報を入力又は記憶する表面反射特性情報入力・記憶手段と、
前記人物実動画像入力・記憶手段に記憶された前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理手段と、
抽出された前記人物画像、及び前記表面反射特性情報入力・記憶手段が入力又は記憶した前記顔の三次元形状情報に基づいて、前記人物の顔画像、並びに前記人物の顔の特定部位の位置情報及び該顔の方向情報からなる顔の追跡情報を求める追跡処理手段と、
前記光環境実動画像入力・記憶手段が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理手段と、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理手段と、
前記人物の顔画像の各フレーム画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理手段と、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理手段と、
前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理手段とを具備する画像合成装置。
【請求項２】
前記肌情報処理手段は、前記人物の顔画像の各フレーム画像から、主成分分析法及び／又は独立成分分析法を用いて前記色成分情報及び陰影成分情報からなる肌情報を求める請求項１に記載の画像合成装置。
【請求項３】
前記光環境情報処理手段は、前記光環境実動画像入力・記憶手段が入力又は記憶した光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じて光源を点光源に近似させた光環境情報を求める請求項１又は２に記載の画像合成装置。
【請求項４】
前記顔画像合成処理手段は、前記陰影成分情報から高周波陰影成分情報を求める陰影成分情報処理手段を具備し、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射光情報に加えて前記高周波陰影成分情報にも基づいて前記顔の合成画像を合成する請求項１〜３の何れかに記載の画像合成装置。
【請求項５】
前記光環境実動画像が、前記背景の実動画像を撮像する背景撮像用のビデオカメラの背後に配設され且つ互いのレンズの光軸が同一直線状に位置するように設定された光環境撮像用のビデオカメラにより撮像された、該光環境撮像用のビデオカメラの前方に配され且つ前記光軸が中心を通る表面が鏡面加工された球又は球殻を含む動画像である請求項１〜４の何れかに記載の画像合成装置。
【請求項６】
人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶するデータ入力・記憶処理ステップと、
前記光環境実動画像の各フレーム画像に基づいて、前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理ステップと、
前記人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理ステップと、
前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理ステップと、
前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理ステップと、
前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理ステップと、
前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理ステップと、
前記顔の合成画像、前記人物画像、及び前記背景の実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理ステップとを具備する画像合成方法。
【請求項７】
コンピュータに、人物の実動画像、前記人物の実動画像とは別に撮像された背景の実動画像、前記背景の実動画像とともに撮像された該背景の光環境実動画像、並びに前記人物の顔の三次元形状情報、法線情報及び光反射特性情報からなる該人物の顔の表面反射特性情報を入力又は記憶手段に記憶させるデータ入力・記憶処理機能と、人物の実動画像の各フレーム画像から人物画像を抽出する人物画像抽出処理機能と、前記人物画像及び前記顔の三次元形状情報に基づいて、前記人物の顔画像及び前記人物の顔の追跡情報を求める追跡処理機能と、光環境実動画像の各フレーム画像に基づいて、記憶された前記背景の実動画像の各フレーム画像に応じた光環境情報を求める光環境情報処理機能と、前記顔の表面反射特性情報、前記顔の追跡情報、及び前記光環境情報に基づいて、前記顔の陰影情報及び表面反射情報を求める合成顔画像情報処理機能と、前記人物の顔画像から、色成分情報及び陰影成分情報からなる肌情報を求める肌情報処理機能と、前記肌情報、前記顔の陰影情報、及び前記顔の表面反射情報に基づいて、前記顔の合成画像を合成する顔画像合成処理機能と、前記顔の合成画像、前記人物画像、及び前記背景実動画像に基づいて、人物背景合成動画像を合成する人物背景合成動画像合成処理機能とを実現させる画像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−２１９６４（Ｐ２００９−２１９６４Ａ）
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願番号】特願２００７−１８４９７９（Ｐ２００７−１８４９７９）
【出願日】平成１９年７月１３日（２００７．７．１３）
【出願人】（００００００９１８）花王株式会社 (8,290)
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願日】平成１９年７月１３日（２００７．７．１３）
【出願人】（００００００９１８）花王株式会社 (8,290)
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
[ Back to top ]