画像合成装置およびその制御方法
【課題】撮像により得られた被写体像の顔画像部分を合成用の顔画像に置き換える。
【解決手段】顔画像部分を置き換えるための合成用顔画像１が入力され，記憶される。被写体15を撮像し，被写体像を得る。得られた被写体像から顔画像部分が検出され，その顔画像部分によって表される顔の向き，顔の表情が検出される。検出された顔の向き，顔の表情をもつ合成用顔画像が，被写体像の顔画像部分に置き換えられる。顔画像部分が置き換えられた被写体像が表示装置６に表示される。
【解決手段】顔画像部分を置き換えるための合成用顔画像１が入力され，記憶される。被写体15を撮像し，被写体像を得る。得られた被写体像から顔画像部分が検出され，その顔画像部分によって表される顔の向き，顔の表情が検出される。検出された顔の向き，顔の表情をもつ合成用顔画像が，被写体像の顔画像部分に置き換えられる。顔画像部分が置き換えられた被写体像が表示装置６に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像合成装置およびその制御方法に関する。
【背景技術】
【０００２】
動画，ゲーム映像を表示する装置において，表示される顔を，別の顔で置き換えるものがある。たとえば，アーケード・ゲーム機にビデオ・カメラを設け，ゲーム中の登場人物の顔をユーザの顔に置き換えるものがある（特許文献１）。また，動画像中の人物顔の動きを自動トラッキングし，顔画像を所望の形状に変形された画像を合成可能なものもある（特許文献２）。
【特許文献１】実用新案登録第3048628号
【特許文献２】特開2002-269546号公報
【発明の開示】
【０００３】
しかしながら，ユーザの顔を撮像した場合に，撮像されたユーザの顔を表示すると問題が起きることがある。撮像されたユーザの顔を他の画像に置き換えることも考えられるが，単なる置き換えではユーザの様子が分からないことが多い。
【０００４】
この発明は，ユーザの画像を他の画像に置き換えた場合であっても，ユーザの様子が分かるようにすることを目的とする。
【０００５】
この発明による画像合成装置は，被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出する顔画像部分検出手段，上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出する顔状況検出手段，上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換える置き換え手段，ならびに上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。
【０００６】
この発明は，上記画像合成装置に適した制御方法も提供している。すなわち，この方法は，撮像手段が，被写体を撮像し，被写体像を表す画像データを出力し，顔画像部分検出手段が，上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出し，顔状況検出手段が，上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出し，置き換え手段が，上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換え，表示制御手段が，上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御するものである。
【０００７】
この発明によると，被写体が撮像され，撮像により得られた被写体像から顔画像部分が検出される。検出された顔画像部分の顔の向きおよび喜怒哀楽などの顔の表情の少なくとも一方である顔の状況が検出される。検出された顔画像部分が，検出された顔の状況に対応した合成用顔画像に置き換えられる。顔画像部分が，合成用顔画像に置き換えられた被写体像が表示される。
【０００８】
撮像により得られた被写体像の顔画像部分が他の合成用顔画像に置き換えられるので，被写体の顔を表示できない場合でも撮像された被写体像の全体を表示できる。とくに，置き換えられる合成用顔画像は，検出された顔画像部分の向き，喜怒哀楽などの顔の表情と同じ向き，表情をもっている。したがって，被写体像の顔画像が表示されなくとも，被写体の人物がどのような顔の向きで，どのような表情をしていたかを把握できる。
【０００９】
上記置き換え手段は，たとえば，上記顔画像部分検出手段によって検出された顔画像部分を，上記検出手段によって検出された顔の状況に対応した合成用顔画像であって，合成用顔画像データ記憶手段に顔の状況ごとに記憶されている合成用顔画像データによって表される合成用顔画像に置き換える，あるいは所定の顔画像を，上記検出手段によって検出された顔の状況に対応した合成用顔画像に変形し，上記顔画像部分検出手段によって検出された顔の画像部分を，変形により得られた合成用顔画像に置き換えるものである。
【実施例】
【００１０】
図１は，この発明の実施例を示すもので，画像合成装置の電気的構成を示すブロック図である。
【００１１】
画像合成装置20は，制御装置８によって統括される。
【００１２】
この実施例による画像合成装置20は，被写体15を撮像し，撮像により得られた被写体像のうち顔画像部分を合成用顔画像１に置き換えて表示するものである。このために，画像合成装置20には合成用顔画像１を表す合成用顔画像データを入力する合成用顔画像入力装置９が含まれている。合成用顔画像入力装置９から入力された合成用顔画像データは，データ記憶装置７に与えられ，一時的に記憶される。
【００１３】
また，画像合成装置20には，被写体15を撮像するビデオ・カメラ11が含まれている。ビデオ・カメラ11によって被写体15が撮像されると，被写体像を表す画像データは画像入力装置10を介して顔画像部分検出装置４に入力する。顔画像部分検出装置４において，被写体15を撮像することにより得られた被写体像の中から顔画像部分の位置が検出される。顔画像部分の位置を検出する場合，特定のフレームの前のフレームで検出された顔画像部分の位置，顔の向きなどを利用して，前のフレームで検出された顔の状態に近い顔画像部分を重点的に検出処理を行うことにより検出処理をより高速に，かつ高精度に行うことができる。検出された顔画像部分の位置を表すデータおよび被写体像を表すデータは，顔状態判定装置３に入力する。顔状態判定装置３において，被写体像のうち，検出された顔画像部分によって表される顔の状態（顔の向き，喜怒哀楽の顔の表情）が判定される。顔の状態を表すデータは，合成画像生成装置２に入力する。
【００１４】
データ記憶装置７に記憶されている合成用顔画像データも合成画像生成装置２に入力する。合成画像生成装置２において，撮像された被写体像のうち，顔画像部分が，その顔画像部分の顔の向き，顔の表情に対応した合成用顔画像によって置き換えられた合成画像が生成される。たとえば，被写体像の顔画像部分が横向きであれば，横向きの合成用顔画像で被写体像の顔画像部分が置き換えられる。また，被写体像の顔画像部分によって表される顔の表情が怒りの表情であれば，怒りの表情をもつ合成用顔画像が被写体像の顔画像部分に置き換えられる。このように，顔の向き，顔の表情に応じた合成用顔画像は，顔の向き，顔の表情ごとにあらかじめ生成し，かつ記憶しておき，検出された顔画像部分の顔の向き，顔の表情に対応した合成用顔画像を読み出して被写体像に合成することができる。また，所定の顔の向き，顔の表情をもつ合成用顔画像を記憶しておき，その合成用顔画像から，検出された顔画像部分によって表される顔の向き，顔の表情をもつ合成用顔画像を生成し，生成された合成用顔画像を被写体像に合成することもできる。
【００１５】
合成用顔画像が合成された被写体像を表す画像データは，画像出力装置５から表示装置６に与えられる。表示装置６の表示画面には，顔画像部分が合成用顔画像に置き換えられた被写体像が表示されるようになる。
【００１６】
たとえば，街頭カメラからの映像を放送するような場合には通行人が写ってしまい，肖像権を考慮すると，通行人の顔をそのまま放送しない方が好ましいときがある。そのようなときに，通行人の顔をそのまま放送せずに通行人の表情，顔の向きを考慮して顔を合成用の顔に置き換えた映像を放送することができる。合成用の顔画像は，スマイル・マークのようなイラストでもよいし，タレント，アニメのキャラクタのものでもよい。また，顔の向きだけでよければ，顔画像部分を取り除き，顔の向きが分かるように枠を表示するだけでもよい。
【００１７】
図２（Ａ）および（Ｂ）は，所定の合成用顔画像から向きの異なる顔画像を生成する様子を示すものである。
【００１８】
図２（Ａ）は，所定の合成用顔画像41の一例で，二次元の顔画像である。二次元の顔画像から，公知のソフトウエアを利用して三次元の顔画像が生成される。三次元の顔画像が生成されると，たとえば，ワイヤー・フレーム・モデルと呼ばれる立体表現方法の一つを利用して，三次元の顔画像が立体の輪郭を表す線のみで表現される。顔を構成する目，口，鼻，眉毛などの構成要素をワイヤー・フレーム・モデルの制御点位置で規定されるように調整し，その制御点位置を調整し，三次元の顔画像を調整された制御点位置となるように制御することにより，三次元の顔画像の向き，表情を変えることができる。
【００１９】
また，右向きのワイヤフレームの変形方法，笑顔のワイヤフレームの変形方法などをあらかじめテーブルとして記憶しておき，変形方法に応じて合成用顔画像を変形させることができる。
【００２０】
図２（Ｂ）は，このようにして所定の合成用顔画像41が向かって左斜め向きの合成用顔画像42に変えられたものである。左斜め向きだけでなく，その他の向き，表情も変えることができるのはいうまでもない。
【００２１】
図３は，画像合成装置20の処理手順を示すフローチャートである。この処理手順は，被写体の顔の画像部分の表情を検出し，その検出された顔の表情に対応した表情をもつ合成用顔画像を被写体像に合成するものである。また，合成用顔画像は，複数の表情に応じた複数の合成用顔画像をあらかじめ生成するのではなく，所定の表情をもつ合成用顔画像から，検出された顔の表情をもつ合成用顔画像を生成するものである。
【００２２】
まず，所定の表情をもつ合成用顔画像を表す合成用顔画像データが画像合成装置20に入力される（ステップ31）。入力された合成用顔画像データは，データ記憶装置７に記憶される。被写体が１／60秒周期などの一定周期で連続して撮像される（ステップ32）。
【００２３】
一定周期の撮像により動画が得られ，得られた動画のうち１フレーム分の被写体像が取り出される（ステップ33）。取り出された１フレーム分の被写体像から顔画像部分が検出される（ステップ34）。
【００２４】
図４は，取り出された１フレーム分の被写体像53の一例である。被写体像50には，人物像51が含まれている。被写体像50の中から人物像51の顔画像部分52が検出される。
【００２５】
図３に戻って，検出された顔画像部分52によって表される顔の向きが検出される（向きでなく，表情でもよいし，向きと表情との両方を検出するようにしてもよい）（ステップ35）。顔の向きが検出されると，検出された顔の向きとなるような合成用顔画像（パターン別合成用顔画像）が上述のように生成される（ステップ36）。すると，生成されたパターン別合成用顔画像が，撮像により得られた被写体像の顔画像部分と置き換えられる（ステップ37）。
【００２６】
図５は，顔画像部分52が置き換えられた被写体像53の一例である。
【００２７】
被写体像53には，人物像54が含まれている。この人物像54の顔画像部分が，パターン別合成用顔画像55に置き換えられている。置き換えられたパターン別合成用顔画像55は，図４に示す置き換え前の顔画像部分52によって表される顔の向きと同じように向かって右向きとなっている。顔画像を置き換えても，元の顔画像の状態がある程度分かるようになる。
【００２８】
再び図３に戻って，顔画像部分がパターン別合成用顔画像に置き換えられた被写体像が表示装置６の表示画面に表示されるようになる（ステップ38）。続きのフレームがあれば（ステップ39でＹＥＳ），ステップ33から38の処理が繰り返される。
【００２９】
上述の実施例は，被写体像に含まれる顔画像部分が，その顔の向きと同じ向きの合成用顔画像に置き換えられるものであったが，顔の向きでなく，被写体像に含まれる顔画像部分が，その顔の表情と同じ表情の合成用顔画像に置き換えられるものであってもよい。
【００３０】
図６は，撮像により得られた被写体像50Ａの一例である。
【００３１】
被写体像50Ａには，人物像51Ａが含まれている。この人物像51Ａから上述したように，顔画像部分52Ａが検出される。検出された顔画像部分52Ａの表情が検出され，検出された表情をもつ合成用顔画像が，顔画像部分52Ａに置き換えられる。
【００３２】
図７は，顔画像部分52Ａが置き換えられた被写体像56の一例である。
【００３３】
被写体像56には，人物像57が含まれており，この人物像57は顔画像部分が合成用顔画像58に置き換えられている。図６に示す被写体像の顔画像部分52Ａの顔の表情が笑顔と判定されたものとすると，図７に示す被写体像56において置き換えられた合成顔画像58は，笑顔のものとなる。顔画像部分が置き換えられた場合であっても，置き換え前の顔画像部分52Ａの表情が分かるようになる。
【００３４】
上述の実施例では，顔の向きまたは顔の表情を判定し，顔画像部分を合成用顔画像に置き換えているが，顔の向きおよび顔の表情の両方とも判定し，顔の向きおよび顔の表情の両方に対応した合成顔画像に置き換えるようにしてもよい。
【００３５】
図８から図10は，他の実施例を示すものである。この実施例は，あらかじめ合成用顔画像を生成しておくものである。
【００３６】
図８は，異なる向きの合成用顔画像の一例である。
【００３７】
異なる向きの合成用顔画像には，左向き，左斜め向き，正面向き，右斜め向きおよび右向きの合成用顔画像71，72，73，74および75がある。これらの異なる向きの合成用顔画像71，72，73，74および75があらかじめ生成されて記憶されている。上述のように，撮像により得られた被写体像から検出された顔画像の向きに対応した向きの合成用顔画像が選択され，選択された合成用顔画像が被写体像の顔画像部分に置き換えられることとなる。
【００３８】
図９は，異なる表情の合成用顔画像の一例である。
【００３９】
異なる表情の合成用顔画像には，通常，驚き，笑顔，泣きおよび怒りの合成用顔画像81，82，83，84および85がある。これらの異なる表情の合成用顔画像81，82，83，84および85があらかじめ生成されて記憶されている。上述のように，撮像により得られた被写体像から検出された顔画像の表情に対応した表情の合成用顔画像が選択され，選択された合成用顔画像が被写体像の顔画像部分に置き換えられることとなる。
【００４０】
上記の例では，異なる向きの合成用顔画像71〜75および異なる表情の合成用顔画像81〜85がそれぞれ生成され，かつ記憶されているが，向きごとに異なる表情の合成用顔画像を生成し，かつ記憶するようにしてもよい。この場合には，それぞれの向きごとにそれぞれの表情の異なる合成用顔画像が記憶されることとなるから，25種類の顔画像が記憶されることとなろう。
【００４１】
図10は，画像合成装置の処理手順を示すフローチャートである。この図において，図３に示す処理と同一の処理については同一符号を付して説明を省略する。
【００４２】
所定の表情，向きをもつ合成用顔画像を表す合成用顔画像データが画像合成装置に入力する（ステップ31）。すると，図８に示すように顔の向き（または図９に示すように顔の表情）に対応した合成用顔画像（パターン別合成用顔画像）が生成される（ステップ61）。生成されたパターン別合成用顔画像を表す画像データがデータ記憶装置７に記憶される（ステップ62）。
【００４３】
その後は，図３に示す処理と同様に，撮像により得られた被写体像の顔画像部分が検出され，顔の向き（顔の表情）が検出される（ステップ32〜35）。検出された顔の向きに対応した顔の向きをもつ画像が図８に示すようにパターン別合成用顔画像から選択され（ステップ63），顔画像部分に置き換えられる（ステップ37）。顔画像部分の顔の表情が検出される場合には，検出された顔の表情に対応した顔の表情をもつ画像が図９に示すようにパターン別合成用顔画像から選択され，顔画像部分に置き換えられる。また，顔画像部分の顔の向きおよび顔の表情が検出される場合には，検出された顔の向きおよび顔の表情に対応した顔の向きおよび顔の表情をもつ画像が複数のパターン別合成用顔画像から選択され，顔画像部分に置き換えられる。
【００４４】
図11および図12は，さらに他の実施例を示すものである。
【００４５】
この実施例は，合成用顔画像にデコレーションを付けるものである。図11は，顔の表情に応じたデコレーションを示している。上述したように，通常の顔の表情，驚きの顔の表情，笑顔の顔の表情，泣きの顔の表情および怒りの顔の表情にそれぞれ対応してデコレーション91，92，93，94および95が定められ，かつ記憶されている。被写体像から検出された顔画像部分の表情に応じて，合成用顔画像にデコレーションが付加される。
【００４６】
図12は，デコレーションが付加された合成用顔画像の一例である。
【００４７】
通常の顔の表情，驚きの顔の表情，笑顔の顔の表情，泣きの顔の表情および怒りの顔の表情にそれぞれ対応して，それぞれの表情に応じたデコレーション91，92，93，94および95が付加された通常の顔の合成用顔画像101，驚きの顔の合成用顔画像102，笑顔の顔画像103，泣きの顔画像104および怒りの顔画像105があらかじめ記憶されている。被写体像の顔の表情に応じた表情をもち，かつデコレーションがある合成用顔画像を，被写体像の顔画像に置き換えることができる。
【００４８】
さらに，デコレーションの向きが被写体像の顔の向きに応じて変えられた合成用顔画像を被写体像の顔画像に置き換えるようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】画像合成装置の電気的構成を示すブロック図である。
【図２】（Ａ）および（Ｂ）は，合成用顔画像の一例である。
【図３】画像合成装置の処理手順を示すフローチャートである。
【図４】撮像により得られた被写体像の一例である。
【図５】顔画像部分が置き換えられた被写体像の一例である。
【図６】撮像により得られた被写体像の一例である。
【図７】顔画像部分が置き換えられた被写体像の一例である。
【図８】合成用顔画像の一例である。
【図９】合成用顔画像の一例である。
【図１０】画像合成装置の処理手順を示すフローチャートである。
【図１１】デコレーションの一例である。
【図１２】合成用顔画像の一例である。
【符号の説明】
【００５０】
２ 合成画像生成装置（置き換え手段）
３ 顔状態判定装置（検出手段）
４ 顔画像部分検出装置
５ 画像出力装置（表示制御手段）
８ 制御装置
11 ビデオ・カメラ
【技術分野】
【０００１】
この発明は，画像合成装置およびその制御方法に関する。
【背景技術】
【０００２】
動画，ゲーム映像を表示する装置において，表示される顔を，別の顔で置き換えるものがある。たとえば，アーケード・ゲーム機にビデオ・カメラを設け，ゲーム中の登場人物の顔をユーザの顔に置き換えるものがある（特許文献１）。また，動画像中の人物顔の動きを自動トラッキングし，顔画像を所望の形状に変形された画像を合成可能なものもある（特許文献２）。
【特許文献１】実用新案登録第3048628号
【特許文献２】特開2002-269546号公報
【発明の開示】
【０００３】
しかしながら，ユーザの顔を撮像した場合に，撮像されたユーザの顔を表示すると問題が起きることがある。撮像されたユーザの顔を他の画像に置き換えることも考えられるが，単なる置き換えではユーザの様子が分からないことが多い。
【０００４】
この発明は，ユーザの画像を他の画像に置き換えた場合であっても，ユーザの様子が分かるようにすることを目的とする。
【０００５】
この発明による画像合成装置は，被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出する顔画像部分検出手段，上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出する顔状況検出手段，上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換える置き換え手段，ならびに上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。
【０００６】
この発明は，上記画像合成装置に適した制御方法も提供している。すなわち，この方法は，撮像手段が，被写体を撮像し，被写体像を表す画像データを出力し，顔画像部分検出手段が，上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出し，顔状況検出手段が，上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出し，置き換え手段が，上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換え，表示制御手段が，上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御するものである。
【０００７】
この発明によると，被写体が撮像され，撮像により得られた被写体像から顔画像部分が検出される。検出された顔画像部分の顔の向きおよび喜怒哀楽などの顔の表情の少なくとも一方である顔の状況が検出される。検出された顔画像部分が，検出された顔の状況に対応した合成用顔画像に置き換えられる。顔画像部分が，合成用顔画像に置き換えられた被写体像が表示される。
【０００８】
撮像により得られた被写体像の顔画像部分が他の合成用顔画像に置き換えられるので，被写体の顔を表示できない場合でも撮像された被写体像の全体を表示できる。とくに，置き換えられる合成用顔画像は，検出された顔画像部分の向き，喜怒哀楽などの顔の表情と同じ向き，表情をもっている。したがって，被写体像の顔画像が表示されなくとも，被写体の人物がどのような顔の向きで，どのような表情をしていたかを把握できる。
【０００９】
上記置き換え手段は，たとえば，上記顔画像部分検出手段によって検出された顔画像部分を，上記検出手段によって検出された顔の状況に対応した合成用顔画像であって，合成用顔画像データ記憶手段に顔の状況ごとに記憶されている合成用顔画像データによって表される合成用顔画像に置き換える，あるいは所定の顔画像を，上記検出手段によって検出された顔の状況に対応した合成用顔画像に変形し，上記顔画像部分検出手段によって検出された顔の画像部分を，変形により得られた合成用顔画像に置き換えるものである。
【実施例】
【００１０】
図１は，この発明の実施例を示すもので，画像合成装置の電気的構成を示すブロック図である。
【００１１】
画像合成装置20は，制御装置８によって統括される。
【００１２】
この実施例による画像合成装置20は，被写体15を撮像し，撮像により得られた被写体像のうち顔画像部分を合成用顔画像１に置き換えて表示するものである。このために，画像合成装置20には合成用顔画像１を表す合成用顔画像データを入力する合成用顔画像入力装置９が含まれている。合成用顔画像入力装置９から入力された合成用顔画像データは，データ記憶装置７に与えられ，一時的に記憶される。
【００１３】
また，画像合成装置20には，被写体15を撮像するビデオ・カメラ11が含まれている。ビデオ・カメラ11によって被写体15が撮像されると，被写体像を表す画像データは画像入力装置10を介して顔画像部分検出装置４に入力する。顔画像部分検出装置４において，被写体15を撮像することにより得られた被写体像の中から顔画像部分の位置が検出される。顔画像部分の位置を検出する場合，特定のフレームの前のフレームで検出された顔画像部分の位置，顔の向きなどを利用して，前のフレームで検出された顔の状態に近い顔画像部分を重点的に検出処理を行うことにより検出処理をより高速に，かつ高精度に行うことができる。検出された顔画像部分の位置を表すデータおよび被写体像を表すデータは，顔状態判定装置３に入力する。顔状態判定装置３において，被写体像のうち，検出された顔画像部分によって表される顔の状態（顔の向き，喜怒哀楽の顔の表情）が判定される。顔の状態を表すデータは，合成画像生成装置２に入力する。
【００１４】
データ記憶装置７に記憶されている合成用顔画像データも合成画像生成装置２に入力する。合成画像生成装置２において，撮像された被写体像のうち，顔画像部分が，その顔画像部分の顔の向き，顔の表情に対応した合成用顔画像によって置き換えられた合成画像が生成される。たとえば，被写体像の顔画像部分が横向きであれば，横向きの合成用顔画像で被写体像の顔画像部分が置き換えられる。また，被写体像の顔画像部分によって表される顔の表情が怒りの表情であれば，怒りの表情をもつ合成用顔画像が被写体像の顔画像部分に置き換えられる。このように，顔の向き，顔の表情に応じた合成用顔画像は，顔の向き，顔の表情ごとにあらかじめ生成し，かつ記憶しておき，検出された顔画像部分の顔の向き，顔の表情に対応した合成用顔画像を読み出して被写体像に合成することができる。また，所定の顔の向き，顔の表情をもつ合成用顔画像を記憶しておき，その合成用顔画像から，検出された顔画像部分によって表される顔の向き，顔の表情をもつ合成用顔画像を生成し，生成された合成用顔画像を被写体像に合成することもできる。
【００１５】
合成用顔画像が合成された被写体像を表す画像データは，画像出力装置５から表示装置６に与えられる。表示装置６の表示画面には，顔画像部分が合成用顔画像に置き換えられた被写体像が表示されるようになる。
【００１６】
たとえば，街頭カメラからの映像を放送するような場合には通行人が写ってしまい，肖像権を考慮すると，通行人の顔をそのまま放送しない方が好ましいときがある。そのようなときに，通行人の顔をそのまま放送せずに通行人の表情，顔の向きを考慮して顔を合成用の顔に置き換えた映像を放送することができる。合成用の顔画像は，スマイル・マークのようなイラストでもよいし，タレント，アニメのキャラクタのものでもよい。また，顔の向きだけでよければ，顔画像部分を取り除き，顔の向きが分かるように枠を表示するだけでもよい。
【００１７】
図２（Ａ）および（Ｂ）は，所定の合成用顔画像から向きの異なる顔画像を生成する様子を示すものである。
【００１８】
図２（Ａ）は，所定の合成用顔画像41の一例で，二次元の顔画像である。二次元の顔画像から，公知のソフトウエアを利用して三次元の顔画像が生成される。三次元の顔画像が生成されると，たとえば，ワイヤー・フレーム・モデルと呼ばれる立体表現方法の一つを利用して，三次元の顔画像が立体の輪郭を表す線のみで表現される。顔を構成する目，口，鼻，眉毛などの構成要素をワイヤー・フレーム・モデルの制御点位置で規定されるように調整し，その制御点位置を調整し，三次元の顔画像を調整された制御点位置となるように制御することにより，三次元の顔画像の向き，表情を変えることができる。
【００１９】
また，右向きのワイヤフレームの変形方法，笑顔のワイヤフレームの変形方法などをあらかじめテーブルとして記憶しておき，変形方法に応じて合成用顔画像を変形させることができる。
【００２０】
図２（Ｂ）は，このようにして所定の合成用顔画像41が向かって左斜め向きの合成用顔画像42に変えられたものである。左斜め向きだけでなく，その他の向き，表情も変えることができるのはいうまでもない。
【００２１】
図３は，画像合成装置20の処理手順を示すフローチャートである。この処理手順は，被写体の顔の画像部分の表情を検出し，その検出された顔の表情に対応した表情をもつ合成用顔画像を被写体像に合成するものである。また，合成用顔画像は，複数の表情に応じた複数の合成用顔画像をあらかじめ生成するのではなく，所定の表情をもつ合成用顔画像から，検出された顔の表情をもつ合成用顔画像を生成するものである。
【００２２】
まず，所定の表情をもつ合成用顔画像を表す合成用顔画像データが画像合成装置20に入力される（ステップ31）。入力された合成用顔画像データは，データ記憶装置７に記憶される。被写体が１／60秒周期などの一定周期で連続して撮像される（ステップ32）。
【００２３】
一定周期の撮像により動画が得られ，得られた動画のうち１フレーム分の被写体像が取り出される（ステップ33）。取り出された１フレーム分の被写体像から顔画像部分が検出される（ステップ34）。
【００２４】
図４は，取り出された１フレーム分の被写体像53の一例である。被写体像50には，人物像51が含まれている。被写体像50の中から人物像51の顔画像部分52が検出される。
【００２５】
図３に戻って，検出された顔画像部分52によって表される顔の向きが検出される（向きでなく，表情でもよいし，向きと表情との両方を検出するようにしてもよい）（ステップ35）。顔の向きが検出されると，検出された顔の向きとなるような合成用顔画像（パターン別合成用顔画像）が上述のように生成される（ステップ36）。すると，生成されたパターン別合成用顔画像が，撮像により得られた被写体像の顔画像部分と置き換えられる（ステップ37）。
【００２６】
図５は，顔画像部分52が置き換えられた被写体像53の一例である。
【００２７】
被写体像53には，人物像54が含まれている。この人物像54の顔画像部分が，パターン別合成用顔画像55に置き換えられている。置き換えられたパターン別合成用顔画像55は，図４に示す置き換え前の顔画像部分52によって表される顔の向きと同じように向かって右向きとなっている。顔画像を置き換えても，元の顔画像の状態がある程度分かるようになる。
【００２８】
再び図３に戻って，顔画像部分がパターン別合成用顔画像に置き換えられた被写体像が表示装置６の表示画面に表示されるようになる（ステップ38）。続きのフレームがあれば（ステップ39でＹＥＳ），ステップ33から38の処理が繰り返される。
【００２９】
上述の実施例は，被写体像に含まれる顔画像部分が，その顔の向きと同じ向きの合成用顔画像に置き換えられるものであったが，顔の向きでなく，被写体像に含まれる顔画像部分が，その顔の表情と同じ表情の合成用顔画像に置き換えられるものであってもよい。
【００３０】
図６は，撮像により得られた被写体像50Ａの一例である。
【００３１】
被写体像50Ａには，人物像51Ａが含まれている。この人物像51Ａから上述したように，顔画像部分52Ａが検出される。検出された顔画像部分52Ａの表情が検出され，検出された表情をもつ合成用顔画像が，顔画像部分52Ａに置き換えられる。
【００３２】
図７は，顔画像部分52Ａが置き換えられた被写体像56の一例である。
【００３３】
被写体像56には，人物像57が含まれており，この人物像57は顔画像部分が合成用顔画像58に置き換えられている。図６に示す被写体像の顔画像部分52Ａの顔の表情が笑顔と判定されたものとすると，図７に示す被写体像56において置き換えられた合成顔画像58は，笑顔のものとなる。顔画像部分が置き換えられた場合であっても，置き換え前の顔画像部分52Ａの表情が分かるようになる。
【００３４】
上述の実施例では，顔の向きまたは顔の表情を判定し，顔画像部分を合成用顔画像に置き換えているが，顔の向きおよび顔の表情の両方とも判定し，顔の向きおよび顔の表情の両方に対応した合成顔画像に置き換えるようにしてもよい。
【００３５】
図８から図10は，他の実施例を示すものである。この実施例は，あらかじめ合成用顔画像を生成しておくものである。
【００３６】
図８は，異なる向きの合成用顔画像の一例である。
【００３７】
異なる向きの合成用顔画像には，左向き，左斜め向き，正面向き，右斜め向きおよび右向きの合成用顔画像71，72，73，74および75がある。これらの異なる向きの合成用顔画像71，72，73，74および75があらかじめ生成されて記憶されている。上述のように，撮像により得られた被写体像から検出された顔画像の向きに対応した向きの合成用顔画像が選択され，選択された合成用顔画像が被写体像の顔画像部分に置き換えられることとなる。
【００３８】
図９は，異なる表情の合成用顔画像の一例である。
【００３９】
異なる表情の合成用顔画像には，通常，驚き，笑顔，泣きおよび怒りの合成用顔画像81，82，83，84および85がある。これらの異なる表情の合成用顔画像81，82，83，84および85があらかじめ生成されて記憶されている。上述のように，撮像により得られた被写体像から検出された顔画像の表情に対応した表情の合成用顔画像が選択され，選択された合成用顔画像が被写体像の顔画像部分に置き換えられることとなる。
【００４０】
上記の例では，異なる向きの合成用顔画像71〜75および異なる表情の合成用顔画像81〜85がそれぞれ生成され，かつ記憶されているが，向きごとに異なる表情の合成用顔画像を生成し，かつ記憶するようにしてもよい。この場合には，それぞれの向きごとにそれぞれの表情の異なる合成用顔画像が記憶されることとなるから，25種類の顔画像が記憶されることとなろう。
【００４１】
図10は，画像合成装置の処理手順を示すフローチャートである。この図において，図３に示す処理と同一の処理については同一符号を付して説明を省略する。
【００４２】
所定の表情，向きをもつ合成用顔画像を表す合成用顔画像データが画像合成装置に入力する（ステップ31）。すると，図８に示すように顔の向き（または図９に示すように顔の表情）に対応した合成用顔画像（パターン別合成用顔画像）が生成される（ステップ61）。生成されたパターン別合成用顔画像を表す画像データがデータ記憶装置７に記憶される（ステップ62）。
【００４３】
その後は，図３に示す処理と同様に，撮像により得られた被写体像の顔画像部分が検出され，顔の向き（顔の表情）が検出される（ステップ32〜35）。検出された顔の向きに対応した顔の向きをもつ画像が図８に示すようにパターン別合成用顔画像から選択され（ステップ63），顔画像部分に置き換えられる（ステップ37）。顔画像部分の顔の表情が検出される場合には，検出された顔の表情に対応した顔の表情をもつ画像が図９に示すようにパターン別合成用顔画像から選択され，顔画像部分に置き換えられる。また，顔画像部分の顔の向きおよび顔の表情が検出される場合には，検出された顔の向きおよび顔の表情に対応した顔の向きおよび顔の表情をもつ画像が複数のパターン別合成用顔画像から選択され，顔画像部分に置き換えられる。
【００４４】
図11および図12は，さらに他の実施例を示すものである。
【００４５】
この実施例は，合成用顔画像にデコレーションを付けるものである。図11は，顔の表情に応じたデコレーションを示している。上述したように，通常の顔の表情，驚きの顔の表情，笑顔の顔の表情，泣きの顔の表情および怒りの顔の表情にそれぞれ対応してデコレーション91，92，93，94および95が定められ，かつ記憶されている。被写体像から検出された顔画像部分の表情に応じて，合成用顔画像にデコレーションが付加される。
【００４６】
図12は，デコレーションが付加された合成用顔画像の一例である。
【００４７】
通常の顔の表情，驚きの顔の表情，笑顔の顔の表情，泣きの顔の表情および怒りの顔の表情にそれぞれ対応して，それぞれの表情に応じたデコレーション91，92，93，94および95が付加された通常の顔の合成用顔画像101，驚きの顔の合成用顔画像102，笑顔の顔画像103，泣きの顔画像104および怒りの顔画像105があらかじめ記憶されている。被写体像の顔の表情に応じた表情をもち，かつデコレーションがある合成用顔画像を，被写体像の顔画像に置き換えることができる。
【００４８】
さらに，デコレーションの向きが被写体像の顔の向きに応じて変えられた合成用顔画像を被写体像の顔画像に置き換えるようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】画像合成装置の電気的構成を示すブロック図である。
【図２】（Ａ）および（Ｂ）は，合成用顔画像の一例である。
【図３】画像合成装置の処理手順を示すフローチャートである。
【図４】撮像により得られた被写体像の一例である。
【図５】顔画像部分が置き換えられた被写体像の一例である。
【図６】撮像により得られた被写体像の一例である。
【図７】顔画像部分が置き換えられた被写体像の一例である。
【図８】合成用顔画像の一例である。
【図９】合成用顔画像の一例である。
【図１０】画像合成装置の処理手順を示すフローチャートである。
【図１１】デコレーションの一例である。
【図１２】合成用顔画像の一例である。
【符号の説明】
【００５０】
２ 合成画像生成装置（置き換え手段）
３ 顔状態判定装置（検出手段）
４ 顔画像部分検出装置
５ 画像出力装置（表示制御手段）
８ 制御装置
11 ビデオ・カメラ
【特許請求の範囲】
【請求項１】
被写体を撮像し，被写体像を表す画像データを出力する撮像手段，
上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出する顔画像部分検出手段，
上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出する顔状況検出手段，
上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換える置き換え手段，ならびに
上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御する表示制御手段，
を備えた画像合成装置。
【請求項２】
上記置き換え手段が，
上記顔画像部分検出手段によって検出された顔画像部分を，上記検出手段によって検出された顔の状況に対応した合成用顔画像であって，合成用顔画像データ記憶手段に顔の状況ごとに記憶されている合成用顔画像データによって表される合成用顔画像に置き換える，あるいは所定の顔画像を，上記検出手段によって検出された顔の状況に対応した合成用顔画像に変形し，上記顔画像部分検出手段によって検出された顔の画像部分を，変形により得られた合成用顔画像に置き換えるものである，
請求項１に記載の画像合成装置。
【請求項３】
撮像手段が，被写体を撮像し，被写体像を表す画像データを出力し，
顔画像部分検出手段が，上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出し，
顔状況検出手段が，上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出し，
置き換え手段が，上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換え，
表示制御手段が，上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御する，
画像合成装置の制御方法。
【請求項１】
被写体を撮像し，被写体像を表す画像データを出力する撮像手段，
上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出する顔画像部分検出手段，
上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出する顔状況検出手段，
上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換える置き換え手段，ならびに
上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御する表示制御手段，
を備えた画像合成装置。
【請求項２】
上記置き換え手段が，
上記顔画像部分検出手段によって検出された顔画像部分を，上記検出手段によって検出された顔の状況に対応した合成用顔画像であって，合成用顔画像データ記憶手段に顔の状況ごとに記憶されている合成用顔画像データによって表される合成用顔画像に置き換える，あるいは所定の顔画像を，上記検出手段によって検出された顔の状況に対応した合成用顔画像に変形し，上記顔画像部分検出手段によって検出された顔の画像部分を，変形により得られた合成用顔画像に置き換えるものである，
請求項１に記載の画像合成装置。
【請求項３】
撮像手段が，被写体を撮像し，被写体像を表す画像データを出力し，
顔画像部分検出手段が，上記撮像手段から出力された画像データによって表される被写体像から顔画像部分を検出し，
顔状況検出手段が，上記顔画像部分検出手段によって検出された顔画像部分が示す顔の向きおよび顔の喜怒哀楽の表情の少なくとも一方である顔の状況を検出し，
置き換え手段が，上記顔画像部分検出手段によって検出された顔画像部分を，上記顔状況検出手段によって検出された顔の状況に対応した合成用顔画像に置き換え，
表示制御手段が，上記置き換え手段によって顔画像部分が合成用顔画像に置き換えられた被写体像を表示するように表示装置を制御する，
画像合成装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−８６１７８（Ｐ２０１０−８６１７８Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５２８７３（Ｐ２００８−２５２８７３）
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]