画像処理システム、画像処理方法及び画像処理プログラム
【課題】背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理サーバ２０の制御部２１は、背景画像の特定処理、ユーザ画像の取得処理を実行する。そして、制御部２１は、ユーザ画像において顔画像認識処理を実行する。更に、制御部２１は、顔画像上の評価用楕円を生成する。この評価用楕円上の画素値のヒストグラムを算出し、このヒストグラムの分散値を用いて顔要素を抽出する。次に、制御部２１は、画像変形処理を実行する。ここで、表現指数、挿入領域の大きさや傾きに基づいて、顔要素画像を変形する。そして、制御部２１は、画素勾配を最適化するための画像調整を行なうことにより、背景画像と顔要素画像とを合成する。そして、制御部２１は、合成画像を利用者に提供する。
【解決手段】画像処理サーバ２０の制御部２１は、背景画像の特定処理、ユーザ画像の取得処理を実行する。そして、制御部２１は、ユーザ画像において顔画像認識処理を実行する。更に、制御部２１は、顔画像上の評価用楕円を生成する。この評価用楕円上の画素値のヒストグラムを算出し、このヒストグラムの分散値を用いて顔要素を抽出する。次に、制御部２１は、画像変形処理を実行する。ここで、表現指数、挿入領域の大きさや傾きに基づいて、顔要素画像を変形する。そして、制御部２１は、画素勾配を最適化するための画像調整を行なうことにより、背景画像と顔要素画像とを合成する。そして、制御部２１は、合成画像を利用者に提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
最近の携帯電話端末等は、デジタルカメラ等による撮影機能を備えていることが多い。そして、このデジタルカメラを用いて撮影した画像を、通信機能を用いてサーバ等に送信することができる。
【０００３】
また、デジタルカメラ等においては、画像の中に人物の顔を検出する機能を備えたものもある（例えば、特許文献１参照。）。この文献に記載された技術では、撮影された画像から人物の顔部分を検出する。具体的には、デジタルカメラにおいて画像から人物の顔と推定される部分を検出し、検出した部分の顔らしさを数値化したスコアを算出する。そして、スコアが閾値を超える部分を顔部分と判定して、撮影された画像から人物の顔部分を検出する。
【０００４】
また、顔画像を受信したサーバにおいて、画像を加工する技術も検討されている（例えば、特許文献２参照。）。この文献に記載された技術では、携帯電話端末に搭載されたＣＣＤカメラで撮影した顔写真の画像データは、電子メールによりサーバに送信され、ユーザデータベースに登録される。サーバのモーフィング処理部は、ユーザデータベースからユーザの登録画像を読み出し、画像データベースからユーザの指定する既存画像を読み出し、２枚の画像をマッチングさせて中間画像を生成する。そして、生成された中間画像を、ユーザの携帯電話端末に送信する。
【０００５】
このような画像加工においては、例えばアフィン（affine）変換が用いられることがある。このアフィン変換においては、ベクトル空間（アフィン空間）の間で定義される平行移動を伴う線形変換が行なわれる。
【０００６】
更に、画像を他の画像に挿入して合成するための技術も検討されている。ここで、２つの画像を合成する場合、ポアソン法により画像を加工する技術も検討されている（例えば、特許文献３参照。）。この文献に記載された技術では、コピー先画像中に境界を有するコピー先領域を定義し、補間ガイド、および前記コピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータを提供する。コピー先領域の境界における境界条件を満たし、誘導インターポレータに基づいて合成結果画像を計算して、補間ガイドと合成結果画像の勾配の間の前記コピー先領域両端の差を最小化する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１４１６１７号公報（第１頁、図５）
【特許文献２】特開２００３−２４２４８０号公報（第１頁、図１）
【特許文献３】特表２００６−５１８８９１号公報（第１頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
顔画像を背景画像の所望の位置に挿入する場合、目、鼻、口等の顔要素と、背景画像の色合いとを整合させる必要がある。更に、画像のエッジが際立ってしまうと、不自然な画像になってしまうことがある。例えば、撮影のための顔検出技術を用いると、一般的に頭
髪等も含まれる。しかし、このような顔画像を背景画像に合成すると、頭髪等は顔領域のエッジとなり、合成した画像において境界が残ってしまう場合がある。
【０００９】
また、人物の顔を撮影する場合、挿入先である背景画像に応じた表情で撮影されているとは限らない。従って、顔の表情と背景画像とがマッチしていない場合もある。
本発明は、上述の問題に鑑みてなされたものであり、この目的は、背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記問題点を解決するために、請求項１に記載の発明は、撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、表示手段に接続される制御手段を備えた画像処理システムであって、前記制御手段が、撮影手段から顔画像を取得する顔画像取得手段と、顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段と、顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段と、前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段と、前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段と、前記合成画像を表示手段に提供する画像提供手段とを備えたことを要旨とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記顔要素抽出手段は、顔要素画像において、閉領域を規定する評価用ガイドラインを生成し、前記評価用ガイドラインの軌道上の画素値のヒストグラムを算出し、前記ヒストグラムの分散値が最小になる評価用ガイドラインにより規定される領域を顔要素画像として特定することを要旨とする。
【００１２】
請求項３に記載の発明は、請求項１又は２に記載の画像処理システムにおいて、前記変形処理手段は、前記顔要素画像を対称線により左右に分割し、顔要素画像を変形させる表情指数を取得した場合、前記表情指数を用いて前記対称線の長さを伸縮することにより、顔要素画像を変形することを要旨とする。
【００１３】
請求項４に記載の発明は、請求項１〜３のいずれか一つに記載の画像処理システムにおいて、前記背景画像取得手段は、顔要素画像を挿入する複数の挿入領域を設けたファイルを記憶し、前記ファイルにおいては、挿入領域毎に表情指数が設定されており、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを要旨とする。
【００１４】
請求項５に記載の発明は、請求項１〜３のいずれか一つに記載の画像処理システムにおいて、前記背景画像取得手段は、顔画像を挿入する挿入領域を含むフレームを設けた動画ファイルを記憶し、前記動画ファイルにおいて、領域毎に表情指数が設定されており、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを要旨とする。
【００１５】
請求項６に記載の発明は、請求項１〜５のいずれか一つに記載の画像処理システムにおいて、前記制御手段が、前記背景画像取得手段には、合成画像及び元の顔画像を用いて顔認証処理を実行し、両者の一致度が基準値以上の場合には、顔要素画像に含まれる顔要素を変形させて、再度、合成画像を生成することを要旨とする。
【００１６】
請求項７に記載の発明は、請求項１〜６のいずれか一つに記載の画像処理システムにおいて、前記制御手段は、ネットワークを介して、撮影手段及び表示手段を備えた利用者端
末に接続されており、前記制御手段は、前記利用者端末から顔画像を取得し、前記利用者端末に合成画像を送信することを要旨とする。
【００１７】
請求項８に記載の発明は、撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行する方法であって、前記制御手段が、撮影手段から顔画像を取得する顔画像取得段階と、顔画像の挿入領域が指定された背景画像を特定する背景画像取得段階と、顔画像から顔要素を含む顔要素画像を生成する顔要素抽出段階と、前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理段階と、前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成段階と、前記合成画像を表示手段に提供する画像提供段階とを実行することを要旨とする。
【００１８】
請求項９に記載の発明は、撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、前記制御手段を、撮影手段から顔画像を取得する顔画像取得手段、顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段、顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段、前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段、前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段、前記合成画像を表示手段に提供する画像提供手段として機能させることを要旨とする。
【００１９】
（作用）
請求項１、８又は９に記載の発明によれば、撮影手段から顔画像を取得し、顔画像の挿入領域が指定された背景画像を特定する。次に、顔画像から顔要素を含む顔要素画像を生成し、挿入領域の形状に合わせて、顔要素画像を変形させる。そして、背景画像に対して、顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成し、合成画像を表示手段に提供する。これにより、目、鼻、口などを含む顔要素を抽出し、これを背景画像に挿入した合成画像を生成することができる。画素勾配を最適化するための画像調整を行なうことにより、顔の輪郭によるエッジを抑制して、自然な合成画像を生成することができる。
【００２０】
請求項２に記載の発明によれば、制御手段が、顔要素画像において、閉領域を規定する評価用ガイドラインを生成する。そして、評価用ガイドラインの軌道上の画素値のヒストグラムを算出し、ヒストグラムの分散値が最小になる評価用ガイドラインにより規定される領域を顔要素画像として特定する。ヒストグラムの分散値を小さくすることにより、合成する画像の境界領域におけるエッジパターンの発生を抑制することができる。
【００２１】
請求項３に記載の発明によれば、制御手段が、顔要素画像を対称線により左右に分割する。そして、顔要素画像を変形させる表情指数を取得した場合、表情指数を用いて対称線の長さを伸縮することにより、顔要素画像を変形する。これにより、顔要素画像において多様な表情を生成することができる。
【００２２】
請求項４に記載の発明によれば、制御手段が、顔要素画像を挿入する複数の挿入領域を設けたファイルを記憶し、ファイルにおいては、挿入領域毎に表情指数が設定されている。そして、制御手段は、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成する。これにより、複数の領域に顔要素画像を挿入したファイルを生成することができる。
【００２３】
請求項５に記載の発明によれば、背景画像取得手段は、顔画像を挿入する挿入領域を含むフレームを設けた動画ファイルを記憶し、動画ファイルにおいて、領域毎に表情指数が設定されている。そして、制御手段は、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成する。これにより、顔要素画像を挿入した動画を生成することができる。
【００２４】
請求項６に記載の発明によれば、制御手段が、合成画像及び元の顔画像を用いて顔認証処理を実行する。そして、両者の一致度が基準値以上の場合には、顔要素画像に含まれる顔要素を変形させて、再度、合成画像を生成する。合成画像の利用目的によっては、合成画像に含まれる顔要素によって本人が特定されない方が望ましいことがある。顔認証と顔要素の変形により、顔画像を利用しつつ、本人の特定が困難な合成画像を生成することができる。
【００２５】
請求項７に記載の発明によれば、制御手段は、ネットワークを介して、撮影手段及び表示手段を備えた利用者端末に接続される。そして、制御手段は、利用者端末から顔画像を取得し、前記利用者端末に合成画像を送信する。これにより、携帯電話端末等の利用者端末から、ネットワークを介して取得した顔画像を用いて合成画像を生成し、利用者端末に提供することができる。
【発明の効果】
【００２６】
本発明によれば、背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態のシステム概略図。
【図２】各データ記憶部に記録されたデータの説明図であって、（ａ）はテンプレートデータ記憶部、（ｂ）は受付管理データ記憶部、（ｃ）は合成画像データ記憶部に記録されたデータの説明図。
【図３】第１の実施形態の処理手順の説明図。
【図４】第１の実施形態の処理手順の説明図。
【図５】第１の実施形態の処理手順の説明図。
【図６】第１の実施形態の顔要素抽出処理の説明図。
【図７】顔要素抽出処理における評価用楕円と画素値のヒストグラムの関係の説明図であって、（１ａ）、（２ａ）、（３ａ）は評価用楕円の大きさの説明図、（１ｂ）、（２ｂ）、（３ｂ）は各評価用楕円上の画素値のヒストグラムの説明図。
【図８】画像変形処理における画像の変形の説明図であって、（ａ）は顔要素画像の分割、（ｂ）は表情指数に応じた変形、（ｃ）は挿入領域に応じた変形の説明図。
【図９】第１の実施形態における画像合成の説明図。
【図１０】第２の実施形態のテンプレート画像ファイルと画像配置データ記憶部の説明図。
【図１１】第２の実施形態の処理手順の説明図。
【図１２】第２の実施形態における制御部、パーツ画像データ記憶部の説明図。
【図１３】第３の実施形態の処理手順の説明図。
【図１４】第４の実施形態の処理手順の説明図。
【図１５】第４の実施形態の背景画像と顔用画像の関係の説明図であって、（ａ）は背景画像、（ｂ）は顔要素の回転の説明図。
【図１６】第５の実施形態の処理手順の説明図。
【図１７】第５の実施形態における画像合成の説明図。
【発明を実施するための形態】
【００２８】
＜第１の実施形態＞
以下、本発明を具体化した一実施形態を、図１〜図９に従って説明する。本実施形態では、図１に示すように、携帯電話端末１０に対して画像処理サービスを提供するために、画像処理システムとしてのサービス管理システム５０を用いる。この画像処理サービスにおいては、サービス管理システム５０が、撮影手段を備えた利用者端末から人物の顔が撮影された画像を取得する。そして、サービス管理システム５０は、この画像に含まれる顔画像を背景画像に挿入した合成画像を生成し、表示手段を備えた利用者端末に提供する。
【００２９】
図１に示すように、サービス管理システム５０には、利用者端末（ここでは、携帯電話端末１０）がネットワークを介して接続される。この携帯電話端末１０は、本サービスの利用者が用いる携帯端末である。この携帯電話端末１０は、サービス管理システム５０に対して画像データを送信したり、サービス管理システム５０から合成画像データを取得するための情報を受信したりするために用いられる。
【００３０】
携帯電話端末１０は、端末制御部、通信処理部、メモリ、表示部、入力部、撮像部等を備える。この携帯電話端末１０は、通常の電話モードの他に、電子メールの送受信を行なうためのメールモードやブラウザモードの実行処理を行なうプログラム実行モードを有する。
【００３１】
端末制御部は、アプリケーションプログラムの実行により、ブラウザや電子メールの送受信のための処理を行なう。
通信処理部は、公知の方法により携帯電話網の基地局に接続されて、通話や電子メールの送受信のための通信処理を行なう。この携帯電話網は、インターネットを介してサービス管理システム５０に接続される。
【００３２】
メモリは、この携帯電話端末１０において実行可能なアプリケーションプログラムや、受信した電子メールを格納する。
表示部は表示手段として機能し、携帯電話端末１０が受信した電子メールやプログラム実行時のユーザ指示などを表示する。更に、メモリに格納された画像や、サービス管理システム５０から取得した画像を表示する場合にも用いる。
【００３３】
入力部は、ダイヤル番号ボタンの他に、セレクタボタン、モード変更ボタンを有する。各モード（例えば、電話モード）から他のモード（例えば、電子メールモード）に切り換える場合には、モード変更ボタンを用いる。
【００３４】
また、携帯電話端末１０のセレクタボタンは、カーソル移動機能とクリック機能とを有する。このセレクタボタンを用いて方向指示を行なうことにより、表示部上のカーソルを移動させることができ、セレクタボタンを押すことにより、カーソルが示している項目を選択することができる。
【００３５】
撮像部は撮影手段として機能し、デジタルカメラによって被写体を撮影する。本実施形態では、このデジタルカメラを用いて、人物の顔を含む人物画像データを生成する。この画像データは、携帯電話端末１０内のメモリに格納される。
【００３６】
サービス管理システム５０は、画像処理サーバ２０、メールサーバ３０、ウェブサーバ４０を含んで構成されている。
メールサーバ３０は、利用者の携帯電話端末１０との間で、電子メールを用いた通信を行なう。本実施形態においては、電子メールを用いて、携帯電話端末１０から人物画像データ（ユーザ画像）を取得する。
【００３７】
ウェブサーバ４０は、利用者の携帯電話端末１０に対して、画像処理サービスを利用するための案内画面データを送信する。
画像処理サーバ２０は、利用者の携帯電話端末１０から取得した顔画像を背景画像に挿入した合成画像を生成する。この画像処理サーバ２０は、制御部２１、背景画像情報記憶手段としてのテンプレートデータ記憶部２５、顔画像情報記憶手段としての受付管理データ記憶部２６、合成画像データ記憶部２７を備えている。そして、制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（顔画像取得段階、背景画像取得段階、顔検出段階、顔要素抽出段階、変形処理段階、画像合成段階、画像提供段階等を含む処理）を行なう。このための画像処理プログラムを実行することにより、制御部２１は、画像取得手段２１１、顔検出手段２１２、顔要素抽出手段２１３、変形処理手段２１４、画像合成手段２１５、画像提供手段２１６等として機能する。
【００３８】
画像取得手段２１１は、顔画像取得手段として機能し、携帯電話端末１０から顔画像を含むユーザ画像の取得処理を実行する。本実施形態においては、真正面の顔画像（顔の左右の対称線が垂直方向になっている顔画像）を含むユーザ画像を取得するものとする。
【００３９】
顔検出手段２１２は、取得したユーザ画像において人物の顔画像の検出処理を実行する。本実施形態においては、公知の顔検出技術を用いる。この顔検出技術においては、頭髪を含めた顔全体を検出することができる。例えば、インテル株式会社によって開発・公開されているオープンソースのコンピュータビジョン向けライブラリ「ＯｐｅｎＣＶ」の「顔の検出」コードを用いることが可能である。
【００４０】
顔要素抽出手段２１３は、特定された顔画像から、画像合成に用いる画像（顔要素画像）の抽出処理を実行する。本実施形態においては、顔要素画像として、顔のパーツ（目、鼻、口）のみを含む楕円形状の領域を抽出する。この顔要素抽出手段２１３は、顔画像上に、閉領域を規定する評価用ガイドライン（評価用楕円）を生成し、この評価用楕円を縮小しながら、顔のパーツのみを含む領域を特定する。このため、顔要素抽出手段２１３は、評価用楕円を縮小するための割合（縦横比）に関するデータや、顔要素抽出処理の終了を判定する評価用楕円の最小値に関するデータを保持する。
【００４１】
変形処理手段２１４は、アフィン変換を用いて顔要素画像を所望の形状に変形する処理を実行する。
画像合成手段２１５は、変形された顔要素画像を背景画像に挿入する画像合成処理を実行する。本実施形態では、色合いを連続的に変化させる画像調整処理として、公知のポアソン法（Mixing Gradient Poisson）を用いて二つの画像を合成する。このポアソン画像
処理を用いることにより、背景画像の背景色や背景パターンを活かしながら、顔要素画像の境界領域の継ぎ目がない合成画像を生成することができる。
画像提供手段２１６は、携帯電話端末１０に合成画像を提供する処理を実行する。
【００４２】
テンプレートデータ記憶部２５には、図２（ａ）に示すように、合成画像の背景に用いるテンプレート管理ファイル２５０が記録される。このテンプレート管理ファイル２５０は、顔要素画像を挿入する背景画像についてのテンプレート画像を登録した場合に記録される。テンプレート管理ファイル２５０は、テンプレート管理コード、テンプレート画像、表情指数に関するデータを含んで構成される。
【００４３】
テンプレート管理コードデータ領域には、各テンプレート画像を特定するための識別子に関するデータが記録される。
テンプレート画像データ領域には、顔画像を挿入する背景画像（テンプレート）に関するデータが記録される。このテンプレート画像には、画像を挿入する領域（挿入領域）及び挿入領域における中心線が予め設定されている。
【００４４】
表情指数データ領域には、このテンプレート画像に挿入する顔の表情を決めるためのパラメータが記録される。本実施形態では、アフィン変換において、対称線を短縮や伸長させるための割合が記録される。この表情指数を用いることにより、顔の表情を変更することができる。例えば、「怒り顔」の場合には、表情指数として対称線を短縮する割合が記録されている。また、「笑い顔」の場合には、表情指数として対称線を伸張する割合が記録されている。
【００４５】
受付管理データ記憶部２６には、図２（ｂ）に示すように、利用者から取得した画像についての受付管理ファイル２６０が記録される。この受付管理ファイル２６０は、利用者の携帯電話端末１０から画像を取得した場合に記録される。受付管理ファイル２６０は、受付コード、テンプレート管理コード、メールアドレス、ユーザ画像に関するデータを含んで構成される。
【００４６】
受付コードデータ領域には、携帯電話端末１０から取得した画像合成要求を特定するための識別子に関するデータが記録される。
テンプレート管理コードデータ領域には、合成画像の生成に用いるテンプレート画像を特定するための識別子に関するデータが記録される。
【００４７】
メールアドレスデータ領域には、画像を送信した携帯電話端末１０を特定するためのメールアドレスに関するデータが記録される。
ユーザ画像データ領域には、携帯電話端末１０から取得した画像に関するデータが記録される。このユーザ画像には、顔画像が含まれている。
【００４８】
合成画像データ記憶部２７には、図２（ｃ）に示すように、顔要素画像と背景画像とを合成した合成画像ファイル２７０が記録される。この合成画像ファイル２７０は、合成画像を生成した場合に記録される。合成画像ファイル２７０は、受付コード、メールアドレス、合成画像に関するデータを含んで構成される。
【００４９】
受付コードデータ領域には、携帯電話端末１０から取得した画像合成要求を特定するための識別子に関するデータが記録される。
メールアドレスデータ領域には、この画像合成要求を送信した携帯電話端末１０のメールアドレスに関するデータが記録される。
合成画像データ領域には、背景画像に対して顔要素画像を挿入した合成画像に関するデータが記録される。
【００５０】
次に、上記のように構成されたサービス管理システム５０において、画像処理サービスを提供する場合の処理手順について、図３〜図９を用いて説明する。
【００５１】
（全体の概要）
まず、図３を用いて、全体の概要を説明する。
本願発明の画像処理サービスを利用する場合、携帯電話端末１０を用いて、人物の顔を含む画像を撮影する。この画像データは、携帯電話端末１０内のメモリに格納される。そして、利用者は、携帯電話端末１０を用いてサービス管理システム５０にアクセスする。この場合、携帯電話端末１０がサービス管理システム５０のウェブサーバ４０に、サービス利用要求を送信する。
【００５２】
そして、画像処理サーバ２０の制御部２１は、背景画像の特定処理を実行する（ステップＳ１−１）。ここでは、ウェブサーバ４０は、画像処理サーバ２０に対して、サービス利用要求を転送する。この場合、画像処理サーバ２０の制御部２１は、背景画像一覧画面
データを生成する。具体的には、制御部２１の画像取得手段２１１が、テンプレートデータ記憶部２５に記録されたテンプレート画像を取得し、各テンプレート画像のアイコンを一覧表示させた背景画像一覧画面を生成する。そして、制御部２１の画像取得手段２１１は、ウェブサーバ４０を介して、背景画像一覧画面データを携帯電話端末１０に送信する。この背景画像一覧画面には、テンプレート管理コードに関連付けられたテンプレート画像のアイコンや送信実行アイコンなどが含まれる。
【００５３】
携帯電話端末１０は、受信した背景画像一覧画面を表示部に出力する。そして、利用者は、背景画像一覧の中から、挿入先として希望する背景画像を指定して、そのアイコンを選択する。この場合、携帯電話端末１０は、サービス管理システム５０に対して、指定された背景画像のテンプレート管理コードを送信する。
【００５４】
制御部２１の画像取得手段２１１は、受付コードを付与し、テンプレート管理コードを記録した受付管理ファイル２６０を生成する。そして、画像取得手段２１１は、受付管理ファイル２６０を受付管理データ記憶部２６に記録する。
【００５５】
次に、画像処理サーバ２０の制御部２１は、ユーザ画像の取得処理を実行する（ステップＳ１−２）。具体的には、制御部２１の画像取得手段２１１は、ウェブサーバ４０を介して、ユーザ画像設定画面データを携帯電話端末１０に送信する。このユーザ画像設定画面には、受付コード、ユーザ画像指定欄や送信実行アイコンなどが含まれる。ここで、利用者は、ユーザ画像指定欄を用いて、携帯電話端末１０のメモリに格納された画像の中から、挿入を希望する画像（顔画像を含む）を指定する。そして、送信実行アイコンが選択された場合、携帯電話端末１０は、メールサーバ３０のメールアドレス及び受付コードが設定された電子メールを生成し、指定された画像を電子メールに添付する。そして、携帯電話端末１０は、生成した電子メールをサービス管理システム５０に送信する。
【００５６】
サービス管理システム５０のメールサーバ３０が携帯電話端末１０からの電子メールを受信する。メールサーバ３０は、この電子メールを画像処理サーバ２０に転送する。この場合、画像処理サーバ２０の制御部２１の画像取得手段２１１が、電子メールから、受付コード及びユーザ画像を取得する。そして、画像取得手段２１１は、受付管理データ記憶部２６において、取得した受付コードが記録された受付管理ファイル２６０を特定し、送信元のメールアドレス、添付されたユーザ画像を記録する。
【００５７】
次に、制御部２１の画像取得手段２１１は、テンプレート画像とユーザ画像とを表示した確認画面を携帯電話端末１０に送信する。この確認画面において、確認アイコンが選択された場合、携帯電話端末１０は合成依頼をサービス管理システム５０に送信する。サービス管理システム５０は、この合成依頼を画像処理サーバ２０に転送する。
【００５８】
この場合、画像処理サーバ２０の制御部２１は、顔画像認識処理を実行する（ステップＳ１−３）。具体的には、制御部２１の顔検出手段２１２は、携帯電話端末１０から取得した画像の中で顔画像を認識する。この顔画像認識においては、公知の顔画像認識技術が用いられ、ユーザ画像において矩形の顔画像が特定される。ここでは、図６に示すユーザ画像５００を取得した場合、顔検出手段２１２は、顔画像５０１を切り出す。
【００５９】
次に、画像処理サーバ２０の制御部２１は、顔要素抽出処理を実行する（ステップＳ１−４）。具体的には、制御部２１の顔要素抽出手段２１３は、顔画像の中から画像合成に用いる領域を特定する。本実施形態においては、後述するように、目、鼻、口を含む最適楕円形状を抽出する。ここでは、顔要素抽出手段２１３は、図６に示す顔画像５０１において、評価用楕円５０２を変更して、最適楕円形状領域（顔要素領域５０３）を抽出する。
【００６０】
次に、画像処理サーバ２０の制御部２１は、画像変形処理を実行する（ステップＳ１−５）。具体的には、制御部２１の変形処理手段２１４が、後述するように、アフィン変換を用いて、顔要素画像を変形する。
【００６１】
次に、画像処理サーバ２０の制御部２１は、画像合成処理を実行する（ステップＳ１−６）。具体的には、制御部２１の画像合成手段２１５が、公知のポアソン法を用いて、背景画像に対して顔要素画像を挿入した合成画像を生成する。
【００６２】
そして、画像合成手段２１５は、受付コード、メールアドレス、合成画像を含めた合成画像ファイル２７０を生成し、合成画像データ記憶部２７に格納する。
次に、画像処理サーバ２０の制御部２１は、合成画像の提供処理を実行する（ステップＳ１−７）。具体的には、制御部２１の画像提供手段２１６は、合成画像を格納した場所を特定するための情報としてＵＲＬを生成する。このＵＲＬは、合成画像が格納された合成画像データ記憶部２７の所在を示すパスと受付コードを含んで構成される。
【００６３】
そして、画像提供手段２１６は、メールサーバ３０を介して、携帯電話端末１０のメールアドレスに対して、ＵＲＬを含めた電子メールを送信する。
携帯電話端末１０は、サービス管理システム５０から受信した電子メールを表示部に出力する。そして、利用者が合成画像を取得する場合、電子メールに含まれるＵＲＬを用いる。具体的には、電子メールに含まれるＵＲＬを選択することにより、携帯電話端末１０はサービス管理システム５０に対して合成画像要求を送信する。
【００６４】
この場合、ウェブサーバ４０は、ＵＲＬに含まれるパラメータにより受付コードを特定し、合成画像データ記憶部２７から受付コードに関連付けられた合成画像データを取得する。そして、ウェブサーバ４０は、携帯電話端末１０に対して合成画像データを送信する。
【００６５】
（顔要素抽出処理）
次に、図４を用いて、顔要素抽出処理を説明する。
まず、画像処理サーバ２０の制御部２１は、顔画像に内接する評価用楕円の生成処理を実行する（ステップＳ２−１）。具体的には、制御部２１の顔要素抽出手段２１３は、顔検出手段２１２によって特定された矩形の顔画像に内接する評価用楕円を生成する。ここでは、図７（１ａ）に示す評価用楕円５０２が生成される。
【００６６】
次に、画像処理サーバ２０の制御部２１は、評価用楕円上の画素値のヒストグラムの算出処理を実行する（ステップＳ２−２）。具体的には、制御部２１の顔要素抽出手段２１３は、評価用楕円の軌道上の画素値を取得し、この画素値の分布を評価するためのヒストグラムを算出する。ここでは、図７（１ａ）に示す評価用楕円５０２に対して、図７（１ｂ）に示すヒストグラムが算出される。
【００６７】
次に、画像処理サーバ２０の制御部２１は、分散値を算出して仮記憶処理を実行する（ステップＳ２−３）。具体的には、制御部２１の顔要素抽出手段２１３は、評価用楕円５０２の大きさを特定する識別子を付与し、ヒストグラムの分散状況を表した値（分散値）を記録する。
【００６８】
次に、画像処理サーバ２０の制御部２１は、評価用楕円の縮小処理を実行する（ステップＳ２−４）。具体的には、制御部２１の顔要素抽出手段２１３は、評価用楕円の大きさを予め定められた割合で縮小する。ここでは、評価用楕円を、予め設定された縦横比（例えば９０％）で縮小する。ここでは、図７（２ａ）に示す評価用楕円５０２が生成される
。
【００６９】
ここで、画像処理サーバ２０の制御部２１は、最小楕円に到達したかどうかについての判定処理を実行する（ステップＳ２−５）。具体的には、制御部２１の顔要素抽出手段２１３は、縮小された評価用楕円の大きさが予め定められた最小値以下になっているかどうかについて判定する。
【００７０】
最小楕円になっていない場合（ステップＳ２−５において「ＮＯ」の場合）には、ステップＳ２−２の処理から繰り返す。これにより、図７（２ａ）に示す評価用楕円５０２に対応して図７（２ｂ）に示すヒストグラムが算出される。更に、評価用楕円の縮小処理（ステップＳ２−４）を実行した場合には、順次、図７（３ａ）に示す評価用楕円５０２が生成され、図７（３ｂ）に示すヒストグラムが算出される。
【００７１】
一方、最小楕円になっている場合（ステップＳ２−５において「ＹＥＳ」の場合）には、画像処理サーバ２０の制御部２１は、顔要素の特定処理を実行する（ステップＳ２−６）。具体的には、制御部２１の顔要素抽出手段２１３は、仮記憶されたヒストグラムの分散値が最小になっている評価用楕円を特定する。そして、顔要素抽出手段２１３は、この評価用楕円内の領域を顔要素画像として特定する。
【００７２】
（画像変形処理）
次に、図５を用いて、画像変形処理を説明する。
まず、画像処理サーバ２０の制御部２１は、顔要素画像の分割処理を実行する（ステップＳ３−１）。具体的には、制御部２１の変形処理手段２１４は、顔要素抽出手段２１３により特定した顔要素を含む楕円形状に外接する矩形を複数の領域に分割する。本実施形態においては、図８（ａ）に示すように、矩形の対角線及び矩形の中心から各辺の中点までの線分（対称線）により構成された８個の三角形に分割する。
【００７３】
次に、画像処理サーバ２０の制御部２１は、背景画像の挿入領域の特定処理を実行する（ステップＳ３−２）。具体的には、制御部２１の変形処理手段２１４は、利用者によって指定されたテンプレート画像において設定された挿入領域の大きさ及び中心線を特定する。
【００７４】
次に、画像処理サーバ２０の制御部２１は、表情指数の取得処理を実行する（ステップＳ３−３）。具体的には、制御部２１の変形処理手段２１４は、テンプレート管理ファイル２５０に記録された表情指数を取得する。
【００７５】
次に、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ３−４）。具体的には、制御部２１の変形処理手段２１４は、対角線については元の長さを維持しながら、表情指数に対応させて対称線を伸縮させるようにアフィン変換を行なう。図８（ｂ）は、対称線を短縮して顔要素画像５０５を生成する場合を示している。
【００７６】
次に、画像処理サーバ２０の制御部２１は、挿入領域に合わせた変形処理を実行する（ステップＳ３−５）。具体的には、制御部２１の変形処理手段２１４は、挿入領域の中心線と顔要素画像の対称線とを一致させる。ここで、中心線の傾きと対称線の傾きとがずれている場合には、一致するように顔要素画像５０５を傾ける。更に、挿入領域に入るように、顔要素画像５０５の伸縮を行なう。この場合には、顔要素画像５０５の矩形の対角線及び対称線を等倍に維持しながら変形する。そして、図８（ｃ）に示す顔要素画像５０６を生成する。
【００７７】
（画像合成処理）
次に、図９を用いて、画像処理サーバ２０の制御部２１によって実行される画像合成処理を説明する。ここでは、図９に示すユーザ画像５００とテンプレート画像５１０とを合成する場合を想定する。ユーザ画像５００の顔要素画像を挿入領域５１１に合わせて変形することにより、顔要素画像５１２を貼り付けた画像５２０を生成する。
【００７８】
そして、制御部２１の画像合成手段２１５は、顔要素画像５１２と背景画像とを合成する。具体的には、画像合成手段２１５は、顔要素画像５１２の配色を背景画像の配色に合わせる。更に、画像合成手段２１５は、顔要素画像５１２の周辺のエッジ領域においては、背景画像のパターンを残し、顔要素画像５１２に向けて背景画像のパターンを弱くする。この結果、画像合成手段２１５は、合成画像５３０を生成する。
【００７９】
本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
（１） 本実施形態では、画像処理サーバ２０の制御部２１は、顔要素抽出処理を実行する（ステップＳ１−４）。ここでは、画像処理サーバ２０の制御部２１は、評価用楕円上の画素値のヒストグラムの算出処理を実行する（ステップＳ２−２）。そして、画像処理サーバ２０の制御部２１は、顔要素の特定処理を実行する（ステップＳ２−６）。具体的には、顔要素抽出手段２１３は、ヒストグラムの分散値が最小になっている評価用楕円を特定する。これにより、顔画像上で画素値の変化が少ない領域をエッジとして、挿入する画像（顔要素画像）を抽出することができる。特に、頭髪や顔の輪郭がある場合、背景画像上に顔画像のエッジが残り、継ぎ目がない連続的な画像を生成することができない。従って、頭髪や顔の輪郭を除いた顔要素を抽出することにより、ポアソン法において、エッジの影響を低減して、継ぎ目が抑制された合成画像を生成することができる。
【００８０】
（２） 本実施形態では、画像処理サーバ２０は、テンプレートデータ記憶部２５を備えている。このテンプレートデータ記憶部２５には、合成画像の背景に用いるテンプレート管理ファイル２５０が記録される。これにより、テンプレート画像を背景画像として用いて、ユーザ画像を挿入した合成画像を生成することができる。
【００８１】
（３） 本実施形態では、テンプレートデータ記憶部２５には、合成画像の背景に用いるテンプレート管理ファイル２５０が記録される。このテンプレート管理ファイル２５０は、テンプレート管理コード、テンプレート画像、表情指数に関するデータを含んで構成される。そして、画像処理サーバ２０の制御部２１は、画像変形処理を実行する（ステップＳ１−５）。ここでは、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ３−４）。これにより、テンプレート画像において、利用者から提供された顔画像を用いて表情を変更した合成画像を生成することができる。
【００８２】
（４） 本実施形態では、テンプレート画像には、画像を挿入する領域（挿入領域）及び挿入領域における中心線が予め設定されている。そして、画像処理サーバ２０の制御部２１は、画像変形処理を実行する（ステップＳ１−５）。ここでは、画像処理サーバ２０の制御部２１は、挿入領域に合わせた変形処理を実行する（ステップＳ３−５）。これにより、利用者から提供された顔画像を用いて、テンプレート画像に整合させた合成画像を生成することができる。
【００８３】
＜第２の実施形態＞
上記第１の実施形態においては、一つのテンプレート画像に対して一つの顔画像を挿入する。これに代えて、第２の実施形態においては、背景画像が記録された一つのファイルに対して、複数の領域に顔画像を挿入する場合を説明する。なお、第１の実施形態と共通している処理（ユーザ画像の取得、顔画像認識、合成画像の提供等）については説明を省略する。この第２の実施形態を、図１０、図１１を用いて説明する。
【００８４】
図１０に示すように、複数のページからなるテンプレート画像ファイル（例えば、絵本）をテンプレートデータ記憶部２５に記憶させておく。このテンプレート画像ファイルには、顔画像を貼り付ける複数の挿入位置に挿入領域を設けておく。この挿入領域においては、顔画像を挿入する領域の形状及び中心線が予め設定されている。
【００８５】
更に、画像処理サーバ２０に画像配置データ記憶部２８を設ける。この画像配置データ記憶部２８には、各挿入位置を特定する情報（例えば、ページ、挿入座標）に対して、表情指数に関するデータを記録しておく。
【００８６】
以下、本実施形態の処理手順を、図１１に従って説明する。
ここでは、画像処理サーバ２０の制御部２１は、顔要素画像の分割処理を実行する（ステップＳ４−１）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−１と同様に、対角線と対称線とを用いて、顔要素画像を分割する。
【００８７】
次に、画像処理サーバ２０の制御部２１は、テンプレート画像ファイルにおいて、最初の挿入先領域の特定処理を実行する（ステップＳ４−２）。具体的には、制御部２１の変形処理手段２１４は、テンプレート画像ファイルにおいて、最先のページ数及び挿入座標の挿入位置を処理対象として特定する。
【００８８】
そして、画像処理サーバ２０の制御部２１は、表情指数の取得処理を実行する（ステップＳ４−３）。具体的には、制御部２１の変形処理手段２１４は、処理対象の挿入位置に関連付けられている表情指数を、画像配置データ記憶部２８から取得する。
【００８９】
次に、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ４−４）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−４と同様に、取得した表情指数に基づいて、対称線の伸縮を行なう。
【００９０】
次に、画像処理サーバ２０の制御部２１は、挿入領域に合わせて変形処理を実行する（ステップＳ４−５）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−５と同様に、処理対象の挿入位置の形状に合わせて顔要素画像を変形する。
【００９１】
次に、画像処理サーバ２０の制御部２１は、画像合成処理を実行する（ステップＳ４−６）。具体的には、制御部２１の画像合成手段２１５は、ステップＳ１−６と同様に、ポアソン法を用いて、処理対象の挿入位置の背景画像と顔要素画像とを合成する。
【００９２】
次に、画像処理サーバ２０の制御部２１は、すべての挿入位置における画像合成処理を終了したかどうかについての判定処理を実行する（ステップＳ４−７）。具体的には、制御部２１の変形処理手段２１４は、指定されたテンプレート画像ファイルにおいて、最後のページ数及び挿入座標の挿入位置について画像合成処理を終了したかどうかを判定する。
【００９３】
まだ、画像合成処理を行なっていない挿入位置が残っている場合（ステップＳ４−７において「ＮＯ」の場合）には、画像処理サーバ２０の制御部２１は、次の挿入位置の特定処理を実行する（ステップＳ４−８）。具体的には、制御部２１の変形処理手段２１４は、ページ数及び挿入座標を用いて、次の挿入位置を特定し、ステップＳ４−３の処理から繰り返す。
【００９４】
一方、すべての挿入位置について画像合成処理を終了した場合（ステップＳ４−７において「ＹＥＳ」の場合）には、このテンプレート画像ファイルについての処理を終了する
。
【００９５】
本実施形態の画像処理システムによれば、効果（１）〜（４）の効果に加えて、以下のような効果を得ることができる。
（５） 上記実施形態においては、テンプレートデータ記憶部２５に記憶されたテンプレート画像において、顔画像を貼り付ける複数の挿入位置に挿入領域を設けておく。更に、画像配置データ記憶部２８には、各挿入位置を特定する情報（例えば、ページ、挿入座標）に対して、表情指数に関するデータを記録しておく。そして、画像処理サーバ２０の制御部２１は、挿入位置を順次、処理対象として特定する。この場合、制御部２１は、挿入位置に対応した表情指数を取得し、この表情指数を用いて変形処理を実行する。これにより、一つのユーザ画像を用いて、挿入位置の状況に応じて表情を変化させた合成画像を生成することができる。
【００９６】
＜第３の実施形態＞
上記第１の実施形態においては、テンプレート画像に対してユーザ画像を挿入する場合、挿入領域の形状や表情指数に基づいて、顔要素画像を変形する。これに代えて、第３の実施形態においては、合成画像の利用目的に応じて、画像変形や画像合成を行なう。なお、第１の実施形態と共通している処理（ユーザ画像の取得、顔画像認識、合成画像の提供等）については説明を省略する。この第３の実施形態を、図１２、図１３を用いて説明する。
【００９７】
図１２に示すように、画像処理サーバ２０に、パーツ画像データ記憶部２９を設ける。
パーツ画像データ記憶部２９には、顔を構成するパーツについてのパーツ画像ファイルが記録されている。このパーツ画像ファイルは、パーツコード、パーツ種別、パーツ画像に関するデータを含んで構成される。
【００９８】
パーツコードデータ領域には、各パーツを特定するための識別子に関するデータが記録される。
パーツ種別データ領域には、各パーツの種類を特定するための識別子に関するデータが記録されている。本実施形態においては、パーツ種別として「目」、「鼻」、「口」がある。
パーツ画像データ領域には、各パーツの画像データが記録される。このパーツ画像は、顔要素画像に含まれる顔要素（目、鼻や口）を代替する場合に用いる。
【００９９】
更に、画像処理サーバ２０の制御部２１は、顔認証手段２１７及びパーツ置換手段２１８を備えている。
【０１００】
顔認証手段２１７は、二つの画像に含まれる顔画像を比較して、本人特定ができるかどうかについて認証処理を実行する。具体的には、顔認証手段２１７は、利用者からセキュリティレベルを取得する。そして、セキュリティレベルと変形度とを対応させた変換テーブルを用いて、利用者から取得したセキュリティレベルを変形度に変換する。この変換テーブルにおいては、セキュリティレベルが「高」の場合には、変形度として高い値が設定されている。一方、セキュリティレベルが「低」の場合には、セキュリティレベル「高」の変形度より低い値が設定されている。
【０１０１】
更に、顔認証手段２１７は、利用者から取得したユーザ画像に含まれる顔画像、及び合成画像に含まれる顔画像を抽出する。次に、顔認証手段２１７は、二つの顔画像の特徴量を算出し、この特徴量の一致度を算出する。そして、顔認証手段２１７は、算出した一致度と変形度とを比較する。
【０１０２】
また、パーツ置換手段２１８は、ユーザ画像の顔要素画像におけるパーツ（目、鼻、口）を、パーツ画像データ記憶部２９に記録されたパーツ画像に置換する処理を実行する。
以下、本実施形態の画像変形・画像合成処理の処理手順を、図１３に従って説明する。
【０１０３】
ここでは、画像処理サーバ２０の制御部２１は、セキュリティレベルの取得処理を実行する（ステップＳ５−１）。具体的には、制御部２１の顔認証手段２１７は、携帯電話端末１０に対してセキュリティレベル設定画面を出力する。このセキュリティレベル設定画面においては、変形の度合いを決定するためのレベルを設定することができる。例えば、ブログなどにおいて公開されるアバターにおいては、本人を特定できないセキュリティレベル「高」を設定する。一方、個人的に非公開で用いられる画像については、セキュリティレベル「低」を設定する。そして、設定を完了した場合、携帯電話端末１０は、設定されたセキュリティレベルをサービス管理システム５０に送信する。
【０１０４】
そして、サービス管理システム５０の画像処理サーバ２０は、ウェブサーバ４０を介して、利用者が設定したセキュリティレベルを取得する。この場合、制御部２１の顔認証手段２１７は、取得したセキュリティレベルに応じて変形度を特定する。
【０１０５】
次に、画像処理サーバ２０の制御部２１は、顔要素画像の分割処理を実行する（ステップＳ５−２）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−１と同様に、対角線及び対称線を用いて、顔要素画像を分割する。
【０１０６】
次に、画像処理サーバ２０の制御部２１は、背景画像の挿入領域の特定処理を実行する（ステップＳ５−３）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−２と同様に、挿入先領域の形状を特定する。
【０１０７】
次に、画像処理サーバ２０の制御部２１は、表情指数の取得処理を実行する（ステップＳ５−４）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−３と同様に、テンプレート管理ファイル２５０に記録された表情指数を取得する。
【０１０８】
次に、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ５−５）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−４と同様に、表情指数に基づいて、対称線の伸縮を行なう。
【０１０９】
次に、画像処理サーバ２０の制御部２１は、挿入領域に合わせて変形処理を実行する（ステップＳ５−６）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−５と同様に、処理対象の挿入領域の形状に合わせて顔要素画像を変形する。
【０１１０】
次に、画像処理サーバ２０の制御部２１は、画像合成処理を実行する（ステップＳ５−７）。具体的には、制御部２１の画像合成手段２１５は、ステップＳ１−６と同様に、ポアソン法を用いて、顔要素画像と処理対象の背景画像とを合成する。
【０１１１】
次に、画像処理サーバ２０の制御部２１は、顔認証処理を実行する（ステップＳ５−８）。具体的には、制御部２１の顔認証手段２１７が、ユーザ画像の特徴量と合成画像の特徴量とを比較して一致度を算出する。
【０１１２】
次に、画像処理サーバ２０の制御部２１は、同一人物かどうかについての処理を実行する（ステップＳ５−９）。具体的には、制御部２１の顔認証手段２１７が、一致度が、セキュリティレベルに応じて特定された変形度より高いかどうかを判定する。
【０１１３】
二つの画像の一致度が変形度より高く、同一人物と判定された場合（ステップＳ５−９
において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、パーツ置換処理を実行する（ステップＳ５−１０）。具体的には、制御部２１のパーツ置換手段２１８が、パーツ画像データ記憶部２９からパーツを取得し、顔要素画像の顔要素を置換する。
【０１１４】
そして、顔要素が置換された顔要素画像を用いて、ステップＳ５−２の処理から繰り返す。
二つの画像の一致度が変形度より低く、同一人物でないと判定された場合（ステップＳ５−９において「ＮＯ」の場合）、画像処理サーバ２０の制御部２１は処理を終了する。
【０１１５】
本実施形態の画像処理システムによれば、効果（１）〜（４）の効果に加えて、以下のような効果を得ることができる。
（６） 上記実施形態においては、画像処理サーバ２０の制御部２１は、顔認証処理を実行する（ステップＳ５−８）。そして、二つの画像の一致度が、変形度より高く、同一人物と判定された場合（ステップＳ５−９において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、パーツ置換処理を実行する（ステップＳ５−１０）。これにより、画像の利用目的に応じて、画像の変形の度合いを調整することができる。
【０１１６】
＜第４の実施形態＞
上記第１の実施形態においては、予め準備されたテンプレート画像に対してユーザ画像を挿入する。これに代えて、第４の実施形態においては、顔画像とは別に背景画像も利用者から取得する。この場合、画像取得手段２１１を背景画像取得手段として機能させる。なお、第１の実施形態と共通している処理（顔画像認識、合成画像の提供等）については説明を省略する。この第４の実施形態を、図１４、図１５を用いて説明する。本実施形態では、背景画像を記憶するテンプレートデータ記憶部２５の代わりに、受付管理データ記憶部２６に、利用者の携帯電話端末１０から取得した背景画像データ及び挿入領域データを、受付コードに関連づけて記録する。
【０１１７】
以下、本実施形態の処理手順を、図１４に従って説明する。
画像処理サーバ２０の制御部２１は、背景画像の取得処理を実行する（ステップＳ６−１）。ここでは、利用者の携帯電話端末１０から背景画像を取得する。具体的には、制御部２１の画像取得手段２１１は、ウェブサーバ４０を介して、背景画像設定画面データを携帯電話端末１０に送信する。この背景画像設定画面には、受付コード、背景画像指定欄や送信実行アイコンなどが含まれる。ここで、利用者は、背景画像指定欄を用いて、携帯電話端末１０のメモリに格納された画像の中から、背景として用いる画像を指定する。そして、送信実行アイコンが選択された場合、携帯電話端末１０は、メールサーバ３０のメールアドレス及び受付コードが設定された電子メールを生成する。更に、携帯電話端末１０は、指定された画像を電子メールに添付する。そして、携帯電話端末１０は、生成した電子メールをサービス管理システム５０に送信する。
【０１１８】
サービス管理システム５０のメールサーバ３０が携帯電話端末１０からの電子メールを受信し、電子メールを画像処理サーバ２０に転送する。この場合、制御部２１の画像取得手段２１１が、電子メールから、受付コード及び背景画像を取得する。そして、画像取得手段２１１は、受付管理データ記憶部２６において、取得した受付コードが記録された受付管理ファイル２６０を特定し、携帯電話端末１０から取得した背景画像を記録する。
【０１１９】
次に、画像処理サーバ２０の制御部２１は、背景画像における挿入領域の特定処理を実行する（ステップＳ６−２）。具体的には、制御部２１の画像取得手段２１１は、受付管理データ記憶部２６に記憶させた背景画像を含めた挿入領域設定画面データを、ウェブサーバ４０を介して、携帯電話端末１０に送信する。この挿入領域設定画面には、携帯電話端末１０から取得した背景画像、及び背景画像において顔画像を挿入する挿入領域を指定
するためのポインタを含める。ここで、利用者は、携帯電話端末１０の入力部によりポインタを操作して、始点及び終点を特定する。この場合、この始点及び終点により特定される矩形領域を挿入領域とする。
【０１２０】
そして、送信実行アイコンが選択された場合、携帯電話端末１０は、背景画像上の始点及び終点の座標に関するデータを含めた挿入領域設定データをサービス管理システム５０に送信する。
【０１２１】
サービス管理システム５０の画像処理サーバ２０は、ウェブサーバ４０を介して、挿入領域設定データを取得する。そして、制御部２１の画像取得手段２１１は、受付管理データ記憶部２６の受付管理ファイル２６０に挿入領域データ（始点及び終点の座標データ）を記録する。
【０１２２】
次に、画像処理サーバ２０の制御部２１は、挿入領域の中心線の特定処理を実行する（ステップＳ６−３）。具体的には、制御部２１の画像取得手段２１１は、設定された挿入領域において、左右対称のオブジェクトを特定する。ここでは、挿入領域内に含まれる閉図形のオブジェクトを特定し、このオブジェクトの中心を通過する放射状線を生成する。そして、図１５（ａ）に示すように、この放射状線の中で、オブジェクトの左右のエッジまでの法線距離の合計が等しくなる角度の放射状線を中心線として特定する。
【０１２３】
このように特定された挿入領域及び中心線を用いることにより、予め準備されたテンプレート画像を利用するステップＳ３−５と同様に、図１５（ｂ）に示すように、挿入領域に合わせた変形処理を実行することができる。
【０１２４】
本実施形態の画像処理システムによれば、効果（１）〜（４）の効果に加えて、以下のような効果を得ることができる。
（７） 上記実施形態においては、利用者から背景画像の取得処理を実行する（ステップＳ６−１）。そして、画像処理サーバ２０の制御部２１は、背景画像における挿入領域の特定処理（ステップＳ６−２）、挿入領域の中心線の特定処理（ステップＳ６−３）を実行する。これにより、利用者から取得した背景画像において顔画像を合成することができる。
【０１２５】
＜第５の実施形態＞
上記第４の実施形態においては、顔画像とは別に背景画像を利用者から取得する。これに加えて、第５の実施形態では、利用者から取得した背景画像の状況に応じて、背景画像の加工処理を行なう。なお、第１、第４の実施形態と共通している処理（顔画像認識、合成画像の提供等）については説明を省略する。この第５の実施形態を、図１６、図１７を用いて説明する。
【０１２６】
以下、本実施形態の処理手順を、図１６に従って説明する。
まず、画像処理サーバ２０の制御部２１は、背景画像の取得処理を実行する（ステップＳ７−１）。具体的には、制御部２１の画像取得手段２１１は、ステップＳ６−１と同様に、携帯電話端末１０から背景画像データを取得する。本実施形態では、図１７に示す背景画像５４０を取得した場合を想定する。
【０１２７】
次に、画像処理サーバ２０の制御部２１は、背景画像の挿入領域の特定処理を実行する（ステップＳ７−２）。具体的には、制御部２１の画像取得手段２１１は、ステップＳ６−２と同様に、携帯電話端末１０から挿入領域設定データを取得する。
【０１２８】
この場合、画像処理サーバ２０の制御部２１は、背景画像に顔パターンが含まれている
かどうかについての判定処理を実行する（ステップＳ７−３）。具体的には、制御部２１の顔検出手段２１２が、背景画像の挿入領域の中に顔画像が含まれているかどうかを判定する。例えば、背景画像５４０において、顔画像領域５４１を検出した場合を想定する。
【０１２９】
背景画像に顔画像が検出された場合（ステップＳ７−３において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、挿入する顔要素画像の変形処理を実行する（ステップＳ７−４）。具体的には、制御部２１の変形処理手段２１４は、顔検出手段２１２において認識した顔画像領域５４１を挿入先領域とする。そして、変形処理手段２１４は、背景画像の挿入先領域の大きさに合わせて、ユーザ画像の顔要素画像の大きさを変更する。これにより、顔要素画像５５０を生成する。
【０１３０】
次に、画像処理サーバ２０の制御部２１は、背景画像の顔画像の削除処理を実行する（ステップＳ７−５）。具体的には、制御部２１の変形処理手段２１４は、顔画像領域５４１における顔のパーツ（目、鼻、口）を削除する。本実施形態においては、顔画像領域５４１におけるエッジ強度が高い領域をぼかすことにより、パーツの画像を背景に埋没させて背景画像５６０を生成する。
【０１３１】
そして、顔画像の削除処理（ステップＳ７−５）の実行後や、背景画像に顔画像が検出されない場合（ステップＳ７−３において「ＮＯ」の場合）、他の実施形態と同様に、背景画像５６０に、顔要素画像５５０をポアソン法により合成することにより、合成画像５７０を生成する。
【０１３２】
本実施形態の画像処理システムによれば、効果（１）〜（４）、（７）の効果に加えて、以下のような効果を得ることができる。
（８） 上記実施形態においては、画像処理サーバ２０の制御部２１は、背景画像に顔パターンが含まれているかどうかについての判定処理を実行する（ステップＳ７−３）。そして、背景画像に顔画像が検出された場合（ステップＳ７−３において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、挿入する顔要素画像の変形処理（ステップＳ７−４）、背景画像の顔画像の削除処理（ステップＳ７−５）を実行する。これにより、背景画像における顔画像をユーザ画像の顔画像に差し替えることができる。更に、背景画像における顔のパーツを削除することにより、背景を活かしながら、ユーザ画像の顔パーツを強調することができる。
【０１３３】
また、上記実施形態は、以下のように変更してもよい。
・ 上記第１の実施形態〜第５の実施形態を用いて画像処理方法を説明したが、任意の実施形態を組み合わせることが可能である。
【０１３４】
・ 上記実施形態においては、色合いを連続的に変化させる画像調整処理として、ポアソン画像処理を用いたが、これに限定されるものではない。このポアソン画像処理においては、前述した特許文献３に記載されているように、背景画像中に境界を有する挿入領域を決定し、合成画像の関数を定義する基準である補間ガイドを定義する。挿入領域の境界線上において背景画像の関数と合成画像の関数とが等しいという境界条件において、挿入領域内における関数の勾配関数と補間ガイドとの差の２乗の和が最小になる関数を算出する。そして、挿入領域の部分を、算出した関数に置き換えた合成画像を生成する。ここで、ポアソン画像処理に代えて、挿入領域内における関数の勾配関数と補間ガイドが等しくなる関数を算出して、この関数を用いて合成画像を生成するようにしてもよい。ポアソン画像処理では、差の２乗について、貼り付ける画像全体の和が最小になるという条件を用いる。一方、上述の方法では、画像全体で和を算出することはなく、貼り付ける画像内の局所的な各点で、勾配とガイドとを一致させるという条件を課すことになる。このような条件の下では、１次の微分方程式で関数を算出することができる。ポアソン画像処理では
、ポアソン方程式（２次の微分方程式）になるが、ポアソン画像処理とは異なる数式を用いながら、ポアソン画像処理と同等の効果を得ることができる。
【０１３５】
・ 上記実施形態では、利用者端末として携帯電話端末１０を用いたが、サービス管理システム５０に対して画像を送信したり、合成画像を受信したりするための通信を行なうことができるコンピュータ端末であれば、携帯電話端末に限定されるものではない。
【０１３６】
また、上記実施形態では、サーバクライアント方式により、ネットワークを介して画像処理サービスを提供したが、利用者端末に格納された画像処理プログラムにより、画像処理を行なうようにしてもよい。この場合、撮影手段や表示手段を備えたパーソナルコンピュータ端末（パソコン）や、デジタルカメラ、携帯電話端末等の利用者端末を利用して、利用者端末内で画像処理を実行するようにしてもよい。
【０１３７】
・ 上記実施形態では、顔要素抽出処理において、顔要素画像として、顔のパーツ（目、鼻、口）のみを含む評価用楕円の領域を抽出する。顔要素領域を特定するための形状は楕円形状に限定されるものではなく、矩形や瓢箪形を用いることが可能である。また、予め複数の形状の評価用パターンを準備しておき、この評価用パターンを用いてヒストグラムを生成するようにしてもよい。この場合も、ヒストグラムの分散値が最も小さくなるものを用いて、顔要素領域を特定する。
【０１３８】
・ 上記実施形態では、顔要素抽出処理において、評価用楕円の大きさを変更して、顔要素領域を特定する。これに代えて、色分析の分析を用いるようにしてもよい。この場合には、顔画像において、頻度が最も高い色（例えば肌色）を特定し、評価用ガイドライン上の画素が、この色のみによって構成される領域を顔要素領域として特定する。
【０１３９】
・ 上記第２の実施形態では、複数のページからなるテンプレート画像ファイル（例えば、絵本）をテンプレートデータ記憶部２５に記憶させておく。複数の挿入領域を備えたファイルとしては、絵本のような静止画に限定されるものではなく、動画ファイルに適用することも可能である。この場合には、動画を構成するフレームごとに挿入領域を設け、各挿入領域に対して形状や表情指数を設定しておく。これにより、ロールプレイングゲーム等のゲームやストリーミング等の動画に含まれるキャラクタ画像においても、背景の状況に応じた画像合成を行なうことができる。
【０１４０】
・ 上記第２の実施形態では、画像処理サーバ２０に画像配置データ記憶部２８を設ける。この場合、各挿入領域に表情指数が関連付けられていればよく、例えばメタデータとして挿入領域に埋め込んでおくことも可能である。
【０１４１】
・ 上記第３実施形態では、セキュリティレベルに応じて、顔要素のパーツを置換する。顔要素の変形方法はこれに限定されるものではなく、アフィン変換の強度（対称線や対角線の伸縮の割合）を変更することにより、デフォルメにより変形させることも可能である。この場合、セキュリティレベルに応じて伸縮の割合を大きくすることにより、変形の度合いを大きくすることができる。
【符号の説明】
【０１４２】
１０…携帯電話端末、２０…画像処理サーバ、３０…メールサーバ、４０…ウェブサーバ、５０…サービス管理システム、２１…制御部、２５…テンプレートデータ記憶部、２６…受付管理データ記憶部、２７…合成画像データ記憶部、２１１…画像取得手段、２１２…顔検出手段、２１３…顔要素抽出手段、２１４…変形処理手段、２１５…画像合成手段、２１６…画像提供手段、２８…画像配置データ記憶部、２９…パーツ画像データ記憶部、２１７…顔認証手段、２１８…パーツ置換手段。
【技術分野】
【０００１】
本発明は、背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
最近の携帯電話端末等は、デジタルカメラ等による撮影機能を備えていることが多い。そして、このデジタルカメラを用いて撮影した画像を、通信機能を用いてサーバ等に送信することができる。
【０００３】
また、デジタルカメラ等においては、画像の中に人物の顔を検出する機能を備えたものもある（例えば、特許文献１参照。）。この文献に記載された技術では、撮影された画像から人物の顔部分を検出する。具体的には、デジタルカメラにおいて画像から人物の顔と推定される部分を検出し、検出した部分の顔らしさを数値化したスコアを算出する。そして、スコアが閾値を超える部分を顔部分と判定して、撮影された画像から人物の顔部分を検出する。
【０００４】
また、顔画像を受信したサーバにおいて、画像を加工する技術も検討されている（例えば、特許文献２参照。）。この文献に記載された技術では、携帯電話端末に搭載されたＣＣＤカメラで撮影した顔写真の画像データは、電子メールによりサーバに送信され、ユーザデータベースに登録される。サーバのモーフィング処理部は、ユーザデータベースからユーザの登録画像を読み出し、画像データベースからユーザの指定する既存画像を読み出し、２枚の画像をマッチングさせて中間画像を生成する。そして、生成された中間画像を、ユーザの携帯電話端末に送信する。
【０００５】
このような画像加工においては、例えばアフィン（affine）変換が用いられることがある。このアフィン変換においては、ベクトル空間（アフィン空間）の間で定義される平行移動を伴う線形変換が行なわれる。
【０００６】
更に、画像を他の画像に挿入して合成するための技術も検討されている。ここで、２つの画像を合成する場合、ポアソン法により画像を加工する技術も検討されている（例えば、特許文献３参照。）。この文献に記載された技術では、コピー先画像中に境界を有するコピー先領域を定義し、補間ガイド、および前記コピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータを提供する。コピー先領域の境界における境界条件を満たし、誘導インターポレータに基づいて合成結果画像を計算して、補間ガイドと合成結果画像の勾配の間の前記コピー先領域両端の差を最小化する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１４１６１７号公報（第１頁、図５）
【特許文献２】特開２００３−２４２４８０号公報（第１頁、図１）
【特許文献３】特表２００６−５１８８９１号公報（第１頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
顔画像を背景画像の所望の位置に挿入する場合、目、鼻、口等の顔要素と、背景画像の色合いとを整合させる必要がある。更に、画像のエッジが際立ってしまうと、不自然な画像になってしまうことがある。例えば、撮影のための顔検出技術を用いると、一般的に頭
髪等も含まれる。しかし、このような顔画像を背景画像に合成すると、頭髪等は顔領域のエッジとなり、合成した画像において境界が残ってしまう場合がある。
【０００９】
また、人物の顔を撮影する場合、挿入先である背景画像に応じた表情で撮影されているとは限らない。従って、顔の表情と背景画像とがマッチしていない場合もある。
本発明は、上述の問題に鑑みてなされたものであり、この目的は、背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記問題点を解決するために、請求項１に記載の発明は、撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、表示手段に接続される制御手段を備えた画像処理システムであって、前記制御手段が、撮影手段から顔画像を取得する顔画像取得手段と、顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段と、顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段と、前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段と、前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段と、前記合成画像を表示手段に提供する画像提供手段とを備えたことを要旨とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記顔要素抽出手段は、顔要素画像において、閉領域を規定する評価用ガイドラインを生成し、前記評価用ガイドラインの軌道上の画素値のヒストグラムを算出し、前記ヒストグラムの分散値が最小になる評価用ガイドラインにより規定される領域を顔要素画像として特定することを要旨とする。
【００１２】
請求項３に記載の発明は、請求項１又は２に記載の画像処理システムにおいて、前記変形処理手段は、前記顔要素画像を対称線により左右に分割し、顔要素画像を変形させる表情指数を取得した場合、前記表情指数を用いて前記対称線の長さを伸縮することにより、顔要素画像を変形することを要旨とする。
【００１３】
請求項４に記載の発明は、請求項１〜３のいずれか一つに記載の画像処理システムにおいて、前記背景画像取得手段は、顔要素画像を挿入する複数の挿入領域を設けたファイルを記憶し、前記ファイルにおいては、挿入領域毎に表情指数が設定されており、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを要旨とする。
【００１４】
請求項５に記載の発明は、請求項１〜３のいずれか一つに記載の画像処理システムにおいて、前記背景画像取得手段は、顔画像を挿入する挿入領域を含むフレームを設けた動画ファイルを記憶し、前記動画ファイルにおいて、領域毎に表情指数が設定されており、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを要旨とする。
【００１５】
請求項６に記載の発明は、請求項１〜５のいずれか一つに記載の画像処理システムにおいて、前記制御手段が、前記背景画像取得手段には、合成画像及び元の顔画像を用いて顔認証処理を実行し、両者の一致度が基準値以上の場合には、顔要素画像に含まれる顔要素を変形させて、再度、合成画像を生成することを要旨とする。
【００１６】
請求項７に記載の発明は、請求項１〜６のいずれか一つに記載の画像処理システムにおいて、前記制御手段は、ネットワークを介して、撮影手段及び表示手段を備えた利用者端
末に接続されており、前記制御手段は、前記利用者端末から顔画像を取得し、前記利用者端末に合成画像を送信することを要旨とする。
【００１７】
請求項８に記載の発明は、撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行する方法であって、前記制御手段が、撮影手段から顔画像を取得する顔画像取得段階と、顔画像の挿入領域が指定された背景画像を特定する背景画像取得段階と、顔画像から顔要素を含む顔要素画像を生成する顔要素抽出段階と、前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理段階と、前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成段階と、前記合成画像を表示手段に提供する画像提供段階とを実行することを要旨とする。
【００１８】
請求項９に記載の発明は、撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、前記制御手段を、撮影手段から顔画像を取得する顔画像取得手段、顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段、顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段、前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段、前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段、前記合成画像を表示手段に提供する画像提供手段として機能させることを要旨とする。
【００１９】
（作用）
請求項１、８又は９に記載の発明によれば、撮影手段から顔画像を取得し、顔画像の挿入領域が指定された背景画像を特定する。次に、顔画像から顔要素を含む顔要素画像を生成し、挿入領域の形状に合わせて、顔要素画像を変形させる。そして、背景画像に対して、顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成し、合成画像を表示手段に提供する。これにより、目、鼻、口などを含む顔要素を抽出し、これを背景画像に挿入した合成画像を生成することができる。画素勾配を最適化するための画像調整を行なうことにより、顔の輪郭によるエッジを抑制して、自然な合成画像を生成することができる。
【００２０】
請求項２に記載の発明によれば、制御手段が、顔要素画像において、閉領域を規定する評価用ガイドラインを生成する。そして、評価用ガイドラインの軌道上の画素値のヒストグラムを算出し、ヒストグラムの分散値が最小になる評価用ガイドラインにより規定される領域を顔要素画像として特定する。ヒストグラムの分散値を小さくすることにより、合成する画像の境界領域におけるエッジパターンの発生を抑制することができる。
【００２１】
請求項３に記載の発明によれば、制御手段が、顔要素画像を対称線により左右に分割する。そして、顔要素画像を変形させる表情指数を取得した場合、表情指数を用いて対称線の長さを伸縮することにより、顔要素画像を変形する。これにより、顔要素画像において多様な表情を生成することができる。
【００２２】
請求項４に記載の発明によれば、制御手段が、顔要素画像を挿入する複数の挿入領域を設けたファイルを記憶し、ファイルにおいては、挿入領域毎に表情指数が設定されている。そして、制御手段は、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成する。これにより、複数の領域に顔要素画像を挿入したファイルを生成することができる。
【００２３】
請求項５に記載の発明によれば、背景画像取得手段は、顔画像を挿入する挿入領域を含むフレームを設けた動画ファイルを記憶し、動画ファイルにおいて、領域毎に表情指数が設定されている。そして、制御手段は、挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成する。これにより、顔要素画像を挿入した動画を生成することができる。
【００２４】
請求項６に記載の発明によれば、制御手段が、合成画像及び元の顔画像を用いて顔認証処理を実行する。そして、両者の一致度が基準値以上の場合には、顔要素画像に含まれる顔要素を変形させて、再度、合成画像を生成する。合成画像の利用目的によっては、合成画像に含まれる顔要素によって本人が特定されない方が望ましいことがある。顔認証と顔要素の変形により、顔画像を利用しつつ、本人の特定が困難な合成画像を生成することができる。
【００２５】
請求項７に記載の発明によれば、制御手段は、ネットワークを介して、撮影手段及び表示手段を備えた利用者端末に接続される。そして、制御手段は、利用者端末から顔画像を取得し、前記利用者端末に合成画像を送信する。これにより、携帯電話端末等の利用者端末から、ネットワークを介して取得した顔画像を用いて合成画像を生成し、利用者端末に提供することができる。
【発明の効果】
【００２６】
本発明によれば、背景画像に対して顔画像を挿入した合成画像を提供するための画像処理システム、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態のシステム概略図。
【図２】各データ記憶部に記録されたデータの説明図であって、（ａ）はテンプレートデータ記憶部、（ｂ）は受付管理データ記憶部、（ｃ）は合成画像データ記憶部に記録されたデータの説明図。
【図３】第１の実施形態の処理手順の説明図。
【図４】第１の実施形態の処理手順の説明図。
【図５】第１の実施形態の処理手順の説明図。
【図６】第１の実施形態の顔要素抽出処理の説明図。
【図７】顔要素抽出処理における評価用楕円と画素値のヒストグラムの関係の説明図であって、（１ａ）、（２ａ）、（３ａ）は評価用楕円の大きさの説明図、（１ｂ）、（２ｂ）、（３ｂ）は各評価用楕円上の画素値のヒストグラムの説明図。
【図８】画像変形処理における画像の変形の説明図であって、（ａ）は顔要素画像の分割、（ｂ）は表情指数に応じた変形、（ｃ）は挿入領域に応じた変形の説明図。
【図９】第１の実施形態における画像合成の説明図。
【図１０】第２の実施形態のテンプレート画像ファイルと画像配置データ記憶部の説明図。
【図１１】第２の実施形態の処理手順の説明図。
【図１２】第２の実施形態における制御部、パーツ画像データ記憶部の説明図。
【図１３】第３の実施形態の処理手順の説明図。
【図１４】第４の実施形態の処理手順の説明図。
【図１５】第４の実施形態の背景画像と顔用画像の関係の説明図であって、（ａ）は背景画像、（ｂ）は顔要素の回転の説明図。
【図１６】第５の実施形態の処理手順の説明図。
【図１７】第５の実施形態における画像合成の説明図。
【発明を実施するための形態】
【００２８】
＜第１の実施形態＞
以下、本発明を具体化した一実施形態を、図１〜図９に従って説明する。本実施形態では、図１に示すように、携帯電話端末１０に対して画像処理サービスを提供するために、画像処理システムとしてのサービス管理システム５０を用いる。この画像処理サービスにおいては、サービス管理システム５０が、撮影手段を備えた利用者端末から人物の顔が撮影された画像を取得する。そして、サービス管理システム５０は、この画像に含まれる顔画像を背景画像に挿入した合成画像を生成し、表示手段を備えた利用者端末に提供する。
【００２９】
図１に示すように、サービス管理システム５０には、利用者端末（ここでは、携帯電話端末１０）がネットワークを介して接続される。この携帯電話端末１０は、本サービスの利用者が用いる携帯端末である。この携帯電話端末１０は、サービス管理システム５０に対して画像データを送信したり、サービス管理システム５０から合成画像データを取得するための情報を受信したりするために用いられる。
【００３０】
携帯電話端末１０は、端末制御部、通信処理部、メモリ、表示部、入力部、撮像部等を備える。この携帯電話端末１０は、通常の電話モードの他に、電子メールの送受信を行なうためのメールモードやブラウザモードの実行処理を行なうプログラム実行モードを有する。
【００３１】
端末制御部は、アプリケーションプログラムの実行により、ブラウザや電子メールの送受信のための処理を行なう。
通信処理部は、公知の方法により携帯電話網の基地局に接続されて、通話や電子メールの送受信のための通信処理を行なう。この携帯電話網は、インターネットを介してサービス管理システム５０に接続される。
【００３２】
メモリは、この携帯電話端末１０において実行可能なアプリケーションプログラムや、受信した電子メールを格納する。
表示部は表示手段として機能し、携帯電話端末１０が受信した電子メールやプログラム実行時のユーザ指示などを表示する。更に、メモリに格納された画像や、サービス管理システム５０から取得した画像を表示する場合にも用いる。
【００３３】
入力部は、ダイヤル番号ボタンの他に、セレクタボタン、モード変更ボタンを有する。各モード（例えば、電話モード）から他のモード（例えば、電子メールモード）に切り換える場合には、モード変更ボタンを用いる。
【００３４】
また、携帯電話端末１０のセレクタボタンは、カーソル移動機能とクリック機能とを有する。このセレクタボタンを用いて方向指示を行なうことにより、表示部上のカーソルを移動させることができ、セレクタボタンを押すことにより、カーソルが示している項目を選択することができる。
【００３５】
撮像部は撮影手段として機能し、デジタルカメラによって被写体を撮影する。本実施形態では、このデジタルカメラを用いて、人物の顔を含む人物画像データを生成する。この画像データは、携帯電話端末１０内のメモリに格納される。
【００３６】
サービス管理システム５０は、画像処理サーバ２０、メールサーバ３０、ウェブサーバ４０を含んで構成されている。
メールサーバ３０は、利用者の携帯電話端末１０との間で、電子メールを用いた通信を行なう。本実施形態においては、電子メールを用いて、携帯電話端末１０から人物画像データ（ユーザ画像）を取得する。
【００３７】
ウェブサーバ４０は、利用者の携帯電話端末１０に対して、画像処理サービスを利用するための案内画面データを送信する。
画像処理サーバ２０は、利用者の携帯電話端末１０から取得した顔画像を背景画像に挿入した合成画像を生成する。この画像処理サーバ２０は、制御部２１、背景画像情報記憶手段としてのテンプレートデータ記憶部２５、顔画像情報記憶手段としての受付管理データ記憶部２６、合成画像データ記憶部２７を備えている。そして、制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（顔画像取得段階、背景画像取得段階、顔検出段階、顔要素抽出段階、変形処理段階、画像合成段階、画像提供段階等を含む処理）を行なう。このための画像処理プログラムを実行することにより、制御部２１は、画像取得手段２１１、顔検出手段２１２、顔要素抽出手段２１３、変形処理手段２１４、画像合成手段２１５、画像提供手段２１６等として機能する。
【００３８】
画像取得手段２１１は、顔画像取得手段として機能し、携帯電話端末１０から顔画像を含むユーザ画像の取得処理を実行する。本実施形態においては、真正面の顔画像（顔の左右の対称線が垂直方向になっている顔画像）を含むユーザ画像を取得するものとする。
【００３９】
顔検出手段２１２は、取得したユーザ画像において人物の顔画像の検出処理を実行する。本実施形態においては、公知の顔検出技術を用いる。この顔検出技術においては、頭髪を含めた顔全体を検出することができる。例えば、インテル株式会社によって開発・公開されているオープンソースのコンピュータビジョン向けライブラリ「ＯｐｅｎＣＶ」の「顔の検出」コードを用いることが可能である。
【００４０】
顔要素抽出手段２１３は、特定された顔画像から、画像合成に用いる画像（顔要素画像）の抽出処理を実行する。本実施形態においては、顔要素画像として、顔のパーツ（目、鼻、口）のみを含む楕円形状の領域を抽出する。この顔要素抽出手段２１３は、顔画像上に、閉領域を規定する評価用ガイドライン（評価用楕円）を生成し、この評価用楕円を縮小しながら、顔のパーツのみを含む領域を特定する。このため、顔要素抽出手段２１３は、評価用楕円を縮小するための割合（縦横比）に関するデータや、顔要素抽出処理の終了を判定する評価用楕円の最小値に関するデータを保持する。
【００４１】
変形処理手段２１４は、アフィン変換を用いて顔要素画像を所望の形状に変形する処理を実行する。
画像合成手段２１５は、変形された顔要素画像を背景画像に挿入する画像合成処理を実行する。本実施形態では、色合いを連続的に変化させる画像調整処理として、公知のポアソン法（Mixing Gradient Poisson）を用いて二つの画像を合成する。このポアソン画像
処理を用いることにより、背景画像の背景色や背景パターンを活かしながら、顔要素画像の境界領域の継ぎ目がない合成画像を生成することができる。
画像提供手段２１６は、携帯電話端末１０に合成画像を提供する処理を実行する。
【００４２】
テンプレートデータ記憶部２５には、図２（ａ）に示すように、合成画像の背景に用いるテンプレート管理ファイル２５０が記録される。このテンプレート管理ファイル２５０は、顔要素画像を挿入する背景画像についてのテンプレート画像を登録した場合に記録される。テンプレート管理ファイル２５０は、テンプレート管理コード、テンプレート画像、表情指数に関するデータを含んで構成される。
【００４３】
テンプレート管理コードデータ領域には、各テンプレート画像を特定するための識別子に関するデータが記録される。
テンプレート画像データ領域には、顔画像を挿入する背景画像（テンプレート）に関するデータが記録される。このテンプレート画像には、画像を挿入する領域（挿入領域）及び挿入領域における中心線が予め設定されている。
【００４４】
表情指数データ領域には、このテンプレート画像に挿入する顔の表情を決めるためのパラメータが記録される。本実施形態では、アフィン変換において、対称線を短縮や伸長させるための割合が記録される。この表情指数を用いることにより、顔の表情を変更することができる。例えば、「怒り顔」の場合には、表情指数として対称線を短縮する割合が記録されている。また、「笑い顔」の場合には、表情指数として対称線を伸張する割合が記録されている。
【００４５】
受付管理データ記憶部２６には、図２（ｂ）に示すように、利用者から取得した画像についての受付管理ファイル２６０が記録される。この受付管理ファイル２６０は、利用者の携帯電話端末１０から画像を取得した場合に記録される。受付管理ファイル２６０は、受付コード、テンプレート管理コード、メールアドレス、ユーザ画像に関するデータを含んで構成される。
【００４６】
受付コードデータ領域には、携帯電話端末１０から取得した画像合成要求を特定するための識別子に関するデータが記録される。
テンプレート管理コードデータ領域には、合成画像の生成に用いるテンプレート画像を特定するための識別子に関するデータが記録される。
【００４７】
メールアドレスデータ領域には、画像を送信した携帯電話端末１０を特定するためのメールアドレスに関するデータが記録される。
ユーザ画像データ領域には、携帯電話端末１０から取得した画像に関するデータが記録される。このユーザ画像には、顔画像が含まれている。
【００４８】
合成画像データ記憶部２７には、図２（ｃ）に示すように、顔要素画像と背景画像とを合成した合成画像ファイル２７０が記録される。この合成画像ファイル２７０は、合成画像を生成した場合に記録される。合成画像ファイル２７０は、受付コード、メールアドレス、合成画像に関するデータを含んで構成される。
【００４９】
受付コードデータ領域には、携帯電話端末１０から取得した画像合成要求を特定するための識別子に関するデータが記録される。
メールアドレスデータ領域には、この画像合成要求を送信した携帯電話端末１０のメールアドレスに関するデータが記録される。
合成画像データ領域には、背景画像に対して顔要素画像を挿入した合成画像に関するデータが記録される。
【００５０】
次に、上記のように構成されたサービス管理システム５０において、画像処理サービスを提供する場合の処理手順について、図３〜図９を用いて説明する。
【００５１】
（全体の概要）
まず、図３を用いて、全体の概要を説明する。
本願発明の画像処理サービスを利用する場合、携帯電話端末１０を用いて、人物の顔を含む画像を撮影する。この画像データは、携帯電話端末１０内のメモリに格納される。そして、利用者は、携帯電話端末１０を用いてサービス管理システム５０にアクセスする。この場合、携帯電話端末１０がサービス管理システム５０のウェブサーバ４０に、サービス利用要求を送信する。
【００５２】
そして、画像処理サーバ２０の制御部２１は、背景画像の特定処理を実行する（ステップＳ１−１）。ここでは、ウェブサーバ４０は、画像処理サーバ２０に対して、サービス利用要求を転送する。この場合、画像処理サーバ２０の制御部２１は、背景画像一覧画面
データを生成する。具体的には、制御部２１の画像取得手段２１１が、テンプレートデータ記憶部２５に記録されたテンプレート画像を取得し、各テンプレート画像のアイコンを一覧表示させた背景画像一覧画面を生成する。そして、制御部２１の画像取得手段２１１は、ウェブサーバ４０を介して、背景画像一覧画面データを携帯電話端末１０に送信する。この背景画像一覧画面には、テンプレート管理コードに関連付けられたテンプレート画像のアイコンや送信実行アイコンなどが含まれる。
【００５３】
携帯電話端末１０は、受信した背景画像一覧画面を表示部に出力する。そして、利用者は、背景画像一覧の中から、挿入先として希望する背景画像を指定して、そのアイコンを選択する。この場合、携帯電話端末１０は、サービス管理システム５０に対して、指定された背景画像のテンプレート管理コードを送信する。
【００５４】
制御部２１の画像取得手段２１１は、受付コードを付与し、テンプレート管理コードを記録した受付管理ファイル２６０を生成する。そして、画像取得手段２１１は、受付管理ファイル２６０を受付管理データ記憶部２６に記録する。
【００５５】
次に、画像処理サーバ２０の制御部２１は、ユーザ画像の取得処理を実行する（ステップＳ１−２）。具体的には、制御部２１の画像取得手段２１１は、ウェブサーバ４０を介して、ユーザ画像設定画面データを携帯電話端末１０に送信する。このユーザ画像設定画面には、受付コード、ユーザ画像指定欄や送信実行アイコンなどが含まれる。ここで、利用者は、ユーザ画像指定欄を用いて、携帯電話端末１０のメモリに格納された画像の中から、挿入を希望する画像（顔画像を含む）を指定する。そして、送信実行アイコンが選択された場合、携帯電話端末１０は、メールサーバ３０のメールアドレス及び受付コードが設定された電子メールを生成し、指定された画像を電子メールに添付する。そして、携帯電話端末１０は、生成した電子メールをサービス管理システム５０に送信する。
【００５６】
サービス管理システム５０のメールサーバ３０が携帯電話端末１０からの電子メールを受信する。メールサーバ３０は、この電子メールを画像処理サーバ２０に転送する。この場合、画像処理サーバ２０の制御部２１の画像取得手段２１１が、電子メールから、受付コード及びユーザ画像を取得する。そして、画像取得手段２１１は、受付管理データ記憶部２６において、取得した受付コードが記録された受付管理ファイル２６０を特定し、送信元のメールアドレス、添付されたユーザ画像を記録する。
【００５７】
次に、制御部２１の画像取得手段２１１は、テンプレート画像とユーザ画像とを表示した確認画面を携帯電話端末１０に送信する。この確認画面において、確認アイコンが選択された場合、携帯電話端末１０は合成依頼をサービス管理システム５０に送信する。サービス管理システム５０は、この合成依頼を画像処理サーバ２０に転送する。
【００５８】
この場合、画像処理サーバ２０の制御部２１は、顔画像認識処理を実行する（ステップＳ１−３）。具体的には、制御部２１の顔検出手段２１２は、携帯電話端末１０から取得した画像の中で顔画像を認識する。この顔画像認識においては、公知の顔画像認識技術が用いられ、ユーザ画像において矩形の顔画像が特定される。ここでは、図６に示すユーザ画像５００を取得した場合、顔検出手段２１２は、顔画像５０１を切り出す。
【００５９】
次に、画像処理サーバ２０の制御部２１は、顔要素抽出処理を実行する（ステップＳ１−４）。具体的には、制御部２１の顔要素抽出手段２１３は、顔画像の中から画像合成に用いる領域を特定する。本実施形態においては、後述するように、目、鼻、口を含む最適楕円形状を抽出する。ここでは、顔要素抽出手段２１３は、図６に示す顔画像５０１において、評価用楕円５０２を変更して、最適楕円形状領域（顔要素領域５０３）を抽出する。
【００６０】
次に、画像処理サーバ２０の制御部２１は、画像変形処理を実行する（ステップＳ１−５）。具体的には、制御部２１の変形処理手段２１４が、後述するように、アフィン変換を用いて、顔要素画像を変形する。
【００６１】
次に、画像処理サーバ２０の制御部２１は、画像合成処理を実行する（ステップＳ１−６）。具体的には、制御部２１の画像合成手段２１５が、公知のポアソン法を用いて、背景画像に対して顔要素画像を挿入した合成画像を生成する。
【００６２】
そして、画像合成手段２１５は、受付コード、メールアドレス、合成画像を含めた合成画像ファイル２７０を生成し、合成画像データ記憶部２７に格納する。
次に、画像処理サーバ２０の制御部２１は、合成画像の提供処理を実行する（ステップＳ１−７）。具体的には、制御部２１の画像提供手段２１６は、合成画像を格納した場所を特定するための情報としてＵＲＬを生成する。このＵＲＬは、合成画像が格納された合成画像データ記憶部２７の所在を示すパスと受付コードを含んで構成される。
【００６３】
そして、画像提供手段２１６は、メールサーバ３０を介して、携帯電話端末１０のメールアドレスに対して、ＵＲＬを含めた電子メールを送信する。
携帯電話端末１０は、サービス管理システム５０から受信した電子メールを表示部に出力する。そして、利用者が合成画像を取得する場合、電子メールに含まれるＵＲＬを用いる。具体的には、電子メールに含まれるＵＲＬを選択することにより、携帯電話端末１０はサービス管理システム５０に対して合成画像要求を送信する。
【００６４】
この場合、ウェブサーバ４０は、ＵＲＬに含まれるパラメータにより受付コードを特定し、合成画像データ記憶部２７から受付コードに関連付けられた合成画像データを取得する。そして、ウェブサーバ４０は、携帯電話端末１０に対して合成画像データを送信する。
【００６５】
（顔要素抽出処理）
次に、図４を用いて、顔要素抽出処理を説明する。
まず、画像処理サーバ２０の制御部２１は、顔画像に内接する評価用楕円の生成処理を実行する（ステップＳ２−１）。具体的には、制御部２１の顔要素抽出手段２１３は、顔検出手段２１２によって特定された矩形の顔画像に内接する評価用楕円を生成する。ここでは、図７（１ａ）に示す評価用楕円５０２が生成される。
【００６６】
次に、画像処理サーバ２０の制御部２１は、評価用楕円上の画素値のヒストグラムの算出処理を実行する（ステップＳ２−２）。具体的には、制御部２１の顔要素抽出手段２１３は、評価用楕円の軌道上の画素値を取得し、この画素値の分布を評価するためのヒストグラムを算出する。ここでは、図７（１ａ）に示す評価用楕円５０２に対して、図７（１ｂ）に示すヒストグラムが算出される。
【００６７】
次に、画像処理サーバ２０の制御部２１は、分散値を算出して仮記憶処理を実行する（ステップＳ２−３）。具体的には、制御部２１の顔要素抽出手段２１３は、評価用楕円５０２の大きさを特定する識別子を付与し、ヒストグラムの分散状況を表した値（分散値）を記録する。
【００６８】
次に、画像処理サーバ２０の制御部２１は、評価用楕円の縮小処理を実行する（ステップＳ２−４）。具体的には、制御部２１の顔要素抽出手段２１３は、評価用楕円の大きさを予め定められた割合で縮小する。ここでは、評価用楕円を、予め設定された縦横比（例えば９０％）で縮小する。ここでは、図７（２ａ）に示す評価用楕円５０２が生成される
。
【００６９】
ここで、画像処理サーバ２０の制御部２１は、最小楕円に到達したかどうかについての判定処理を実行する（ステップＳ２−５）。具体的には、制御部２１の顔要素抽出手段２１３は、縮小された評価用楕円の大きさが予め定められた最小値以下になっているかどうかについて判定する。
【００７０】
最小楕円になっていない場合（ステップＳ２−５において「ＮＯ」の場合）には、ステップＳ２−２の処理から繰り返す。これにより、図７（２ａ）に示す評価用楕円５０２に対応して図７（２ｂ）に示すヒストグラムが算出される。更に、評価用楕円の縮小処理（ステップＳ２−４）を実行した場合には、順次、図７（３ａ）に示す評価用楕円５０２が生成され、図７（３ｂ）に示すヒストグラムが算出される。
【００７１】
一方、最小楕円になっている場合（ステップＳ２−５において「ＹＥＳ」の場合）には、画像処理サーバ２０の制御部２１は、顔要素の特定処理を実行する（ステップＳ２−６）。具体的には、制御部２１の顔要素抽出手段２１３は、仮記憶されたヒストグラムの分散値が最小になっている評価用楕円を特定する。そして、顔要素抽出手段２１３は、この評価用楕円内の領域を顔要素画像として特定する。
【００７２】
（画像変形処理）
次に、図５を用いて、画像変形処理を説明する。
まず、画像処理サーバ２０の制御部２１は、顔要素画像の分割処理を実行する（ステップＳ３−１）。具体的には、制御部２１の変形処理手段２１４は、顔要素抽出手段２１３により特定した顔要素を含む楕円形状に外接する矩形を複数の領域に分割する。本実施形態においては、図８（ａ）に示すように、矩形の対角線及び矩形の中心から各辺の中点までの線分（対称線）により構成された８個の三角形に分割する。
【００７３】
次に、画像処理サーバ２０の制御部２１は、背景画像の挿入領域の特定処理を実行する（ステップＳ３−２）。具体的には、制御部２１の変形処理手段２１４は、利用者によって指定されたテンプレート画像において設定された挿入領域の大きさ及び中心線を特定する。
【００７４】
次に、画像処理サーバ２０の制御部２１は、表情指数の取得処理を実行する（ステップＳ３−３）。具体的には、制御部２１の変形処理手段２１４は、テンプレート管理ファイル２５０に記録された表情指数を取得する。
【００７５】
次に、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ３−４）。具体的には、制御部２１の変形処理手段２１４は、対角線については元の長さを維持しながら、表情指数に対応させて対称線を伸縮させるようにアフィン変換を行なう。図８（ｂ）は、対称線を短縮して顔要素画像５０５を生成する場合を示している。
【００７６】
次に、画像処理サーバ２０の制御部２１は、挿入領域に合わせた変形処理を実行する（ステップＳ３−５）。具体的には、制御部２１の変形処理手段２１４は、挿入領域の中心線と顔要素画像の対称線とを一致させる。ここで、中心線の傾きと対称線の傾きとがずれている場合には、一致するように顔要素画像５０５を傾ける。更に、挿入領域に入るように、顔要素画像５０５の伸縮を行なう。この場合には、顔要素画像５０５の矩形の対角線及び対称線を等倍に維持しながら変形する。そして、図８（ｃ）に示す顔要素画像５０６を生成する。
【００７７】
（画像合成処理）
次に、図９を用いて、画像処理サーバ２０の制御部２１によって実行される画像合成処理を説明する。ここでは、図９に示すユーザ画像５００とテンプレート画像５１０とを合成する場合を想定する。ユーザ画像５００の顔要素画像を挿入領域５１１に合わせて変形することにより、顔要素画像５１２を貼り付けた画像５２０を生成する。
【００７８】
そして、制御部２１の画像合成手段２１５は、顔要素画像５１２と背景画像とを合成する。具体的には、画像合成手段２１５は、顔要素画像５１２の配色を背景画像の配色に合わせる。更に、画像合成手段２１５は、顔要素画像５１２の周辺のエッジ領域においては、背景画像のパターンを残し、顔要素画像５１２に向けて背景画像のパターンを弱くする。この結果、画像合成手段２１５は、合成画像５３０を生成する。
【００７９】
本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
（１） 本実施形態では、画像処理サーバ２０の制御部２１は、顔要素抽出処理を実行する（ステップＳ１−４）。ここでは、画像処理サーバ２０の制御部２１は、評価用楕円上の画素値のヒストグラムの算出処理を実行する（ステップＳ２−２）。そして、画像処理サーバ２０の制御部２１は、顔要素の特定処理を実行する（ステップＳ２−６）。具体的には、顔要素抽出手段２１３は、ヒストグラムの分散値が最小になっている評価用楕円を特定する。これにより、顔画像上で画素値の変化が少ない領域をエッジとして、挿入する画像（顔要素画像）を抽出することができる。特に、頭髪や顔の輪郭がある場合、背景画像上に顔画像のエッジが残り、継ぎ目がない連続的な画像を生成することができない。従って、頭髪や顔の輪郭を除いた顔要素を抽出することにより、ポアソン法において、エッジの影響を低減して、継ぎ目が抑制された合成画像を生成することができる。
【００８０】
（２） 本実施形態では、画像処理サーバ２０は、テンプレートデータ記憶部２５を備えている。このテンプレートデータ記憶部２５には、合成画像の背景に用いるテンプレート管理ファイル２５０が記録される。これにより、テンプレート画像を背景画像として用いて、ユーザ画像を挿入した合成画像を生成することができる。
【００８１】
（３） 本実施形態では、テンプレートデータ記憶部２５には、合成画像の背景に用いるテンプレート管理ファイル２５０が記録される。このテンプレート管理ファイル２５０は、テンプレート管理コード、テンプレート画像、表情指数に関するデータを含んで構成される。そして、画像処理サーバ２０の制御部２１は、画像変形処理を実行する（ステップＳ１−５）。ここでは、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ３−４）。これにより、テンプレート画像において、利用者から提供された顔画像を用いて表情を変更した合成画像を生成することができる。
【００８２】
（４） 本実施形態では、テンプレート画像には、画像を挿入する領域（挿入領域）及び挿入領域における中心線が予め設定されている。そして、画像処理サーバ２０の制御部２１は、画像変形処理を実行する（ステップＳ１−５）。ここでは、画像処理サーバ２０の制御部２１は、挿入領域に合わせた変形処理を実行する（ステップＳ３−５）。これにより、利用者から提供された顔画像を用いて、テンプレート画像に整合させた合成画像を生成することができる。
【００８３】
＜第２の実施形態＞
上記第１の実施形態においては、一つのテンプレート画像に対して一つの顔画像を挿入する。これに代えて、第２の実施形態においては、背景画像が記録された一つのファイルに対して、複数の領域に顔画像を挿入する場合を説明する。なお、第１の実施形態と共通している処理（ユーザ画像の取得、顔画像認識、合成画像の提供等）については説明を省略する。この第２の実施形態を、図１０、図１１を用いて説明する。
【００８４】
図１０に示すように、複数のページからなるテンプレート画像ファイル（例えば、絵本）をテンプレートデータ記憶部２５に記憶させておく。このテンプレート画像ファイルには、顔画像を貼り付ける複数の挿入位置に挿入領域を設けておく。この挿入領域においては、顔画像を挿入する領域の形状及び中心線が予め設定されている。
【００８５】
更に、画像処理サーバ２０に画像配置データ記憶部２８を設ける。この画像配置データ記憶部２８には、各挿入位置を特定する情報（例えば、ページ、挿入座標）に対して、表情指数に関するデータを記録しておく。
【００８６】
以下、本実施形態の処理手順を、図１１に従って説明する。
ここでは、画像処理サーバ２０の制御部２１は、顔要素画像の分割処理を実行する（ステップＳ４−１）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−１と同様に、対角線と対称線とを用いて、顔要素画像を分割する。
【００８７】
次に、画像処理サーバ２０の制御部２１は、テンプレート画像ファイルにおいて、最初の挿入先領域の特定処理を実行する（ステップＳ４−２）。具体的には、制御部２１の変形処理手段２１４は、テンプレート画像ファイルにおいて、最先のページ数及び挿入座標の挿入位置を処理対象として特定する。
【００８８】
そして、画像処理サーバ２０の制御部２１は、表情指数の取得処理を実行する（ステップＳ４−３）。具体的には、制御部２１の変形処理手段２１４は、処理対象の挿入位置に関連付けられている表情指数を、画像配置データ記憶部２８から取得する。
【００８９】
次に、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ４−４）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−４と同様に、取得した表情指数に基づいて、対称線の伸縮を行なう。
【００９０】
次に、画像処理サーバ２０の制御部２１は、挿入領域に合わせて変形処理を実行する（ステップＳ４−５）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−５と同様に、処理対象の挿入位置の形状に合わせて顔要素画像を変形する。
【００９１】
次に、画像処理サーバ２０の制御部２１は、画像合成処理を実行する（ステップＳ４−６）。具体的には、制御部２１の画像合成手段２１５は、ステップＳ１−６と同様に、ポアソン法を用いて、処理対象の挿入位置の背景画像と顔要素画像とを合成する。
【００９２】
次に、画像処理サーバ２０の制御部２１は、すべての挿入位置における画像合成処理を終了したかどうかについての判定処理を実行する（ステップＳ４−７）。具体的には、制御部２１の変形処理手段２１４は、指定されたテンプレート画像ファイルにおいて、最後のページ数及び挿入座標の挿入位置について画像合成処理を終了したかどうかを判定する。
【００９３】
まだ、画像合成処理を行なっていない挿入位置が残っている場合（ステップＳ４−７において「ＮＯ」の場合）には、画像処理サーバ２０の制御部２１は、次の挿入位置の特定処理を実行する（ステップＳ４−８）。具体的には、制御部２１の変形処理手段２１４は、ページ数及び挿入座標を用いて、次の挿入位置を特定し、ステップＳ４−３の処理から繰り返す。
【００９４】
一方、すべての挿入位置について画像合成処理を終了した場合（ステップＳ４−７において「ＹＥＳ」の場合）には、このテンプレート画像ファイルについての処理を終了する
。
【００９５】
本実施形態の画像処理システムによれば、効果（１）〜（４）の効果に加えて、以下のような効果を得ることができる。
（５） 上記実施形態においては、テンプレートデータ記憶部２５に記憶されたテンプレート画像において、顔画像を貼り付ける複数の挿入位置に挿入領域を設けておく。更に、画像配置データ記憶部２８には、各挿入位置を特定する情報（例えば、ページ、挿入座標）に対して、表情指数に関するデータを記録しておく。そして、画像処理サーバ２０の制御部２１は、挿入位置を順次、処理対象として特定する。この場合、制御部２１は、挿入位置に対応した表情指数を取得し、この表情指数を用いて変形処理を実行する。これにより、一つのユーザ画像を用いて、挿入位置の状況に応じて表情を変化させた合成画像を生成することができる。
【００９６】
＜第３の実施形態＞
上記第１の実施形態においては、テンプレート画像に対してユーザ画像を挿入する場合、挿入領域の形状や表情指数に基づいて、顔要素画像を変形する。これに代えて、第３の実施形態においては、合成画像の利用目的に応じて、画像変形や画像合成を行なう。なお、第１の実施形態と共通している処理（ユーザ画像の取得、顔画像認識、合成画像の提供等）については説明を省略する。この第３の実施形態を、図１２、図１３を用いて説明する。
【００９７】
図１２に示すように、画像処理サーバ２０に、パーツ画像データ記憶部２９を設ける。
パーツ画像データ記憶部２９には、顔を構成するパーツについてのパーツ画像ファイルが記録されている。このパーツ画像ファイルは、パーツコード、パーツ種別、パーツ画像に関するデータを含んで構成される。
【００９８】
パーツコードデータ領域には、各パーツを特定するための識別子に関するデータが記録される。
パーツ種別データ領域には、各パーツの種類を特定するための識別子に関するデータが記録されている。本実施形態においては、パーツ種別として「目」、「鼻」、「口」がある。
パーツ画像データ領域には、各パーツの画像データが記録される。このパーツ画像は、顔要素画像に含まれる顔要素（目、鼻や口）を代替する場合に用いる。
【００９９】
更に、画像処理サーバ２０の制御部２１は、顔認証手段２１７及びパーツ置換手段２１８を備えている。
【０１００】
顔認証手段２１７は、二つの画像に含まれる顔画像を比較して、本人特定ができるかどうかについて認証処理を実行する。具体的には、顔認証手段２１７は、利用者からセキュリティレベルを取得する。そして、セキュリティレベルと変形度とを対応させた変換テーブルを用いて、利用者から取得したセキュリティレベルを変形度に変換する。この変換テーブルにおいては、セキュリティレベルが「高」の場合には、変形度として高い値が設定されている。一方、セキュリティレベルが「低」の場合には、セキュリティレベル「高」の変形度より低い値が設定されている。
【０１０１】
更に、顔認証手段２１７は、利用者から取得したユーザ画像に含まれる顔画像、及び合成画像に含まれる顔画像を抽出する。次に、顔認証手段２１７は、二つの顔画像の特徴量を算出し、この特徴量の一致度を算出する。そして、顔認証手段２１７は、算出した一致度と変形度とを比較する。
【０１０２】
また、パーツ置換手段２１８は、ユーザ画像の顔要素画像におけるパーツ（目、鼻、口）を、パーツ画像データ記憶部２９に記録されたパーツ画像に置換する処理を実行する。
以下、本実施形態の画像変形・画像合成処理の処理手順を、図１３に従って説明する。
【０１０３】
ここでは、画像処理サーバ２０の制御部２１は、セキュリティレベルの取得処理を実行する（ステップＳ５−１）。具体的には、制御部２１の顔認証手段２１７は、携帯電話端末１０に対してセキュリティレベル設定画面を出力する。このセキュリティレベル設定画面においては、変形の度合いを決定するためのレベルを設定することができる。例えば、ブログなどにおいて公開されるアバターにおいては、本人を特定できないセキュリティレベル「高」を設定する。一方、個人的に非公開で用いられる画像については、セキュリティレベル「低」を設定する。そして、設定を完了した場合、携帯電話端末１０は、設定されたセキュリティレベルをサービス管理システム５０に送信する。
【０１０４】
そして、サービス管理システム５０の画像処理サーバ２０は、ウェブサーバ４０を介して、利用者が設定したセキュリティレベルを取得する。この場合、制御部２１の顔認証手段２１７は、取得したセキュリティレベルに応じて変形度を特定する。
【０１０５】
次に、画像処理サーバ２０の制御部２１は、顔要素画像の分割処理を実行する（ステップＳ５−２）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−１と同様に、対角線及び対称線を用いて、顔要素画像を分割する。
【０１０６】
次に、画像処理サーバ２０の制御部２１は、背景画像の挿入領域の特定処理を実行する（ステップＳ５−３）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−２と同様に、挿入先領域の形状を特定する。
【０１０７】
次に、画像処理サーバ２０の制御部２１は、表情指数の取得処理を実行する（ステップＳ５−４）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−３と同様に、テンプレート管理ファイル２５０に記録された表情指数を取得する。
【０１０８】
次に、画像処理サーバ２０の制御部２１は、表情指数に応じた変形処理を実行する（ステップＳ５−５）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−４と同様に、表情指数に基づいて、対称線の伸縮を行なう。
【０１０９】
次に、画像処理サーバ２０の制御部２１は、挿入領域に合わせて変形処理を実行する（ステップＳ５−６）。具体的には、制御部２１の変形処理手段２１４は、ステップＳ３−５と同様に、処理対象の挿入領域の形状に合わせて顔要素画像を変形する。
【０１１０】
次に、画像処理サーバ２０の制御部２１は、画像合成処理を実行する（ステップＳ５−７）。具体的には、制御部２１の画像合成手段２１５は、ステップＳ１−６と同様に、ポアソン法を用いて、顔要素画像と処理対象の背景画像とを合成する。
【０１１１】
次に、画像処理サーバ２０の制御部２１は、顔認証処理を実行する（ステップＳ５−８）。具体的には、制御部２１の顔認証手段２１７が、ユーザ画像の特徴量と合成画像の特徴量とを比較して一致度を算出する。
【０１１２】
次に、画像処理サーバ２０の制御部２１は、同一人物かどうかについての処理を実行する（ステップＳ５−９）。具体的には、制御部２１の顔認証手段２１７が、一致度が、セキュリティレベルに応じて特定された変形度より高いかどうかを判定する。
【０１１３】
二つの画像の一致度が変形度より高く、同一人物と判定された場合（ステップＳ５−９
において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、パーツ置換処理を実行する（ステップＳ５−１０）。具体的には、制御部２１のパーツ置換手段２１８が、パーツ画像データ記憶部２９からパーツを取得し、顔要素画像の顔要素を置換する。
【０１１４】
そして、顔要素が置換された顔要素画像を用いて、ステップＳ５−２の処理から繰り返す。
二つの画像の一致度が変形度より低く、同一人物でないと判定された場合（ステップＳ５−９において「ＮＯ」の場合）、画像処理サーバ２０の制御部２１は処理を終了する。
【０１１５】
本実施形態の画像処理システムによれば、効果（１）〜（４）の効果に加えて、以下のような効果を得ることができる。
（６） 上記実施形態においては、画像処理サーバ２０の制御部２１は、顔認証処理を実行する（ステップＳ５−８）。そして、二つの画像の一致度が、変形度より高く、同一人物と判定された場合（ステップＳ５−９において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、パーツ置換処理を実行する（ステップＳ５−１０）。これにより、画像の利用目的に応じて、画像の変形の度合いを調整することができる。
【０１１６】
＜第４の実施形態＞
上記第１の実施形態においては、予め準備されたテンプレート画像に対してユーザ画像を挿入する。これに代えて、第４の実施形態においては、顔画像とは別に背景画像も利用者から取得する。この場合、画像取得手段２１１を背景画像取得手段として機能させる。なお、第１の実施形態と共通している処理（顔画像認識、合成画像の提供等）については説明を省略する。この第４の実施形態を、図１４、図１５を用いて説明する。本実施形態では、背景画像を記憶するテンプレートデータ記憶部２５の代わりに、受付管理データ記憶部２６に、利用者の携帯電話端末１０から取得した背景画像データ及び挿入領域データを、受付コードに関連づけて記録する。
【０１１７】
以下、本実施形態の処理手順を、図１４に従って説明する。
画像処理サーバ２０の制御部２１は、背景画像の取得処理を実行する（ステップＳ６−１）。ここでは、利用者の携帯電話端末１０から背景画像を取得する。具体的には、制御部２１の画像取得手段２１１は、ウェブサーバ４０を介して、背景画像設定画面データを携帯電話端末１０に送信する。この背景画像設定画面には、受付コード、背景画像指定欄や送信実行アイコンなどが含まれる。ここで、利用者は、背景画像指定欄を用いて、携帯電話端末１０のメモリに格納された画像の中から、背景として用いる画像を指定する。そして、送信実行アイコンが選択された場合、携帯電話端末１０は、メールサーバ３０のメールアドレス及び受付コードが設定された電子メールを生成する。更に、携帯電話端末１０は、指定された画像を電子メールに添付する。そして、携帯電話端末１０は、生成した電子メールをサービス管理システム５０に送信する。
【０１１８】
サービス管理システム５０のメールサーバ３０が携帯電話端末１０からの電子メールを受信し、電子メールを画像処理サーバ２０に転送する。この場合、制御部２１の画像取得手段２１１が、電子メールから、受付コード及び背景画像を取得する。そして、画像取得手段２１１は、受付管理データ記憶部２６において、取得した受付コードが記録された受付管理ファイル２６０を特定し、携帯電話端末１０から取得した背景画像を記録する。
【０１１９】
次に、画像処理サーバ２０の制御部２１は、背景画像における挿入領域の特定処理を実行する（ステップＳ６−２）。具体的には、制御部２１の画像取得手段２１１は、受付管理データ記憶部２６に記憶させた背景画像を含めた挿入領域設定画面データを、ウェブサーバ４０を介して、携帯電話端末１０に送信する。この挿入領域設定画面には、携帯電話端末１０から取得した背景画像、及び背景画像において顔画像を挿入する挿入領域を指定
するためのポインタを含める。ここで、利用者は、携帯電話端末１０の入力部によりポインタを操作して、始点及び終点を特定する。この場合、この始点及び終点により特定される矩形領域を挿入領域とする。
【０１２０】
そして、送信実行アイコンが選択された場合、携帯電話端末１０は、背景画像上の始点及び終点の座標に関するデータを含めた挿入領域設定データをサービス管理システム５０に送信する。
【０１２１】
サービス管理システム５０の画像処理サーバ２０は、ウェブサーバ４０を介して、挿入領域設定データを取得する。そして、制御部２１の画像取得手段２１１は、受付管理データ記憶部２６の受付管理ファイル２６０に挿入領域データ（始点及び終点の座標データ）を記録する。
【０１２２】
次に、画像処理サーバ２０の制御部２１は、挿入領域の中心線の特定処理を実行する（ステップＳ６−３）。具体的には、制御部２１の画像取得手段２１１は、設定された挿入領域において、左右対称のオブジェクトを特定する。ここでは、挿入領域内に含まれる閉図形のオブジェクトを特定し、このオブジェクトの中心を通過する放射状線を生成する。そして、図１５（ａ）に示すように、この放射状線の中で、オブジェクトの左右のエッジまでの法線距離の合計が等しくなる角度の放射状線を中心線として特定する。
【０１２３】
このように特定された挿入領域及び中心線を用いることにより、予め準備されたテンプレート画像を利用するステップＳ３−５と同様に、図１５（ｂ）に示すように、挿入領域に合わせた変形処理を実行することができる。
【０１２４】
本実施形態の画像処理システムによれば、効果（１）〜（４）の効果に加えて、以下のような効果を得ることができる。
（７） 上記実施形態においては、利用者から背景画像の取得処理を実行する（ステップＳ６−１）。そして、画像処理サーバ２０の制御部２１は、背景画像における挿入領域の特定処理（ステップＳ６−２）、挿入領域の中心線の特定処理（ステップＳ６−３）を実行する。これにより、利用者から取得した背景画像において顔画像を合成することができる。
【０１２５】
＜第５の実施形態＞
上記第４の実施形態においては、顔画像とは別に背景画像を利用者から取得する。これに加えて、第５の実施形態では、利用者から取得した背景画像の状況に応じて、背景画像の加工処理を行なう。なお、第１、第４の実施形態と共通している処理（顔画像認識、合成画像の提供等）については説明を省略する。この第５の実施形態を、図１６、図１７を用いて説明する。
【０１２６】
以下、本実施形態の処理手順を、図１６に従って説明する。
まず、画像処理サーバ２０の制御部２１は、背景画像の取得処理を実行する（ステップＳ７−１）。具体的には、制御部２１の画像取得手段２１１は、ステップＳ６−１と同様に、携帯電話端末１０から背景画像データを取得する。本実施形態では、図１７に示す背景画像５４０を取得した場合を想定する。
【０１２７】
次に、画像処理サーバ２０の制御部２１は、背景画像の挿入領域の特定処理を実行する（ステップＳ７−２）。具体的には、制御部２１の画像取得手段２１１は、ステップＳ６−２と同様に、携帯電話端末１０から挿入領域設定データを取得する。
【０１２８】
この場合、画像処理サーバ２０の制御部２１は、背景画像に顔パターンが含まれている
かどうかについての判定処理を実行する（ステップＳ７−３）。具体的には、制御部２１の顔検出手段２１２が、背景画像の挿入領域の中に顔画像が含まれているかどうかを判定する。例えば、背景画像５４０において、顔画像領域５４１を検出した場合を想定する。
【０１２９】
背景画像に顔画像が検出された場合（ステップＳ７−３において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、挿入する顔要素画像の変形処理を実行する（ステップＳ７−４）。具体的には、制御部２１の変形処理手段２１４は、顔検出手段２１２において認識した顔画像領域５４１を挿入先領域とする。そして、変形処理手段２１４は、背景画像の挿入先領域の大きさに合わせて、ユーザ画像の顔要素画像の大きさを変更する。これにより、顔要素画像５５０を生成する。
【０１３０】
次に、画像処理サーバ２０の制御部２１は、背景画像の顔画像の削除処理を実行する（ステップＳ７−５）。具体的には、制御部２１の変形処理手段２１４は、顔画像領域５４１における顔のパーツ（目、鼻、口）を削除する。本実施形態においては、顔画像領域５４１におけるエッジ強度が高い領域をぼかすことにより、パーツの画像を背景に埋没させて背景画像５６０を生成する。
【０１３１】
そして、顔画像の削除処理（ステップＳ７−５）の実行後や、背景画像に顔画像が検出されない場合（ステップＳ７−３において「ＮＯ」の場合）、他の実施形態と同様に、背景画像５６０に、顔要素画像５５０をポアソン法により合成することにより、合成画像５７０を生成する。
【０１３２】
本実施形態の画像処理システムによれば、効果（１）〜（４）、（７）の効果に加えて、以下のような効果を得ることができる。
（８） 上記実施形態においては、画像処理サーバ２０の制御部２１は、背景画像に顔パターンが含まれているかどうかについての判定処理を実行する（ステップＳ７−３）。そして、背景画像に顔画像が検出された場合（ステップＳ７−３において「ＹＥＳ」の場合）、画像処理サーバ２０の制御部２１は、挿入する顔要素画像の変形処理（ステップＳ７−４）、背景画像の顔画像の削除処理（ステップＳ７−５）を実行する。これにより、背景画像における顔画像をユーザ画像の顔画像に差し替えることができる。更に、背景画像における顔のパーツを削除することにより、背景を活かしながら、ユーザ画像の顔パーツを強調することができる。
【０１３３】
また、上記実施形態は、以下のように変更してもよい。
・ 上記第１の実施形態〜第５の実施形態を用いて画像処理方法を説明したが、任意の実施形態を組み合わせることが可能である。
【０１３４】
・ 上記実施形態においては、色合いを連続的に変化させる画像調整処理として、ポアソン画像処理を用いたが、これに限定されるものではない。このポアソン画像処理においては、前述した特許文献３に記載されているように、背景画像中に境界を有する挿入領域を決定し、合成画像の関数を定義する基準である補間ガイドを定義する。挿入領域の境界線上において背景画像の関数と合成画像の関数とが等しいという境界条件において、挿入領域内における関数の勾配関数と補間ガイドとの差の２乗の和が最小になる関数を算出する。そして、挿入領域の部分を、算出した関数に置き換えた合成画像を生成する。ここで、ポアソン画像処理に代えて、挿入領域内における関数の勾配関数と補間ガイドが等しくなる関数を算出して、この関数を用いて合成画像を生成するようにしてもよい。ポアソン画像処理では、差の２乗について、貼り付ける画像全体の和が最小になるという条件を用いる。一方、上述の方法では、画像全体で和を算出することはなく、貼り付ける画像内の局所的な各点で、勾配とガイドとを一致させるという条件を課すことになる。このような条件の下では、１次の微分方程式で関数を算出することができる。ポアソン画像処理では
、ポアソン方程式（２次の微分方程式）になるが、ポアソン画像処理とは異なる数式を用いながら、ポアソン画像処理と同等の効果を得ることができる。
【０１３５】
・ 上記実施形態では、利用者端末として携帯電話端末１０を用いたが、サービス管理システム５０に対して画像を送信したり、合成画像を受信したりするための通信を行なうことができるコンピュータ端末であれば、携帯電話端末に限定されるものではない。
【０１３６】
また、上記実施形態では、サーバクライアント方式により、ネットワークを介して画像処理サービスを提供したが、利用者端末に格納された画像処理プログラムにより、画像処理を行なうようにしてもよい。この場合、撮影手段や表示手段を備えたパーソナルコンピュータ端末（パソコン）や、デジタルカメラ、携帯電話端末等の利用者端末を利用して、利用者端末内で画像処理を実行するようにしてもよい。
【０１３７】
・ 上記実施形態では、顔要素抽出処理において、顔要素画像として、顔のパーツ（目、鼻、口）のみを含む評価用楕円の領域を抽出する。顔要素領域を特定するための形状は楕円形状に限定されるものではなく、矩形や瓢箪形を用いることが可能である。また、予め複数の形状の評価用パターンを準備しておき、この評価用パターンを用いてヒストグラムを生成するようにしてもよい。この場合も、ヒストグラムの分散値が最も小さくなるものを用いて、顔要素領域を特定する。
【０１３８】
・ 上記実施形態では、顔要素抽出処理において、評価用楕円の大きさを変更して、顔要素領域を特定する。これに代えて、色分析の分析を用いるようにしてもよい。この場合には、顔画像において、頻度が最も高い色（例えば肌色）を特定し、評価用ガイドライン上の画素が、この色のみによって構成される領域を顔要素領域として特定する。
【０１３９】
・ 上記第２の実施形態では、複数のページからなるテンプレート画像ファイル（例えば、絵本）をテンプレートデータ記憶部２５に記憶させておく。複数の挿入領域を備えたファイルとしては、絵本のような静止画に限定されるものではなく、動画ファイルに適用することも可能である。この場合には、動画を構成するフレームごとに挿入領域を設け、各挿入領域に対して形状や表情指数を設定しておく。これにより、ロールプレイングゲーム等のゲームやストリーミング等の動画に含まれるキャラクタ画像においても、背景の状況に応じた画像合成を行なうことができる。
【０１４０】
・ 上記第２の実施形態では、画像処理サーバ２０に画像配置データ記憶部２８を設ける。この場合、各挿入領域に表情指数が関連付けられていればよく、例えばメタデータとして挿入領域に埋め込んでおくことも可能である。
【０１４１】
・ 上記第３実施形態では、セキュリティレベルに応じて、顔要素のパーツを置換する。顔要素の変形方法はこれに限定されるものではなく、アフィン変換の強度（対称線や対角線の伸縮の割合）を変更することにより、デフォルメにより変形させることも可能である。この場合、セキュリティレベルに応じて伸縮の割合を大きくすることにより、変形の度合いを大きくすることができる。
【符号の説明】
【０１４２】
１０…携帯電話端末、２０…画像処理サーバ、３０…メールサーバ、４０…ウェブサーバ、５０…サービス管理システム、２１…制御部、２５…テンプレートデータ記憶部、２６…受付管理データ記憶部、２７…合成画像データ記憶部、２１１…画像取得手段、２１２…顔検出手段、２１３…顔要素抽出手段、２１４…変形処理手段、２１５…画像合成手段、２１６…画像提供手段、２８…画像配置データ記憶部、２９…パーツ画像データ記憶部、２１７…顔認証手段、２１８…パーツ置換手段。
【特許請求の範囲】
【請求項１】
撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、
顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、
表示手段に接続される制御手段を備えた画像処理システムであって、
前記制御手段が、
撮影手段から顔画像を取得する顔画像取得手段と、
顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段と、
顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段と、
前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段と、
前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段と、
前記合成画像を前記表示手段に提供する画像提供手段と
を備えたことを特徴とする画像処理システム。
【請求項２】
前記顔要素抽出手段は、
顔要素画像において、閉領域を規定する評価用ガイドラインを生成し、
前記評価用ガイドラインの軌道上の画素値のヒストグラムを算出し、
前記ヒストグラムの分散値が最小になる評価用ガイドラインにより規定される領域を顔要素画像として特定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記変形処理手段は、
前記顔要素画像を対称線により左右に分割し、
顔要素画像を変形させる表情指数を取得した場合、前記表情指数を用いて前記対称線の長さを伸縮することにより、顔要素画像を変形することを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記背景画像取得手段は、顔要素画像を挿入する複数の挿入領域を設けたファイルを記憶し、
前記ファイルにおいては、挿入領域毎に表情指数が設定されており、
挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを特徴とする請求項１〜３のいずれか一つに記載の画像処理システム。
【請求項５】
前記背景画像取得手段は、顔画像を挿入する挿入領域を含むフレームを設けた動画ファイルを記憶し、
前記動画ファイルにおいて、挿入領域毎に表情指数が設定されており、
挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを特徴とする請求項１〜３のいずれか一つに記載の画像処理システム。
【請求項６】
前記制御手段が、合成画像及び元の顔画像を用いて顔認証処理を実行し、
両者の一致度が基準値以上の場合には、顔要素画像に含まれる顔要素を変形させて、再度、合成画像を生成することを特徴とする請求項１〜５のいずれか一つに記載の画像処理システム。
【請求項７】
前記制御手段は、ネットワークを介して、撮影手段及び表示手段を備えた利用者端末に接続されており、
前記制御手段は、前記利用者端末から顔画像を取得し、前記利用者端末に合成画像を送信することを特徴とする請求項１〜６のいずれか一つに記載の画像処理システム。
【請求項８】
撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、
顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、
表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御手段が、
撮影手段から顔画像を取得する顔画像取得段階と、
顔画像の挿入領域が指定された背景画像を特定する背景画像取得段階と、
顔画像から顔要素を含む顔要素画像を生成する顔要素抽出段階と、
前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理段階と、
前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成段階と、
前記合成画像を表示手段に提供する画像提供段階と
を実行することを特徴とする画像処理方法。
【請求項９】
撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、
顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、
表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御手段を、
撮影手段から顔画像を取得する顔画像取得手段、
顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段、
顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段、
前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段、
前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段、
前記合成画像を前記表示手段に提供する画像提供手段
として機能させることを特徴とする画像処理プログラム。
【請求項１】
撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、
顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、
表示手段に接続される制御手段を備えた画像処理システムであって、
前記制御手段が、
撮影手段から顔画像を取得する顔画像取得手段と、
顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段と、
顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段と、
前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段と、
前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段と、
前記合成画像を前記表示手段に提供する画像提供手段と
を備えたことを特徴とする画像処理システム。
【請求項２】
前記顔要素抽出手段は、
顔要素画像において、閉領域を規定する評価用ガイドラインを生成し、
前記評価用ガイドラインの軌道上の画素値のヒストグラムを算出し、
前記ヒストグラムの分散値が最小になる評価用ガイドラインにより規定される領域を顔要素画像として特定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記変形処理手段は、
前記顔要素画像を対称線により左右に分割し、
顔要素画像を変形させる表情指数を取得した場合、前記表情指数を用いて前記対称線の長さを伸縮することにより、顔要素画像を変形することを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記背景画像取得手段は、顔要素画像を挿入する複数の挿入領域を設けたファイルを記憶し、
前記ファイルにおいては、挿入領域毎に表情指数が設定されており、
挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを特徴とする請求項１〜３のいずれか一つに記載の画像処理システム。
【請求項５】
前記背景画像取得手段は、顔画像を挿入する挿入領域を含むフレームを設けた動画ファイルを記憶し、
前記動画ファイルにおいて、挿入領域毎に表情指数が設定されており、
挿入領域毎に表情指数を取得し、この表情指数に基づいて、顔要素画像を変形するとともに、各挿入領域に顔要素画像を挿入した合成画像を生成することを特徴とする請求項１〜３のいずれか一つに記載の画像処理システム。
【請求項６】
前記制御手段が、合成画像及び元の顔画像を用いて顔認証処理を実行し、
両者の一致度が基準値以上の場合には、顔要素画像に含まれる顔要素を変形させて、再度、合成画像を生成することを特徴とする請求項１〜５のいずれか一つに記載の画像処理システム。
【請求項７】
前記制御手段は、ネットワークを介して、撮影手段及び表示手段を備えた利用者端末に接続されており、
前記制御手段は、前記利用者端末から顔画像を取得し、前記利用者端末に合成画像を送信することを特徴とする請求項１〜６のいずれか一つに記載の画像処理システム。
【請求項８】
撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、
顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、
表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御手段が、
撮影手段から顔画像を取得する顔画像取得段階と、
顔画像の挿入領域が指定された背景画像を特定する背景画像取得段階と、
顔画像から顔要素を含む顔要素画像を生成する顔要素抽出段階と、
前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理段階と、
前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成段階と、
前記合成画像を表示手段に提供する画像提供段階と
を実行することを特徴とする画像処理方法。
【請求項９】
撮影手段から取得した顔画像を記憶する顔画像情報記憶手段と、
顔画像を挿入する背景画像を記憶する背景画像情報記憶手段と、
表示手段に接続される制御手段を備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御手段を、
撮影手段から顔画像を取得する顔画像取得手段、
顔画像の挿入領域が指定された背景画像を特定する背景画像取得手段、
顔画像から顔要素を含む顔要素画像を生成する顔要素抽出手段、
前記挿入領域の形状に合わせて、前記顔要素画像を変形させる変形処理手段、
前記背景画像に対して、前記顔要素画像の色合いが連続的に変化するように画像調整処理を行なった合成画像を生成する画像合成手段、
前記合成画像を前記表示手段に提供する画像提供手段
として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図６】
【図８】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図６】
【図８】
【公開番号】特開２０１１−６５２８５（Ｐ２０１１−６５２８５Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１３６９６（Ｐ２００９−２１３６９６）
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（５９２１３１９０６）みずほ情報総研株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１５日（２００９．９．１５）
【出願人】（５９２１３１９０６）みずほ情報総研株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]