画像処理方法、画像処理装置及び移動通信端末装置
着目像情報抽出部３１が、着目像の領域を原画像において特定し、原画像中における着目像の領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像作成部３１が、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。この結果、原画像における着目像の領域における所望の位置に、所望の大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、合成画像作成部３３が、原画像上にマスク画像を重ねた合成画像が作成される。この結果、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び移動通信端末装置に係り、より詳しくは原画像上にマスク画像を重ねた合成画像を作成する画像処理方法、当該画像処理方法を使用する画像処理装置、及び当該画像処理装置を備える移動通信端末装置に関するものである。
【背景技術】
【０００２】
従来から、取得された原画像を処理する画像処理が様々な手法で行われている。こうした画像処理の技術としては、例えば、デジタルカメラ等により取得された原画像に人の顔像が存在することを認識する顔認識技術がある。また、この顔認識を更に進めて、顔の形状特徴を抽出し、個人を特定する顔認証技術もある（非特許文献１、特許文献１、２等参照）。
【０００３】
こうした顔像に関する画像処理技術の存在を背景として、例えば、送信側端末装置のカメラで撮像された画像がそのまま送信されて、受信側端末装置に表示されるばかりではなく、送信側端末装置の利用者のプライバシを保護するために、撮像結果における背景像を他の画像に変更する画像処理を行った後に、受信側端末装置へ送信するテレビ電話の技術も提案されている（特許文献３参照）。この技術では、まず、送信側端末装置のカメラで撮像された画像における送信側話者像を抽出する。そして、抽出された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、送信側話者の所在位置というプライバシ情報を受信側話者に知らせることなく、違和感のない対面会話を行うことができるようになっている。
【０００４】
また、送信側端末装置の利用者のプライバシを保護するために、送信側話者のリアルタイム画像を使用せずに、予め用意しておいた当該送信側話者あるいは他の話者についての複数の静止画像から送信側話者の音声に合わせて選択した画像を、受信側端末装置へ送信する技術も提案されている（特許文献３参照）。なお、この場合にも、選択された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信することができる。
【０００５】
この技術では、予め利用者又は他の者について、例えば母音及び必要に応じて撥音の発音時ごとの静止像を用意しておく。そして、利用者の話中における発生音を解析し、解析結果として得られた発生音に対する画像を選択する。引き続き、選択された画像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、入浴中である等のリアルタイム画像を送信することがプライバシ保護の観点から不適切な場合にも、画像を参照しつつ違和感のない会話を行うことができるようになっている。
【０００６】
【非特許文献１】アイマティックジャパン株式会社、“技術情報”、［2003年12月29日検索］、インターネット＜URL:http://www.eyematic.co.jp/tech.html＞
【特許文献１】特許公開２００３−２７１９５８号公報
【特許文献２】特許公開２００３−２９６７３５号公報
【特許文献３】特許公開２００３−３０９８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来の画像認識、画像認証、画像トラッキングなどの画像処理技術は、動画に適用できる非常に優れたものであり、様々な応用が考えられる。しかしながら、こうした画像処理技術では、利用者が、自身の趣味感に合わせて原画像を加工し、自身の内心等を表現するということは、技術的な視野には入っていなかった。このため、例えば、テレビ電話に従来の画像処理技術を適用しても、テレビ電話の機能を発揮させつつ、送信側話者の趣味感を反映した画像を伴った楽しい会話を行うという観点からは、十分なものとはなっていなかった。
【０００８】
すなわち、従来の画像処理技術では、原画像に対して利用者の感情の強調等を当該利用者の趣味感に合わせた演出を施したものとすることができれば、利用者にとっての楽しさを増進させることができると考えられるが、こうした演出を画像に施すことは、特に原画像が動画である場合にはできなかった。
【０００９】
こうした画像の演出は、原画像が固定的な静止画像である場合には、その静止画像の所望の位置に所望の大きさで所望の形状や色のアクセサリ画像を重ねて表示することにより行うことができる。しかし、送信する画像が、時間の経過に伴い刻々と変化する動画像又は動画像に相当する画像である場合には、表示画面の固定的な位置にアクセサリ像を重ねて表示するのでは、違和感のある表示画像となってしまう。
【００１０】
例えば、利用者の顔像が含まれる原画像における当該顔像の目の位置にハートマークをほぼ目の大きさで表示させる演出を行う際に、ハートマークを表示画面の固定位置に重ねて表示するのでは、刻々と変化する動画像における顔像の目の位置にハートマークを表示させることはできない。また、表示位置だけでなく、ハートマークの表示の大きさについても、動画像における顔像の大きさに応じたものとしなければ、違和感のある表示画像となってしまう。
【００１１】
本発明は、上記の事情を鑑みてなされたものであり、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる画像処理方法及び画像処理方法を提供することを目的とする。
【００１２】
また、本発明は、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる移動通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の画像処理方法は、画像の処理を行う画像処理方法であって、着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報ファイルに登録されたマスク画像情報とに基づいて、前記原画像上に重ねて表示させるマスク画像を作成するマスク画像作成工程と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成工程と；を備える画像処理方法である。
【００１４】
この画像処理方法では、予めマスク画像情報ファイルに着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報を登録しておく。ここで、「着目像領域」とは、例えば人物像を含む原画像における当該人物の顔の領域等であり、原画像となり得る想定される画像中において画像的特徴により特定可能な領域である。
【００１５】
かかるマスク画像情報ファイルの存在を前提として、まず、着目像情報抽出工程において、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像データ作成工程において、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。この結果、原画像における着目像領域の位置に関連する情報とマスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報とにより定まる位置に、原画像における着目像領域の大きさに関連する情報と当該関係情報における着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、合成画像作成工程において、例えば、顔領域内の顔像のような着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像が作成される。
【００１６】
したがって、本発明の画像処理方法によれば、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
【００１７】
本発明の画像処理方法では、前記着目像含有画像を前記原画像とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択することにより行うことができる。
【００１８】
また、本発明の画像処理方法では、前記マスク画像情報ファイルが、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含むとともに、前記合成画像作成工程において、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成することとすることができる。
【００１９】
この場合には、合成画像作成工程において、まず、例えば、着目像が顔像である場合における人物像のような着目像を含む特定表示像が原画像から切り出される。引き続き、マスク画像情報ファイルに含まれる背景画像選択情報により指定された背景像上に特定表示画像が重ねられ、背景付加像が作成される。そして、当該背景付加像を着目像含有画像として、この着目像含有画像上に上述のマスク画像が重ねられる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
【００２０】
また、本発明の画像処理方法では、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれることとすることができる。この場合には、マスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。なお、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報とする場合には、その相対位置情報を着目像領域が基準の大きさを有する場合における相対位置情報とし、原画像における着目像領域の大きさと当該基準となっている着目象領域の大きさとの比に応じて当該相対位置情報の値を原画像における着目像領域の大きさに応じた値に換算することとすることができる。また、当該相対位置情報の値を、原画像における着目像領域の大きさで正規化された後の値としておき、相対位置情報の値に原画像における着目像領域の大きさに応じた値に換算するようにしてもよい。
【００２１】
ここで、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が更に含まれることとすることができる。この場合には、原画像における着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。なお、傾き情報は、着目像の２次元的な傾きを示す１つの角度情報であってもよいし、着目像の３次元的な傾きを示す２つ又は３つの角度情報であってもよい。
【００２２】
以上のように、着目像領域の位置に関連する情報に原画像における着目像領域の代表点の位置情報及び原画像における前記着目像領域の傾き情報が含まれる場合には、前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の要素画像の表示位置情報として含まれることとすることができる。この場合には、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報を、着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。
【００２３】
本発明の画像処理方法では、前記関係情報には、前記着目像領域の大きさと前記特定の要素画像の表示時における大きさとの比率情報が含まれることとすることができる。この場合には、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像を作成することができる。
【００２４】
また、本発明の画像処理方法では、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報との組合せで定まる要素画像表示それぞれの実行時間情報が更に含まれることとすることができる。この場合には、当該実行時間情報に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像を作成することができる。
【００２５】
ここで、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報の組合せで定まる複数種類の要素画像表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれることとすることができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。
【００２６】
また、本発明の画像処理方法では、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報の組合せで定まる複数種類の要素画像表示を同時に表示することを指定する同時表示指定の情報が更に含まれることとすることができる。この場合には、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像を作成することができる。
【００２７】
なお、本発明の画像処理方法では、前記原画像を動画像とすることができる。この場合には、原画像における着目像の位置、傾き及び大きさが変化する動画像に対して、ダイナミックかつ違和感なく、利用者の趣味感に応じた合成画像を作成することができる。
【００２８】
ここで、前記着目像情報に基づいて前記着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生判定工程を更に備えるとともに、前記所定現象発生判定工程において肯定的な判定がされた後に、マスク画像データ作成工程及び前記合成画像データ作成工程を開始することとすることができる。この場合には、所定現象発生判定工程において前記着目像領域において予め定められた現象が発生したとき、マスク画像データ作成工程及び前記合成画像作成工程を開始させるので、当該その現象に合わせた演出を行ったマスク画像を作成することができ、そのマスク画像が原画像上に重ねた合成画像を作成することができる。例えば着目像が人の顔の場合に、着目像における瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することができる。
【００２９】
本発明の画像処理装置は、画像の処理を行う画像処理装置であって、着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報が登録されたマスク画像情報ファイルを格納する記憶手段と；前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像のデータを作成するマスク画像データ作成手段と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える画像処理装置である。
【００３０】
この画像処理装置では、着目像情報抽出手段が、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像データ作成手段が、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。そして、合成画像作成手段が、着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像を作成する。
【００３１】
すなわち、本発明の画像処理装置では、本発明の画像処理方法を使用して、合成画像を作成する。したがって、本発明の画像処理装置によれば、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
【００３２】
本発明の画像処理装置では、前記着目像含有画像を前記原画像とする構成とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択することにより行うことができる。
【００３３】
本発明の画像処理装置では、前記マスク画像情報ファイルが、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含むとともに、前記合成画像作成手段が、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する構成とすることができる。
【００３４】
この場合には、合成画像作成手段は、まず、着目像を含む特定表示像を原画像から切り出す。引き続き、合成画像作成手段は、マスク画像情報ファイルに含まれる背景画像選択情報により指定された背景像上に特定表示画像を重ね、背景付加像を作成する。そして、合成画像作成手段は、当該背景付加像上に上述のマスク画像を重ねる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
【００３５】
また、本発明の画像処理装置では、前記合成画像を表示する表示手段を更に備える構成とすることができる。この場合には、表示手段により合成画像を表示することにより、合成画像の作成者が、自身の趣味感による演出が施されて作成された合成画像を確認することができる。
【００３６】
本発明の画像処理装置では、前記合成画像データを送信する送信手段を更に備える構成とすることができる。この場合には、送信側における合成画像の作成者の趣味感による演出が施されて作成された合成画像を受信側へ向けて送信することができるので、受信者に対して、作成者の趣味感による演出が施されて作成された合成画像を通知することができる。
【００３７】
本発明の画像処理装置では、前記原画像を取得するための撮像手段を更に備える構成とすることができる。この場合には、撮像手段により撮像により取得した画像を原画像とすることができ、当該原画像に対して、作成者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。なお、撮像手段により取得される画像は、静止画像であってもよいし、動画像であってもよい。
【００３８】
本発明の移動通信端末装置は、本発明の画像処理装置を備える移動通信端末装置である。この移動通信端末装置では、本発明の画像処理装置によって作成された合成画像を受信側端末装置に向けて送信することができるので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる。
【発明の効果】
【００３９】
以上説明したように、本発明の画像処理方法によれば、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる。
【００４０】
また、本発明の画像処理装置によれば、本発明の画像処理方法を使用して合成画像を作成するので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる。
【００４１】
また、本発明の移動通信端末装置によれば、本発明の画像処理装置を備えるので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる。
【図面の簡単な説明】
【００４２】
【図１Ａ】本発明の第１実施形態に係る携帯電話装置の正面側の外観構成を概略的に示す図である。
【図１Ｂ】本発明の第１実施形態に係る携帯電話装置の背面側の外観構成を概略的に示す図である。
【図２】図１Ａ及び図１Ｂの携帯電話装置の内部構成を説明するための機能ブロック図である。
【図３】図２のマスク画像処理部の内部構成を説明するための機能ブロック図である。
【図４Ａ】着目像領域情報を説明するための図（その１）である。
【図４Ｂ】着目像領域情報を説明するための図（その２）である。
【図５Ａ】図２のマスク画像情報ファイルの構成を説明するための図である。
【図５Ｂ】図５Ａの要素画像ファイルの構成を説明するための図である。
【図６】要素画像の例を示す図（その１）である。
【図７】図５Ａの表示指定ファイルの内容例を示す図（その１）である。
【図８Ａ】図５Ａの表示指定ファイルの内容例を示す図（その２）である。
【図８Ｂ】図５Ａの表示指定ファイルの内容例を示す図（その３）である。
【図９Ａ】着目像の例を示す図である。
【図９Ｂ】図９Ａにおける着目像座標系の例を説明するための示す図である。
【図１０Ａ】原画像の例を示す図である。
【図１０Ｂ】マスク画像の例を示す図（その１）である。
【図１１】第１実施形態における合成画像の例を示す図（その１）である。
【図１２Ａ】要素画像の例を示す図（その２）である。
【図１２Ｂ】要素画像の例を示す図（その３）である。
【図１２Ｃ】要素画像の例を示す図（その４）である。
【図１３】マスク画像の例を示す図（その２）である。
【図１４】第１実施形態における合成画像の例を示す図（その２）である。
【図１５Ａ】要素画像の例を示す図（その５）である。
【図１５Ｂ】要素画像の例を示す図（その６）である。
【図１５Ｃ】要素画像の例を示す図（その７）である。
【図１６】マスク画像の例を示す図（その３）である。
【図１７】第１実施形態における合成画像の例を示す図（その３）である。
【図１８】本発明の第２実施形態に係る携帯電話装置の内部構成を説明するための機能ブロック図である。
【図１９】図１８のマスク画像処理部の内部構成を説明するための機能ブロック図である。
【図２０】図１８のマスク画像情報ファイルの構成を説明するための図である。
【図２１】図２０の表示指定ファイルの内容例を示す図である。
【図２２】背景像の例を示す図である。
【図２３】特定表示画像の例を示す図である。
【図２４】図１９の合成画像作成部における合成画像作成動作を説明するための図である。
【発明を実施するための最良の形態】
【００４３】
＜第１実施形態＞
以下、本発明の第１実施形態を、図１Ａ〜図１７を参照して説明する。図１及び図２には、一実施形態に移動通信端末装置である携帯電話装置１０の構成が概略的に示されている。ここで、図１Ａには、携帯電話装置１０の外観の正面図が示され、図１Ｂには、携帯電話装置１０の外観の背面図が示されている。また、図２には、携帯電話装置１０の機能ブロック構成が示されている。
【００４４】
図１Ａ、図１Ｂ及び図２において総合的に示されるように、携帯電話装置１０は、（ａ）後述する制御部２１等を備える携帯電話本体１１と、（ｂ）電話番号を制御部２１へ入力するためのテンキー、及び、動作モードの切替等の各種指令を制御部２１へ入力するためのファンクションキーを有する操作部１２と、（ｃ）制御部２１による指令に応じて、操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部１３とを備えている。また、携帯電話装置１０は、（ｄ）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、通話時に音声を入力するためのマイクロフォン１５と、（ｅ）制御部２１による指令に応じて、着信音や案内音を発生するための案内用スピーカ１６とを備えている。更に、携帯電話装置１０は、（ｆ）送受信部２２と接続され、基地局との間で無線信号を授受するためのアンテナ１７とを備えている。さらに、携帯電話装置１０は、（ｇ）表示部１３における表示を見ながら操作部１２を操作する操作者側を撮影する、すなわち、いわゆる自分撮りの態様で撮影を行うための撮像光学系１８と、（ｈ）当該操作者の視線方向を視野方向とする撮影を行う、すなわち、いわゆる相手撮りの態様で撮影を行うための撮像光学系１９とを備えている。
【００４５】
携帯電話本体１１は、図２に示されるように、（ｉ）携帯電話装置１０の全体の動作を統括制御するとともに、様々なデータ処理を行う制御部２１と、（ii）基地局との間でアンテナ１７を介して無線信号を送受信するための送受信部２２と、（iii）様々なデータを記憶するための記憶部２３とを備えている。また、携帯電話本体１１は、制御部２１の制御に応じて、撮像光学系１８を介した光及び撮像光学系１９を介した光のいずれかを、後述する撮像素子２５へ向けて射出する切換光学系２４と、（iv）切換光学系２４を介した光が受光面に形成する光学像を撮像するＣＣＤ素子等の撮像素子２５とを備えている。ここで、撮像素子２５は、制御部２１の制御のもとで撮像動作を行い、撮像結果を制御部２１へ通知するようになっている。
【００４６】
制御部２１は、基本制御部２９と、マスク画像処理部３０とを備えている。ここで、基本制御部２９は、マスク画像処理部３０の動作の開始及び停止を制御するとともに、制御部２１の外部に配置された各要素の制御、及び、後述するマスク画像作成の画像処理以外のデータ処理を行う。
【００４７】
上記のマスク画像処理部３０は、図３に示されるように、着目像情報抽出部３１と、マスク画像作成部３２と、合成画像作成部３３とを備えている。着目像情報抽出部３１は、撮像素子２５からの原画像データＯＭＤに基づいて、例えば原画像における特定人物（例えば、携帯電話装置１０の利用者）の顔領域等の着目像領域を特定し、原画像における着目像領域の代表点の位置情報、原画像における着目像領域の傾き情報及び着目像領域の大きさ情報から成る着目像情報ＷＭＤを抽出する。
【００４８】
ここで、着目像情報ＷＭＤの抽出について、詳述する。なお、以下においては、説明を簡易に行う都合上、原画像における被撮影体の表示面に対する構造を考慮せずに２次元的に取り扱うこととし、表示面における奥行き方向の沿った被撮影体の構造は考えないものとする。また、図４Ａ及び図４Ｂに示されるように、原画像領域ＯＭＲにおける着目像領域ＷＭＲが特定されるものとする。ここで、図４Ａには、着目像領域ＷＭＲが基準となる傾きである（すなわち、傾き角θW＝０）場合が模式的に表されている。また、図４Ｂには、基準傾きからθ0だけ傾いている（すなわち、傾き角θW＝θ0）場合が示されている。また、原画像領域ＯＭＲにおける各画素位置は、原画像座標系であるＸSＹS座標系における座標値によって表されるものとする。また、着目像領域ＷＭＲについては、代表点ＯWを原点とするとともに、傾き角θW＝０の場合にＸS軸と平行な軸をＸW軸とし、ＹS軸と平行な軸をＹW軸とする着目像座標系（すなわち、ＸWＹW座標系）が定義されるものとする。また、傾き角θWは反時計回りの角度で表されるものとする。
【００４９】
図４Ａの場合には、着目像情報抽出部３１は、原画像領域ＯＭＲにおける着目像領域ＷＭＲを特定した後、まず、着目像領域ＷＭＲの代表点の位置情報として、代表点ＯWの原画像座標系における座標位置ＯW（ＸSW1，ＹSW1）を求める。ここで、着目像領域ＷＭＲの代表点としては、着目像領域ＷＭＲの重心位置、着目像が特定人物の顔像である場合における当該顔像における鼻の突端位置等といった画像解析によって得られる着目像領域における特徴的な点を採用することができる。
【００５０】
次に、着目像情報抽出部３１は、着目像領域ＷＭＲの原画像領域ＯＭＲにおける傾き情報として、ＸS軸とＸW軸との交差角θW（すなわち、上述の傾き角θW）を求める。傾き角θWは、予め傾き角θWが「０」であると定義された着目像領域ＷＭＲにおける着目像として特徴的な方向とＸS軸との交差角と、原画像内における着目像おける当該特徴的な方向とＸS軸との交差角との差を算出することより求められる。こうした特徴的な方向としては、例えば、着目像領域ＷＭＲの形状が楕円近似できる場合には近似楕円の長軸方向若しくは短軸方向、又は、着目像が特定人物の顔像である場合における当該顔像における両目の中心位置を結ぶ方向等を採用することができる。こうして、傾き角θW（図４Ａの場合には、θW＝０）が求められると、原画像領域ＯＭＲ中におけるＸWＹW座標系（着目座標系）が求められることになる。
【００５１】
次いで、着目像情報抽出部３１は、着目像領域ＷＭＲの大きさ情報として、着目像領域ＷＭＲに関する特徴的な長さを求める。本実施形態においては、ＸW軸上における着目像領域ＷＭＲの幅を当該特徴的な長さ（図４Ａにおける幅ＬＸW）としている。なお、着目像領域ＷＭＲの大きさ情報としては、ＸW軸上における着目像領域ＷＭＲの幅ＬＸW以外に、ＹW軸上における着目像領域ＷＭＲの幅、ＸW軸（若しくはＹW軸）方向における着目像領域ＷＭＲの最大幅、又は着目像領域における特徴的な２点間の距離（例えば、着目像が特定人物の顔像である場合における当該顔像における両目の中心間距離）、当該距離のＸW軸成分の長さ若しくは当該距離のＹW軸成分の長さ等を採用することができる。
【００５２】
図４Ｂの場合にも、着目像情報抽出部３１は、上述した図４Ａの場合と同様に、原画像領域ＯＭＲにおける着目像領域ＷＭＲを特定した後、着目像領域ＷＭＲにおける代表点の位置情報、傾き情報及び大きさ情報を求める。なお、図４Ｂの場合には、代表点の位置情報として代表点ＯWの原画像座標系における座標位置ＯW（ＸSW2，ＹSW2）が求められ、着目像領域ＷＭＲの傾き情報として傾き角θW＝θ0が求められ、着目像領域ＷＭＲの大きさ情報として、ＸW軸上における着目像領域ＷＭＲの幅ＬＸWが求められる。
【００５３】
上記のマスク画像作成部３２は、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、上述した記憶部２３に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。なお、マスク画像情報ＭＤＤ及びマスク画像作成部３２によるマスク画像データＭＭＤの作成については、後述する。
【００５４】
上記の合成画像作成部３３は、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成画像データＳＭＤを作成する。なお、合成画像作成部３３によって作成された合成画像データＳＭＤは、基本制御部２９へ通知されるようになっている。
【００５５】
なお、本実施形態においては、制御部２１は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）等を備えている。そして、制御部２１で実行されるプログラムとして構成された基本処理部２９やマスク画像処理部３０により、メール送受信処理を含む携帯電話機能を実現するために、様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになっている。
【００５６】
図２に戻り、記憶部２３には、マスク画像情報ファイル４０が記憶されている。このマスク画像情報ファイル４０は、図５Ａに示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル４１jと、（ii）表示指定ファイル４１jにおける表示指定記述によって指定される要素画像データが格納された要素画像ファイル４２jとから構成されている。なお、マスク画像情報ファイル４０は、携帯電話装置１０に対して、コンテンツプロバイダから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
【００５７】
要素画像ファイル４２jには、図５Ｂに示されるように、要素画像が格納されている。なお、要素画像ファイル４２jに格納されている第ｉ番目の要素画像を以下においては、要素画像ＥＭＭjiと記すものとする。なお、図５Ｂでは、要素画像ファイル４２jに格納されている要素画像が複数ある場合が示されているが、要素画像ファイル４２jに格納されている要素画像の数は１つの場合もあるし、２つ以上の場合もある。要素画像ＥＭＭjiとしては、例えば、ハート図形画像、唇図形画像等がある。
【００５８】
こうした、要素画像ＥＭＭjiは、図６において要素画像ＥＭＭ11について代表的に示されるように、要素画像に固有の座標系、すなわち要素画像ＥＭＭjiの代表点（図６では、要素画像ＥＭＭ11の中心点）を原点ＯEとするＸEＹE座標系において作成されている。そして、要素画像ＥＭＭjiの大きさ情報としては、ＸE軸方向における最大幅ＬＸEi（図６においては、最大幅ＬＸE1）を使用するようになっている。図６においては、要素画像ＥＭＭjiをハート図形の要素画像ＥＭＭ11としたが、形状や大きさの異なる要素画像であっても、同様である。
【００５９】
上記の表示指定ファイル４１jにおける表示指定記述の例が、図７、図８Ａ及び図８Ｂに示されている。なお、本実施形態における表示指定記述は、ＳＭＩＬ（Synchronized Multimedia Integration Language）形式に準じた形式で記述されるようになっている。
【００６０】
図７には、着目像領域の位置、傾き、及び大きさに応じて定まる２つの位置（例えば、着目像が特定の人物の顔像である場合における両目の位置）に、定常的に同一の要素画像が同時を表示させる表示指定を行うための例が表示指定ファイル４１1として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記述された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
【００６１】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW11，ＹW11）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ11のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ1の長さとされる。なお。後述する表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ11は常時表示されることが指定されている。
【００６２】
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW12，ＹW12）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。これ以外の指定については、付加画像１の場合と同様の指定が行われていることから、付加画像１の場合と同様の表示指定が行われている。
【００６３】
なお、図７のような表示指定ファイル４１1の場合には、表示指定ファイル４１1に対応する要素画像ファイル４２1には、要素画像として、要素画像ＥＭＭ11のみが格納される。
【００６４】
図８Ａには、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置（例えば、着目像が特定の人物の顔像である場合における口の位置）に、表示内容が時間的に変化する１つの付加画像１が表示させる表示指定を行うための例が表示指定ファイル４１2として例が示されている。なお、図８Ａの表示指定ファイル４１2では、複数の要素画像を同時に表示させないので、図７における同時表示に関連する＜同時表示指定＞及び＜同時表示指定終了＞が記述されていない。
【００６５】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、まず、第１の「要素画像指定」によって指定される要素画像ＥＭＭ21が、第１の「表示位置指定」によって指定される着目像領域が予め定められた基準となる大きさ情報ＬＸEが値ＬＸE0である場合におけるＸWＹW座標系の座標位置（ＸW21，ＹW21）に表示される。また、第１の「大きさ指定」によって指定されるように、要素画像ＥＭＭ21の表示時のＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ21の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ21が、時間Ｔ21にわたって表示される。
【００６６】
要素画像ＥＭＭ21の時間Ｔ21の表示が終了すると、次に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ22が、第２の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第２の「大きさ指定」によって指定されるように、要素画像ＥＭＭ22の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ22の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ22が、時間Ｔ22にわたって表示される。
【００６７】
要素画像ＥＭＭ22の時間Ｔ22の表示が終了すると、次に、第３の「要素画像指定」によって指定される要素画像ＥＭＭ23が、第３の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第３の「大きさ指定」によって指定されるように、要素画像ＥＭＭ23の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ23の長さとされる。また、第３の「表示時間指定」によって指定されるように、要素画像ＥＭＭ23が、時間Ｔ23にわたって表示される。
【００６８】
こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示が終了すると、再度、上記と同様の態様で要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示がされる。こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の指定態様による表示が、時間順次に繰り返される。
【００６９】
図８Ｂには、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置に、常時１つの要素画像を表示させるとともに、着目像領域の位置、傾き、及び大きさに応じて定まる他の２つの位置に、時間順次に異なる２つの要素画像を択一的に表示させる表示指定を行うための例が表示指定ファイル４１3として例が示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記述された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
【００７０】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW31，ＹW31）に、「要素画像指定」によって指定される要素画像ＥＭＭ31が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ31のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ31の長さとされる。なお、表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ31は常時表示されることが指定されている。
【００７１】
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、まず、第１の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW32，ＹW32）に、第１の「要素画像指定」によって指定される要素画像ＥＭＭ32が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ32のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ32の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ32が、時間Ｔ32にわたって表示される。
【００７２】
付加画像２においては、要素画像ＥＭＭ32の時間Ｔ32の表示が終了すると、次に、第２の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ0である場合におけるＸWＹW座標系の座標位置（ＸW33，ＹW33）に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ33が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ33のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ33の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ33が、時間Ｔ33にわたって表示される。
【００７３】
こうして、付加画像１と付加画像２とを合わせて、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。これらの表示が終了すると、再度、上記と同様の態様で、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。こうして、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に繰り返される。
【００７４】
以下、上記のように構成された携帯電話装置１０における、原画像にマスク画像を重ねた合成画像の作成の動作について説明する。
【００７５】
前提として、マクス画像作成部３２は、記憶部２３におけるマスク画像情報ファイル４０の内容をマスク画像情報ＭＤＤとして既に読み込んでいるものとする。また、原画像は、撮像光学系１８及び切換光学系２４を介し、撮像素子２５の撮像面に結像された像であるものとする。また、着目像ＷＭＭは、図９Ａに示されるような特定の人物の顔像であるものものとする。そして、図９Ｂに示されるように、着目像ＷＭＭにおける鼻の突端位置を原点ＯWとし、両面を結ぶ方向をＸW軸方向とし、当該ＸW軸方向と垂直な方向をＹW軸方向とするＸWＹW座標系（着目像座標系）が定義されるものとする。なお、原点ＯW及びＸW軸方向は、原画像における着目像を画像解析して求められ、ＹW軸方向は、求められたＸW軸方向に基づいて求められるものとする。
【００７６】
《第１の合成画像作成例》
まず、第１の合成画像作成例を説明する。この例は、上述した図７において、両目の位置を表示位置とし、要素画像ＥＭＭ11が、図６に示されるハート型図形画像であり、当該要素画像ＥＭＭ11が着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ1の大きさで表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。
【００７７】
まず、撮像素子２５において撮像された原画像ＯＭＭのデータである原画像データＯＭＤが、着目像情報抽出部３１へ通知される。なお、原画像データＯＭＤは、同時に合成画像作成部３３へも通知される（図３参照）。ここで、得られた原画像ＯＭＭの例が、図１０Ａに示されている。
【００７８】
着目像情報抽出部３１は、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を抽出する。引き続き、着目像情報抽出部３１は、着目像ＷＭＭを解析して、原画像座標系（ＸSＹS座標系）における着目像ＷＭＭにおける鼻の突端位置（ＸSW，ＹSW）を着目像座標（ＸWＹW座標系）の原点ＯWの位置として求めるとともに、両目の瞳の中央位置同士を結ぶ線分が延びる方向をＸWＹW座標系のＸW軸方向として求める。そして、求められたＸW軸方向とＸS軸方向との交差角度θWを求める。さらに、着目像情報抽出部３１は、着目像ＷＭＭのＸW軸上における幅ＬＸWを求める。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
【００７９】
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE11，ＹE11）を、次の（１）式及び（２）式により算出する。
ＸE11＝(ＬＸW／ＬＸ0)(ＸW11・cosθW＋ＹW11・sinθW)＋ＸSW …（１）
ＹE11＝(ＬＸW／ＬＸ0)(−ＸW11・sinθW＋ＹW11・cosθW)＋ＹSW …（２）
【００８０】
次に、マスク画像作成部３２は、付加画像１における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ11を、次の（３）式により算出する。
Ｍ11＝Ｒ1・ＬＸW／ＬＸE1 …（３）
【００８１】
次いで、マスク画像作成部３２は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ11で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE11，ＹE11）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００８２】
次に、マスク画像作成部３２は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE12，ＹE12）を、次の（４）式及び（５）式により算出する。
ＸE12＝(ＬＸW／ＬＸ0)(ＸW12・cosθW＋ＹW12・sinθW)＋ＸSW …（４）
ＹE12＝(ＬＸW／ＬＸ0)(−ＸW12・sinθW＋ＹW12・cosθW)＋ＹSW …（５）
【００８３】
引き続き、マスク画像作成部３２は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ12を、次の（６）式により算出する。
Ｍ12＝Ｒ1・ＬＸW／ＬＸE1 …（６）
【００８４】
次いで、マスク画像作成部３２は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ12で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE12，ＹE12）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００８５】
以上の結果、図１０Ｂにおいて画像Ｆ１０Ｂとして示されるようなマスク画像ＭＭＭＡが作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭＡのデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【００８６】
マスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像データＯＭＭ上にマスク画像ＭＭＭＡを重ねた合成画像ＳＭＭＡを作成する。こうして作成された合成画像ＳＭＭＡが図１１において画像Ｆ１１Ａとして示されている。
【００８７】
以上のようにして、本例の場合における合成画像が作成される。このため、撮像中の原画像における着目像ＷＭＭが上記の例から平行移動したとしても、画像Ｆ１１Ｂとして示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＢが作成される。
【００８８】
また、撮像中の原画像における着目像ＷＭＭが縮小したとしても、画像Ｆ１１Ｃとして示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＣが作成される。また、撮像中の原画像における着目像ＷＭＭが回転したとしても、画像Ｆ１１Ｄとして示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさを有し、かつ、着目像ＷＭＭの原画像中における傾きと同一の傾きを持って表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＤが作成される。なお、撮像中の原画像における着目像ＷＭＭが縮小、拡大又は回転した場合には、一般に、着目像領域における鼻の突端位置の原画像座標系（ＸSＹS座標系）における座標位置の変化を伴うこととなる。
【００８９】
《第２の合成画像作成例》
次に、第２の合成画像作成例を説明する。この例は、上述した図８Ａにおいて、口の位置を表示位置とし、図１２Ａに示される要素画像ＥＭＭ21、図１２Ｂに示される要素画像ＥＭＭ22、及び図１２Ｃに示される要素画像ＥＭＭ23が時間順次に繰り返して表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。
【００９０】
なお、図８Ａの記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ21，ＥＭＭ22，ＥＭＭ23が表示される。すなわち、要素画像ＥＭＭ21は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ21の大きさで表示される。また、要素画像ＥＭＭ22は長さ値ＬＸWに対して比率Ｒ22の大きさで表示される。さらに、要素画像ＥＭＭ23は長さ値ＬＸWに対して比率Ｒ23の大きさで表示される。
【００９１】
まず、上記の第１の合成画像作成例と同様にして、撮像素子２５において撮像された原画像ＯＭＭのデータが原画像データＯＭＤとして着目像情報抽出部３１へ通知される。引き続き、着目像情報抽出部３１が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報ＷＭＲを抽出する。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
【００９２】
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における第１要素画像ＥＭＭ21のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、次の（７）式及び（８）式により算出する。
ＸE2＝(ＬＸW／ＬＸ0)(ＸW2・cosθW＋ＹW2・sinθW)＋ＸSW …（７）
ＹE2＝(ＬＸW／ＬＸ0)(−ＸW2・sinθW＋ＹW2・cosθW)＋ＹSW …（８）
【００９３】
次に、マスク画像作成部３２は、第１の要素画像ＥＭＭ21の拡大又は縮小の倍率Ｍ21を、次の（９）式により算出する。
Ｍ21＝Ｒ21・ＬＸW／ＬＸE21 …（９）
【００９４】
次いで、マスク画像作成部３２は、上記の第１の合成画像作成と同様にして、要素画像ＥＭＭ21をＸSＹS座標系において原点ＯEを中心として倍率Ｍ21で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ21をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ21を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００９５】
以上の結果、図１３において、画像Ｆ１３Ａとして示されるようなマスク画像ＭＭＭ21が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ21のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【００９６】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ21を作成する。こうして作成された合成画像ＳＭＭ21が図１４において画像Ｆ１４Ａとして示されている。
【００９７】
以後、マスク画像作成部３２は、時間Ｔ21にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ21を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ21の大きさで表示するマスク画像を作成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ21を倍率Ｍ21で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ21にわたって逐次作成する。
【００９８】
こうして、時間Ｔ21が経過すると、マスク画像作成部３２は、付加画像１における第２要素画像ＥＭＭ22のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第２の要素画像ＥＭＭ22の拡大又は縮小の倍率Ｍ22を、次の（１０）式により算出する。
Ｍ22＝Ｒ22・ＬＸW／ＬＸE22 …（１０）
【００９９】
次に、マスク画像作成部３２は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として倍率Ｍ22で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ22を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１００】
以上の結果、図１３において画像Ｆ１３Ｂとして示されるようなマスク画像ＭＭＭ22が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ22のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１０１】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ22を作成する。こうして作成された合成画像ＳＭＭ22が図１４においてＦ１４Ｂとして示されている。
【０１０２】
以後、マスク画像作成部３２は、時間Ｔ22にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ22を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ22の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ22を倍率Ｍ22で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ22にわたって作成する。
【０１０３】
こうして、時間Ｔ22が経過すると、マスク画像作成部３２は、付加画像１における第３要素画像ＥＭＭ23のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第３の要素画像ＥＭＭ23の拡大又は縮小の倍率Ｍ23を、次の（１１）式により算出する。
Ｍ23＝Ｒ23・ＬＸW／ＬＸE23 …（１１）
【０１０４】
次に、マスク画像作成部３２は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として倍率Ｍ23で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ23を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１０５】
以上の結果、図１３において画像Ｆ１３Ｃとして示されるようなマスク画像ＭＭＭ23が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ23のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１０６】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ23を重ねた合成画像ＳＭＭ23を作成する。こうして作成された合成画像ＳＭＭ23が図１４において画像Ｆ１４Ｃとして示されている。
【０１０７】
以後、マスク画像作成部３２は、時間Ｔ23にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ23を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ23の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ23を倍率Ｍ23で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ23にわたって作成する。
【０１０８】
こうして、時間Ｔ23が経過すると、マスク画像作成部３２は、上記と同様にして、上述した要素画像ＥＭＭ21を使用したマスク画像、要素画像ＥＭＭ22を使用したマスク画像及び要素画像ＥＭＭ23を使用したマスク画像の時間順次の作成を繰り返す。そして、合成画像作成部３３は、原画像データＯＭＤとマスク画像データＭＭＤとに基づいて、原画像における着目像の口の位置に指定の大きさに拡大又は縮小された要素画像ＥＭＭ21、要素画像ＥＭＭ22、及び要素画像ＥＭＭ23からなるマスク画像が重ねられた合成画像を逐次作成する。
【０１０９】
《第３の合成画像作成例》
次に、第３の合成画像作成例を説明する。この例は、上述の図８におけるマスク画像指定に対応するものであり、要素画像及び着目像に対する表示位置が固定的な表示である付加画像１、並びに、要素画像及び着目像に対する表示位置が時間的に変化する付加画像２を同時表示するマスク画像が、原画像に重ねて表示される合成画像の例である。
【０１１０】
ここで、付加画像１における要素画像ＥＭＭ31は、図１５Ａに示されるものであるものとする。また、付加画像２における第１要素画像ＥＭＭ32は、図１５Ｂに示されるものであり、また、付加画像２における第２要素画像ＥＭＭ33は、図１５Ｃに示されるものであるものとする。
【０１１１】
なお、図８の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ31，ＥＭＭ32，ＥＭＭ33が表示される。すなわち、要素画像ＥＭＭ31は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示される。また、要素画像ＥＭＭ32は長さ値ＬＸWに対する比率Ｒ32の大きさで表示される。さらに、要素画像ＥＭＭ33は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ33の大きさで表示される。
【０１１２】
まず、上記の第１又は第２の合成画像作成と同様にして、撮像素子２５において撮像された原画像データＯＭＤが、着目像情報抽出部３１へ通知される。引き続き、着目像情報抽出部３１が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報を抽出する。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
【０１１３】
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）を、次の（１２）式及び（１３）式により算出する。
ＸE31＝(ＬＸW／ＬＸ0)(ＸW31・cosθW＋ＹW31・sinθW)＋ＸSW …（１２）
ＹE31＝(ＬＸW／ＬＸ0)(−ＸW31・sinθW＋ＹW31・cosθW)＋ＹSW …（１３）
【０１１４】
次に、マスク画像作成部３２は、第１の要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ31を、次の（１４）式により算出する。
Ｍ31＝Ｒ31・ＬＸW／ＬＸE31 …（１４）
【０１１５】
次いで、マスク画像作成部３２は、上記の第１又は第２の合成画像作成と同様にして、要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として倍率Ｍ31で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１１６】
次に、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ31の場合と同様に、付加画像２における第２要素画像ＥＭＭ32のＸSＹS座標系における表示位置（ＸE32，ＹE32）を、次の（１５）式及び（１６）式により算出する。
ＸE32＝(ＬＸW／ＬＸ0)(ＸW32・cosθW＋ＹW32・sinθW)＋ＸSW …（１５）
ＹE32＝(ＬＸW／ＬＸ0)(−ＸW32・sinθW＋ＹW32・cosθW)＋ＹSW …（１６）
【０１１７】
次に、マスク画像作成部３２は、第２の要素画像ＥＭＭ32の拡大又は縮小の倍率Ｍ32を、次の（１７）式により算出する。
Ｍ32＝Ｒ32・ＬＸW／ＬＸE32 …（１７）
【０１１８】
次いで、マスク画像作成部３２は、上記の要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として倍率Ｍ32で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE32，ＹE32）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１１９】
以上の結果、図１６において画像Ｆ１６Ａとして示されるようなマスク画像ＭＭＭ31が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ31のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１２０】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ31を重ねた合成画像ＳＭＭ31を作成する。こうして作成された合成画像ＳＭＭ31が図１７において画像Ｆ１７Ａとして示されている。
【０１２１】
以後、マスク画像作成部３２は、時間Ｔ31にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ32を長さ値ＬＸWに対する比率Ｒ32の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ31にわたって作成する。
【０１２２】
こうして、時間Ｔ31が経過すると、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）及び倍率Ｍ31を、上記の（１２）式〜（１４）式により算出する。そして、マスク画像作成部３２は、ＸEＹE座標系において原点ＯEを中心として、要素画像ＥＭＭ31を倍率Ｍ31で拡大又は縮小した後に角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ2を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１２３】
次に、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ11の場合と同様に、付加画像２における要素画像ＥＭＭ33のＸSＹS座標系における表示位置（ＸE33，ＹE33）を、次の（１８）式及び（１９）式により算出する。
ＸE33＝(ＬＸW／ＬＸ0)(ＸW33・cosθW＋ＹW33・sinθ)＋ＸSW …（１８）
ＹE33＝(ＬＸW／ＬＸ0)(−ＸW33・sinθW＋ＹW33・cosθ)＋ＹSW …（１９）
【０１２４】
次に、マスク画像作成部３２は、第３要素画像ＥＭＭ33の拡大又は縮小の倍率Ｍ33を、次の（２０）式により算出する。
Ｍ33＝Ｒ33・ＬＸW／ＬＸE33 …（２０）
【０１２５】
次いで、マスク画像作成部３２は、上記の第１要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として倍率Ｍ33で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ33を、ＸSＹS座標系における座標位置（ＸE33，ＹE33）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１２６】
以上の結果、図１６において画像Ｆ１６Ｂとして示されるようなマスク画像ＭＭＭ32が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ32のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１２７】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ32を重ねた合成画像ＳＭＭ32を作成する。こうして作成された合成画像ＳＭＭ32が図１７において画像Ｆ１７Ｂとして示されている。
【０１２８】
以後、マスク画像作成部３２は、時間Ｔ32にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ33を長さ値ＬＸWに対する比率Ｒ33の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ32にわたって作成する。
【０１２９】
こうして、時間Ｔ32が経過すると、マスク画像作成部３２は、上記と同様にして、上述した要素画像ＥＭＭ31及び要素画像ＥＭＭ32を使用したマスク画像、並びに要素画像ＥＭＭ31及要素画像ＥＭＭ33を使用したマスク画像の時間順次の作成を繰り返す。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。
【０１３０】
以上の第１、第２又は第３合成画像作成例のようにして作成された合成画像の情報データＳＭＤは、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２１を介して、通話相手先へ送信したりする。
【０１３１】
以上説明したように、本実施形態では、着目像ＷＭＭの領域を原画像において特定し、原画像中における着目像ＷＭＭの領域の位置及び大きさに関連する情報を含む着目像情報ＷＭＤを抽出する。引き続き、着目像情報ＷＭＤと、マスク画像情報ファイル４０に登録されたマスク画像情報とに基づいて、原画像ＯＭＭ上に重ねて表示させるマスク画像ＭＭＭを作成する。この結果、原画像ＯＭＭにおける着目像ＷＭＭの領域の位置に関連する情報と、マスク画像情報に含まれる着目像領域の位置との関係を示す情報とにより定まる位置に、原画像ＯＭＭにおける着目像ＷＭＭの領域の大きさに関連する情報と、着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、原画像上にマスク画像を重ねた合成画像が作成される。
【０１３２】
したがって、本実施形態によれば、原画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
【０１３３】
また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像ＯＭＭにおける着目像領域ＷＭＲの代表点の位置情報が含まれている。このため、マスク画像情報に含まれる着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。
【０１３４】
また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像ＯＭＭにおける着目像領域の傾き情報が更に含まれている。このため、原画像ＯＭＭにおける着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。
【０１３５】
また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報として、着目像領域の代表点を原点とし、原画像における着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、要素画像の表示位置情報として含まれている。このため、着目像領域の位置との関係を示す情報を、着目像領域の代表点を原点とし、着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。
【０１３６】
また、本実施形態では、マスク画像情報が、着目像領域の大きさと要素画像ＥＭＭの表示時における大きさとの比率情報を含むことすることができる。この場合には、原画像ＯＭＭ内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像ＥＭＭを含むマスク画像ＭＭＭを作成することができる。
【０１３７】
また、本実施形態では、マスク画像情報が、要素画像ＥＭＭそれぞれの表示の実行時間情報を含むことができる。この場合には、当該実行時間情報に従ってマスク画像ＷＭＭを作成することにより、所望の要素画像ＥＭＭそれぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像ＭＭＭを作成することができる。
【０１３８】
また、本実施形態では、マスク画像情報が、複数の要素画像ＥＭＭの表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報を含むことができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像ＷＭＭを作成することにより、原画像ＯＭＭ上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。
【０１３９】
また、本実施形態では、マスク画像情報が、複数の要素画像表示を同時に表示することを指定する同時表示指定の情報を含むことができる。この場合には、所望の複数の要素画像ＥＭＭそれぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像ＷＭＭを作成することができる。
【０１４０】
＜第２実施形態＞
次に、本発明の第２実施形態を、図１８〜図２４を主に参照しつつ、適宜他の図面を参照して説明する。なお、上述した第１実施形態の場合と同一又は同様の要素には同一符号を付し、重複する説明は省略する。
【０１４１】
本実施形態は、第１実施形態と比べて、人物像の背景に原画像のものとは異なる画像を用いることができる点が相違している。以下、当該相違点に主に着目して説明する。
【０１４２】
本実施形態の携帯電話装置１０’は、図１８に示されるように、携帯電話本体１１内部において、制御部２１が、マスク画像処理部３０’を備えている点と、記憶部２３にマスク画像情報ファイル４０’が格納されている点とが、第１実施形態の携帯電話装置１０と相違している。
【０１４３】
マスク画像処理部３０’は、図１９に示されるように、着目像情報抽出部３１と、マスク画像作成部３２’と、合成画像作成部３３’とを備えている。ここで、着目像情報抽出部３１は、第１実施形態の場合と同様に動作する。
【０１４４】
マスク画像作成部３２’は、第１実施形態のマスク画像作成部３２と同様に、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、上述した記憶部２３のマスク画像情報ファイル４０’に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。さらに、マスク画像作成部３２’は、マスク画像情報ファイル４０’に記憶されたマスク画像情報ＭＤＤに基づいて、背景像指定の有無を示す背景像指定情報と、背景像指定情報において背景像指定が有る場合における背景像データＢＤＤの格納位置情報から成る背景像情報ＢＰＮを作成する。
【０１４５】
合成画像作成部３３’は、背景像情報ＢＰＮにより背景像指定が有る旨が通知された場合には、まず、原画像データＯＭＤ及び背景像データＢＤＤに基づいて、背景像データＢＤＤによる背景像上に原画像中の特定表示画像である人物像を重ねた画像を背景像含有画像として作成する。引き続き、合成画像作成部３３’は、当該背景像含有画像上にマスク画像情報ＭＤＤにより表されたマスク画像を重ねた合成画像データＳＭＤ’を作成する。
【０１４６】
一方、背景像情報ＢＰＮにより背景像指定が無い旨が通知された場合には、合成画像作成部３３’は、原画像を背景像含有画像として作成する。引き続き、合成画像作成部３３’は、当該背景像含有画像上にマスク画像情報ＭＤＤにより表されたマスク画像を重ねた合成画像データＳＭＤ’を作成する。この場合には、合成画像データＳＭＤ’は、第１実施形態の合成画像データＳＭＤと同様となる。
【０１４７】
なお、合成画像作成部３３によって作成された合成画像データＳＭＤ’は、基本制御部２９へ通知されるようになっている。
【０１４８】
記憶部２３内のマスク画像情報ファイル４０’は、図２０Ａに示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述、及び、背景像指定記述が格納された表示指定ファイル４１’と、（ii）上述した要素画像ファイル４２と、（iii）背景像データＢＤＤを格納した背景像ファイル４３とから構成されている。なお、マスク画像情報ファイル４０’は、携帯電話装置１０に対して、コンテンツプロバイダーから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
【０１４９】
本実施形態の表示指定ファイル４１’における表示指定記述の例が、図２１に示されている。なお、図２１に示される記述例は、第１実施形態の場合における図７の記述例に背景像指定がある旨を加えたものである。すなわち、図２１の表示指定記述では、＜同時表示指定＞から＜同時表示指定終了＞までの間において、図７の付加画像１及び付加画像２についての記述に加えて、＜背景像指定＞及び＜背景像指定終了＞、並びにこれらの間における「背景像指定」の記述により同時表示すべき背景像が指定されている。ここで、「背景像指定」としては、背景像ファイル４３の記憶部２３における先頭アドレスＢＭＭＡが指定される。以下の説明においては、背景像ファイル４３には、図２２に示されるような原画像領域ＯＭＲと同一の形状及び大きさを有する背景像領域ＢＭＲ内の背景像ＢＭＭを表す背景像データＢＤＤが格納されているものとする。
【０１５０】
なお、＜背景像指定＞から＜背景像指定指定終了＞までの記述が無い場合には、背景像指定が無いことを示すようになっている。また、背景像ファイル４３の先頭アドレスＢＭＭＡ値として「０」が記述されている場合にも、背景像指定が無いことを示すようになっている。
【０１５１】
以下、上記のように構成された携帯電話装置１０’における、合成画像の作成の動作について説明する。
【０１５２】
上述した第１実施形態における合成画像の作成の動作についての前提に加えて、図２３に示される原画像領域ＯＭＲ内の人物像ＳＤＭが、原画像ＯＭＭから切り出されるべき特定表示画像であるものとする。
【０１５３】
まず、第１実施形態における第１の合成画像作成例の場合と同様に、撮像素子２５において撮像された原画像ＯＭＭのデータである原画像データＯＭＤが、着目像情報抽出部３１へ通知され、着目像情報抽出部３１により着目像情報データＷＭＤが作成される。こうして作成された着目像情報データＷＭＤは、着目像情報抽出部３１からマスク画像作成部３２‘へ通知される。
【０１５４】
着目像情報データＷＭＤを受けたマスク画像作成部３２’は、第１実施形態における第１の合成画像作成例の場合と同様に、着目像情報データＷＭＤ及びマスク画像情報ＭＤＤに基づいて、マスク画像ＭＭＭＡのデータを作成し、マスク画像データＭＭＤとして合成画像作成部３３’へ通知する。また、マスク画像作成部３２’は、マスク画像情報ＭＤＤに基づいて、背景像指定が有るか否か、及び、背景像指定が有る場合における背景像ファイル４３の先頭アドレスから成る背景像情報ＢＰＮを作成し、合成画像作成部３３’へ通知する。ここで、表示指定ファイル４１’には、上述した図２１のように、背景像指定が記述されているので、背景像情報ＢＰＮとしては、背景像指定が有る旨、及び、背景像ファイル４３の先頭アドレスが含まれることになる。
【０１５５】
マスク画像データＭＭＤ、原画像データＯＭＤ及び背景像情報ＢＰＮを受けた合成画像作成部３３’は、まず、背景像情報ＢＰＮに基づいて、背景像指定が有るか否かを判定する。今回の場合は、上記のように背景像指定があるので、判定結果は肯定的となる。引き続き、合成画像作成部３３’は、背景像情報ＢＰＮ中の背景像ファイル４３の先頭アドレスを利用して、背景像ファイル４３から背景像データＢＤＤを読み出す。
【０１５６】
こうして、マスク画像データＭＭＤ及び原画像データＯＭＤに加えて背景象データＢＤＤを取得した合成画像作成部３３’は、次のようにして、合成画像を作成する。
【０１５７】
まず、合成画像作成部３３’は、図２４において画像Ｆ２４Ａとして示される原画像ＯＭＭから、画像Ｆ２４Ｂとして示されるように特定表示画像である人物像ＳＤＭを切り出す。かかる切り出しは、人物像一般の特徴から人物像ＳＤＭの輪郭を特定した後、当該輪郭内の画像を抽出することにより行われる。
【０１５８】
引き続き、合成画像作成部３３’は、特定表示像ＳＤＭを、原画像ＯＭＲにおける場合と同一の位置に同一の大きさで、画像Ｆ２４Ｃとして示される背景像ＢＭＭに重ねる。この結果、画像Ｆ２４Ｄとして示される背景付加像ＢＡＭが作成される。
【０１５９】
次に、合成画像作成部３３’は、画像Ｆ２４Ｅとして示されるマスク画像ＭＭＭＡを背景付加像ＢＡＭに重ねる。この結果、画像Ｆ２４Ｆとして示される合成画像ＳＭＭＡ’が作成される。
【０１６０】
こうして作成された合成画像ＳＭＭＡ’のデータＳＭＤ’は、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭＡ’を表示部１３に表示したり、送受信部２１を介して、通話相手先へ送信したりする。
【０１６１】
なお、表示指定ファイル４１’に背景像指定が記述されていない場合や、背景像データＢＤＤの格納先頭アドレスが「０」であった場合には、マスク画像作成部３２’は、背景像指定が無い旨のみを含む背景像情報ＢＰＮを作成し、合成画像作成部３３’へ通知する。こうした背景像情報ＢＰＮを受けた合成画像作成部３３’は、背景像指定が無いと判定し、原画像ＯＭＭにマスク画像ＭＭＭＡを重ねて、合成画像を作成する。この結果、第１実施形態における第１の合成画像作成例の場合と同一の合成画像ＳＭＭＡが作成される。
【０１６２】
また、上記では、表示指定ファイル４１’にマスク画像指定が記述されておらず、背景像指定のみが記述されている場合には、合成画像作成部３３’においては、背景付加像ＢＡＭが最終的な合成画像として作成される。
【０１６３】
また、上記では、第１実施形態における第１の合成画像作成例の場合と同様のマスク画像指定に加えて、背景像指定をした例を説明したが、第１実施形態における第２又は第３の合成画像作成例の場合と同様のマスク画像指定に加えて、背景像指定をすることが可能なことは勿論である。
【０１６４】
以上説明したように、本実施形態では、合成画像作成部３３’が、着目像である顔画像を含む人物像ＳＤＭを特定表示像として原画像ＯＭＭから切り出して、指定された背景像ＢＭＭ上に重ね、着目像含有画像としての背景付加像ＢＡＭを作成する。そして、合成画像作成部３３’は、当該背景付加像ＢＡＭにマスク画像ＭＭＭＡを重ねる。したがって、人物像ＳＤＭ等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
【０１６５】
なお、上記の第２実施形態では、マスク画像情報ファイル４０’が、背景像ファイル４３を含んでいることとした。これに対して、背景像ファイル４３を、マスク画像情報ファイル外の領域に置くことにすることもできる。
【０１６６】
また、上記の第１及び第２実施形態では、原画像を動画としたが、原画像が静止画であっても、本発明を適用することができる。
【０１６７】
また、上記の第１及び第２実施形態では、いわゆる自分撮りの態様で撮像される撮像光学系１８を介した光の結像結果を原画像としたが、いわゆる相手撮りの態様で撮像される撮像光学系１９を介した光の結像結果を原画像とすることもできる。さらに、記憶部２３に記憶されている画像を原画像とすることもできる。
【０１６８】
また、上記の第１及び第２実施形態では、原画像における着目像領域における着目物体について奥行きに沿った構造を考慮せず、マスク画像に利用する要素画像も２次元モデルで作成されたものとした。これに対し、着目像領域における着目物体について奥行きに沿った構造を考慮し、マスク画像に利用する要素画像を３次元モデルで作成されたものとすることもできる。この場合には、着目物体が、表示面と平行な軸の回りの回転成分を有する動きをしたときであっても、その回転に追従しつつ違和感のないマスク画像を作成することができる。
【０１６９】
また、同時に表示する要素画像の数は任意である。さらに、時間順次表示を行う要素画像の数も任意である。
【０１７０】
また、上記の第１及び第２実施形態では、マスク画像情報ファイルが、表示指定ファイルと、要素画像ファイルとから構成されることとした。これに対して、マスク画像情報ファイルが、要素画像プレビューファイルを更に有することとし、要素画像のプレビューを指定された場合には、当該要素画像プレビューファイルを参照して、表示部１３において要素画像のプレビューを行うこととしてもよい。
【０１７１】
また、着目像情報に基づいて着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生したことを判定することとし、当該所定現象が発生したことをトリガとしてマスク画像の作成を開始させることもできる。例えば、特定人物の顔像を着目画像としたときに、瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することとすることもできる。
【０１７２】
また、上記の第１及び第２実施形態では、携帯電話装置に本発明を適用したが、他の種類の移動通信端末装置にも本発明を適用することができる。さらに、パーソナルコンピュータ等の一般の電子機器にも本発明を適用することができる。
【産業上の利用可能性】
【０１７３】
以上説明したように、本発明の画像処理方法及び画像処理方法は、取得された原画像の加工処理に適用することができる。また、本発明の移動通信端末装置は、画像メール機能やテレビ電話機能を有する移動通信端末装置に適用することができる。
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び移動通信端末装置に係り、より詳しくは原画像上にマスク画像を重ねた合成画像を作成する画像処理方法、当該画像処理方法を使用する画像処理装置、及び当該画像処理装置を備える移動通信端末装置に関するものである。
【背景技術】
【０００２】
従来から、取得された原画像を処理する画像処理が様々な手法で行われている。こうした画像処理の技術としては、例えば、デジタルカメラ等により取得された原画像に人の顔像が存在することを認識する顔認識技術がある。また、この顔認識を更に進めて、顔の形状特徴を抽出し、個人を特定する顔認証技術もある（非特許文献１、特許文献１、２等参照）。
【０００３】
こうした顔像に関する画像処理技術の存在を背景として、例えば、送信側端末装置のカメラで撮像された画像がそのまま送信されて、受信側端末装置に表示されるばかりではなく、送信側端末装置の利用者のプライバシを保護するために、撮像結果における背景像を他の画像に変更する画像処理を行った後に、受信側端末装置へ送信するテレビ電話の技術も提案されている（特許文献３参照）。この技術では、まず、送信側端末装置のカメラで撮像された画像における送信側話者像を抽出する。そして、抽出された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、送信側話者の所在位置というプライバシ情報を受信側話者に知らせることなく、違和感のない対面会話を行うことができるようになっている。
【０００４】
また、送信側端末装置の利用者のプライバシを保護するために、送信側話者のリアルタイム画像を使用せずに、予め用意しておいた当該送信側話者あるいは他の話者についての複数の静止画像から送信側話者の音声に合わせて選択した画像を、受信側端末装置へ送信する技術も提案されている（特許文献３参照）。なお、この場合にも、選択された話者像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信することができる。
【０００５】
この技術では、予め利用者又は他の者について、例えば母音及び必要に応じて撥音の発音時ごとの静止像を用意しておく。そして、利用者の話中における発生音を解析し、解析結果として得られた発生音に対する画像を選択する。引き続き、選択された画像を、予め用意しておいた背景像上に重ね合わせた合成画像を作成し、当該合成画像を送信側端末装置から受信側端末装置へ送信する。この結果、入浴中である等のリアルタイム画像を送信することがプライバシ保護の観点から不適切な場合にも、画像を参照しつつ違和感のない会話を行うことができるようになっている。
【０００６】
【非特許文献１】アイマティックジャパン株式会社、“技術情報”、［2003年12月29日検索］、インターネット＜URL:http://www.eyematic.co.jp/tech.html＞
【特許文献１】特許公開２００３−２７１９５８号公報
【特許文献２】特許公開２００３−２９６７３５号公報
【特許文献３】特許公開２００３−３０９８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来の画像認識、画像認証、画像トラッキングなどの画像処理技術は、動画に適用できる非常に優れたものであり、様々な応用が考えられる。しかしながら、こうした画像処理技術では、利用者が、自身の趣味感に合わせて原画像を加工し、自身の内心等を表現するということは、技術的な視野には入っていなかった。このため、例えば、テレビ電話に従来の画像処理技術を適用しても、テレビ電話の機能を発揮させつつ、送信側話者の趣味感を反映した画像を伴った楽しい会話を行うという観点からは、十分なものとはなっていなかった。
【０００８】
すなわち、従来の画像処理技術では、原画像に対して利用者の感情の強調等を当該利用者の趣味感に合わせた演出を施したものとすることができれば、利用者にとっての楽しさを増進させることができると考えられるが、こうした演出を画像に施すことは、特に原画像が動画である場合にはできなかった。
【０００９】
こうした画像の演出は、原画像が固定的な静止画像である場合には、その静止画像の所望の位置に所望の大きさで所望の形状や色のアクセサリ画像を重ねて表示することにより行うことができる。しかし、送信する画像が、時間の経過に伴い刻々と変化する動画像又は動画像に相当する画像である場合には、表示画面の固定的な位置にアクセサリ像を重ねて表示するのでは、違和感のある表示画像となってしまう。
【００１０】
例えば、利用者の顔像が含まれる原画像における当該顔像の目の位置にハートマークをほぼ目の大きさで表示させる演出を行う際に、ハートマークを表示画面の固定位置に重ねて表示するのでは、刻々と変化する動画像における顔像の目の位置にハートマークを表示させることはできない。また、表示位置だけでなく、ハートマークの表示の大きさについても、動画像における顔像の大きさに応じたものとしなければ、違和感のある表示画像となってしまう。
【００１１】
本発明は、上記の事情を鑑みてなされたものであり、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる画像処理方法及び画像処理方法を提供することを目的とする。
【００１２】
また、本発明は、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる移動通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の画像処理方法は、画像の処理を行う画像処理方法であって、着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報ファイルに登録されたマスク画像情報とに基づいて、前記原画像上に重ねて表示させるマスク画像を作成するマスク画像作成工程と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成工程と；を備える画像処理方法である。
【００１４】
この画像処理方法では、予めマスク画像情報ファイルに着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報を登録しておく。ここで、「着目像領域」とは、例えば人物像を含む原画像における当該人物の顔の領域等であり、原画像となり得る想定される画像中において画像的特徴により特定可能な領域である。
【００１５】
かかるマスク画像情報ファイルの存在を前提として、まず、着目像情報抽出工程において、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像データ作成工程において、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。この結果、原画像における着目像領域の位置に関連する情報とマスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報とにより定まる位置に、原画像における着目像領域の大きさに関連する情報と当該関係情報における着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、合成画像作成工程において、例えば、顔領域内の顔像のような着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像が作成される。
【００１６】
したがって、本発明の画像処理方法によれば、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
【００１７】
本発明の画像処理方法では、前記着目像含有画像を前記原画像とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択することにより行うことができる。
【００１８】
また、本発明の画像処理方法では、前記マスク画像情報ファイルが、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含むとともに、前記合成画像作成工程において、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成することとすることができる。
【００１９】
この場合には、合成画像作成工程において、まず、例えば、着目像が顔像である場合における人物像のような着目像を含む特定表示像が原画像から切り出される。引き続き、マスク画像情報ファイルに含まれる背景画像選択情報により指定された背景像上に特定表示画像が重ねられ、背景付加像が作成される。そして、当該背景付加像を着目像含有画像として、この着目像含有画像上に上述のマスク画像が重ねられる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
【００２０】
また、本発明の画像処理方法では、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれることとすることができる。この場合には、マスク画像情報に含まれる関係情報における着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。なお、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報とする場合には、その相対位置情報を着目像領域が基準の大きさを有する場合における相対位置情報とし、原画像における着目像領域の大きさと当該基準となっている着目象領域の大きさとの比に応じて当該相対位置情報の値を原画像における着目像領域の大きさに応じた値に換算することとすることができる。また、当該相対位置情報の値を、原画像における着目像領域の大きさで正規化された後の値としておき、相対位置情報の値に原画像における着目像領域の大きさに応じた値に換算するようにしてもよい。
【００２１】
ここで、前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が更に含まれることとすることができる。この場合には、原画像における着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。なお、傾き情報は、着目像の２次元的な傾きを示す１つの角度情報であってもよいし、着目像の３次元的な傾きを示す２つ又は３つの角度情報であってもよい。
【００２２】
以上のように、着目像領域の位置に関連する情報に原画像における着目像領域の代表点の位置情報及び原画像における前記着目像領域の傾き情報が含まれる場合には、前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の要素画像の表示位置情報として含まれることとすることができる。この場合には、関係情報における着目像領域の位置との関係を示す情報を着目像領域の代表点に対する相対位置を示す情報を、着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。
【００２３】
本発明の画像処理方法では、前記関係情報には、前記着目像領域の大きさと前記特定の要素画像の表示時における大きさとの比率情報が含まれることとすることができる。この場合には、原画像内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像を含むマスク画像を作成することができる。
【００２４】
また、本発明の画像処理方法では、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報との組合せで定まる要素画像表示それぞれの実行時間情報が更に含まれることとすることができる。この場合には、当該実行時間情報に従ってマスク画像を作成することにより、所望の要素画像それぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像を作成することができる。
【００２５】
ここで、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報の組合せで定まる複数種類の要素画像表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれることとすることができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像を作成することにより、原画像上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。
【００２６】
また、本発明の画像処理方法では、前記マスク画像情報には、前記関係情報及び前記関係情報に対応する要素画像選択情報の組合せで定まる複数種類の要素画像表示を同時に表示することを指定する同時表示指定の情報が更に含まれることとすることができる。この場合には、所望の複数の要素画像それぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像を作成することができる。
【００２７】
なお、本発明の画像処理方法では、前記原画像を動画像とすることができる。この場合には、原画像における着目像の位置、傾き及び大きさが変化する動画像に対して、ダイナミックかつ違和感なく、利用者の趣味感に応じた合成画像を作成することができる。
【００２８】
ここで、前記着目像情報に基づいて前記着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生判定工程を更に備えるとともに、前記所定現象発生判定工程において肯定的な判定がされた後に、マスク画像データ作成工程及び前記合成画像データ作成工程を開始することとすることができる。この場合には、所定現象発生判定工程において前記着目像領域において予め定められた現象が発生したとき、マスク画像データ作成工程及び前記合成画像作成工程を開始させるので、当該その現象に合わせた演出を行ったマスク画像を作成することができ、そのマスク画像が原画像上に重ねた合成画像を作成することができる。例えば着目像が人の顔の場合に、着目像における瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することができる。
【００２９】
本発明の画像処理装置は、画像の処理を行う画像処理装置であって、着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報が登録されたマスク画像情報ファイルを格納する記憶手段と；前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像のデータを作成するマスク画像データ作成手段と；前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える画像処理装置である。
【００３０】
この画像処理装置では、着目像情報抽出手段が、着目像領域を原画像において特定し、原画像中における着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する。引き続き、マスク画像データ作成手段が、着目像情報と、マスク画像情報ファイルに登録されたマスク画像情報とに基づいて、原画像上に重ねて表示させるマスク画像を作成する。そして、合成画像作成手段が、着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上にマスク画像を重ねた合成画像を作成する。
【００３１】
すなわち、本発明の画像処理装置では、本発明の画像処理方法を使用して、合成画像を作成する。したがって、本発明の画像処理装置によれば、原画像が静止画像であるか動画像であるかにかかわらず、着目像含有画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
【００３２】
本発明の画像処理装置では、前記着目像含有画像を前記原画像とする構成とすることができる。この場合には、原画像に対して利用者の趣味感に応じた演出を、マスク画像を選択することにより行うことができる。
【００３３】
本発明の画像処理装置では、前記マスク画像情報ファイルが、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含むとともに、前記合成画像作成手段が、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する構成とすることができる。
【００３４】
この場合には、合成画像作成手段は、まず、着目像を含む特定表示像を原画像から切り出す。引き続き、合成画像作成手段は、マスク画像情報ファイルに含まれる背景画像選択情報により指定された背景像上に特定表示画像を重ね、背景付加像を作成する。そして、合成画像作成手段は、当該背景付加像上に上述のマスク画像を重ねる。したがって、人物像等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
【００３５】
また、本発明の画像処理装置では、前記合成画像を表示する表示手段を更に備える構成とすることができる。この場合には、表示手段により合成画像を表示することにより、合成画像の作成者が、自身の趣味感による演出が施されて作成された合成画像を確認することができる。
【００３６】
本発明の画像処理装置では、前記合成画像データを送信する送信手段を更に備える構成とすることができる。この場合には、送信側における合成画像の作成者の趣味感による演出が施されて作成された合成画像を受信側へ向けて送信することができるので、受信者に対して、作成者の趣味感による演出が施されて作成された合成画像を通知することができる。
【００３７】
本発明の画像処理装置では、前記原画像を取得するための撮像手段を更に備える構成とすることができる。この場合には、撮像手段により撮像により取得した画像を原画像とすることができ、当該原画像に対して、作成者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。なお、撮像手段により取得される画像は、静止画像であってもよいし、動画像であってもよい。
【００３８】
本発明の移動通信端末装置は、本発明の画像処理装置を備える移動通信端末装置である。この移動通信端末装置では、本発明の画像処理装置によって作成された合成画像を受信側端末装置に向けて送信することができるので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる。
【発明の効果】
【００３９】
以上説明したように、本発明の画像処理方法によれば、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる。
【００４０】
また、本発明の画像処理装置によれば、本発明の画像処理方法を使用して合成画像を作成するので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を施した画像を簡易にかつ適切に作成することができる。
【００４１】
また、本発明の移動通信端末装置によれば、本発明の画像処理装置を備えるので、静止画像であるか動画像であるかにかかわらず、原画像に対して利用者の演出を適切に施した画像を送信することができる。
【図面の簡単な説明】
【００４２】
【図１Ａ】本発明の第１実施形態に係る携帯電話装置の正面側の外観構成を概略的に示す図である。
【図１Ｂ】本発明の第１実施形態に係る携帯電話装置の背面側の外観構成を概略的に示す図である。
【図２】図１Ａ及び図１Ｂの携帯電話装置の内部構成を説明するための機能ブロック図である。
【図３】図２のマスク画像処理部の内部構成を説明するための機能ブロック図である。
【図４Ａ】着目像領域情報を説明するための図（その１）である。
【図４Ｂ】着目像領域情報を説明するための図（その２）である。
【図５Ａ】図２のマスク画像情報ファイルの構成を説明するための図である。
【図５Ｂ】図５Ａの要素画像ファイルの構成を説明するための図である。
【図６】要素画像の例を示す図（その１）である。
【図７】図５Ａの表示指定ファイルの内容例を示す図（その１）である。
【図８Ａ】図５Ａの表示指定ファイルの内容例を示す図（その２）である。
【図８Ｂ】図５Ａの表示指定ファイルの内容例を示す図（その３）である。
【図９Ａ】着目像の例を示す図である。
【図９Ｂ】図９Ａにおける着目像座標系の例を説明するための示す図である。
【図１０Ａ】原画像の例を示す図である。
【図１０Ｂ】マスク画像の例を示す図（その１）である。
【図１１】第１実施形態における合成画像の例を示す図（その１）である。
【図１２Ａ】要素画像の例を示す図（その２）である。
【図１２Ｂ】要素画像の例を示す図（その３）である。
【図１２Ｃ】要素画像の例を示す図（その４）である。
【図１３】マスク画像の例を示す図（その２）である。
【図１４】第１実施形態における合成画像の例を示す図（その２）である。
【図１５Ａ】要素画像の例を示す図（その５）である。
【図１５Ｂ】要素画像の例を示す図（その６）である。
【図１５Ｃ】要素画像の例を示す図（その７）である。
【図１６】マスク画像の例を示す図（その３）である。
【図１７】第１実施形態における合成画像の例を示す図（その３）である。
【図１８】本発明の第２実施形態に係る携帯電話装置の内部構成を説明するための機能ブロック図である。
【図１９】図１８のマスク画像処理部の内部構成を説明するための機能ブロック図である。
【図２０】図１８のマスク画像情報ファイルの構成を説明するための図である。
【図２１】図２０の表示指定ファイルの内容例を示す図である。
【図２２】背景像の例を示す図である。
【図２３】特定表示画像の例を示す図である。
【図２４】図１９の合成画像作成部における合成画像作成動作を説明するための図である。
【発明を実施するための最良の形態】
【００４３】
＜第１実施形態＞
以下、本発明の第１実施形態を、図１Ａ〜図１７を参照して説明する。図１及び図２には、一実施形態に移動通信端末装置である携帯電話装置１０の構成が概略的に示されている。ここで、図１Ａには、携帯電話装置１０の外観の正面図が示され、図１Ｂには、携帯電話装置１０の外観の背面図が示されている。また、図２には、携帯電話装置１０の機能ブロック構成が示されている。
【００４４】
図１Ａ、図１Ｂ及び図２において総合的に示されるように、携帯電話装置１０は、（ａ）後述する制御部２１等を備える携帯電話本体１１と、（ｂ）電話番号を制御部２１へ入力するためのテンキー、及び、動作モードの切替等の各種指令を制御部２１へ入力するためのファンクションキーを有する操作部１２と、（ｃ）制御部２１による指令に応じて、操作案内、動作状況、受信メッセージ等を表示する液晶表示装置を有する表示部１３とを備えている。また、携帯電話装置１０は、（ｄ）通話時に通信相手から送られてきた音声信号を再生する通話用スピーカ１４と、通話時に音声を入力するためのマイクロフォン１５と、（ｅ）制御部２１による指令に応じて、着信音や案内音を発生するための案内用スピーカ１６とを備えている。更に、携帯電話装置１０は、（ｆ）送受信部２２と接続され、基地局との間で無線信号を授受するためのアンテナ１７とを備えている。さらに、携帯電話装置１０は、（ｇ）表示部１３における表示を見ながら操作部１２を操作する操作者側を撮影する、すなわち、いわゆる自分撮りの態様で撮影を行うための撮像光学系１８と、（ｈ）当該操作者の視線方向を視野方向とする撮影を行う、すなわち、いわゆる相手撮りの態様で撮影を行うための撮像光学系１９とを備えている。
【００４５】
携帯電話本体１１は、図２に示されるように、（ｉ）携帯電話装置１０の全体の動作を統括制御するとともに、様々なデータ処理を行う制御部２１と、（ii）基地局との間でアンテナ１７を介して無線信号を送受信するための送受信部２２と、（iii）様々なデータを記憶するための記憶部２３とを備えている。また、携帯電話本体１１は、制御部２１の制御に応じて、撮像光学系１８を介した光及び撮像光学系１９を介した光のいずれかを、後述する撮像素子２５へ向けて射出する切換光学系２４と、（iv）切換光学系２４を介した光が受光面に形成する光学像を撮像するＣＣＤ素子等の撮像素子２５とを備えている。ここで、撮像素子２５は、制御部２１の制御のもとで撮像動作を行い、撮像結果を制御部２１へ通知するようになっている。
【００４６】
制御部２１は、基本制御部２９と、マスク画像処理部３０とを備えている。ここで、基本制御部２９は、マスク画像処理部３０の動作の開始及び停止を制御するとともに、制御部２１の外部に配置された各要素の制御、及び、後述するマスク画像作成の画像処理以外のデータ処理を行う。
【００４７】
上記のマスク画像処理部３０は、図３に示されるように、着目像情報抽出部３１と、マスク画像作成部３２と、合成画像作成部３３とを備えている。着目像情報抽出部３１は、撮像素子２５からの原画像データＯＭＤに基づいて、例えば原画像における特定人物（例えば、携帯電話装置１０の利用者）の顔領域等の着目像領域を特定し、原画像における着目像領域の代表点の位置情報、原画像における着目像領域の傾き情報及び着目像領域の大きさ情報から成る着目像情報ＷＭＤを抽出する。
【００４８】
ここで、着目像情報ＷＭＤの抽出について、詳述する。なお、以下においては、説明を簡易に行う都合上、原画像における被撮影体の表示面に対する構造を考慮せずに２次元的に取り扱うこととし、表示面における奥行き方向の沿った被撮影体の構造は考えないものとする。また、図４Ａ及び図４Ｂに示されるように、原画像領域ＯＭＲにおける着目像領域ＷＭＲが特定されるものとする。ここで、図４Ａには、着目像領域ＷＭＲが基準となる傾きである（すなわち、傾き角θW＝０）場合が模式的に表されている。また、図４Ｂには、基準傾きからθ0だけ傾いている（すなわち、傾き角θW＝θ0）場合が示されている。また、原画像領域ＯＭＲにおける各画素位置は、原画像座標系であるＸSＹS座標系における座標値によって表されるものとする。また、着目像領域ＷＭＲについては、代表点ＯWを原点とするとともに、傾き角θW＝０の場合にＸS軸と平行な軸をＸW軸とし、ＹS軸と平行な軸をＹW軸とする着目像座標系（すなわち、ＸWＹW座標系）が定義されるものとする。また、傾き角θWは反時計回りの角度で表されるものとする。
【００４９】
図４Ａの場合には、着目像情報抽出部３１は、原画像領域ＯＭＲにおける着目像領域ＷＭＲを特定した後、まず、着目像領域ＷＭＲの代表点の位置情報として、代表点ＯWの原画像座標系における座標位置ＯW（ＸSW1，ＹSW1）を求める。ここで、着目像領域ＷＭＲの代表点としては、着目像領域ＷＭＲの重心位置、着目像が特定人物の顔像である場合における当該顔像における鼻の突端位置等といった画像解析によって得られる着目像領域における特徴的な点を採用することができる。
【００５０】
次に、着目像情報抽出部３１は、着目像領域ＷＭＲの原画像領域ＯＭＲにおける傾き情報として、ＸS軸とＸW軸との交差角θW（すなわち、上述の傾き角θW）を求める。傾き角θWは、予め傾き角θWが「０」であると定義された着目像領域ＷＭＲにおける着目像として特徴的な方向とＸS軸との交差角と、原画像内における着目像おける当該特徴的な方向とＸS軸との交差角との差を算出することより求められる。こうした特徴的な方向としては、例えば、着目像領域ＷＭＲの形状が楕円近似できる場合には近似楕円の長軸方向若しくは短軸方向、又は、着目像が特定人物の顔像である場合における当該顔像における両目の中心位置を結ぶ方向等を採用することができる。こうして、傾き角θW（図４Ａの場合には、θW＝０）が求められると、原画像領域ＯＭＲ中におけるＸWＹW座標系（着目座標系）が求められることになる。
【００５１】
次いで、着目像情報抽出部３１は、着目像領域ＷＭＲの大きさ情報として、着目像領域ＷＭＲに関する特徴的な長さを求める。本実施形態においては、ＸW軸上における着目像領域ＷＭＲの幅を当該特徴的な長さ（図４Ａにおける幅ＬＸW）としている。なお、着目像領域ＷＭＲの大きさ情報としては、ＸW軸上における着目像領域ＷＭＲの幅ＬＸW以外に、ＹW軸上における着目像領域ＷＭＲの幅、ＸW軸（若しくはＹW軸）方向における着目像領域ＷＭＲの最大幅、又は着目像領域における特徴的な２点間の距離（例えば、着目像が特定人物の顔像である場合における当該顔像における両目の中心間距離）、当該距離のＸW軸成分の長さ若しくは当該距離のＹW軸成分の長さ等を採用することができる。
【００５２】
図４Ｂの場合にも、着目像情報抽出部３１は、上述した図４Ａの場合と同様に、原画像領域ＯＭＲにおける着目像領域ＷＭＲを特定した後、着目像領域ＷＭＲにおける代表点の位置情報、傾き情報及び大きさ情報を求める。なお、図４Ｂの場合には、代表点の位置情報として代表点ＯWの原画像座標系における座標位置ＯW（ＸSW2，ＹSW2）が求められ、着目像領域ＷＭＲの傾き情報として傾き角θW＝θ0が求められ、着目像領域ＷＭＲの大きさ情報として、ＸW軸上における着目像領域ＷＭＲの幅ＬＸWが求められる。
【００５３】
上記のマスク画像作成部３２は、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、上述した記憶部２３に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。なお、マスク画像情報ＭＤＤ及びマスク画像作成部３２によるマスク画像データＭＭＤの作成については、後述する。
【００５４】
上記の合成画像作成部３３は、原画像データＯＭＤ及びマスク画像データＭＭＤに基づいて、原画像上にマスク画像を重ねた合成画像データＳＭＤを作成する。なお、合成画像作成部３３によって作成された合成画像データＳＭＤは、基本制御部２９へ通知されるようになっている。
【００５５】
なお、本実施形態においては、制御部２１は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）等を備えている。そして、制御部２１で実行されるプログラムとして構成された基本処理部２９やマスク画像処理部３０により、メール送受信処理を含む携帯電話機能を実現するために、様々なデータ処理を行うとともに、上述した他の構成要素の動作制御を行うようになっている。
【００５６】
図２に戻り、記憶部２３には、マスク画像情報ファイル４０が記憶されている。このマスク画像情報ファイル４０は、図５Ａに示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述が格納された表示指定ファイル４１jと、（ii）表示指定ファイル４１jにおける表示指定記述によって指定される要素画像データが格納された要素画像ファイル４２jとから構成されている。なお、マスク画像情報ファイル４０は、携帯電話装置１０に対して、コンテンツプロバイダから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
【００５７】
要素画像ファイル４２jには、図５Ｂに示されるように、要素画像が格納されている。なお、要素画像ファイル４２jに格納されている第ｉ番目の要素画像を以下においては、要素画像ＥＭＭjiと記すものとする。なお、図５Ｂでは、要素画像ファイル４２jに格納されている要素画像が複数ある場合が示されているが、要素画像ファイル４２jに格納されている要素画像の数は１つの場合もあるし、２つ以上の場合もある。要素画像ＥＭＭjiとしては、例えば、ハート図形画像、唇図形画像等がある。
【００５８】
こうした、要素画像ＥＭＭjiは、図６において要素画像ＥＭＭ11について代表的に示されるように、要素画像に固有の座標系、すなわち要素画像ＥＭＭjiの代表点（図６では、要素画像ＥＭＭ11の中心点）を原点ＯEとするＸEＹE座標系において作成されている。そして、要素画像ＥＭＭjiの大きさ情報としては、ＸE軸方向における最大幅ＬＸEi（図６においては、最大幅ＬＸE1）を使用するようになっている。図６においては、要素画像ＥＭＭjiをハート図形の要素画像ＥＭＭ11としたが、形状や大きさの異なる要素画像であっても、同様である。
【００５９】
上記の表示指定ファイル４１jにおける表示指定記述の例が、図７、図８Ａ及び図８Ｂに示されている。なお、本実施形態における表示指定記述は、ＳＭＩＬ（Synchronized Multimedia Integration Language）形式に準じた形式で記述されるようになっている。
【００６０】
図７には、着目像領域の位置、傾き、及び大きさに応じて定まる２つの位置（例えば、着目像が特定の人物の顔像である場合における両目の位置）に、定常的に同一の要素画像が同時を表示させる表示指定を行うための例が表示指定ファイル４１1として示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記述された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
【００６１】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW11，ＹW11）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ11のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ1の長さとされる。なお。後述する表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ11は常時表示されることが指定されている。
【００６２】
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW12，ＹW12）に、「要素画像指定」によって指定される要素画像ＥＭＭ11が表示される。これ以外の指定については、付加画像１の場合と同様の指定が行われていることから、付加画像１の場合と同様の表示指定が行われている。
【００６３】
なお、図７のような表示指定ファイル４１1の場合には、表示指定ファイル４１1に対応する要素画像ファイル４２1には、要素画像として、要素画像ＥＭＭ11のみが格納される。
【００６４】
図８Ａには、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置（例えば、着目像が特定の人物の顔像である場合における口の位置）に、表示内容が時間的に変化する１つの付加画像１が表示させる表示指定を行うための例が表示指定ファイル４１2として例が示されている。なお、図８Ａの表示指定ファイル４１2では、複数の要素画像を同時に表示させないので、図７における同時表示に関連する＜同時表示指定＞及び＜同時表示指定終了＞が記述されていない。
【００６５】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、まず、第１の「要素画像指定」によって指定される要素画像ＥＭＭ21が、第１の「表示位置指定」によって指定される着目像領域が予め定められた基準となる大きさ情報ＬＸEが値ＬＸE0である場合におけるＸWＹW座標系の座標位置（ＸW21，ＹW21）に表示される。また、第１の「大きさ指定」によって指定されるように、要素画像ＥＭＭ21の表示時のＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ21の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ21が、時間Ｔ21にわたって表示される。
【００６６】
要素画像ＥＭＭ21の時間Ｔ21の表示が終了すると、次に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ22が、第２の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第２の「大きさ指定」によって指定されるように、要素画像ＥＭＭ22の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ22の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ22が、時間Ｔ22にわたって表示される。
【００６７】
要素画像ＥＭＭ22の時間Ｔ22の表示が終了すると、次に、第３の「要素画像指定」によって指定される要素画像ＥＭＭ23が、第３の「表示位置指定」によって指定される位置、すなわち要素画像ＥＭＭ21の場合と同様の位置に表示される。また、第３の「大きさ指定」によって指定されるように、要素画像ＥＭＭ23の表示時におけるＸE軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ23の長さとされる。また、第３の「表示時間指定」によって指定されるように、要素画像ＥＭＭ23が、時間Ｔ23にわたって表示される。
【００６８】
こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示が終了すると、再度、上記と同様の態様で要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の時間順次の表示がされる。こうして、要素画像ＥＭＭ21、要素画像ＥＭＭ22及び要素画像ＥＭＭ23の指定態様による表示が、時間順次に繰り返される。
【００６９】
図８Ｂには、着目像領域の位置、傾き、及び大きさに応じて定まる１つの位置に、常時１つの要素画像を表示させるとともに、着目像領域の位置、傾き、及び大きさに応じて定まる他の２つの位置に、時間順次に異なる２つの要素画像を択一的に表示させる表示指定を行うための例が表示指定ファイル４１3として例が示されている。すなわち、＜同時表示指定＞により、これと＜同時表示指定終了＞との間に記述された＜付加画像１指定＞及び＜付加画像２指定＞によって指定される付加画像１及び付加画像２が同時に表示されることが指定される。
【００７０】
付加画像１は、＜付加画像１指定＞と＜付加画像１指定終了＞と間の記述によって指定される。すなわち、「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW31，ＹW31）に、「要素画像指定」によって指定される要素画像ＥＭＭ31が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ31のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ31の長さとされる。なお、表示時間指定がなされていないことから、付加画像１における要素画像ＥＭＭ31は常時表示されることが指定されている。
【００７１】
付加画像２は、＜付加画像２指定＞と＜付加画像２指定終了＞と間の記述によって指定される。すなわち、まず、第１の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸW0である場合におけるＸWＹW座標系の座標位置（ＸW32，ＹW32）に、第１の「要素画像指定」によって指定される要素画像ＥＭＭ32が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ32のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ32の長さとされる。また、第１の「表示時間指定」によって指定されるように、要素画像ＥＭＭ32が、時間Ｔ32にわたって表示される。
【００７２】
付加画像２においては、要素画像ＥＭＭ32の時間Ｔ32の表示が終了すると、次に、第２の「表示位置指定」によって指定されるように、着目像領域ＷＭＲの大きさ情報が予め定められた基準となる値ＬＸ0である場合におけるＸWＹW座標系の座標位置（ＸW33，ＹW33）に、第２の「要素画像指定」によって指定される要素画像ＥＭＭ33が表示される。また、「大きさ指定」によって指定されるように、表示時における要素画像ＥＭＭ33のＸW軸方向の最大幅が、着目像領域ＷＭＲの大きさＬＸWに対して比率Ｒ33の長さとされる。また、第２の「表示時間指定」によって指定されるように、要素画像ＥＭＭ33が、時間Ｔ33にわたって表示される。
【００７３】
こうして、付加画像１と付加画像２とを合わせて、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。これらの表示が終了すると、再度、上記と同様の態様で、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に行われる。こうして、要素画像ＥＭＭ31及び要素画像ＥＭＭ32の同時表示と、要素画像ＥＭＭ31及び要素画像ＥＭＭ33の同時表示とが時間順次に繰り返される。
【００７４】
以下、上記のように構成された携帯電話装置１０における、原画像にマスク画像を重ねた合成画像の作成の動作について説明する。
【００７５】
前提として、マクス画像作成部３２は、記憶部２３におけるマスク画像情報ファイル４０の内容をマスク画像情報ＭＤＤとして既に読み込んでいるものとする。また、原画像は、撮像光学系１８及び切換光学系２４を介し、撮像素子２５の撮像面に結像された像であるものとする。また、着目像ＷＭＭは、図９Ａに示されるような特定の人物の顔像であるものものとする。そして、図９Ｂに示されるように、着目像ＷＭＭにおける鼻の突端位置を原点ＯWとし、両面を結ぶ方向をＸW軸方向とし、当該ＸW軸方向と垂直な方向をＹW軸方向とするＸWＹW座標系（着目像座標系）が定義されるものとする。なお、原点ＯW及びＸW軸方向は、原画像における着目像を画像解析して求められ、ＹW軸方向は、求められたＸW軸方向に基づいて求められるものとする。
【００７６】
《第１の合成画像作成例》
まず、第１の合成画像作成例を説明する。この例は、上述した図７において、両目の位置を表示位置とし、要素画像ＥＭＭ11が、図６に示されるハート型図形画像であり、当該要素画像ＥＭＭ11が着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ1の大きさで表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。
【００７７】
まず、撮像素子２５において撮像された原画像ＯＭＭのデータである原画像データＯＭＤが、着目像情報抽出部３１へ通知される。なお、原画像データＯＭＤは、同時に合成画像作成部３３へも通知される（図３参照）。ここで、得られた原画像ＯＭＭの例が、図１０Ａに示されている。
【００７８】
着目像情報抽出部３１は、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を抽出する。引き続き、着目像情報抽出部３１は、着目像ＷＭＭを解析して、原画像座標系（ＸSＹS座標系）における着目像ＷＭＭにおける鼻の突端位置（ＸSW，ＹSW）を着目像座標（ＸWＹW座標系）の原点ＯWの位置として求めるとともに、両目の瞳の中央位置同士を結ぶ線分が延びる方向をＸWＹW座標系のＸW軸方向として求める。そして、求められたＸW軸方向とＸS軸方向との交差角度θWを求める。さらに、着目像情報抽出部３１は、着目像ＷＭＭのＸW軸上における幅ＬＸWを求める。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
【００７９】
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE11，ＹE11）を、次の（１）式及び（２）式により算出する。
ＸE11＝(ＬＸW／ＬＸ0)(ＸW11・cosθW＋ＹW11・sinθW)＋ＸSW …（１）
ＹE11＝(ＬＸW／ＬＸ0)(−ＸW11・sinθW＋ＹW11・cosθW)＋ＹSW …（２）
【００８０】
次に、マスク画像作成部３２は、付加画像１における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ11を、次の（３）式により算出する。
Ｍ11＝Ｒ1・ＬＸW／ＬＸE1 …（３）
【００８１】
次いで、マスク画像作成部３２は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ11で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE11，ＹE11）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００８２】
次に、マスク画像作成部３２は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11のＸSＹS座標系における表示位置（ＸE12，ＹE12）を、次の（４）式及び（５）式により算出する。
ＸE12＝(ＬＸW／ＬＸ0)(ＸW12・cosθW＋ＹW12・sinθW)＋ＸSW …（４）
ＹE12＝(ＬＸW／ＬＸ0)(−ＸW12・sinθW＋ＹW12・cosθW)＋ＹSW …（５）
【００８３】
引き続き、マスク画像作成部３２は、付加画像１の場合と同様にして、付加画像２における要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ12を、次の（６）式により算出する。
Ｍ12＝Ｒ1・ＬＸW／ＬＸE1 …（６）
【００８４】
次いで、マスク画像作成部３２は、要素画像ＥＭＭ11をＸSＹS座標系において原点ＯEを中心として倍率Ｍ12で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ11をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ11を、ＸSＹS座標系における座標位置（ＸE12，ＹE12）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００８５】
以上の結果、図１０Ｂにおいて画像Ｆ１０Ｂとして示されるようなマスク画像ＭＭＭＡが作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭＡのデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【００８６】
マスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像データＯＭＭ上にマスク画像ＭＭＭＡを重ねた合成画像ＳＭＭＡを作成する。こうして作成された合成画像ＳＭＭＡが図１１において画像Ｆ１１Ａとして示されている。
【００８７】
以上のようにして、本例の場合における合成画像が作成される。このため、撮像中の原画像における着目像ＷＭＭが上記の例から平行移動したとしても、画像Ｆ１１Ｂとして示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＢが作成される。
【００８８】
また、撮像中の原画像における着目像ＷＭＭが縮小したとしても、画像Ｆ１１Ｃとして示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさで表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＣが作成される。また、撮像中の原画像における着目像ＷＭＭが回転したとしても、画像Ｆ１１Ｄとして示されるように、上記の場合と同様に、着目像ＷＭＭの両目の位置に要素画像ＥＭＭ11が着目像領域の大きさに応じて指定された比率の大きさを有し、かつ、着目像ＷＭＭの原画像中における傾きと同一の傾きを持って表示されたマスク画像が原画像上に重ねられた合成画像ＳＭＭＤが作成される。なお、撮像中の原画像における着目像ＷＭＭが縮小、拡大又は回転した場合には、一般に、着目像領域における鼻の突端位置の原画像座標系（ＸSＹS座標系）における座標位置の変化を伴うこととなる。
【００８９】
《第２の合成画像作成例》
次に、第２の合成画像作成例を説明する。この例は、上述した図８Ａにおいて、口の位置を表示位置とし、図１２Ａに示される要素画像ＥＭＭ21、図１２Ｂに示される要素画像ＥＭＭ22、及び図１２Ｃに示される要素画像ＥＭＭ23が時間順次に繰り返して表示されるマスク画像が、原画像に重ねて表示される合成画像の例である。
【００９０】
なお、図８Ａの記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ21，ＥＭＭ22，ＥＭＭ23が表示される。すなわち、要素画像ＥＭＭ21は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対して比率Ｒ21の大きさで表示される。また、要素画像ＥＭＭ22は長さ値ＬＸWに対して比率Ｒ22の大きさで表示される。さらに、要素画像ＥＭＭ23は長さ値ＬＸWに対して比率Ｒ23の大きさで表示される。
【００９１】
まず、上記の第１の合成画像作成例と同様にして、撮像素子２５において撮像された原画像ＯＭＭのデータが原画像データＯＭＤとして着目像情報抽出部３１へ通知される。引き続き、着目像情報抽出部３１が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報ＷＭＲを抽出する。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
【００９２】
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における第１要素画像ＥＭＭ21のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、次の（７）式及び（８）式により算出する。
ＸE2＝(ＬＸW／ＬＸ0)(ＸW2・cosθW＋ＹW2・sinθW)＋ＸSW …（７）
ＹE2＝(ＬＸW／ＬＸ0)(−ＸW2・sinθW＋ＹW2・cosθW)＋ＹSW …（８）
【００９３】
次に、マスク画像作成部３２は、第１の要素画像ＥＭＭ21の拡大又は縮小の倍率Ｍ21を、次の（９）式により算出する。
Ｍ21＝Ｒ21・ＬＸW／ＬＸE21 …（９）
【００９４】
次いで、マスク画像作成部３２は、上記の第１の合成画像作成と同様にして、要素画像ＥＭＭ21をＸSＹS座標系において原点ＯEを中心として倍率Ｍ21で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ21をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ21を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【００９５】
以上の結果、図１３において、画像Ｆ１３Ａとして示されるようなマスク画像ＭＭＭ21が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ21のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【００９６】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ21を作成する。こうして作成された合成画像ＳＭＭ21が図１４において画像Ｆ１４Ａとして示されている。
【００９７】
以後、マスク画像作成部３２は、時間Ｔ21にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ21を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ21の大きさで表示するマスク画像を作成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ21を倍率Ｍ21で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ21にわたって逐次作成する。
【００９８】
こうして、時間Ｔ21が経過すると、マスク画像作成部３２は、付加画像１における第２要素画像ＥＭＭ22のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第２の要素画像ＥＭＭ22の拡大又は縮小の倍率Ｍ22を、次の（１０）式により算出する。
Ｍ22＝Ｒ22・ＬＸW／ＬＸE22 …（１０）
【００９９】
次に、マスク画像作成部３２は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として倍率Ｍ22で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ22をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ22を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１００】
以上の結果、図１３において画像Ｆ１３Ｂとして示されるようなマスク画像ＭＭＭ22が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ22のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１０１】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭを重ねた合成画像ＳＭＭ22を作成する。こうして作成された合成画像ＳＭＭ22が図１４においてＦ１４Ｂとして示されている。
【０１０２】
以後、マスク画像作成部３２は、時間Ｔ22にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ22を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ22の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ22を倍率Ｍ22で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ22にわたって作成する。
【０１０３】
こうして、時間Ｔ22が経過すると、マスク画像作成部３２は、付加画像１における第３要素画像ＥＭＭ23のＸSＹS座標系における表示位置（ＸE2，ＹE2）を、上記の（７）式及び（８）式により算出する。引き続き、マスク画像作成部３２は、第３の要素画像ＥＭＭ23の拡大又は縮小の倍率Ｍ23を、次の（１１）式により算出する。
Ｍ23＝Ｒ23・ＬＸW／ＬＸE23 …（１１）
【０１０４】
次に、マスク画像作成部３２は、上記の第１の要素画像ＥＭＭ21の場合と同様にして、要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として倍率Ｍ23で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ23をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ23を、ＸSＹS座標系における座標位置（ＸE2，ＹE2）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１０５】
以上の結果、図１３において画像Ｆ１３Ｃとして示されるようなマスク画像ＭＭＭ23が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ23のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１０６】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ23を重ねた合成画像ＳＭＭ23を作成する。こうして作成された合成画像ＳＭＭ23が図１４において画像Ｆ１４Ｃとして示されている。
【０１０７】
以後、マスク画像作成部３２は、時間Ｔ23にわたって、着目像ＷＭＭの口の位置を表示位置として、要素画像ＥＭＭ23を、着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ23の大きさで表示するマスク画像を生成する。この結果、合成画像作成部３３は、原画像の着目像ＷＭＭにおける口の位置に要素画像ＥＭＭ23を倍率Ｍ23で拡大又は縮小したマスク画像を重ねた合成画像を、時間Ｔ23にわたって作成する。
【０１０８】
こうして、時間Ｔ23が経過すると、マスク画像作成部３２は、上記と同様にして、上述した要素画像ＥＭＭ21を使用したマスク画像、要素画像ＥＭＭ22を使用したマスク画像及び要素画像ＥＭＭ23を使用したマスク画像の時間順次の作成を繰り返す。そして、合成画像作成部３３は、原画像データＯＭＤとマスク画像データＭＭＤとに基づいて、原画像における着目像の口の位置に指定の大きさに拡大又は縮小された要素画像ＥＭＭ21、要素画像ＥＭＭ22、及び要素画像ＥＭＭ23からなるマスク画像が重ねられた合成画像を逐次作成する。
【０１０９】
《第３の合成画像作成例》
次に、第３の合成画像作成例を説明する。この例は、上述の図８におけるマスク画像指定に対応するものであり、要素画像及び着目像に対する表示位置が固定的な表示である付加画像１、並びに、要素画像及び着目像に対する表示位置が時間的に変化する付加画像２を同時表示するマスク画像が、原画像に重ねて表示される合成画像の例である。
【０１１０】
ここで、付加画像１における要素画像ＥＭＭ31は、図１５Ａに示されるものであるものとする。また、付加画像２における第１要素画像ＥＭＭ32は、図１５Ｂに示されるものであり、また、付加画像２における第２要素画像ＥＭＭ33は、図１５Ｃに示されるものであるものとする。
【０１１１】
なお、図８の記述で指定されている「大きさ情報」に応じた大きさで要素画像ＥＭＭ31，ＥＭＭ32，ＥＭＭ33が表示される。すなわち、要素画像ＥＭＭ31は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示される。また、要素画像ＥＭＭ32は長さ値ＬＸWに対する比率Ｒ32の大きさで表示される。さらに、要素画像ＥＭＭ33は着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ33の大きさで表示される。
【０１１２】
まず、上記の第１又は第２の合成画像作成と同様にして、撮像素子２５において撮像された原画像データＯＭＤが、着目像情報抽出部３１へ通知される。引き続き、着目像情報抽出部３１が、通知された原画像ＯＭＭを画像処理して、着目像ＷＭＭの領域を特定し、着目像情報を抽出する。そして、着目像情報抽出部３１は、着目像情報データＷＭＤとして、着目像領域の位置情報としての位置（ＸSW，ＹSW）を、着目像領域の傾き情報としての角度θWを、着目像領域の大きさ情報としての長さＬＸWを、マスク画像作成部３２へ通知する。
【０１１３】
着目像情報データＷＭＤを受けたマスク画像作成部３２は、まず、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）を、次の（１２）式及び（１３）式により算出する。
ＸE31＝(ＬＸW／ＬＸ0)(ＸW31・cosθW＋ＹW31・sinθW)＋ＸSW …（１２）
ＹE31＝(ＬＸW／ＬＸ0)(−ＸW31・sinθW＋ＹW31・cosθW)＋ＹSW …（１３）
【０１１４】
次に、マスク画像作成部３２は、第１の要素画像ＥＭＭ11の拡大又は縮小の倍率Ｍ31を、次の（１４）式により算出する。
Ｍ31＝Ｒ31・ＬＸW／ＬＸE31 …（１４）
【０１１５】
次いで、マスク画像作成部３２は、上記の第１又は第２の合成画像作成と同様にして、要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として倍率Ｍ31で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ31をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１１６】
次に、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ31の場合と同様に、付加画像２における第２要素画像ＥＭＭ32のＸSＹS座標系における表示位置（ＸE32，ＹE32）を、次の（１５）式及び（１６）式により算出する。
ＸE32＝(ＬＸW／ＬＸ0)(ＸW32・cosθW＋ＹW32・sinθW)＋ＸSW …（１５）
ＹE32＝(ＬＸW／ＬＸ0)(−ＸW32・sinθW＋ＹW32・cosθW)＋ＹSW …（１６）
【０１１７】
次に、マスク画像作成部３２は、第２の要素画像ＥＭＭ32の拡大又は縮小の倍率Ｍ32を、次の（１７）式により算出する。
Ｍ32＝Ｒ32・ＬＸW／ＬＸE32 …（１７）
【０１１８】
次いで、マスク画像作成部３２は、上記の要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として倍率Ｍ32で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ32をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ31を、ＸSＹS座標系における座標位置（ＸE32，ＹE32）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１１９】
以上の結果、図１６において画像Ｆ１６Ａとして示されるようなマスク画像ＭＭＭ31が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ31のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１２０】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ31を重ねた合成画像ＳＭＭ31を作成する。こうして作成された合成画像ＳＭＭ31が図１７において画像Ｆ１７Ａとして示されている。
【０１２１】
以後、マスク画像作成部３２は、時間Ｔ31にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ32を長さ値ＬＸWに対する比率Ｒ32の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ31にわたって作成する。
【０１２２】
こうして、時間Ｔ31が経過すると、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ31のＸSＹS座標系における表示位置（ＸE31，ＹE31）及び倍率Ｍ31を、上記の（１２）式〜（１４）式により算出する。そして、マスク画像作成部３２は、ＸEＹE座標系において原点ＯEを中心として、要素画像ＥＭＭ31を倍率Ｍ31で拡大又は縮小した後に角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ2を、ＸSＹS座標系における座標位置（ＸE31，ＹE31）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１２３】
次に、マスク画像作成部３２は、付加画像１における第１要素画像ＥＭＭ11の場合と同様に、付加画像２における要素画像ＥＭＭ33のＸSＹS座標系における表示位置（ＸE33，ＹE33）を、次の（１８）式及び（１９）式により算出する。
ＸE33＝(ＬＸW／ＬＸ0)(ＸW33・cosθW＋ＹW33・sinθ)＋ＸSW …（１８）
ＹE33＝(ＬＸW／ＬＸ0)(−ＸW33・sinθW＋ＹW33・cosθ)＋ＹSW …（１９）
【０１２４】
次に、マスク画像作成部３２は、第３要素画像ＥＭＭ33の拡大又は縮小の倍率Ｍ33を、次の（２０）式により算出する。
Ｍ33＝Ｒ33・ＬＸW／ＬＸE33 …（２０）
【０１２５】
次いで、マスク画像作成部３２は、上記の第１要素画像ＥＭＭ31の場合と同様にして、要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として倍率Ｍ33で拡大又は縮小を行う。引き続き、マスク画像作成部３２は、拡大又は縮小された要素画像ＥＭＭ33をＸEＹE座標系において原点ＯEを中心として角度θWだけ回転させる。そして、拡大又は縮小され、かつ、回転された要素画像ＥＭＭ33を、ＸSＹS座標系における座標位置（ＸE33，ＹE33）が原点ＯEの位置となるようにＸSＹS座標系に配置する。
【０１２６】
以上の結果、図１６において画像Ｆ１６Ｂとして示されるようなマスク画像ＭＭＭ32が作成される。そして、マスク画像作成部３２は、作成されたマスク画像ＭＭＭ32のデータをマスク画像データＭＭＤとして合成画像作成部３３へ通知する。
【０１２７】
このマスク画像データＭＭＤ及び原画像データＯＭＤを受けた合成画像作成部３３は、原画像ＯＭＭ上にマスク画像ＭＭＭ32を重ねた合成画像ＳＭＭ32を作成する。こうして作成された合成画像ＳＭＭ32が図１７において画像Ｆ１７Ｂとして示されている。
【０１２８】
以後、マスク画像作成部３２は、時間Ｔ32にわたって、着目像ＷＭＭと指定された関係にある位置に、要素画像ＥＭＭ31を着目像ＷＭＭの大きさを表す長さ値ＬＸWに対する比率Ｒ31の大きさで表示し、かつ、要素画像ＥＭＭ33を長さ値ＬＸWに対する比率Ｒ33の大きさで表示マスク画像を生成する。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を、時間Ｔ32にわたって作成する。
【０１２９】
こうして、時間Ｔ32が経過すると、マスク画像作成部３２は、上記と同様にして、上述した要素画像ＥＭＭ31及び要素画像ＥＭＭ32を使用したマスク画像、並びに要素画像ＥＭＭ31及要素画像ＥＭＭ33を使用したマスク画像の時間順次の作成を繰り返す。そして、合成画像作成部３３は、マスク画像作成部３２から通知されたマスク画像データＭＭＤが表すマスク画像が原画像上に重ねられた合成画像を逐次作成する。
【０１３０】
以上の第１、第２又は第３合成画像作成例のようにして作成された合成画像の情報データＳＭＤは、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭを表示部１３に表示したり、送受信部２１を介して、通話相手先へ送信したりする。
【０１３１】
以上説明したように、本実施形態では、着目像ＷＭＭの領域を原画像において特定し、原画像中における着目像ＷＭＭの領域の位置及び大きさに関連する情報を含む着目像情報ＷＭＤを抽出する。引き続き、着目像情報ＷＭＤと、マスク画像情報ファイル４０に登録されたマスク画像情報とに基づいて、原画像ＯＭＭ上に重ねて表示させるマスク画像ＭＭＭを作成する。この結果、原画像ＯＭＭにおける着目像ＷＭＭの領域の位置に関連する情報と、マスク画像情報に含まれる着目像領域の位置との関係を示す情報とにより定まる位置に、原画像ＯＭＭにおける着目像ＷＭＭの領域の大きさに関連する情報と、着目像領域の大きさの関係を示す情報とにより定まる大きさで、マスク画像情報に含まれる要素画像選択情報により選択された要素画像から構成されるマスク画像が作成される。そして、原画像上にマスク画像を重ねた合成画像が作成される。
【０１３２】
したがって、本実施形態によれば、原画像に対して利用者の趣味感に応じた演出を施した画像を簡易にかつ適切に作成することができる。
【０１３３】
また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像ＯＭＭにおける着目像領域ＷＭＲの代表点の位置情報が含まれている。このため、マスク画像情報に含まれる着目像領域の位置との関係を示す情報を、着目像領域の代表点に対する相対位置を示す情報とすることができ、関係情報における着目像領域の位置との関係を示す情報を簡易なものとすることができる。
【０１３４】
また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報には、原画像ＯＭＭにおける着目像領域の傾き情報が更に含まれている。このため、原画像ＯＭＭにおける着目像領域の傾き情報を使用することにより、着目像領域の原画像における傾きに応じた位置に、所望の要素画像を重ねて表示した合成画像を作成することができる。また、表示する要素画像に着目像領域の原画像における傾きに応じた傾きを持たせて表示させることができる。
【０１３５】
また、本実施形態では、マスク画像情報に含まれる着目像領域の位置に関連する情報として、着目像領域の代表点を原点とし、原画像における着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、要素画像の表示位置情報として含まれている。このため、着目像領域の位置との関係を示す情報を、着目像領域の代表点を原点とし、着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報という簡易かつ取り扱いが容易なものとすることができる。
【０１３６】
また、本実施形態では、マスク画像情報が、着目像領域の大きさと要素画像ＥＭＭの表示時における大きさとの比率情報を含むことすることができる。この場合には、原画像ＯＭＭ内で着目像領域の大きさが刻々と変化する場合であっても、着目像領域の大きさに適合した大きさの要素画像ＥＭＭを含むマスク画像ＭＭＭを作成することができる。
【０１３７】
また、本実施形態では、マスク画像情報が、要素画像ＥＭＭそれぞれの表示の実行時間情報を含むことができる。この場合には、当該実行時間情報に従ってマスク画像ＷＭＭを作成することにより、所望の要素画像ＥＭＭそれぞれを所望の時間に設定した表示実行時間だけ表示することができ、ダイナミックに変化するマスク画像ＭＭＭを作成することができる。
【０１３８】
また、本実施形態では、マスク画像情報が、複数の要素画像ＥＭＭの表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報を含むことができる。この場合には、当該時間順次表示指定の情報に従ってマスク画像ＷＭＭを作成することにより、原画像ＯＭＭ上に複数の要素画像を所望の時間ごとに時間順次に繰り返し表示することができる。
【０１３９】
また、本実施形態では、マスク画像情報が、複数の要素画像表示を同時に表示することを指定する同時表示指定の情報を含むことができる。この場合には、所望の複数の要素画像ＥＭＭそれぞれが、所望の位置に表示されるマスク画像を作成することができ、様々なバリエーションのマスク画像ＷＭＭを作成することができる。
【０１４０】
＜第２実施形態＞
次に、本発明の第２実施形態を、図１８〜図２４を主に参照しつつ、適宜他の図面を参照して説明する。なお、上述した第１実施形態の場合と同一又は同様の要素には同一符号を付し、重複する説明は省略する。
【０１４１】
本実施形態は、第１実施形態と比べて、人物像の背景に原画像のものとは異なる画像を用いることができる点が相違している。以下、当該相違点に主に着目して説明する。
【０１４２】
本実施形態の携帯電話装置１０’は、図１８に示されるように、携帯電話本体１１内部において、制御部２１が、マスク画像処理部３０’を備えている点と、記憶部２３にマスク画像情報ファイル４０’が格納されている点とが、第１実施形態の携帯電話装置１０と相違している。
【０１４３】
マスク画像処理部３０’は、図１９に示されるように、着目像情報抽出部３１と、マスク画像作成部３２’と、合成画像作成部３３’とを備えている。ここで、着目像情報抽出部３１は、第１実施形態の場合と同様に動作する。
【０１４４】
マスク画像作成部３２’は、第１実施形態のマスク画像作成部３２と同様に、着目像情報抽出部３１によって抽出された着目像情報ＷＭＤと、上述した記憶部２３のマスク画像情報ファイル４０’に記憶されたマスク画像情報ＭＤＤとに基づいて、マスク画像データＭＭＤを作成する。さらに、マスク画像作成部３２’は、マスク画像情報ファイル４０’に記憶されたマスク画像情報ＭＤＤに基づいて、背景像指定の有無を示す背景像指定情報と、背景像指定情報において背景像指定が有る場合における背景像データＢＤＤの格納位置情報から成る背景像情報ＢＰＮを作成する。
【０１４５】
合成画像作成部３３’は、背景像情報ＢＰＮにより背景像指定が有る旨が通知された場合には、まず、原画像データＯＭＤ及び背景像データＢＤＤに基づいて、背景像データＢＤＤによる背景像上に原画像中の特定表示画像である人物像を重ねた画像を背景像含有画像として作成する。引き続き、合成画像作成部３３’は、当該背景像含有画像上にマスク画像情報ＭＤＤにより表されたマスク画像を重ねた合成画像データＳＭＤ’を作成する。
【０１４６】
一方、背景像情報ＢＰＮにより背景像指定が無い旨が通知された場合には、合成画像作成部３３’は、原画像を背景像含有画像として作成する。引き続き、合成画像作成部３３’は、当該背景像含有画像上にマスク画像情報ＭＤＤにより表されたマスク画像を重ねた合成画像データＳＭＤ’を作成する。この場合には、合成画像データＳＭＤ’は、第１実施形態の合成画像データＳＭＤと同様となる。
【０１４７】
なお、合成画像作成部３３によって作成された合成画像データＳＭＤ’は、基本制御部２９へ通知されるようになっている。
【０１４８】
記憶部２３内のマスク画像情報ファイル４０’は、図２０Ａに示されるように、（ｉ）原画像における着目像領域と関連してどのようにマスク画像を表示するかを指定する表示指定記述、及び、背景像指定記述が格納された表示指定ファイル４１’と、（ii）上述した要素画像ファイル４２と、（iii）背景像データＢＤＤを格納した背景像ファイル４３とから構成されている。なお、マスク画像情報ファイル４０’は、携帯電話装置１０に対して、コンテンツプロバイダーから無線回線を介して提供されたり、利用者がパーソナルコンピュータ等により作成した後に記憶媒体や不図示の外部インターフェースを介して提供されたりする。
【０１４９】
本実施形態の表示指定ファイル４１’における表示指定記述の例が、図２１に示されている。なお、図２１に示される記述例は、第１実施形態の場合における図７の記述例に背景像指定がある旨を加えたものである。すなわち、図２１の表示指定記述では、＜同時表示指定＞から＜同時表示指定終了＞までの間において、図７の付加画像１及び付加画像２についての記述に加えて、＜背景像指定＞及び＜背景像指定終了＞、並びにこれらの間における「背景像指定」の記述により同時表示すべき背景像が指定されている。ここで、「背景像指定」としては、背景像ファイル４３の記憶部２３における先頭アドレスＢＭＭＡが指定される。以下の説明においては、背景像ファイル４３には、図２２に示されるような原画像領域ＯＭＲと同一の形状及び大きさを有する背景像領域ＢＭＲ内の背景像ＢＭＭを表す背景像データＢＤＤが格納されているものとする。
【０１５０】
なお、＜背景像指定＞から＜背景像指定指定終了＞までの記述が無い場合には、背景像指定が無いことを示すようになっている。また、背景像ファイル４３の先頭アドレスＢＭＭＡ値として「０」が記述されている場合にも、背景像指定が無いことを示すようになっている。
【０１５１】
以下、上記のように構成された携帯電話装置１０’における、合成画像の作成の動作について説明する。
【０１５２】
上述した第１実施形態における合成画像の作成の動作についての前提に加えて、図２３に示される原画像領域ＯＭＲ内の人物像ＳＤＭが、原画像ＯＭＭから切り出されるべき特定表示画像であるものとする。
【０１５３】
まず、第１実施形態における第１の合成画像作成例の場合と同様に、撮像素子２５において撮像された原画像ＯＭＭのデータである原画像データＯＭＤが、着目像情報抽出部３１へ通知され、着目像情報抽出部３１により着目像情報データＷＭＤが作成される。こうして作成された着目像情報データＷＭＤは、着目像情報抽出部３１からマスク画像作成部３２‘へ通知される。
【０１５４】
着目像情報データＷＭＤを受けたマスク画像作成部３２’は、第１実施形態における第１の合成画像作成例の場合と同様に、着目像情報データＷＭＤ及びマスク画像情報ＭＤＤに基づいて、マスク画像ＭＭＭＡのデータを作成し、マスク画像データＭＭＤとして合成画像作成部３３’へ通知する。また、マスク画像作成部３２’は、マスク画像情報ＭＤＤに基づいて、背景像指定が有るか否か、及び、背景像指定が有る場合における背景像ファイル４３の先頭アドレスから成る背景像情報ＢＰＮを作成し、合成画像作成部３３’へ通知する。ここで、表示指定ファイル４１’には、上述した図２１のように、背景像指定が記述されているので、背景像情報ＢＰＮとしては、背景像指定が有る旨、及び、背景像ファイル４３の先頭アドレスが含まれることになる。
【０１５５】
マスク画像データＭＭＤ、原画像データＯＭＤ及び背景像情報ＢＰＮを受けた合成画像作成部３３’は、まず、背景像情報ＢＰＮに基づいて、背景像指定が有るか否かを判定する。今回の場合は、上記のように背景像指定があるので、判定結果は肯定的となる。引き続き、合成画像作成部３３’は、背景像情報ＢＰＮ中の背景像ファイル４３の先頭アドレスを利用して、背景像ファイル４３から背景像データＢＤＤを読み出す。
【０１５６】
こうして、マスク画像データＭＭＤ及び原画像データＯＭＤに加えて背景象データＢＤＤを取得した合成画像作成部３３’は、次のようにして、合成画像を作成する。
【０１５７】
まず、合成画像作成部３３’は、図２４において画像Ｆ２４Ａとして示される原画像ＯＭＭから、画像Ｆ２４Ｂとして示されるように特定表示画像である人物像ＳＤＭを切り出す。かかる切り出しは、人物像一般の特徴から人物像ＳＤＭの輪郭を特定した後、当該輪郭内の画像を抽出することにより行われる。
【０１５８】
引き続き、合成画像作成部３３’は、特定表示像ＳＤＭを、原画像ＯＭＲにおける場合と同一の位置に同一の大きさで、画像Ｆ２４Ｃとして示される背景像ＢＭＭに重ねる。この結果、画像Ｆ２４Ｄとして示される背景付加像ＢＡＭが作成される。
【０１５９】
次に、合成画像作成部３３’は、画像Ｆ２４Ｅとして示されるマスク画像ＭＭＭＡを背景付加像ＢＡＭに重ねる。この結果、画像Ｆ２４Ｆとして示される合成画像ＳＭＭＡ’が作成される。
【０１６０】
こうして作成された合成画像ＳＭＭＡ’のデータＳＭＤ’は、合成画像作成部３３から基本制御部２９へ通知される。この合成画像情報データを受けた基本制御部２９は、予め利用者が操作部１２を操作して行った指令に従って、合成画像ＳＭＭＡ’を表示部１３に表示したり、送受信部２１を介して、通話相手先へ送信したりする。
【０１６１】
なお、表示指定ファイル４１’に背景像指定が記述されていない場合や、背景像データＢＤＤの格納先頭アドレスが「０」であった場合には、マスク画像作成部３２’は、背景像指定が無い旨のみを含む背景像情報ＢＰＮを作成し、合成画像作成部３３’へ通知する。こうした背景像情報ＢＰＮを受けた合成画像作成部３３’は、背景像指定が無いと判定し、原画像ＯＭＭにマスク画像ＭＭＭＡを重ねて、合成画像を作成する。この結果、第１実施形態における第１の合成画像作成例の場合と同一の合成画像ＳＭＭＡが作成される。
【０１６２】
また、上記では、表示指定ファイル４１’にマスク画像指定が記述されておらず、背景像指定のみが記述されている場合には、合成画像作成部３３’においては、背景付加像ＢＡＭが最終的な合成画像として作成される。
【０１６３】
また、上記では、第１実施形態における第１の合成画像作成例の場合と同様のマスク画像指定に加えて、背景像指定をした例を説明したが、第１実施形態における第２又は第３の合成画像作成例の場合と同様のマスク画像指定に加えて、背景像指定をすることが可能なことは勿論である。
【０１６４】
以上説明したように、本実施形態では、合成画像作成部３３’が、着目像である顔画像を含む人物像ＳＤＭを特定表示像として原画像ＯＭＭから切り出して、指定された背景像ＢＭＭ上に重ね、着目像含有画像としての背景付加像ＢＡＭを作成する。そして、合成画像作成部３３’は、当該背景付加像ＢＡＭにマスク画像ＭＭＭＡを重ねる。したがって、人物像ＳＤＭ等の特定表示画像に対する利用者の趣味感に応じた演出を、マスク画像及び背景像を選択することにより施すことができる。
【０１６５】
なお、上記の第２実施形態では、マスク画像情報ファイル４０’が、背景像ファイル４３を含んでいることとした。これに対して、背景像ファイル４３を、マスク画像情報ファイル外の領域に置くことにすることもできる。
【０１６６】
また、上記の第１及び第２実施形態では、原画像を動画としたが、原画像が静止画であっても、本発明を適用することができる。
【０１６７】
また、上記の第１及び第２実施形態では、いわゆる自分撮りの態様で撮像される撮像光学系１８を介した光の結像結果を原画像としたが、いわゆる相手撮りの態様で撮像される撮像光学系１９を介した光の結像結果を原画像とすることもできる。さらに、記憶部２３に記憶されている画像を原画像とすることもできる。
【０１６８】
また、上記の第１及び第２実施形態では、原画像における着目像領域における着目物体について奥行きに沿った構造を考慮せず、マスク画像に利用する要素画像も２次元モデルで作成されたものとした。これに対し、着目像領域における着目物体について奥行きに沿った構造を考慮し、マスク画像に利用する要素画像を３次元モデルで作成されたものとすることもできる。この場合には、着目物体が、表示面と平行な軸の回りの回転成分を有する動きをしたときであっても、その回転に追従しつつ違和感のないマスク画像を作成することができる。
【０１６９】
また、同時に表示する要素画像の数は任意である。さらに、時間順次表示を行う要素画像の数も任意である。
【０１７０】
また、上記の第１及び第２実施形態では、マスク画像情報ファイルが、表示指定ファイルと、要素画像ファイルとから構成されることとした。これに対して、マスク画像情報ファイルが、要素画像プレビューファイルを更に有することとし、要素画像のプレビューを指定された場合には、当該要素画像プレビューファイルを参照して、表示部１３において要素画像のプレビューを行うこととしてもよい。
【０１７１】
また、着目像情報に基づいて着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生したことを判定することとし、当該所定現象が発生したことをトリガとしてマスク画像の作成を開始させることもできる。例えば、特定人物の顔像を着目画像としたときに、瞼が閉じられたときに、目の位置から涙が流れる合成画像を作成することとすることもできる。
【０１７２】
また、上記の第１及び第２実施形態では、携帯電話装置に本発明を適用したが、他の種類の移動通信端末装置にも本発明を適用することができる。さらに、パーソナルコンピュータ等の一般の電子機器にも本発明を適用することができる。
【産業上の利用可能性】
【０１７３】
以上説明したように、本発明の画像処理方法及び画像処理方法は、取得された原画像の加工処理に適用することができる。また、本発明の移動通信端末装置は、画像メール機能やテレビ電話機能を有する移動通信端末装置に適用することができる。
【特許請求の範囲】
【請求項１】
画像の処理を行う画像処理方法であって、
着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；
前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報ファイルに登録されたマスク画像情報とに基づいて、前記原画像上に重ねて表示させるマスク画像を作成するマスク画像作成工程と；
前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成工程と；を備える画像処理方法。
【請求項２】
前記着目像含有画像は前記原画像である、ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記マスク画像情報ファイルは、特定の背景像の情報を選択したことを示す背景像選択情報を更に含み、
前記合成画像作成工程では、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が含まれる、ことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の図形の表示位置情報として含まれる、ことを特徴とする請求項４に記載の画像処理方法。
【請求項７】
前記関係情報には、前記着目像領域の大きさと前記特定の図形の表示時における大きさとの比率情報が含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報との組合せで定まる図形表示それぞれの実行時間情報が更に含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項９】
前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報の組合せで定まる複数種類の図形表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報の組合せで定まる複数種類の図形表示を同時に表示することを指定する同時表示指定の情報が更に含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項１１】
前記原画像は動画像である、ことを特徴する請求項１に記載の画像処理方法。
【請求項１２】
前記着目像情報に基づいて前記着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生判定工程を更に備え、
前記所定現象発生判定工程において肯定的な判定がされた後に、前記マスク画像作成工程を開始する、ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
画像の処理を行う画像処理装置であって、
着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；
前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報が登録されたマスク画像情報ファイルを格納する記憶手段と；
前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成するマスク画像作成手段と；
前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える画像処理装置。
【請求項１４】
前記着目像含有画像は前記原画像である、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記マスク画像情報ファイルは、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含み、
前記合成画像作成手段は、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
前記合成画像を表示する表示手段を更に備える、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１７】
前記合成画像データを送信する送信手段を更に備える、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１８】
前記原画像を取得するための撮像手段を更に備える、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１９】
請求項１３に記載の画像処理装置を備える、ことを特徴とする移動通信端末装置。
【請求項１】
画像の処理を行う画像処理方法であって、
着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出工程と；
前記着目像情報と、前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報ファイルに登録されたマスク画像情報とに基づいて、前記原画像上に重ねて表示させるマスク画像を作成するマスク画像作成工程と；
前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成工程と；を備える画像処理方法。
【請求項２】
前記着目像含有画像は前記原画像である、ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記マスク画像情報ファイルは、特定の背景像の情報を選択したことを示す背景像選択情報を更に含み、
前記合成画像作成工程では、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の代表点の位置情報が含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記着目像領域の位置に関連する情報には、前記原画像における前記着目像領域の傾き情報が含まれる、ことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記関係情報には、前記着目像領域の代表点を原点とし、前記着目像領域の傾きに基づいて座標軸の方向が定められる座標系における座標位置情報が、前記特定の図形の表示位置情報として含まれる、ことを特徴とする請求項４に記載の画像処理方法。
【請求項７】
前記関係情報には、前記着目像領域の大きさと前記特定の図形の表示時における大きさとの比率情報が含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報との組合せで定まる図形表示それぞれの実行時間情報が更に含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項９】
前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報の組合せで定まる複数種類の図形表示を時間順次に表示するとともに、時間順次表示を繰り返すことを指定する時間順次表示指定の情報が更に含まれる、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記マスク画像情報には、前記関係情報及び前記関係情報に対応する図形選択情報の組合せで定まる複数種類の図形表示を同時に表示することを指定する同時表示指定の情報が更に含まれる、ことを特徴とする請求項１に記載の画像処理方法。
【請求項１１】
前記原画像は動画像である、ことを特徴する請求項１に記載の画像処理方法。
【請求項１２】
前記着目像情報に基づいて前記着目像領域において予め定められた現象が発生したか否かを判定する所定現象発生判定工程を更に備え、
前記所定現象発生判定工程において肯定的な判定がされた後に、前記マスク画像作成工程を開始する、ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
画像の処理を行う画像処理装置であって、
着目すべき像の領域である着目像領域を原画像において特定し、前記原画像中における前記着目像領域の位置及び大きさに関連する情報を含む着目像情報を抽出する着目像情報抽出手段と；
前記着目像領域との位置及び大きさの関係を示す少なくとも１つの関係情報、前記関係情報それぞれに対応して特定の要素画像の情報を選択したことを示す要素画像選択情報、並びに前記要素画像選択情報により選択される少なくとも１つの要素画像情報が含まれたマスク画像情報が登録されたマスク画像情報ファイルを格納する記憶手段と；
前記着目像情報と、前記マスク画像情報とに基づいて、前記原画像上に重ねて表示されるマスク画像を作成するマスク画像作成手段と；
前記着目像領域内の着目像を前記原画像における場合と同一の位置に同一の大きさで含む着目像含有画像上に前記マスク画像を重ねた合成画像を作成する合成画像作成手段と；を備える画像処理装置。
【請求項１４】
前記着目像含有画像は前記原画像である、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記マスク画像情報ファイルは、特定の背景像の情報を選択したことを示す背景画像選択情報を更に含み、
前記合成画像作成手段は、前記着目像を含む特定表示像を前記原画像から切り出して、前記特定表示像を前記原画像における場合と同一の位置に同一の大きさで前記特定の背景像に重ねた背景付加像を前記着目像含有画像とした後に前記合成画像を作成する、ことを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
前記合成画像を表示する表示手段を更に備える、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１７】
前記合成画像データを送信する送信手段を更に備える、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１８】
前記原画像を取得するための撮像手段を更に備える、ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１９】
請求項１３に記載の画像処理装置を備える、ことを特徴とする移動通信端末装置。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図６】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７】
【図２２】
【図２４】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２３】
【図６】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図１６】
【図１７】
【図２２】
【図２４】
【国際公開番号】ＷＯ２００５／０７６２１０
【国際公開日】平成１７年８月１８日（２００５．８．１８）
【発行日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００５−５１７７６５（Ｐ２００５−５１７７６５）
【国際出願番号】ＰＣＴ／ＪＰ２００５／００１７５３
【国際出願日】平成１７年２月７日（２００５．２．７）
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
【国際公開日】平成１７年８月１８日（２００５．８．１８）
【発行日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００５／００１７５３
【国際出願日】平成１７年２月７日（２００５．２．７）
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
[ Back to top ]