説明

画像処理装置、画像処理方法およびプログラム

【課題】撮像画像の適切な位置にオブジェクトを合成することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【解決手段】原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、を備える、画像処理装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、撮像により得られた画像(以下、「撮像画像」とも言う。)に各種のオブジェクトを合成する技術が知られている。撮像画像には様々なオブジェクトが合成され得るが、例えば、被写体(例えば、人物や動物など)が撮影される場合にはその被写体が身に着ける物(例えば、衣装や鞄など)の画像がオブジェクトとして撮像画像に合成され得る。撮像画像に対してオブジェクトを合成する技術としては、様々な技術が開示されている。
【0003】
例えば、撮影条件(例えば、撮影場所や撮影時刻など)に応じた衣装画像を人物画像に合成する技術が開示されている(例えば、特許文献1参照)。この技術によれば、撮影条件に応じた衣装画像が人物画像に合成されるため、撮影条件に適した衣装画像を人物画像に合成することが可能となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−136841号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、例えば、上記特許文献1には、衣装画像を撮像画像の適切な位置に合成するための技術について開示されていない。したがって、撮像画像の適切な位置にオブジェクトを合成する技術が提案されることが望まれている。
【0006】
そこで、本開示では、撮像画像の適切な位置にオブジェクトを合成することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、を備える、画像処理装置が提供される。
【0008】
また、本開示によれば、原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成すること、を含む、画像処理方法が提供される。
【0009】
また、本開示によれば、コンピュータを、原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、を備える画像処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【0010】
以上説明したように、本開示に係る画像処理装置、画像処理方法およびプログラムによれば、撮像画像の適切な位置にオブジェクトを合成することが可能である。
【図面の簡単な説明】
【0011】
【図1】本開示の実施形態に係る画像処理システムの構成例を示す図である。
【図2】画像処理装置のハードウェア構成例を示す図である。
【図3】制御部の機能構成例を示す図である。
【図4】画像合成の概要を説明するための図である。
【図5】基準位置決定部による合成基準座標の決定例を説明するための図である。
【図6】動作制御部により制御される画面遷移例を説明するための図である。
【図7】オブジェクトの調整例(移動)を説明するための図である。
【図8】オブジェクトの調整例(拡大縮小)を説明するための図である。
【図9】オブジェクトの調整例(回転)を説明するための図である。
【図10】複数の顔領域が含まれる撮像画像に対するオブジェクトの合成例を説明するための図である。
【図11】画像処理システムの動作例を示すシーケンス図である。
【図12】画像処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0014】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.実施形態の説明
1−1.画像処理システムの構成例
1−2.画像処理装置のハードウェア構成例
1−3.画像処理装置の機能構成
1−4.画像処理システムの動作例
1−5.画像処理装置の動作例
2.むすび
【0015】
<<1.実施形態の説明>>
まず、本開示の実施形態について順次詳細に説明する。
【0016】
<1−1.画像処理システムの構成例>
まず、本開示の実施形態に係る画像処理システムの構成例について説明する。図1は、本開示の実施形態に係る画像処理システムの構成例を示す図である。
【0017】
図1に示したように、本開示の実施形態に係る画像処理システム1は、一例として、画像処理装置10と、サーバ20と、生成装置30とを備える。画像処理装置10、サーバ20および生成装置30の各々は、ネットワーク40に接続されており、ネットワーク40を介して相互に通信可能にされている。ただし、図1に示した構成は一例に過ぎないため、サーバ20、生成装置30およびネットワーク40は、必要に応じて設けられる。
【0018】
画像処理装置10は、撮像画像にオブジェクトを合成する。撮像画像およびオブジェクトは特に限定されないが、例えば、画像処理装置10は、被写体(例えば、人物や動物など)が撮影される場合には、その被写体が身に着ける物(例えば、衣装や鞄など)をオブジェクトとして撮像画像に合成する。なお、画像処理装置10は、例えば、デジタルスチルカメラ、スマートフォン、PC(Personal Computer)、Tablet型コンピュータ、イメージスキャナなどの任意の種類の装置であってよい。また、画像処理装置10は、上述した装置に搭載される画像合成モジュールであってもよい。
【0019】
サーバ20は、生成装置30から受信したオブジェクトを記憶しており、オブジェクトを取得するための要求(以下、単に「取得要求」とも言う。)を画像処理装置10からネットワーク40を介して受信すると、その画像処理装置10に対してネットワーク40を介してオブジェクトを返信する。例えば、画像処理装置10は、取得すべきオブジェクトを識別するためのオブジェクト識別情報を取得要求に含めることにより、所望のオブジェクトをサーバ20から取得することができる。ただし、画像処理装置10がサーバ20からオブジェクトを取得しない場合などには、サーバ20は存在しなくてもよい。
【0020】
生成装置30は、オブジェクト作成者による操作に従ってオブジェクトを生成し、生成したオブジェクトをサーバ20にネットワーク40を介して送信する。オブジェクト作成者は、生成装置30を介して自作のオブジェクトや販売促進用のオブジェクトなどをサーバ20に登録しておけば、画像処理装置10のユーザによりそのオブジェクトが画像処理装置10にダウンロードされ、画像処理装置10によりそのオブジェクトが撮像画像に合成される。画像処理装置10のユーザがそのオブジェクトを気に入れば、そのオブジェクトが示す衣装などの販売が促進され得る。ただし、オブジェクトを生成する必要がない場合などには、生成装置30は存在しなくてもよい。
【0021】
以上、本開示の実施形態に係る画像処理システム1の構成例について説明した。続いて、本開示の実施形態に係る画像処理装置10のハードウェア構成例について説明する。
【0022】
<1−2.画像処理装置のハードウェア構成例>
続いて、本開示の実施形態に係る画像処理装置10のハードウェア構成例について説明する。図2は、本開示の実施形態に係る画像処理装置10のハードウェア構成例を示す図である。
【0023】
図2に示したように、本開示の実施形態に係る画像処理装置10は、一例として、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、入力装置908と、出力装置910と、ストレージ装置911と、ドライブ912と、撮像装置913と、通信装置915とを備える。ただし、図2に示したハードウェア構成は一例に過ぎないため、画像処理装置10のハードウェア構成は、適宜変更され得る。
【0024】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置10内の動作全般を制御する制御部として機能し得る。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
【0025】
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。画像処理装置10のユーザは、該入力装置908を操作することにより、画像処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0026】
出力装置910は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置910は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
【0027】
ストレージ装置911は、本実施形態にかかる画像処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置911は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置911は、CPU901が実行するプログラムや各種データを格納する。
【0028】
ドライブ912は、記憶媒体用リーダライタであり、画像処理装置10に内蔵、あるいは外付けされる。ドライブ912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体50に記録されている情報を読み出して、RAM903に出力する。また、ドライブ912は、リムーバブル記憶媒体50に情報を書き込むこともできる。
【0029】
撮像装置913は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
【0030】
通信装置915は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置915は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置915は、例えば、ネットワーク40を介してサーバ20および生成装置30と通信を行うことが可能である。
【0031】
なお、ネットワーク40は、ネットワーク40に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク40は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク40は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
【0032】
以上、本開示の実施形態に係る画像処理装置10のハードウェア構成例について説明した。続いて、本開示の実施形態に係る画像処理装置10の機能構成について説明する。
【0033】
<1−3.画像処理装置の機能構成>
続いて、本開示の実施形態に係る画像処理装置10の機能構成について説明する。図3は、本開示の実施形態に係る画像処理装置10に備えられる制御部の機能構成例を示す図である。
【0034】
図3に示したように、本開示の実施形態に係る制御部100は、操作検出部110と、動作制御部120と、合成処理部130と、表示制御部140とを備える。また、合成処理部130は、オブジェクト取得部131と、撮像画像取得部132と、パラメータ検出部133と、オブジェクト調整部134と、基準位置決定部135と、前後判定部136と、画像合成部137とを備える。まず、図4を参照しながら、画像合成の概要について説明する。
【0035】
図4は、画像合成の概要を説明するための図である。図4に示すように、オブジェクトObjには、原点座標の一例としての両目の中央位置Co(xo,yo)が設定されている。この原点座標は、オブジェクト作成者による手動により設定されてもよいし、生成装置30により自動的に設定されてもよい。なお、両目とは、例えば、オブジェクトObjを身に着けることが可能な被写体(例えば、人物または動物)の右目と左目とを意味する。また、両目の中央位置とは、例えば、オブジェクトObjを被写体が身に着けたと仮定した場合に位置する両目間を結ぶ線分の中点を意味する。
【0036】
原点座標の一例としては、図4に示したように、両目の中央位置Coが使用され得る。しかしながら、原点座標は両目の中央位置Coに限定されず、後に説明する合成基準座標の選定に応じて適宜に変更され得る。
【0037】
また、オブジェクトObjには、両目間の距離doが設定されている。この両目間の距離doは、オブジェクト作成者による手動により設定されてもよいし、生成装置30により自動的に設定されてもよい。なお、両目間の距離とは、例えば、オブジェクトObjを被写体が身に着けたと仮定した場合に位置する両目間を結ぶ線分の長さを意味する。
【0038】
オブジェクトObjの画像形式は特に限定されないが、例えば、PNG形式であってもよい。画像形式がPNG形式の場合には、画像を構成する複数の画素の各々に対して透明度(αチャンネル)が設定され得るため、徐々に変化するように設定された透明度に従ってオブジェクトObjが撮像画像に合成されれば、より自然なオブジェクトObjの合成が期待される。以下では、オブジェクトObj、両目の中央位置Coおよび両目間の距離doの集合をオブジェクトデータObdと称する。
【0039】
オブジェクト取得部131は、オブジェクトを取得する機能を有する。オブジェクト取得部131は、取得したオブジェクトをオブジェクト調整部134に出力することが可能である。また、オブジェクト取得部131は、取得したオブジェクトを画像合成部137に出力することも可能である。オブジェクトは、ストレージ装置911から取得されてもよく、リムーバブル記憶媒体50から取得されてもよく、通信装置915を介して他の装置(例えば、サーバ20)から取得されてもよい。
【0040】
撮像画像取得部132は、撮像画像を取得する機能を有する。撮像画像取得部132は、取得した撮像画像をパラメータ検出部133に出力することが可能である。また、撮像画像取得部132は、取得した撮像画像を基準位置決定部135、前後判定部136および画像合成部137に出力することも可能である。撮像画像は、撮像装置913により撮影された画像であってもよく、ストレージ装置911から取得されてもよく、リムーバブル記憶媒体50から取得されてもよく、通信装置915を介して他の装置(例えば、サーバ20)から取得されてもよい。
【0041】
基準位置決定部135は、撮像画像に含まれる顔領域の位置に応じて合成基準座標を決定する。基準位置決定部135は、例えば、撮像画像Imgを解析することにより、撮像画像Imgに含まれる顔領域Fの位置に応じた合成基準座標を決定することができる。より詳細には、基準位置決定部135は、撮像画像Imgから特徴量を抽出し、この特徴量とあらかじめ特徴量が保存されたデータベースとの照合を行うことにより、撮像画像Imgに含まれる顔領域Fの位置に応じた合成基準座標を決定する。
【0042】
撮像画像Imgに含まれる顔領域Fの両目の中央位置Ciは、撮像画像Imgに含まれる顔領域Fの位置に応じた合成基準座標の一例である。しかしながら、撮像画像Imgに含まれる顔領域Fの位置に応じた合成基準座標は、撮像画像Imgに含まれる顔領域Fの両目の中央位置Ciに限定されない。例えば、撮像画像Imgに含まれる顔領域Fの位置に応じた合成基準座標は、撮像画像Imgに含まれる顔領域Fの所定の部位(例えば、鼻や口など)の位置であってもよい。
【0043】
基準位置決定部135は、特徴量として両目の特徴量を使用する場合には、撮像画像Imgに含まれる顔領域Fに含まれる両目の中央位置Ciの検出に基づいて合成基準座標を決定することができる。基準位置決定部135は、例えば、撮像画像Imgに含まれる顔領域Fに含まれる両目の中央位置Ci自体を合成基準座標として決定してもよい。
【0044】
図3に戻って説明を続ける。パラメータ検出部133および前後判定部136が有する機能については後に説明する。オブジェクト調整部134は、オブジェクトObjを調整する機能を有する。オブジェクト調整部134によるオブジェクトObjの調整手法は特に限定されない。例えば、オブジェクト調整部134は、顔領域Fに含まれる両目間の距離diに応じてオブジェクトのスケールを調整してもよい。
【0045】
より詳細には、オブジェクト調整部134は、両目間の距離doが顔領域Fに含まれる両目間の距離diと一致するようにオブジェクトObjのスケールを調整してもよい。あるいは、近似範囲をあらかじめ定められている場合、オブジェクト調整部134は、両目間の距離doが顔領域Fに含まれる両目間の距離diを基準とした近似範囲内に収まるようにオブジェクトObjのスケールを調整してもよい。オブジェクトObjを調整する他の手法については後に説明する。
【0046】
画像合成部137は、原点座標が設定されたオブジェクトを、原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように撮像画像に合成する。合成基準座標は、基準位置決定部135により決定されてもよいが、基準位置決定部135以外の機能構成により決定されてもよい。例えば、画像処理装置10以外の装置により決定された合成基準座標が撮像画像に付加されている場合、画像合成部137は、撮像画像に付加されている合成基準座標を取得して使用してもよい。
【0047】
オブジェクト調整部134によりオブジェクトObjが調整された場合、画像合成部137は、オブジェクト調整部134により調整されたオブジェクトを撮像画像Imgに合成する。図4に示した合成画像Smgは、両目の中央位置Ciを合成基準座標とした場合であり、かつ、両目の中央位置Coを原点座標とした場合に、画像合成部137により、原点座標が合成基準座標に合うようにオブジェクトObjが撮像画像Imgに合成されて得られた画像である。合成画像は、表示制御部140による表示制御に従って出力装置910により表示され得る。
【0048】
以上、画像合成の概要について説明したが、基準位置決定部135による合成基準座標の決定手法としては、他にも様々な手法を採用することができる。次に、図5を参照しながら、基準位置決定部135による合成基準座標の決定例について説明する。
【0049】
図5は、基準位置決定部135による合成基準座標の決定例を説明するための図である。ここでは、撮像画像に含まれる顔領域Fの両目の中央位置が合成基準座標として決定され、原点座標がこの合成基準座標に合うようにオブジェクトObjが2つの撮像画像の各々に合成されるとする。2つの撮像画像のうちの一方は、撮像画像に含まれる顔領域Fが傾きを有しておらず、他方は、撮像画像に含まれる顔領域Fが傾きを有している。
【0050】
撮像画像に含まれる顔領域Fが傾きを有していない場合には、撮像画像に含まれる顔領域Fの両目の中央位置を通過する鉛直方向のラインL1と撮像画像に含まれる胴体領域の中央位置を通過する鉛直方向のラインとが一致することが想定される。このため、画像合成部137により撮像画像の自然な位置にオブジェクトObjが合成された合成画像Smgが得られる。
【0051】
一方、撮像画像に含まれる顔領域Fが傾きを有している場合には、撮像画像に含まれる顔領域Fの両目の中央位置を通過する鉛直方向のラインL1と撮像画像に含まれる胴体領域の中央位置を通過する鉛直方向のラインとが一致しないことが想定される。このため、画像合成部137により撮像画像の不自然な位置にオブジェクトObjが合成された合成画像Smg1が得られてしまう。
【0052】
したがって、基準位置決定部135は、撮像画像に含まれる顔領域Fが傾きを有している場合には、撮像画像に含まれる顔領域Fの両目の中央位置を傾きの大きさ(t)を用いて補正して合成基準座標を決定してもよい。より詳細には、基準位置決定部135は、撮像画像に含まれる顔領域Fの縦サイズh1に所定の割合(例えば、40%)を乗じて得た距離h2を算出し、この距離h2を両目の中央位置Cから回転中心Bまでの距離と推定し、以下の式(1)により補正量Aを算出する。
【0053】
A=h2×sin(t) ・・・(1)
【0054】
補正量Aは、水平方向のベクトル量として算出され得る。基準位置決定部135は、例えば、補正量Aに基づいてオブジェクトObjを移動させることにより、オブジェクトObjを適切に補正することができる。このため、画像合成部137により撮像画像の自然な位置にオブジェクトObjが合成された合成画像Smg11が得られる。合成画像Smg11を参照すると、補正後のオブジェクトObjの中央位置を通過する鉛直方向のラインL2と撮像画像に含まれる胴体領域の中央位置を通過する鉛直方向のラインとが略一致している。
【0055】
以上、基準位置決定部135による合成基準座標の決定例について説明した。続いて、図6を参照しながら、動作制御部120により制御される画面遷移例について説明する。なお、以下に説明する画面遷移例は、画面遷移の単なる一例に過ぎない。また、操作検出部110により検出される操作は、例えば、入力装置908に対してユーザから与えられる。表示制御部140により表示制御された画面は、例えば、出力装置910により表示される。
【0056】
図6は、動作制御部120により制御される画面遷移例を説明するための図である。図6に示すように、例えば、画像処理装置10が起動されると、表示制御部140により起動画面が表示制御される。起動画面が表示制御されている状態において、操作検出部110により撮影モードを選択するための操作が検出されると、表示制御部140により撮影画面が表示制御される。
【0057】
一方、起動画面が表示制御されている状態において、操作検出部110により一覧表示モードを選択するための操作が検出されると、表示制御部140により画像選択画面が表示制御される。画像選択画面には、表示可能な画像が表示されるが、この表示可能な画像は、ストレージ装置911から取得されてもよく、リムーバブル記憶媒体50から取得されてもよく、通信装置915を介して他の装置(例えば、サーバ20)から取得されてもよい。
【0058】
表示制御部140により撮影画面が表示制御されている状態において、操作検出部110により撮影操作が検出されると、表示制御部140により表示画面が表示制御される。表示画面には、撮像装置913により撮影されて得られた撮像画像Img2が表示されており、撮像画像Img2には顔領域F2が含まれている。
【0059】
また、表示制御部140により表示画面が表示制御されている状態において、操作検出部110によりBack操作が検出されると、表示制御部140により起動画面が表示制御される。また、表示制御部140により表示画面が表示制御されている状態において、操作検出部110によりOpen操作が検出されると、表示制御部140により画像選択画面が表示制御される。
【0060】
表示制御部140により画像選択画面が表示制御されている状態において、操作検出部110により画像を選択するための操作が検出されると、表示制御部140により表示画面が表示制御される。表示画面には、選択された画像が表示され得る。
【0061】
表示制御部140により表示画面が表示制御されている状態において、操作検出部110により顔領域F2を選択するための操作が検出されると、表示制御部140によりオブジェクト選択メニューが表示制御される。図6に示したように、顔領域F2を選択するための操作は、例えば、ユーザがタッチパネルに対して行う顔領域F2へのタッチ操作であってもよい。オブジェクト選択メニューには、オブジェクト取得部131により取得されたオブジェクトが表示される。図6には、オブジェクトの例として、「Gray coat」「military」「Sou」が表示されている。
【0062】
表示制御部140によりオブジェクト選択メニューが表示制御されている状態において、操作検出部110によりオブジェクトを選択するための操作が検出されると、選択されたオブジェクトがオブジェクト取得部131により取得され、取得されたオブジェクトが撮像画像Img2に合成された合成画像が表示制御部140により表示制御される。選択されたオブジェクトと撮像画像Img2との合成は、画像合成部137によりなされ得る。
【0063】
なお、図6に示した例では、オブジェクト取得部131は、操作検出部110により検出された操作に基づいてオブジェクトを取得しているが、オブジェクトの取得手法はかかる例に限定されない。例えば、オブジェクト取得部131は、撮像画像取得部132により取得された撮像画像に含まれる顔領域の属性を解析し、解析結果に応じたオブジェクトを取得してもよい。
【0064】
顔領域の属性の例としては、性別、年齢、顔の表情(例えば、笑顔や悲しい顔など)などが挙げられる。例えば、顔領域の属性とオブジェクトとを関連付けるための情報が存在すれば、オブジェクト取得部131は、この情報を参照することにより、顔領域の属性に関連付けられたオブジェクトを取得することができる。例えば、オブジェクトに顔領域の属性が付加されていれば、オブジェクト取得部131は、解析結果としての顔領域の属性が付加されているオブジェクトを取得することができる。
【0065】
表示制御部140により表示画面が表示制御されている状態において、オブジェクトが合成されている顔領域F2を選択するための操作が操作検出部110により検出されると、表示制御部140により調整画面が表示制御される。図6に示したように、オブジェクトが合成されている顔領域F2を選択するための操作は、例えば、ユーザがタッチパネルに対して行う顔領域F2への長押し操作であってもよい。調整画面には、選択されたオブジェクトObj2が撮像画像Img2に合成された合成画像Smg2が表示される。
【0066】
図6には、選択されたオブジェクトObj2を囲うように枠Fr2が表示されている。この枠Fr2をユーザが目にすれば、オブジェクトObj2の大きさ、形状、位置などが容易にユーザに把握される。また、図6には、回転ボタンRva、回転ボタンRvbおよびOkボタンOknが表示されている。表示制御部140により調整画面が表示制御されている状態において、OKを選択するための操作(例えば、OkボタンOknを押下する操作)が操作検出部110により検出されると、表示制御部140により表示画面が表示制御される。表示画面には、調整画面に表示されていた合成画像Smg2が表示され得る。
【0067】
以上、動作制御部120により制御される画面遷移例について説明した。なお、表示制御部140により調整画面が表示制御されている状態においては、オブジェクトObj2を調整することが可能である。続いて、図7〜図9を参照しながら、オブジェクト調整部134によるオブジェクトの調整例について説明する。
【0068】
図7は、オブジェクトの調整例(移動)を説明するための図である。図7に示すように、例えば、表示制御部140により調整画面が表示制御されている状態において、操作検出部110によりオブジェクトObj2を移動させるための操作が検出されると、検出された操作に基づいて、表示制御部140によりオブジェクトObj2の位置が調整される。
【0069】
図7に示したように、オブジェクトObj2を移動させるための操作は、例えば、ユーザがタッチパネルに対して行う枠Fr2内に対するドラッグ操作であってもよい。合成画像Smg21には、枠Fr2内に対する横方向(例えば、左方向)へのドラッグ操作に従ってオブジェクトObj2が移動されたオブジェクトObj21が存在する。合成画像Smg21には、オブジェクトObj21の移動に合わせて枠Fr2が移動された枠Fr21も存在する。
【0070】
また、合成画像Smg22には、枠Fr2内に対する縦方向(例えば、下方向)へのドラッグ操作に従ってオブジェクトObj2が移動されたオブジェクトObj22が存在する。合成画像Smg22には、オブジェクトObj22の移動に合わせて枠Fr2が移動された枠Fr22も存在する。なお、オブジェクトObj2を移動させるための操作がドラッグ操作によりなされた場合、表示制御部140は、オブジェクトObj2の移動操作をドラッグされた角度に基づいて縦方向または横方向への移動操作に規制してもよい。例えば、表示制御部140は、ドラッグの水平角が所定角度(例えば、20度)未満の場合にオブジェクトの横方向へのオブジェクトObj2の移動を行い、ドラッグの垂直角(所定角度(例えば、20度)未満の場合に縦方向へのオブジェクトObj2の移動を行ってもよい。また、表示制御部140は、ドラッグの水平角が所定角度(例えば、20度)以上、かつ、ドラッグの垂直角が所定角度(例えば、20度)以上の場合には、移動操作に対する縦方向または横方向への規制を行わず、ドラッグの方向にオブジェクトObj2を移動してもよい。
【0071】
図8は、オブジェクトの調整例(拡大縮小)を説明するための図である。図8に示すように、例えば、表示制御部140により調整画面が表示制御されている状態において、操作検出部110によりオブジェクトObj2のスケールを調整するための操作が検出されると、検出された操作に基づいて、表示制御部140によりオブジェクトObj2のスケールが調整される。このとき、表示制御部140は、例えば、オブジェクトObj2に設定された原点座標の位置を変更させずに、この原点座標の位置を基準としてオブジェクトObj2のスケールを調整することができる。
【0072】
図8に示したように、オブジェクトObj2のスケールを調整するための操作は、例えば、ユーザがタッチパネルに対して行う枠Fr2外に対するドラッグ操作であってもよい。合成画像Smg23には、枠Fr2外(例えば、枠Fr2の左側)に対する横方向(例えば、左方向)へのドラッグ操作に従ってオブジェクトObj2のスケールが調整されたオブジェクトObj23が存在する。特に、オブジェクトObj23は、オブジェクトObj2に設定された原点座標の位置が変更されない状態で、この原点座標の位置を基準としてオブジェクトObj2のスケールが調整されたオブジェクトである。合成画像Smg23には、オブジェクトObj23のスケール調整に合わせて枠Fr2のスケールが調整された枠Fr23も存在する。なお、タッチパネルがマルチタッチ対応である場合には、オブジェクトObj2を拡大する操作は、ピンチアウト操作であってもよい。
【0073】
また、合成画像Smg24には、枠Fr2外(例えば、枠Fr2の左側)に対する縦方向(例えば、上方向)へのドラッグ操作に従ってオブジェクトObj2のスケールが調整されたオブジェクトObj24が存在する。特に、オブジェクトObj24は、オブジェクトObj2に設定された原点座標の位置が変更されない状態で、この原点座標の位置を基準としてオブジェクトObj2のスケールが調整されたオブジェクトである。合成画像Smg24には、オブジェクトObj24のスケール調整に合わせて枠Fr2のスケールが調整された枠Fr24も存在する。なお、タッチパネルがマルチタッチ対応である場合には、オブジェクトObj2を縮小する操作は、ピンチイン操作であってもよい。また、オブジェクトObj2のスケールを調整するための操作がドラッグ操作によりなされた場合、表示制御部140は、オブジェクトObj2のスケール調整操作をドラッグされた角度に基づいて縦方向または横方向へのスケール調整操作に規制してもよい。例えば、表示制御部140は、ドラッグの水平角が所定角度(例えば、20度)未満の場合にオブジェクトの横方向へのオブジェクトObj2のスケール調整を行い、ドラッグの垂直角(所定角度(例えば、20度)未満の場合に縦方向へのオブジェクトObj2のスケール調整を行ってもよい。また、表示制御部140は、ドラッグの水平角が所定角度(例えば、20度)以上、かつ、ドラッグの垂直角が所定角度(例えば、20度)以上の場合には、スケール調整操作に対する縦方向または横方向への規制を行わず、ドラッグの方向にオブジェクトObj2のスケールを調整してもよい。
【0074】
図9は、オブジェクトの調整例(回転)を説明するための図である。図9に示すように、例えば、表示制御部140により調整画面が表示制御されている状態において、操作検出部110によりオブジェクトObj2の角度を調整するための操作が検出されると、検出された操作に基づいて、表示制御部140によりオブジェクトObj2の角度が調整される。
【0075】
図9に示したように、オブジェクトObj2の角度を調整するための操作は、例えば、ユーザが回転ボタンRvaまたは回転ボタンRvbに対する押下操作であってもよい。合成画像Smg25には、回転ボタンRvaに対する押下操作に従ってオブジェクトObj2の角度が調整されたオブジェクトObj25が存在する。合成画像Smg25には、オブジェクトObj25の角度調整に合わせて枠Fr2の角度が調整された枠Fr25も存在する。
【0076】
また、合成画像Smg26には、回転ボタンRvbに対する押下操作に従ってオブジェクトObj2の角度が調整されたオブジェクトObj26が存在する。合成画像Smg26には、オブジェクトObj26の角度調整に合わせて枠Fr2のスケールが調整された枠Fr26も存在する。
【0077】
なお、図9に示した例では、オブジェクト調整部134は、操作検出部110により検出された操作に基づいてオブジェクトの角度を調整しているが、撮像画像に含まれる顔領域の角度に応じてオブジェクトの角度を調整してもよい。例えば、オブジェクト調整部134は、撮像画像に含まれる顔領域の角度とオブジェクトの角度とが一致するようにオブジェクトの角度を調整してもよい。例えば、オブジェクト調整部134は、撮像画像に含まれる両目の位置を検出し、検出した両目の位置を通過する平面の角度を顔領域の角度としてもよい。オブジェクト調整部134は、例えば、検出した両目の位置を通過する鉛直方向の平面の角度を顔領域の角度としてもよい。
【0078】
オブジェクト調整部134によるオブジェクトの調整手法は、かかる例に限定されない。例えば、撮像画像に含まれる身体領域とオブジェクトに含まれる身体領域との間で画素値の統一性が存在しない場合には、不自然な合成画像が生成されてしまう可能性がある。したがって、オブジェクト調整部134は、撮像画像に含まれる身体領域の画素値に応じてオブジェクトに含まれる身体領域の画素値を調整してもよい。例えば、オブジェクト調整部134は、撮像画像に含まれる身体領域の画素値と一致する値となるようにオブジェクトに含まれる身体領域の画素値を調整してもよい。
【0079】
撮像画像に含まれる身体領域は特に限定されないが、例えば、顔領域であってもよい。オブジェクトに含まれる身体領域も特に限定されないが、例えば、肌が露出する領域(例えば、手領域や足領域など)であってもよい。画素値は、例えば、画素に対して規定されるRGB値であってもよい。撮像画像に含まれる身体領域の画素値は、例えば、撮像画像から検出されるパラメータの一例としてパラメータ検出部133により検出され得る。撮像画像に含まれる身体領域とオブジェクトに含まれる身体領域との間で画素値の統一性が存在する場合には、自然な合成画像が生成され得る。
【0080】
また、例えば、撮像画像に含まれる物体とオブジェクトとの間で明るさの統一性が存在しない場合には、不自然な合成画像が生成されてしまう可能性がある。したがって、オブジェクト調整部134は、撮像画像に含まれる物体の明るさに応じてオブジェクトの明るさを調整してもよい。例えば、オブジェクト調整部134は、撮像画像に含まれる物体の明るさと一致する値となるようにオブジェクトの明るさを調整してもよい。
【0081】
撮像画像に含まれる物体は特に限定されないが、例えば、顔領域であってもよく、その他の物体(例えば、机や棚など)であってもよい。明るさは、例えば、画素に対して規定されるRGB値の平均値であってもよい。撮像画像に含まれる物体の明るさは、例えば、撮像画像から検出されるパラメータの一例としてパラメータ検出部133により検出され得る。撮像画像に含まれる物体とオブジェクトとの間で明るさの統一性が存在する場合には、自然な合成画像が生成され得る。
【0082】
以上、オブジェクト調整部134によるオブジェクトの調整例について説明した。ところで、撮像画像には複数の顔領域が存在する場合もある。かかる場合には、撮像画像の複数箇所にオブジェクトが合成されるが、オブジェクトの合成順序を誤ってしまう可能性もある。以下では、図10を参照しながら、この可能性を低減する手法について説明する。
【0083】
図10は、複数の顔領域が含まれる撮像画像に対するオブジェクトの合成例を説明するための図である。図10に示すように、撮像画像Img3には、複数の顔領域が含まれている。この場合、例えば、手前に存在する顔領域の位置に応じてオブジェクトObj3aが先に合成され、奥に存在する顔領域の位置に応じてオブジェクトObj3bが後に合成されると、合成順序の誤った合成画像Smg32が生成されてしまう。
【0084】
したがって、前後判定部136は、撮像画像に複数の顔領域が含まれる場合には、複数の顔領域の前後関係を判定するのがよい。この場合、画像合成部137は、前後判定部136により判定された前後関係に従って複数の顔領域の各々に関してオブジェクトを合成するのがよい。複数の顔領域の前後関係の判定手法は特に限定されない。例えば、前後判定部136は、両目間の距離の比較的長い顔領域が手前に存在し、両目間の距離の比較的短い顔領域が奥に存在すると判定してもよい。この場合、画像合成部137は、奥に存在すると判定された顔領域から順にオブジェクトを合成するのがよい。
【0085】
図10に示した例では、前後判定部136は、両目間の距離diaと両目間の距離dibとを比較し、より長い両目間の距離diaを有する顔領域が手前に存在し、より短い両目間の距離dibを有する顔領域が奥に存在すると判定している。そのため、画像合成部137は、奥に存在すると判定された顔領域の位置に応じてオブジェクトObj3bを先に合成し、手前に存在すると判定された顔領域の位置に応じてオブジェクトObj3aを後に合成している。
【0086】
このような順序によりオブジェクトが合成されれば、合成順序の正しい合成画像Smg31が生成される。なお、図10に示した例では、合成される複数のオブジェクトは相互に異なっているが、同一であってもよい。
【0087】
以上、撮像画像の複数箇所にオブジェクトが合成される場合に、オブジェクトの合成順序を誤る可能性を低減する手法について説明した。以下では、図11を参照しながら、画像処理システム1の動作例について説明する。
【0088】
図11は、画像処理システム1の動作例を示すシーケンス図である。図11に示すように、まず、生成装置30は、オブジェクトデータを生成する(ステップS11)。上記したように、オブジェクトデータには、オブジェクト、両目の中央位置および両目間の距離が含まれている。また、上記したように、例えば、生成装置30は、オブジェクト作成者による操作に基づいてオブジェクトデータを生成する。続いて、生成装置30は、生成したオブジェクトデータをサーバ20にネットワーク40を介して送信する。オブジェクトデータの送信は、オブジェクト作成者による操作に基づいてなされる。
【0089】
続いて、サーバ20は、生成装置30からネットワーク40を介して送信されたオブジェクトデータを受信し(ステップS13)、受信したオブジェクトデータを記憶する(ステップS14)。画像処理装置10は、オブジェクトデータを取得するために、通信装置915によりネットワーク40を介してサーバ20に取得要求を送信する(ステップS15)。取得要求が送信されるタイミングは特に限定されないが、例えば、オブジェクト選択メニューへの遷移操作がなされたときであってもよく、オブジェクト取得のための操作がなされたときであってもよい。
【0090】
サーバ20は、画像処理装置10からネットワーク40を介して送信された取得要求を受信すると(ステップS16)、記憶しているオブジェクトデータを画像処理装置10にネットワーク40を介して送信する(ステップS17)。ここで送信されるオブジェクトデータは、取得要求により指定されたオブジェクトデータであってもよいし、取得要求により指定されているか否かに関わらず、画像処理装置10に送信可能なオブジェクトデータであってもよい。
【0091】
画像処理装置10は、通信装置915によりサーバ20からネットワーク40を介して送信されたオブジェクトデータを受信すると(ステップS18)、通信装置915により受信したオブジェクトデータを記憶する(ステップS19)。通信装置915により受信したオブジェクトデータは、ストレージ装置911により記憶されてもよく、リムーバブル記憶媒体50により記憶されてもよい。このように記憶されたオブジェクトデータは、図12に示すような動作において使用され得る。
【0092】
なお、例えば、ストレージ装置911やリムーバブル記憶媒体50がオブジェクトデータを既に記憶している場合も想定される。かかる場合には、図11に示された動作(ステップS11〜ステップS19)は行われなくてもよい。また、オブジェクトデータを既にサーバ20が記憶している場合には、図11に示された動作の一部(ステップS11〜ステップS14)は行われなくてもよい。
【0093】
以上、画像処理システム1の動作例について説明した。以下では、図12を参照しながら、画像処理装置10の動作例について説明する。
【0094】
図12は、画像処理装置10の動作例を示すフローチャートである。図12に示すように、まず、撮像画像取得部132は、撮像画像を取得する(ステップS21)。上記したように、撮像画像取得部132により取得される撮像画像は、ストレージ装置911から取得されてもよいが、他の場所から取得されてもよい。撮像画像が取得されるタイミングは特に限定されないが、例えば、操作検出部110により撮像画像取得のための操作(例えば、撮像操作など)がなされたときであってもよい。
【0095】
続いて、基準位置決定部135は、撮像画像取得部132により取得された撮像画像から合成基準座標を決定する(ステップS22)。例えば、上記したように、基準位置決定部135は、撮像画像に含まれる顔領域の位置に応じて合成基準座標を決定する。なお、上記したように、他の装置により既に決定された合成基準座標が撮像画像に付加されている場合などには、撮像画像に付加されている合成基準座標を使用すればよいため、ステップS22は行われなくてもよい。
【0096】
続いて、オブジェクト取得部131は、オブジェクトを取得する(ステップS23)。上記したように、オブジェクト取得部131により取得されるオブジェクトは、ストレージ装置911から取得されてもよいが、他の場所から取得されてもよい。
【0097】
続いて、オブジェクト調整部134は、オブジェクト取得部131により取得されたオブジェクトを調整する(ステップS24)。上記したように、オブジェクト調整部134によるオブジェクトの調整手法は特に限定されない。また、オブジェクトの調整はなされなくてもよい。続いて、画像合成部137は、オブジェクトに設定されている原点座標が合成基準座標に合うように調整後のオブジェクトを撮像画像に合成する(ステップS25)。画像合成部137により生成された合成画像は、表示制御部140により表示制御された場合には、出力装置910により表示される(ステップS26)。
【0098】
なお、画像合成部137により生成された合成画像は、出力装置910により表示されなくてもよい。例えば、画像合成部137により生成された合成画像は、ストレージ装置911により記憶されてもよく、リムーバブル記憶媒体50により記憶されてもよく、他の装置に送信されてもよい。
【0099】
<<3.むすび>>
以上説明したように、本開示の実施形態によれば、原点座標が設定されたオブジェクトを、原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように撮像画像に合成することができる。したがって、本開示の実施形態によれば、撮像画像の適切な位置にオブジェクトを合成することが可能である。
【0100】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0101】
例えば、上記した例では、合成処理部130を画像処理装置10が有する例を主に説明したが、かかる機能構成は、画像処理装置10の代わりにサーバが有していてもよい。例えば、画像処理装置10がオブジェクトデータおよび撮像画像をサーバに送信した場合、サーバは画像処理装置10の代わりに撮像画像にオブジェクトを合成し、合成画像を画像処理装置10に送信するサービスを提供してもよい。このようなサービスは、例えば、webサービスにより実現されてもよい。
【0102】
また、本明細書の画像処理装置10の動作における各ステップは、必ずしもフローチャートやシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置10の動作における各ステップは、フローチャートやシーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【0103】
また、画像処理装置10に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した画像処理装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【0104】
また、以下のような構成も本開示の技術的範囲に属する。
(1)
原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、
を備える、画像処理装置。
(2)
前記画像処理装置は、
前記顔領域の位置に応じて前記合成基準座標を決定する基準位置決定部、をさらに備える、前記(1)に記載の画像処理装置。
(3)
前記基準位置決定部は、
前記顔領域に含まれる両目の中央位置の検出に基づいて前記合成基準座標を決定する、前記(2)に記載の画像処理装置。
(4)
前記基準位置決定部は、
前記顔領域が傾きを有さない場合、前記両目の中央位置を前記合成基準座標に決定し、前記顔領域が傾きを有する場合、前記両目の中央位置を前記傾きの大きさを用いて補正して前記合成基準座標を決定する、前記(3)に記載の画像処理装置。
(5)
前記画像処理装置は、
前記オブジェクトを調整するオブジェクト調整部をさらに備え、
前記画像合成部は、
前記オブジェクト調整部により調整されたオブジェクトを前記撮像画像に合成する、前記(1)〜(4)のいずれか一項に記載の画像処理装置。
(6)
前記オブジェクト調整部は、
前記顔領域に含まれる両目間の距離に応じて前記オブジェクトのスケールを調整する、前記(5)に記載の画像処理装置。
(7)
前記画像処理装置は、
ユーザから入力される操作を検出する操作検出部をさらに備え、
前記オブジェクト調整部は、
前記操作検出部により検出された操作に基づいて前記オブジェクトのスケールを調整する、前記(5)に記載の画像処理装置。
(8)
前記画像処理装置は、
ユーザから入力される操作を検出する操作検出部をさらに備え、
前記オブジェクト調整部は、
前記操作検出部により検出された操作に基づいて前記オブジェクトの位置を調整する、前記(5)に記載の画像処理装置。
(9)
前記オブジェクト調整部は、
前記撮像画像に含まれる身体領域の画素値に応じて前記オブジェクトに含まれる身体領域の画素値を調整する、前記(5)に記載の画像処理装置。
(10)
前記オブジェクト調整部は、
前記撮像画像に含まれる物体の明るさに応じて前記オブジェクトの明るさを調整する、前記(5)に記載の画像処理装置。
(11)
前記オブジェクト調整部は、
前記撮像画像に含まれる顔領域の角度に応じて前記オブジェクトの角度を調整する、前記(5)に記載の画像処理装置。
(12)
前記画像処理装置は、
ユーザから入力される操作を検出する操作検出部をさらに備え、
前記オブジェクト調整部は、
前記操作検出部により検出された操作に基づいて前記オブジェクトの角度を調整する、前記(5)に記載の画像処理装置。
(13)
前記画像処理装置は、前記撮像画像に複数の顔領域が含まれる場合に、前記複数の顔領域の前後関係を判定する前後判定部をさらに備え、
前記画像合成部は、前記前後判定部により判定された前後関係に従って前記複数の顔領域の各々に関してオブジェクトを合成する、前記(1)〜(12)のいずれか一項に記載の画像処理装置。
(14)
前記画像処理装置は、
前記撮像画像を取得する前記撮像画像取得部と、
前記オブジェクトを取得するオブジェクト取得部と、
をさらに備える、前記(1)〜(13)のいずれか一項に記載の画像処理装置。
(15)
前記オブジェクト取得部は、前記撮像画像取得部により取得された前記撮像画像に含まれる顔領域の属性を解析し、解析結果に応じたオブジェクトを取得する、前記(14)に記載の画像処理装置。
(16)
原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成すること、
を含む、画像処理方法。
(17)
コンピュータを、
原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、
を備える画像処理装置として機能させるためのプログラム。
【符号の説明】
【0105】
1 画像処理システム
10 画像処理装置
20 サーバ
30 生成装置
40 ネットワーク
100 制御部
110 操作検出部
120 動作制御部
130 合成処理部
140 表示制御部
131 オブジェクト取得部
132 撮像画像取得部
133 パラメータ検出部
134 オブジェクト調整部
135 基準位置決定部
136 前後判定部
137 画像合成部



【特許請求の範囲】
【請求項1】
原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、
を備える、画像処理装置。
【請求項2】
前記画像処理装置は、
前記顔領域の位置に応じて前記合成基準座標を決定する基準位置決定部、をさらに備える、請求項1に記載の画像処理装置。
【請求項3】
前記基準位置決定部は、
前記顔領域に含まれる両目の中央位置の検出に基づいて前記合成基準座標を決定する、請求項2に記載の画像処理装置。
【請求項4】
前記基準位置決定部は、
前記顔領域が傾きを有さない場合、前記両目の中央位置を前記合成基準座標に決定し、前記顔領域が傾きを有する場合、前記両目の中央位置を前記傾きの大きさを用いて補正して前記合成基準座標を決定する、請求項3に記載の画像処理装置。
【請求項5】
前記画像処理装置は、
前記オブジェクトを調整するオブジェクト調整部をさらに備え、
前記画像合成部は、
前記オブジェクト調整部により調整されたオブジェクトを前記撮像画像に合成する、請求項1に記載の画像処理装置。
【請求項6】
前記オブジェクト調整部は、
前記顔領域に含まれる両目間の距離に応じて前記オブジェクトのスケールを調整する、請求項5に記載の画像処理装置。
【請求項7】
前記画像処理装置は、
ユーザから入力される操作を検出する操作検出部をさらに備え、
前記オブジェクト調整部は、
前記操作検出部により検出された操作に基づいて前記オブジェクトのスケールを調整する、請求項5に記載の画像処理装置。
【請求項8】
前記画像処理装置は、
ユーザから入力される操作を検出する操作検出部をさらに備え、
前記オブジェクト調整部は、
前記操作検出部により検出された操作に基づいて前記オブジェクトの位置を調整する、請求項5に記載の画像処理装置。
【請求項9】
前記オブジェクト調整部は、
前記撮像画像に含まれる身体領域の画素値に応じて前記オブジェクトに含まれる身体領域の画素値を調整する、請求項5に記載の画像処理装置。
【請求項10】
前記オブジェクト調整部は、
前記撮像画像に含まれる物体の明るさに応じて前記オブジェクトの明るさを調整する、請求項5に記載の画像処理装置。
【請求項11】
前記オブジェクト調整部は、
前記撮像画像に含まれる顔領域の角度に応じて前記オブジェクトの角度を調整する、請求項5に記載の画像処理装置。
【請求項12】
前記画像処理装置は、
ユーザから入力される操作を検出する操作検出部をさらに備え、
前記オブジェクト調整部は、
前記操作検出部により検出された操作に基づいて前記オブジェクトの角度を調整する、請求項5に記載の画像処理装置。
【請求項13】
前記画像処理装置は、前記撮像画像に複数の顔領域が含まれる場合に、前記複数の顔領域の前後関係を判定する前後判定部をさらに備え、
前記画像合成部は、前記前後判定部により判定された前後関係に従って前記複数の顔領域の各々に関してオブジェクトを合成する、請求項1に記載の画像処理装置。
【請求項14】
前記画像処理装置は、
前記撮像画像を取得する前記撮像画像取得部と、
前記オブジェクトを取得するオブジェクト取得部と、
をさらに備える、請求項1に記載の画像処理装置。
【請求項15】
前記オブジェクト取得部は、前記撮像画像取得部により取得された前記撮像画像に含まれる顔領域の属性を解析し、解析結果に応じたオブジェクトを取得する、請求項14に記載の画像処理装置。
【請求項16】
原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成すること、
を含む、画像処理方法。
【請求項17】
コンピュータを、
原点座標が設定されたオブジェクトを、前記原点座標が撮像画像に含まれる顔領域の位置に応じた合成基準座標に合うように前記撮像画像に合成する画像合成部、
を備える画像処理装置として機能させるためのプログラム。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−70342(P2013−70342A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−209084(P2011−209084)
【出願日】平成23年9月26日(2011.9.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】