説明

画像処理装置、撮像装置、画像処理方法、画像処理プログラム

【課題】人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成すること。
【解決手段】本発明の画像処理方法は、画像上で人物以外の領域の中から加工対象領域を選定する選定手順(S184)と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順(S185〜S187)と、前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順(S188)とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を加工する画像処理装置、撮像装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【0002】
特許文献1には、画像に写っている人物の表情を認識し、その表情に合ったマーク(「汗マーク」、「影マーク」など)を人物の顔の上に合成する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第4291963号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、この技術によると、人物のオリジナルの表情が損なわれる虞があった。
【0005】
本発明は、以上の問題に鑑みてなされたものであり、人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成することのできる画像処理装置、撮像装置、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、画像上で人物以外の領域の中から加工対象領域を選定する選定手段と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手段と、前記判定手段が判定した内容の加工処理を前記加工対象領域に対して施す処理手段とを備える。
【0007】
また、本発明の撮像装置は、被写体を撮像して画像を取得する撮像手段と、前記撮像手段が取得した前記画像に対して処理を施す本発明の画像処理装置とを備える。
【0008】
また、本発明の画像処理方法は、画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順とを含む。
【0009】
また、本発明の画像処理プログラムは、画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順とをコンピュータに実行させる。
【発明の効果】
【0010】
本発明によれば、人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成することのできる画像処理装置、撮像装置、画像処理方法、画像処理プログラムが実現する。
【図面の簡単な説明】
【0011】
【図1】ディジタルカメラ10の構成図である。
【図2】撮影モードにおける画像処理エンジン90の動作フローチャートである。
【図3】画像処理エンジン90による感情強調処理の動作フローチャートである。
【図4】感情強調処理前の画像の例である。
【図5】ベクトル軸の選定方法の例を示す図である。
【図6】領域分けされたベクトル空間の例を示す図である(海・女性の場合)。
【図7】領域分けされたベクトル空間の例を示す図である(樹木・女性の場合)。
【図8】領域分けされたベクトル空間の例を示す図である(空・女性の場合)。
【図9】領域分けされたベクトル空間の例を示す図である(空・男性の場合)。
【図10】感情強調処理後の画像の例である。
【発明を実施するための形態】
【0012】
[実施形態]
以下、本発明の実施形態としてディジタルカメラを説明する。
【0013】
図1は、ディジタルカメラ10の構成図である。図1に示すとおりディジタルカメラ10には、撮影レンズ20、メカニカルシャッタ30、撮像素子50、タイミングジェネレータ(TG)70、アナログフロントエンド(AFE)80、画像処理エンジン90、モータドライバ110、バッファメモリ130、表示部140、操作部150、リムーバブルメモリ160、データベース部170などが備えられる。なお、図示省略したが、ディジタルカメラ10には、メカニカルシャッタ30が閉じている期間にディジタルカメラ10の被写界を監視する装置(測光装置、測距装置など)も備えられる。
【0014】
撮影レンズ20は、被写体から射出した光束を結像し、撮像素子50の有効画素領域上に被写体像を形成する。
【0015】
メカニカルシャッタ30は、撮影レンズ20と撮像素子50との間の光路上に配置されており、TG70から供給される駆動信号に応じて、撮像素子50に向かう光束の光路を開閉する。このメカニカルシャッタ30は、撮像素子50から一定以上離れた位置に配置されたレンズシャッタ、或いは、撮像素子50の近傍に配置されたフォーカルプレーンシャッタなどである。
【0016】
撮像素子50は、CMOSイメージセンサ、CCDイメージセンサなどの撮像素子であって、TG70から供給される駆動信号に応じて信号の蓄積及び信号の読み出しを行う。
【0017】
TG70は、画像処理エンジン90からの指示に応じて、撮像素子50及びメカニカルシャッタ30に対して駆動信号を供給すると共に、AFE80及び画像処理エンジン90に対して同期信号を供給する。
【0018】
また、TG70は、撮像素子50へ供給する駆動信号のパターンを切り替えることにより、撮像素子50の1フレーム当たりの露光時間を切り替える。この露光時間は、画像処理エンジン90が指定したTv値(=ユーザが入力したTv値又は自動露出演算で算出されたTv値)に応じた値に設定される。
【0019】
AFE80は、撮像素子50から出力されるアナログ信号に対してパイプライン処理を施す。AFE80には、CDS回路、ゲイン回路、A/D変換回路などが備えられており、CDS回路は、撮像素子50から出力されるアナログ信号のノイズ成分を相関二重サンプリングによって除去し、ゲイン回路は、ノイズ除去後のアナログ信号を増幅し、A/D変換回路は、増幅後のアナログ信号をディジタル信号へと変換する。
【0020】
なお、AFE80のゲイン(ゲイン回路の信号増幅率)は、画像処理エンジン90が指定したSv値(=ユーザが入力したSv値又は自動露出演算で算出されたSv値)に応じた値に設定される。なお、ユーザが入力したSv値とは、所謂「ISO感度」のことである。
【0021】
モータドライバ110は、画像処理エンジン90からの指示に応じて、撮影レンズ20の少なくとも一部を光軸方向へ駆動し、撮影レンズ20のフォーカス位置を調整する。また、モータドライバ110は、画像処理エンジン90が指定したAv値(=ユーザが入力したAv値又は自動露出演算で算出されたAv値)に応じて、撮影レンズ20の絞り値を調整する。
【0022】
バッファメモリ130は、AFE80から画像処理エンジン90へと転送されたディジタル信号を蓄積する。撮像素子50の1フレーム分の信号読み出し期間に亘ってこの蓄積が行われると、バッファメモリ130に1フレーム分のディジタル信号(1フレーム分の画像データ、以下、「画像」と称す。)が蓄積される。
【0023】
表示部140は、画像処理エンジン90からの指示に応じて、各種の画像を表示する。表示部140が表示する画像には、撮像素子50が取得した画像、リムーバブルメモリ160に格納されていた画像、画像処理エンジン90が作成したメニュー表示用の画像などがある。なお、表示部140は、画像を表示する際、画像の形式を表示に適した形式へと変換する。
【0024】
操作部150は、レリーズボタン、メニューボタンなど、ユーザが操作可能な各種のスイッチを有している。ユーザは、この操作部150を介して各種の指示をディジタルカメラ10へ入力することができる。例えば、ユーザは、詳細画像の取得時における測光エリアやフォーカスエリアをディジタルカメラ10へ指定することができる。また、例えば、ユーザは、ディジタルカメラ10のモードを、撮影モードと再生モードとの間で切り換えることができる。
【0025】
リムーバブルメモリ160は、ディジタルカメラ10が取得した画像や、他のディジタルカメラが取得した画像などを長期に亘って記憶することが可能な不揮発性のメモリである。
【0026】
画像処理エンジン90は、操作部150を介してユーザから入力された指示と、不図示のプログラムとに従い、ディジタルカメラ10の各部を制御する。また、画像処理エンジン90は、AFE80から送出されたディジタル信号に対して信号処理(暗電流補正など)を施したり、バッファメモリ130上の画像に対して所定の画像処理(ホワイトバランス調整、色補間、階調変換、色変換など)を施したりすることもできる。
【0027】
ここで、本実施形態の画像処理エンジン90は、バッファメモリ130へ蓄積された画像処理後の画像に対して感情強調処理を施すことができる。この感情強調処理は、ディジタルカメラ10が撮影モード又は再生モードに設定されているときに、ユーザからの要求に応じて実行される。なお、感情強調処理の際、画像処理エンジン90は、顔検出部90A、表情認識部90B、オブジェクト抽出部90Cとして機能する。
【0028】
データベース部170は、感情強調処理に必要なデータとして、加工後の画像(テクスチャ)のサンプルを多数有している。例えば、花が満開に咲いた樹木のテクスチャ、枯れた樹木のテクスチャ、積雪した樹木のテクスチャ、花が五分咲きに咲いた樹木のテクスチャ、穏やかな海のテクスチャ、キラキラした海のテクスチャ、ややキラキラした海のテクスチャ、荒れた海のテクスチャ、やや荒れた海のテクスチャ、快晴の空のテクスチャ、雷雨の空のテクスチャ、雨空のテクスチャ、晴れた空のテクスチャなどを有している。
【0029】
図2は、撮影モードにおける画像処理エンジン90の動作フローチャートである。以下、図2の各ステップを順に説明する。
【0030】
ステップS11:画像処理エンジン90は、操作部150からの信号に基づきレリーズボタンが半押しされたか否かを判別し、半押しされた場合にはステップS12へ移行する。
【0031】
ステップS12:画像処理エンジン90は、不図示の測距装置から出力される信号に基づき、撮影レンズ20のフォーカス調整を行うと共に、不図示の測光装置から出力される信号に基づき、ディジタルカメラ10の自動露出演算を行うことにより、Tv値、Av値、Sv値の組み合わせを決定する。なお、ディジタルカメラ10の撮影モードがシーンモード(シーンの種類を撮影前にユーザが選択しておくモード)であった場合は、この自動露出演算において選択中のシーンの種類が考慮される。
【0032】
また、画像処理エンジン90は、現時点における撮影レンズ20のフォーカスポジション情報、フォーカスエリア情報、被写界の距離分布情報、被写界の輝度分布情報、撮影年月日、選択中のシーンの種類、本ステップで決定されたAv値、Tv値、Sv値などを、撮影条件情報として記憶する。なお、このうち距離分布情報は、不図示の測距装置から出力される信号に基づき取得することができる。また、輝度分布情報は、不図示の測光装置から出力される信号に基づき取得することができる。
【0033】
ステップS13:画像処理エンジン90は、操作部150からの信号に基づきレリーズボタンの半押しが解除されたか否かを判別し、解除された場合にはステップS11へ戻り、解除されていない場合にはステップS14へ移行する。
【0034】
ステップS14:画像処理エンジン90は、操作部150からの信号に基づきレリーズボタンが全押しされたか否かを判別し、全押しされていない場合にはステップS13に戻り、全押しされた場合にはステップS15へ移行する。
【0035】
ステップS15:画像処理エンジン90は、ステップS12において決定したAv値、Tv値、Svを、モータドライバ110、TG70、AFE80に対してそれぞれ指定してから、メカニカルシャッタ30及び撮像素子50を駆動して画像を取得すると、その画像をバッファメモリ130へ蓄積する。そして、画像処理エンジン90は、バッファメモリ130へ蓄積された画像に対して前述した所定の画像処理(ホワイトバランス調整、色補間、階調変換、色変換など)を施す。
【0036】
ステップS16:画像処理エンジン90は、バッファメモリ130上の画像(画像処理後の画像)を表示部140に表示させる。これによって、画像処理後の画像が確認表示される。
【0037】
ここで、確認表示の画面上には、表示中の画像に対して感情強調処理を施すか否かをユーザに問うためのメッセージが表示される。よって、ユーザは、このメッセージを目視しながら操作部150を操作することで、表示中の画像に対して感情強調処理を施すための続行指示と、感情強調処理を行わずに画像を保存するためのスキップ指示との何れか一方を、ディジタルカメラ10へ入力することができる。
【0038】
ステップS17:画像処理エンジン90は、続行指示とスキップ指示との何れが入力されたかを判別し、続行指示が入力された場合にはステップS18へ移行し、スキップ指示が入力された場合にはステップS24へ移行する。
【0039】
ステップS18:画像処理エンジン90は、バッファメモリ130上の画像に対して感情強調処理(後述)を施し、感情強調処理後の画像をバッファメモリ130に書き込む。但し、この際に感情強調処理前の画像が上書きされることは無いものとする。
【0040】
ステップS19:画像処理エンジン90は、感情強調処理後の画像を表示部140に表示させる。これによって、感情強調処理後の画像が確認表示される。
【0041】
ここで、確認表示の画面上には、表示中の画像を保存するか否かをユーザに問うためのメッセージが表示される。よって、ユーザは、このメッセージを目視しながら操作部150を操作することで、表示中の画像を保存するための保存指示と、前画面を呼び出すためのバック指示との何れか一方を、ディジタルカメラ10へ入力することができる。
【0042】
ステップS20:画像処理エンジン90は、保存指示が入力された場合には、ステップS21へ移行し、バック指示が入力された場合には、ステップS22へ移行する。
【0043】
ステップS21:画像処理エンジン90は、バッファメモリ130上の感情強調処理後の画像に対してデータ圧縮処理を施してからリムーバブルメモリ160へ書き込み、フローを終了する。
【0044】
ステップS22:画像処理エンジン90は、表示部140上に表示中の画面を前画面に戻す。前画面は、感情強調処理前の画像の表示画面である。よって、ユーザは、このメッセージを目視しながら操作部150を操作することで、表示中の画像を保存するための保存指示と、前画面を呼び出すためのバック指示との何れか一方を、ディジタルカメラ10へ入力することができる。
【0045】
ステップS23:画像処理エンジン90は、保存指示が入力された場合には、ステップS24へ移行し、バック指示が入力された場合には、ステップS19へ移行する。
【0046】
ステップS24:画像処理エンジン90は、バッファメモリ130上の感情強調処理前の画像に対してデータ圧縮処理を施してからリムーバブルメモリ160へ書き込み、フローを終了する。
【0047】
図3は、画像処理エンジン90による感情強調処理の動作フローチャートである。以下、図3の各ステップを順に説明する。
【0048】
ステップS181:画像処理エンジン90の顔検出部90Aは、バッファメモリ130上の画像を感情強調処理の対象として読み込み、その画像の中から人物の顔を検出する。なお、ここでは簡単のため、図4(A)又は図4(B)に示すとおり、画像中に存在している顔の個数は1であったと仮定する。
【0049】
ステップS182:画像処理エンジン90の表情認識部90Bは、検出された顔から、その顔の表情情報として、その顔の笑顔度、口の開け方、目の開け方、泣き顔度、年齢、性別、向き(視線方向)などを抽出する。
【0050】
したがって、画像の絵柄が図4(A)に示すような絵柄であった場合には、笑顔度として比較的低い値が抽出され、画像の絵柄が図4(B)に示すような絵柄であった場合には、笑顔度として比較的高い値が抽出される。また、画像の絵柄が図4(A)に示すような絵柄であった場合には、視線方向として左方向が抽出され、画像の絵柄が図4(B)に示すような絵柄であった場合には、視線方向として右方向が抽出される。
【0051】
ステップS183:画像処理エンジン90のオブジェクト抽出部90Cは、画像に対してオブジェクト抽出処理を施すことにより、その画像に存在している複数の被写体の各々を抽出すると共に、それら被写体の各々の種類(「人物」、「空」、「海」、「山」、「樹木」、「花畑」、「砂浜」、「建物」、「自動車」、…)を判別する。
【0052】
したがって、例えば、画像の絵柄が図4(A)又は図4(B)に示すような絵柄であった場合には、「空」、「海」、「人物」、「樹木」、「建物」などの被写体が抽出される。なお、このうち「人物」は、ステップS181で検出された顔の持ち主である。
【0053】
ステップS184:画像処理エンジン90は、人物以外の複数の被写体の各々の存在領域の中から、加工対象領域を1つ選定する。例えば、画像処理エンジン90は、それら複数の被写体の各々の存在領域を加工対象領域の候補とした以下の手順(1)〜(5)により、候補の数を段階的に絞り込む。そして、画像処理エンジン90は、候補の数が1となった段階で絞り込みを終了し、その段階で残っている1つの候補を加工対象領域に選定する。
【0054】
(1)人物の性別が男性であった場合は、「花畑」、「花」など、女性が好みそうな被写体(男性が好まない被写体)の存在領域を候補から外す。
【0055】
(2)撮影時の撮影モードがシーンモードであった場合は、撮影時に選択されていたシーンの主体となっている被写体の存在領域を残し、他の被写体の存在領域を候補から外す。例えば、選択されていたシーンが「海のシーン」であった場合は、「海」の存在領域を残し、他の被写体の存在領域を候補から外す。)。また、選択されていたシーンが「夜景のシーン」であった場合は、「建物」の存在領域を残し、他の被写体の存在領域を候補から外す。なお、撮影時の撮影モードがシーンモードでなかった場合は、全ての被写体の存在領域が残される。
【0056】
(3)人物の視線方向に位置した被写体の存在領域を残し、視線方向から外れた方向に位置した被写体の存在領域を候補から外す。なお、人物の視線方向が正面方向(カメラ方向)であった場合には、全ての被写体の存在領域が残される。
【0057】
(4)合焦度の最も高い被写体の存在領域を残し、それ以外の被写体の存在領域を候補から外す。なお、個々の被写体の合焦度は、前述した距離分布情報、フォーカスポジション情報、フォーカスエリア情報から導出することができる。
【0058】
(5)画像内を占める面積の最も大きい被写体の存在領域を残し、それ以外の被写体の存在領域を候補から外す。
【0059】
したがって、画像の絵柄が図4(A)に示すような絵柄であった場合には、人物の視線方向(左方向)に存在する「海」の存在領域が加工対象領域に選定される。
【0060】
また、画像の絵柄が図4(B)に示すような絵柄であった場合には、人物の視線方向(右方向)に存在する「樹木」及び「建物」のうち、合焦度の高い方、合焦度が同じならば面積の小さい方(ここでは「樹木」とする。)の存在領域が、加工対象領域に選定される。
【0061】
ステップS185:画像処理エンジン90は、人物の感情評価に使用すべき感情ベクトルのベクトル軸の採り方を選定する。この選定は、加工対象領域の種類と人物の性別との組み合わせに応じて行われる。図5は、この選定方法の一例を示す図であって、その内容は具体的に以下のとおりである。
【0062】
(a)加工対象領域の種類が「空」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「口の開け方軸」、「時刻軸」の3軸に選定される。
【0063】
(b)加工対象領域の種類が「空」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「目の開け方軸」、「時刻軸」の3軸に選定される。
【0064】
(c)加工対象領域の種類が「海」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「砂浜の有無軸」の3軸に選定される。
【0065】
(d)加工対象領域の種類が「海」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「砂浜の有無軸」の3軸に選定される。
【0066】
(e)加工対象領域の種類が「山」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「季節軸」の3軸に選定される。
【0067】
(f)加工対象領域の種類が「山」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「季節軸」の3軸に選定される。
【0068】
(g)加工対象領域の種類が「樹木」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「口の開け方軸」、「季節軸」の3軸に選定される。
【0069】
(h)加工対象領域の種類が「樹木」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「目の開け方軸」、「季節軸」の3軸に選定される。
【0070】
(i)加工対象領域の種類が「花畑」であった場合(この場合、人物の性別は女性である。)には、ベクトル軸の採り方、「笑顔度軸」、「年齢軸」の2軸に選定される。
【0071】
したがって、画像の絵柄が図4(A)に示すような絵柄であった場合には、加工対象領域の種類は「海」、人物の性別は「女性」となるので、図5(d)に示すとおり、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「砂浜の有無軸」の3軸に選定される。
【0072】
また、画像の絵柄が図4(B)に示すような絵柄であった場合には、加工対象領域の種類は「樹木」であり、人物の性別は「女性」となるので、図5(h)に示すとおり、ベクトル軸の採り方は、「笑顔度軸」、「目の開け方軸」、「季節軸」の3軸に選定される(図5(h)参照。)。
【0073】
ステップS186:画像処理エンジン90は、画像の感情ベクトルを算出する。この感情ベクトルのベクトル軸の採り方は、前のステップで選定したとおりに設定される。
【0074】
したがって、画像の絵柄が図4(A)に示すような絵柄であった場合には、感情ベクトルとして、人物の笑顔度と、人物の泣き顔度と、画像中の砂浜の有無との3成分からなる感情ベクトルが求められる。
【0075】
また、画像の絵柄が図4(B)に示すような絵柄であった場合には、感情ベクトルとして、人物の笑顔度と、人物の目の開け方と、画像の撮影された季節との3成分からなる感情ベクトルが求められる。
【0076】
ステップS187:画像処理エンジン90は、前のステップで算出した感情ベクトルをベクトル空間へと射影する。
【0077】
なお、感情ベクトルのベクトル軸が、笑顔度軸と、泣き顔度軸と、砂浜の有無軸との3軸であった場合(図5(d)の場合)は、本ステップで使用されるベクトル空間は、図6に示すようなベクトル空間となる(但し、図6では簡単のため、ベクトル空間を2次元で表している。)。このベクトル空間の個々の領域には、それぞれ最適な加工内容が割り当てられている。
【0078】
また、感情ベクトルのベクトル軸が、笑顔度軸と、目の開け方軸と、季節軸との3軸であった場合(図5(h)の場合)は、本ステップで使用されるベクトル空間は、図7に示すようなベクトル空間となる(但し、図7では簡単のため、ベクトル空間を2次元で表している。)。このベクトル空間の個々の領域には、それぞれ最適な加工内容が割り当てられている。
【0079】
さらに、画像処理エンジン90は、ベクトル空間における感情ベクトルの射影先(写像)を参照し、その写像の属する領域に予め割り当てられている加工内容を、次のステップで採用すべき加工内容に選定する。
【0080】
なお、図6に示すような領域分けによると、図4(A)に示すとおり人物の笑顔度が低く、画像内に砂浜が存在していなかった場合には、感情ベクトルの射影先(写像)がベクトル空間の左下の領域に位置するので、「荒れた海に」という加工内容が選定される。
【0081】
また、図7のような領域分けによると、図4(B)に示すとおり人物の笑顔度が高く、人物の目の開け方が大きかった場合には、感情ベクトルの射影先(写像)がベクトル空間の右上の領域に位置するので、「満開の花に」という加工内容が選定される。
【0082】
なお、本ステップで使用されるベクトル空間(領域分けされたベクトル空間)は、ベクトル軸の採り方毎に予め用意されている。すなわち、本ステップで使用されるベクトル空間(領域分けされたベクトル空間)は、加工対象領域の種類と人物の性別との組み合わせ毎に予め用意されている。
【0083】
因みに、図8は、加工対象領域の種類が「空」であり、人物の性別が「女性」であった場合に使用されるベクトル空間の例であり、図9は、加工対象領域の種類が「空」であり、人物の性別が「女性」であった場合に使用されるベクトル空間の例である。
【0084】
ステップS188:画像処理エンジン90は、画像中の加工対象領域を、前のステップで選定された加工内容に従って加工し、加工後の画像を感情強調処理後の画像としてバッファメモリ130へ書き込む。
【0085】
例えば、画像の絵柄が図4(A)に示すとおりであった場合は、「荒れた海に」という加工内容が選定されるので、画像処理エンジン90は、データベース部170の中から荒れた海のサンプルを参照し、そのサンプルと、加工対象領域(海)の輪郭形状とに基づき、加工後の加工対象領域「荒れた海」を作成すると、その「荒れた海」を、加工前の加工対象領域(海)に上書きする。これによって、加工対象領域(海)が「荒れた海」へと加工されたことになる(図10(A)を参照。)。
【0086】
また、例えば、画像の絵柄が図4(B)に示すとおりであった場合は、「満開の花に」という加工内容が選定されるので、画像処理エンジン90は、データベース部170の中から満開の花のサンプルを参照し、そのサンプルと、加工対象領域(樹木)の輪郭形状とに基づき、加工後の加工対象領域「満開の花の咲いた樹木」を作成すると、その「満開の花の咲いた樹木」を、加工前の加工対象領域(樹木)に上書きする。これによって、加工対象領域(樹木)が「満開の花の咲いた樹木」へと加工されたことになる(図10(B)を参照。)。
【0087】
以上、本実施形態の感情強調処理では、画像上で人物の存在領域以外の領域の中から加工対象領域を選定すると共に、人物の表情を表す表情データと、加工対象領域の種別とに基づき、加工対象領域に適した加工内容を判定する。
【0088】
この場合、人物の表情を、人物以外の被写体に反映させることができる。しかも、その加工内容の判定は、人物の表情だけでなく、加工対象領域の種別にも基づく。
【0089】
したがって、本実施形態の感情強調処理では、人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成することができる。
【0090】
また、本実施形態の感情強調処理では、加工対象領域の選定を、人物の顔の向きに基づき行うので、人物の感情の反映先を、人物の着目先に一致させることができる。
【0091】
また、本実施形態の感情強調処理では、人物の性別、加工対象領域の候補のサイズ、加工対象領域の候補の合焦度のうち少なくとも1つに基づき加工対象領域の選定を行うので、人物の着目先を確実に見出すことができる。
【0092】
また、本実施形態の感情強調処理では、人物の感情を評価するために、人物の表情データ(人物の笑顔度、人物の口の開け方、人物の泣き顔度、人物の年齢のうち少なくとも1つ)をベクトル成分とした感情ベクトルを使用するので、人物の感情を確実に評価することができる。
【0093】
また、本実施形態の感情強調処理では、その感情ベクトルのベクトル成分の1つとして、表情データだけでなく、他のデータ(撮影時刻、撮影日、撮影季節のうち少なくとも1つを含む撮影データ)をも使用するので、人物の感情を、より積極的に評価することができる。
【0094】
また、本実施形態の感情強調処理では、感情ベクトルのベクトル軸の採り方(すなわち、加工内容の判定に使用されるデータ種類の組み合わせ)を、加工対象領域の種別と人物の性別との少なくとも一方に応じて変更するので、感情ベクトルの軸数(次数)を必要最小限に抑えることができる。
【0095】
[実施形態の補足]
なお、上述した実施形態のディジタルカメラ10では、加工対象領域のみを加工したが、加工対象領域の候補となった1又は複数の領域(候補領域)の中に、その加工対象領域の加工内容に相応しくないものが存在した場合には、その候補領域についても適切な加工を施すことが望ましい。例えば、加工対象領域として「海」が選定され、かつ、加工内容として「荒れた海に」が選定されたにも関わらず、候補領域の1つである「空」が「青空」であった場合には、その「青空」は相応しくないので、「曇り空」や「雨空」へと加工することが望ましい。
【0096】
また、上述した実施形態のディジタルカメラ10では、加工対象領域を加工する際に、加工後の加工対象領域を作成してから、それを加工対象領域へと上書きしたが、加工対象領域に対して直接的に画像処理(彩度変換、輝度変換、色相変換など)を施すこととしてもよい。因みにその場合は、サンプルを使用する必要は無くなる。
【0097】
また、上述した実施形態のディジタルカメラ10では、感情強調処理の対象を、ディジタルカメラ10が撮影した直後の画像としたが、リムーバブルメモリ160に保存された画像としてもよい。すなわち、ディジタルカメラ10において感情強調処理機能の発現するタイミングは、ディジタルカメラ10が撮影モードにあるときであっても再生モードにあるときであってもよい。
【0098】
また、上述した実施形態では、感情強調処理の全部をディジタルカメラ10が自動的に実行する例を説明したが、感情強調処理の一部はユーザが手動で行っても構わない。例えば、画像の中から人物を選定するステップ、画像の中から加工対象領域を選定するステップの何れか一方を、ユーザが手動で行っても構わない。
【0099】
また、上述した実施形態では、撮影前の被写界を監視する装置が撮像素子50とは別に設けられたディジタルカメラ(1眼レフレックスカメラ)を説明したが、撮影前の被写界の監視を撮像素子50によって行うディジタルカメラ(コンパクトカメラ)にも本発明は適用可能である。
【0100】
また、上述した実施形態では、本発明をディジタルカメラに適用した例を説明したが、本発明は、ディジタルフォトフレーム、プリンタなど、画像の蓄積機能を搭載した他の機器にも本発明は適用が可能である。
【0101】
また、上述した実施形態の感情強調処理は、コンピュータが実行可能な画像処理ソフトウエアの一機能であっても構わない。また、その画像処理ソフトウエアは、インターネットを介してコンピュータへインストールされた画像処理ソフトウエアであっても、記憶媒体を介してコンピュータへインストールされた画像処理ソフトウエアであっても、どちらでも構わない。
【符号の説明】
【0102】
20…撮影レンズ、30…メカニカルシャッタ、50…撮像素子、70…タイミングジェネレータ(TG)、80…アナログフロントエンド(AFE)、90…画像処理エンジン、110…モータドライバ、130…バッファメモリ、140…表示部、150…操作部、160…リムーバブルメモリ、170…データベース部

【特許請求の範囲】
【請求項1】
画像上で人物以外の領域の中から加工対象領域を選定する選定手段と、
前記人物の表情を表す表情データと、選定された前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手段と、
前記判定手段が判定した内容の加工処理を前記加工対象領域に対して施す処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記選定手段は、
前記人物の顔の向き、前記人物の性別、前記加工対象領域の候補のサイズ、前記加工対象領域の候補の合焦度のうち少なくとも1つに基づき前記加工対象領域の選定を行う
ことを特徴とする画像処理装置。
【請求項3】
請求項1又は請求項2に記載の画像処理装置において、
前記判定手段は、
前記人物の笑顔度、前記人物の口の開け方、前記人物の泣き顔度、前記人物の年齢のうち少なくとも1つを前記表情データとして前記判定に使用する
ことを特徴とする画像処理装置。
【請求項4】
請求項1〜請求項3の何れか一項に記載の画像処理装置において、
前記判定手段は、
前記表情データに加えて、前記画像の撮影時刻、前記画像の撮影日、前記画像の撮影季節のうち少なくとも1つを含む撮影データを前記判定に使用する
ことを特徴とする画像処理装置。
【請求項5】
請求項1〜請求項4の何れか一項に記載の画像処理装置において、
前記判定手段は、
前記判定に使用するデータの種類を、前記加工対象領域の種別に応じて変更する
ことを特徴とする画像処理装置。
【請求項6】
請求項1〜請求項5の何れか一項に記載の画像処理装置において、
前記判定手段は、
前記判定に使用するデータの種類を、前記人物の性別に応じて変更する
ことを特徴とする画像処理装置。
【請求項7】
被写体を撮像して画像を取得する撮像手段と、
前記撮像手段が取得した前記画像に対して処理を施す請求項1〜請求項6の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項8】
画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、
前記人物の表情を表す表情データと、選定された前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、
前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順と、
を含むことを特徴とする画像処理方法。
【請求項9】
画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、
前記人物の表情を表す表情データと、選定された前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、
前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−11944(P2013−11944A)
【公開日】平成25年1月17日(2013.1.17)
【国際特許分類】
【出願番号】特願2011−142832(P2011−142832)
【出願日】平成23年6月28日(2011.6.28)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】