画像処理装置、デジタルカメラ及びプログラム
【課題】 被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することを目的とする。
【解決手段】 顔の特徴部位が含まれる複数の第1画像のいずれかを選択する第1選択部と、前記第1画像とは異なる第２画像から顔を検出する顔検出部と、前記第１選択部によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理部とを備える画像処理装置。
【解決手段】 顔の特徴部位が含まれる複数の第1画像のいずれかを選択する第1選択部と、前記第1画像とは異なる第２画像から顔を検出する顔検出部と、前記第１選択部によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理部とを備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、デジタルカメラ及びプログラムに関する。
【背景技術】
【０００２】
従来から、撮影した画像に対して画像処理を施すことにより、被写体が美しく見えるような画像を生成するデジタルカメラが知られている。例えば、特許文献１のデジタルカメラは、画像における被写体の瞳を大きくする補正や、肌を滑らかにする補正を施す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５９５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１のデジタルカメラは、個々の被写体に応じた詳細な補正を施さないため、画像における被写体の顔色、表情などの自然な風合いが損なわれてしまう可能性があった。
【０００５】
そこで、本発明の画像処理装置、デジタルカメラ及びプログラムは、被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、顔の特徴部位が含まれる複数の第1画像のいずれかを選択する第1選択部と、前記第1画像とは異なる第２画像から顔を検出する顔検出部と、前記第１選択部によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理部とを備える。
なお、前記第１選択部によって異なる複数の顔の特徴部位の第１画像が選択されたことを受けて、前記美肌処理の基準となる基準画像を生成する画像生成部をさらに備え、前記画像処理部は、生成された前記基準画像に基づいて、前記第２画像に含まれる顔に対する前記美肌処理を実行しても良い。
また、前記基準画像を複数表示可能な表示部と、前記表示部に表示された基準画像のうち、前記美肌処理に用いる基準画像を選択する第２選択部とをさらに備えても良い。
また、前記第１画像における特徴部位と、前記第２画像に含まれる顔とは、同一人物からなっても良い。
また、前記美肌処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも一つからなっても良い。
また、前記第２画像から被写体の顔を検出する顔検出部と、前記顔検出部によって検出された被写体の顔から、該被写体の年齢もしくは年代を推定する推定部とをさらに備え、前記顔の特徴部位に対する補正は、前記推定された被写体の年齢もしくは年代の各々に合わせて、顔の目尻を上げる、口角を上げる、ほうれい線を除去する補正のいずれか１つからなっても良い。
また、前記表示部は、実行される前記美肌処理の内容の候補を表示するとともに、前記推定部によって推定された被写体の年齢もしくは年代の各々に合わせて、前記美肌処理の内容の候補を変更して表示しても良い。
また、前記美肌処理済みの前記第２画像、及び前記第２画像に施された美肌処理の内容を記録する記録部と、前記美肌処理済みの第２画像を前記表示部に表示する際に、前記表示部を制御して、前記美肌処理の具体的内容を報知する制御部とをさらに備えても良い。
また、前記美肌処理の具体的内容の表示を許可するか否かを設定する設定部をさらに備えても良い。
本発明のデジタルカメラは、前記第１画像の元になる画像、及び前記第２画像を取得する撮像部とを備える。
本発明のプログラムは、顔の特徴部位が含まれる複数の第1画像のいずれかを選択する選択工程と、前記第1画像とは異なる第２画像から顔を検出する顔検出工程と、前記選択工程によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理工程とを備える。
【発明の効果】
【０００７】
本発明の画像処理装置、デジタルカメラ及びプログラムによれば、被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態におけるデジタルカメラ１の構成を示すブロック図である。
【図２】基準画像の生成時の動作を示すフローチャートである。
【図３】各特徴部位のサムネイル画像の例、及び基準画像の例を示す図である。
【図４】美肌処理モードが設定された場合における撮像時の動作を示すフローチャートである。
【図５】目尻、口角、ほうれい線を補正するか否かの選択を受け付ける際の表示部８の例である。
【図６】本画像ＰＩ’及び美肌処理の内容を表示する際の表示部８の例である。
【図７】画像における特徴部位の選択例を示す図である。
【図８】基準画像の選択を受け付ける際の表示部８の例である。
【図９】瞳のメイクアップに関するバリエーションを表示する際の表示部８の例である。
【発明を実施するための形態】
【０００９】
以下、図面を用いて本発明の実施形態について説明する。なお、本実施形態では、本発明の画像処理装置の一例として、デジタルカメラを用いて説明する。図１は、本発明の実施形態におけるデジタルカメラ１の構成を示すブロック図である。
【００１０】
図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、記録媒体１２、音声出力部１３、バス１４を備える。
【００１１】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、撮像待機時、所定間隔ごとに間引き読み出しを行い、スルー画像を取得する。その後、撮像素子３は、後述するレリーズ釦１９が全押しされると本画像を取得する。
【００１２】
撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。
【００１３】
画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００１４】
また、画像処理部６は、後述する基準画像に基づいて、美肌処理を行う。この美肌処理は、本画像に対して施される画像処理であり、以下に示す処理が挙げられる。これにより、所望のメイクアップを本画像で再現することができる。
【００１５】
画像処理部６は、例えば、画像の露出をオーバー側に補正する露出補正を行う。これにより、被写体の肌が白く表現された好ましい画像を得ることができる。
【００１６】
また、画像処理部６は、ソフトフォーカス処理を行う。これにより、被写体が女性である場合、女性らしさが強調されるとともに、柔らかみのある好ましい画像を得ることができる。また、被写体のしわや肌荒れ等が目立ちにくい好ましい画像を得ることができる。
【００１７】
また、画像処理部６は、彩度や明度のパラメータを補正することにより、肌を白く表現したり、肌色のくすみ等を軽減しても良い。
【００１８】
また、画像処理部６は、画像に含まれる人物を痩身に見せる補正を行う。例えば、画像処理部６は、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整する。或いは画像処理部６は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正して頬を細く見せるようにしても良い。
【００１９】
また、画像処理部６は、顔における特徴部位（眉、目、口等）の調整を行う。例えば、画像処理部６は、目の部分を大きくする補正や鼻の幅を狭くする補正などを行う。また、画像処理部６は、特徴部位の色を補正する。例えば、画像処理部６は上瞼の色に青味を増す色補正や、頬の色に赤味を増す色補正を行う。これにより、アイシャドーや頬紅のようなポイントメイクアップの効果が得られるため、被写体となる女性の見栄えを良くすることができる。また、画像処理部６は、唇の色に赤味を増す色補正を行う。これにより、被写体の顔色を良く見せることができる。
【００２０】
また、画像処理部６は、年齢によって変形する特徴部位を補正する。一般的に、年齢が高くなるほど、目尻及び口角が下がり、ほうれい線（両小鼻から口元に向かって現れる皺）が目立ってくる。そのため、画像処理部６は、目尻、口角を上げるとともに、ほうれい線を除去する。
【００２１】
また、画像処理部６は、ハイライトを抑える処理を行うことにより、閃光発光などの強い光に起因して発生しやすいテカリを軽減しても良い。また、部分的にテカリを強調することにより、肌を瑞々しく見せる補正を行っても良い。
【００２２】
また、画像処理部６は、上述した処理の他に、ダイナミックレンジ拡張、暗部補正、エッジのアンシャープネスマスク処理、ノイズ処理などの処理を行っても良い。
【００２３】
なお、このような美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔が明るく、好ましい画像を取得することができるので、被写体が男性や子供である場合にも有用である。
【００２４】
また、画像処理部６は、画像生成部１５の機能を有している。この画像生成部１５は、上述した美肌処理を実行する際の基準となる画像（以下、基準画像と称する）を生成する。なお、基準画像の生成については、後述する。
【００２５】
制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１６、推定部１７等の機能を有している。顔検出部１６は、本画像や記録媒体１２に記録した画像から特徴点を抽出して顔の領域、顔の大きさ等を検出する。この顔の領域の検出方法は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理が挙げられる。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１６は、画像に含まれる顔の領域の位置を示す情報を取得する。推定部１７は、特開２００４−２２２１１８号公報等に記載された演算処理によって、被写体の年齢や性別を推定する。
【００２６】
表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、スルー画像、本画像、記録媒体１２に記録された画像、メニュー画像等を含む。また、表示部８は、タッチパネル１８を備える。タッチパネル１８は、パネル上で指又はスタイラス等がタッチされた位置を検出する。タッチパネル１８の状態は制御部７により検知される。なお、タッチパネル１８は、表示部８の表面全体に積層して配置するため、表示部８と同等の大きさを有する透明なパネルで構成されている。また、本実施形態の例では、タッチパネル１８は、静電気による電気信号を感知する静電容量式のパネルで構成されている。なお、静電容量式に限らず、圧力による電圧の変化を検知する抵抗膜式のパネルなどを用いても良い。
【００２７】
操作部９は、レリーズ釦１９、十字キー２０等を有する。レリーズ釦１９は、撮像時にユーザにより操作される。十字キー２０は、上記のメニュー画像等で操作される。なお、レリーズ釦１９及び十字キー２０の状態は制御部７により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１１と記録媒体１２とが接続されることにより、記録媒体１２に対してデータの書き込み／読み出しを実行する。音声出力部１３は、メッセージや音楽を出力する。バス１４は、バッファメモリ５、画像処理部６、制御部７、表示部８、記録Ｉ／Ｆ部１１を相互に接続することにより、データや信号の出入力を実行する。
【００２８】
以上説明した構成のデジタルカメラ１は、基準画像に基づいて、本画像に美肌処理を施す美肌処理モードを有する。美肌処理モードは、ポートレートモードや風景モードなどの既存のシーンモードと独立に備えられる。すなわち、美肌処理モードは、既存のシーンモードに追加して設定可能なモードである。
【００２９】
次に、基準画像を生成する処理について、図２のフローチャートに基づいて説明する。
【００３０】
ステップＳ１０１は、画像を読み出す処理である。制御部７は、記録媒体１２に記録された画像を読み出す。
【００３１】
ステップＳ１０２は、眉の領域のサムネイル画像を選択する処理である。例えば、顔検出部１６は、ステップＳ１０１で読み出された画像から眉の領域を抽出する。そして、画像処理部６は、眉の領域を切り出し、サムネイル画像を生成する。顔検出部１６及び画像処理部６は、上記の処理を繰り返し、複数のサムネイル画像を生成する。その後、制御部７は、複数のサムネイル画像を表示部８に表示し、ユーザから十字キー２０を介して、いずれかのサムネイル画像の選択を受け付ける。これにより、眉の領域のサムネイル画像が選択される。
【００３２】
ステップＳ１０３は、ステップＳ１０２と同様の処理である。このステップＳ１０３の処理を行うことで、目の領域のサムネイル画像が選択される。
【００３３】
ステップＳ１０４は、ステップＳ１０２と同様の処理である。このステップＳ１０４の処理を行うことで、口の領域のサムネイル画像が選択される。図３（Ａ）は、眉の領域のサムネイル画像（符号２１）、目の領域のサムネイル画像（符号２２）、口の領域のサムネイル画像（符号２３）の例である。
【００３４】
ステップＳ１０５は、基準画像を生成する処理である。画像生成部１５は、ステップＳ１０２からステップＳ１０４で選択されたサムネイル画像に含まれる眉、目、口の領域を組み合わせて基準画像を生成する。図３（Ｂ）は、サムネイル画像２１、２２、２３を組み合わせて生成された基準画像（符号２４）の例を示す図である。
【００３５】
ステップＳ１０６は、基準画像を表示する処理である。制御部７は、ステップＳ１０５で生成された基準画像を表示部８に表示する。
【００３６】
ステップＳ１０７は、基準画像を記録するか否かの選択を受け付ける処理である。制御部７は、ユーザから十字キー２０を介して、基準画像を記録するか否かの選択を受け付ける。基準画像を記録する場合（ステップＳ１０７の判定がＹＥＳとなる場合）には、ステップＳ１０８に進む。一方、基準画像を記録しない場合（ステップＳ１０７の判定がＮＯとなる場合）には、ステップＳ１０２に戻る。
【００３７】
ステップＳ１０８は、基準画像を記録する処理である。制御部７は、ステップＳ１０５で生成された基準画像をメモリ１０の専用フォルダに記録する。
【００３８】
なお、上述した図２のフローチャートの処理を繰り返すことにより、複数の基準画像を生成し、記録することが可能となる。
【００３９】
図４は、美肌処理モードが設定された場合における撮像時の動作を示すフローチャートである。以下、便宜上、１人の人物を撮像するシーンを例に挙げて説明する。
【００４０】
ステップＳ２０１は、本画像ＰＩを取得する処理である。撮像素子３は、本画像ＰＩを取得する。
【００４１】
ステップＳ２０２は、本画像ＰＩに含まれる被写体の年齢が２０代以上か否かを判定する処理である。顔検出部１６は、本画像ＰＩから顔の領域を検出する。そして、推定部１７は、顔検出部１６により検出された顔の領域に基づいて、被写体の年齢を推定する。被写体の年齢が２０代以上である場合（ステップＳ２０２の判定がＹＥＳとなる場合）には、ステップＳ２０３に進む。一方、被写体の年齢が２０代以上でない場合（ステップＳ２０２の判定がＮＯとなる場合）には、後述するステップＳ２１０に進む。
【００４２】
ステップＳ２０３は、目尻、口角、ほうれい線を補正するか否かの選択を受け付ける処理である。例えば、制御部７は、本画像ＰＩとともに、「年齢別メイクアップ補正を実行しますか？」等のメッセージを表示部８に表示する（図５参照）。そして、制御部７は、ユーザから十字キー２０を介して、年齢別メイクアップ補正、すなわち目尻、口角、ほうれい線を補正するか否かの選択を受け付ける。補正する場合（ステップＳ２０３の判定がＹＥＳとなる場合）には、ステップＳ２０４に進む。一方、補正しない場合（ステップＳ２０３の判定がＮＯとなる場合）には、後述するステップＳ２１０に進む。
【００４３】
ステップＳ２０４は、目尻、口角、ほうれい線を補正する処理である。まず、制御部７は、ステップＳ２０２で顔検出部１６により検出された顔の肌状態を判定する。例えば、制御部７は、肌の粒状性、すなわち凹凸感を検出する。そして、制御部７は、凹凸感が検出された場合、肌がなめらかな状態ではないため、肌状態は悪いと判断する。次に、制御部７は、肌状態に応じて、角度及び美肌処理のレベルを決定する。制御部７は、例えば表１に示すように、Ａ：目尻、Ｂ：口角、Ｃ：ほうれい線の３つの項目について、美肌処理の対象となる被写体の年齢と性別とに対応した、角度又はレベルを記録している。なお、角度については、本画像ＰＩにおける目尻、口角の状態から上げる角度である。また、レベルについては、数が大きいほど、ほうれい線の除去効果が高い。また、肌状態が悪いほど、目尻、口角を上げるとともに、ほうれい線の除去効果が高くなるレベルが対応付けられている。
【００４４】
【表１】
画像処理部６は、設定された角度及びレベルに応じて、本画像ＰＩにおける目尻、口角、ほうれい線を補正する。
【００４５】
ステップＳ２０５は、本画像ＰＩに含まれる被写体が女性か否かを判定する処理である。推定部１７は、ステップＳ２０２で顔検出部１６により検出された顔の領域に基づいて、本画像ＰＩに含まれる被写体が女性か否かを推定する。女性である場合（ステップＳ２０５の判定がＹＥＳとなる場合）には、ステップＳ２０６に進む。一方、男性である場合（ステップＳ２０５の判定がＮＯとなる場合）には、後述するステップＳ２１０に進む。
【００４６】
ステップＳ２０６は、基準画像の選択を受け付ける処理である。制御部７は、メモリ１０に記録された基準画像の一覧を表示部８に表示し、ユーザから十字キー２０を介して、いずれかの選択を受け付ける。以下、図３（Ｂ）に示す基準画像２４が選択された場合を例に挙げて説明する。
【００４７】
ステップＳ２０７は、基準画像２４に基づく美肌処理を施す処理である。画像処理部６は、基準画像２４に施されたメイクアップと同等の仕上がりになるように、ステップＳ２０２で顔検出部１６により検出された顔の領域に美肌処理を施す。例えば、制御部７は、基準画像２４から眉の色、アイシャドーの色、睫毛の長さ、口紅の色などを識別する。そして、画像処理部６は、識別された情報に基づいて、本画像ＰＩにおける被写体の眉の色、アイシャドーの色、睫毛の長さ、口紅の色などを補正する。これにより、例えば、ユーザが気に入っているメイクアップを本画像ＰＩにおける顔で再現することができる。以下、美肌処理が施された本画像ＰＩを本画像ＰＩ’と称する。
【００４８】
ステップＳ２０８は、本画像ＰＩ’を表示する処理である。制御部７は、図６に示すように、本画像ＰＩ’とともに、ステップＳ２０７で施された美肌処理の内容を表示部８に表示する。これにより、ユーザは、どのように美肌処理が施されたのかを認識することができる。なお、音声出力部１３は、美肌処理の内容を音声により出力しても良い。
【００４９】
ステップＳ２０９は、本画像ＰＩ’を記録するか否かの選択を受け付ける処理である。制御部７は、ユーザから十字キー２０を介して、本画像ＰＩ’を記録するか否かの選択を受け付ける。本画像ＰＩ’を記録する場合（ステップＳ２０９の判定がＹＥＳとなる場合）には、ステップＳ２１０に進む。一方、本画像ＰＩ’を記録しない場合（ステップＳ２０９の判定がＮＯとなる場合）には、ステップＳ２０６に戻り、再度、基準画像の選択を受け付ける。
【００５０】
ステップＳ２１０は、本画像ＰＩ又は本画像ＰＩ’を記録媒体１２に記録する処理である。制御部７は、本画像ＰＩ’を記録する場合、本画像ＰＩ’のＥｘｉｆ情報（付帯情報）に、美肌処理の内容を示す情報を記録する。なお、美肌処理の内容を、付帯情報として記録する代わりに、本画像ＰＩ’と対応付けた別のファイルとして記録しても良い。
【００５１】
ここで、本画像ＰＩ’に付帯された美肌処理の内容は、他者に閲覧されることが好ましくない場合がある。このような場合には、十字キー２０を介したパスワードの設定や、タッチパネル１８を介した指紋認証により、本画像ＰＩ’に付帯された美肌処理の内容を保護しても良い。
【００５２】
以上説明したように、本実施形態のデジタルカメラ１は、複数の画像から、所望のメイクアップが施された眉、目、口の領域をそれぞれ選択し、選択された領域を組み合わせて基準画像を生成する。そして、デジタルカメラ１は、基準画像に基づいて、本画像に美肌処理を施す。また、本画像に含まれる被写体の年齢、性別、肌状態に応じて、目尻、口角、ほうれい線を補正する。すなわち、デジタルカメラ１は、特徴部位ごとに、詳細な美肌処理を行う。したがって、本実施形態のデジタルカメラ１によれば、被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【００５３】
（実施形態の補足）
上記の実施形態では、撮像時に本画像に対して美肌処理を施す例を示したが、これに限らない。例えば、再生時に記録媒体１２に記録された画像に対して美肌処理を施しても良い。
【００５４】
図２のステップＳ１０２からステップＳ１０４では、眉、目、口の領域のサムネイル画像一覧を表示する例を示したが、これに限らない。図７に示すように、画像における眉の領域、目の領域、口の領域に対して枠（図７の符号ａから符号ｅ）を表示し、ユーザからタッチパネル１８を介して、基準画像に適用する顔の特徴部位の指定を受け付けても良い。また、図２のステップＳ１０２からステップＳ１０４の順番は、限定されない。
【００５５】
図２のステップＳ１０５では、基準画像を生成する例を示したが、基準画像を生成しなくても良い。例えば、眉、目、口の領域のサムネイル画像のみを表示し、サムネイル画像を記録するか否かの選択を受け付ける。この他に、眉、目、口の各領域から眉の色、睫毛の長さ、口紅の色などを識別し、これらの情報をテキストで表示する。そして、表示した情報を記録するか否かの選択を受け付けても良い。なお、基準画像を生成しない場合、制御部７は、基準画像の選択を受け付ける代わりに、サムネイル画像やテキストで表示した情報の選択を受け付ける。そして、画像処理部６は、受け付けたサムネイル画像や情報に基づいて、本画像に美肌処理を施す。
【００５６】
また、図２のステップＳ２０６で基準画像を選択する代わりに、図２のステップＳ１０１からステップＳ１０４までの処理を行っても良い。
【００５７】
上記の実施形態では、どの人物の特徴部位の領域を組み合わせて基準画像を生成するかについて述べていないが、同一人物の特徴部位の領域を組み合わせても良いし、異なる人物の特徴部位の領域を組み合わせても良い。この場合、推定部１７は、顔検出部１６により検出された特徴点の位置、各特徴点の相対距離などを演算することにより、顔を識別する。例えば、推定部１７は、複数の顔から求めた演算結果を比較して、顔の相似度を求める。そして、推定部１７は、上記の相似度が閾値を上回る場合に、同一人物であると推定する。
【００５８】
また、デジタルカメラ１に、画像中の人物を事前登録しておく「人物登録モード」が設定されている場合には、登録人物が含まれる画像に基づいて、基準画像を生成しても良い。まず、推定部１７は、記録媒体１２に記録された画像のうち、登録人物に一致する人物が含まれる画像を抽出する。次に、制御部７は、図２のステップＳ１０２以降の処理を行い、基準画像を生成する。そして、美肌処理モードにおいて登録人物を撮像した場合、図２のステップＳ２０６で、推定部１７は、該登録人物に一致する人物が含まれる基準画像をメモリ１０から抽出する。そして、表示部８は、抽出部１７により抽出された画像を表示しても良い。
【００５９】
図２のフローチャートでは、複数の画像から選択された特徴部位を組み合わせて基準画像を生成する例を示したが、これに限らない。例えば、ユーザから選択された一枚の画像を基準画像としても良い。
【００６０】
この場合、例えば、有名人（例えばモデルなど）の画像を基準画像としてメモリ１０に予め記録しておいても良い。例えば、図４のステップＳ２０６で、制御部７は、図８に示すように、「過去の自分の画像から選択」、「有名人の画像から選択」、「自動的に候補を表示」の３つの項目を表示部８に表示する。「過去の自分の画像から選択」が選択された場合、推定部１７は、被写体と同一人物の基準画像を抽出する。「有名人の画像から選択」が選択された場合、推定部１７は、有名人の基準画像を抽出する。また、「自動的に候補を表示」が選択された場合、推定部１７は、被写体に類似する人物の基準画像を抽出する。そして、表示部８は、抽出部１７により抽出された画像を表示する。これにより、基準画像のバリエーションを増やすことができる。
【００６１】
図４のステップＳ２０４で用いる表１の数値は、一例であり、限定されない。また、本画像ＰＩにおける被写体が２０代以上である場合に、目尻、口角、ほうれい線を補正する例を示したが、これに限らない。例えば、表１に示すように、被写体が１０代であっても肌状態が悪い場合は、ほうれい線を除去しても良い。
【００６２】
図４のステップＳ２０６では、基準画像として実際の画像を表示する例を示したが、基準画像に基づいて生成されたイラストを表示しても良い。
【００６３】
図４のステップＳ２０８では、本画像ＰＩ’のみを表示する例を示したが、これに限らない。例えば、表示部８は、本画像ＰＩと本画像ＰＩ’とを並べて表示しても良い。これにより、美肌処理の効果がわかりやすくなる。
【００６４】
図４のステップＳ２０６で、制御部７は、本画像ＰＩにおける顔の領域がアップ（例えば、本画像ＰＩに占める顔の領域の割合が３０％以上）である場合は、アイシャドーの色、瞳の形、瞳の角度、目尻の長さ、キャッチライトの形などのバリエーションを、メイクアップ候補として新たにパレット表示しても良い。本画像ＰＩに占める顔の領域の割合が大きい画像では、美肌処理がより効果的に作用するためである。なお、瞳の形とは、ぱっちりとした目、切れ長の目などを示す。また、瞳の角度とは、つり目、垂れ目などを示す。また、目尻の長さとは、目尻に入れるアイラインの長さを示す。また、キャッチライトとは、瞳の中に入れるライトのように光る白い輝きを示す。
【００６５】
図９は、瞳のメイクアップに関するバリエーションを表示する際の表示部８の例である。図９の例では、アイシャドーの色を８バリエーション、瞳の形、瞳の角度、目尻の長さ、キャッチライトの形についてそれぞれ３バリエーション表示している。なお、眉及び口についても、色、長さ、形などについて複数のバリエーションを用意しても良い。この場合、画像処理部６は、ステップＳ２０７で、ステップＳ２０６で選択されたバリエーションの項目に応じて、美肌処理を施す。
【００６６】
なお、図９のバリエーションは、上記のものに限定されない。また、アイシャドーや口紅の色については、被写体の年齢に合った色のバリエーションを表示しても良い。例えば、被写体が２０代、３０代である場合は、明るい色を表示し、４０代以上である場合は、暗い色を表示する。これにより、被写体の年齢に合った自然な美肌処理を施すことができる。また、小悪魔モード、女優モード、正統派モードなどのバリエーションを表示し、それぞれのモードに応じた美肌処理を施しても良い。例えば、小悪魔モードでは、睫毛やアイラインを太くすることにより、瞳を強調する。女優モードでは、部分的にテカリを強調することにより、肌の輝きを強調する。正統派モードでは、唇の色を明るい色に補正するとともに、唇の輪郭を強調する。また、プロのメイクアップのテクニックの効果を選択できるようにしても良い。
【００６７】
上記の実施形態では、眉、目、口の領域の全てに美肌処理を施す例を示したが、少なくともいずれか一つの領域に美肌処理を施しても良い。
【００６８】
上記の実施形態では、ユーザから十字キー１９を介して基準画像の選択を受け付ける例を示したが、制御部７が自動的に基準画像を選択しても良い。この場合、制御部７は、本画像全体の色合いに対して、不自然さを感じさせない基準画像を選択することが好ましい。
【００６９】
上記の実施形態では、デジタルカメラ１を例に挙げて説明したが、これに限らない。例えば、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。
【００７０】
また、画像処理部６又は制御部７が行った処理の一部又は全部を、コンピュータで実現する構成としても良い。この場合、コンピュータに画像処理部６又は制御部７が行った処理（図２、図４）の一部又は全部を実行するためのプログラムを記憶しておき、このプログラムにより、同様の処理を行うことで、上記の実施形態と同様の効果を得ることができる。
【符号の説明】
【００７１】
１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、８…表示部、１３…音声出力部、１６…顔検出部、１７…推定部
【技術分野】
【０００１】
本発明は、画像処理装置、デジタルカメラ及びプログラムに関する。
【背景技術】
【０００２】
従来から、撮影した画像に対して画像処理を施すことにより、被写体が美しく見えるような画像を生成するデジタルカメラが知られている。例えば、特許文献１のデジタルカメラは、画像における被写体の瞳を大きくする補正や、肌を滑らかにする補正を施す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５９５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１のデジタルカメラは、個々の被写体に応じた詳細な補正を施さないため、画像における被写体の顔色、表情などの自然な風合いが損なわれてしまう可能性があった。
【０００５】
そこで、本発明の画像処理装置、デジタルカメラ及びプログラムは、被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、顔の特徴部位が含まれる複数の第1画像のいずれかを選択する第1選択部と、前記第1画像とは異なる第２画像から顔を検出する顔検出部と、前記第１選択部によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理部とを備える。
なお、前記第１選択部によって異なる複数の顔の特徴部位の第１画像が選択されたことを受けて、前記美肌処理の基準となる基準画像を生成する画像生成部をさらに備え、前記画像処理部は、生成された前記基準画像に基づいて、前記第２画像に含まれる顔に対する前記美肌処理を実行しても良い。
また、前記基準画像を複数表示可能な表示部と、前記表示部に表示された基準画像のうち、前記美肌処理に用いる基準画像を選択する第２選択部とをさらに備えても良い。
また、前記第１画像における特徴部位と、前記第２画像に含まれる顔とは、同一人物からなっても良い。
また、前記美肌処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも一つからなっても良い。
また、前記第２画像から被写体の顔を検出する顔検出部と、前記顔検出部によって検出された被写体の顔から、該被写体の年齢もしくは年代を推定する推定部とをさらに備え、前記顔の特徴部位に対する補正は、前記推定された被写体の年齢もしくは年代の各々に合わせて、顔の目尻を上げる、口角を上げる、ほうれい線を除去する補正のいずれか１つからなっても良い。
また、前記表示部は、実行される前記美肌処理の内容の候補を表示するとともに、前記推定部によって推定された被写体の年齢もしくは年代の各々に合わせて、前記美肌処理の内容の候補を変更して表示しても良い。
また、前記美肌処理済みの前記第２画像、及び前記第２画像に施された美肌処理の内容を記録する記録部と、前記美肌処理済みの第２画像を前記表示部に表示する際に、前記表示部を制御して、前記美肌処理の具体的内容を報知する制御部とをさらに備えても良い。
また、前記美肌処理の具体的内容の表示を許可するか否かを設定する設定部をさらに備えても良い。
本発明のデジタルカメラは、前記第１画像の元になる画像、及び前記第２画像を取得する撮像部とを備える。
本発明のプログラムは、顔の特徴部位が含まれる複数の第1画像のいずれかを選択する選択工程と、前記第1画像とは異なる第２画像から顔を検出する顔検出工程と、前記選択工程によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理工程とを備える。
【発明の効果】
【０００７】
本発明の画像処理装置、デジタルカメラ及びプログラムによれば、被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態におけるデジタルカメラ１の構成を示すブロック図である。
【図２】基準画像の生成時の動作を示すフローチャートである。
【図３】各特徴部位のサムネイル画像の例、及び基準画像の例を示す図である。
【図４】美肌処理モードが設定された場合における撮像時の動作を示すフローチャートである。
【図５】目尻、口角、ほうれい線を補正するか否かの選択を受け付ける際の表示部８の例である。
【図６】本画像ＰＩ’及び美肌処理の内容を表示する際の表示部８の例である。
【図７】画像における特徴部位の選択例を示す図である。
【図８】基準画像の選択を受け付ける際の表示部８の例である。
【図９】瞳のメイクアップに関するバリエーションを表示する際の表示部８の例である。
【発明を実施するための形態】
【０００９】
以下、図面を用いて本発明の実施形態について説明する。なお、本実施形態では、本発明の画像処理装置の一例として、デジタルカメラを用いて説明する。図１は、本発明の実施形態におけるデジタルカメラ１の構成を示すブロック図である。
【００１０】
図１に示すように、デジタルカメラ１は、撮像レンズ２、撮像素子３、Ａ／Ｄ変換部４、バッファメモリ５、画像処理部６、制御部７、表示部８、操作部９、メモリ１０、記録Ｉ／Ｆ部１１、記録媒体１２、音声出力部１３、バス１４を備える。
【００１１】
撮像レンズ２は、撮像素子３の撮像面に被写体像を結像する。なお、撮像レンズ２は、ズームレンズやフォーカスレンズ等の複数のレンズからなる撮像光学系であっても良い。撮像素子３は、撮像レンズ２を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子３は、撮像待機時、所定間隔ごとに間引き読み出しを行い、スルー画像を取得する。その後、撮像素子３は、後述するレリーズ釦１９が全押しされると本画像を取得する。
【００１２】
撮像素子３から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、撮像素子３から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ５に記録される。バッファメモリ５は、画像処理部６による画像処理の前工程や後工程で画像データを一時的に記録する。
【００１３】
画像処理部６は、バッファメモリ５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部６は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。
【００１４】
また、画像処理部６は、後述する基準画像に基づいて、美肌処理を行う。この美肌処理は、本画像に対して施される画像処理であり、以下に示す処理が挙げられる。これにより、所望のメイクアップを本画像で再現することができる。
【００１５】
画像処理部６は、例えば、画像の露出をオーバー側に補正する露出補正を行う。これにより、被写体の肌が白く表現された好ましい画像を得ることができる。
【００１６】
また、画像処理部６は、ソフトフォーカス処理を行う。これにより、被写体が女性である場合、女性らしさが強調されるとともに、柔らかみのある好ましい画像を得ることができる。また、被写体のしわや肌荒れ等が目立ちにくい好ましい画像を得ることができる。
【００１７】
また、画像処理部６は、彩度や明度のパラメータを補正することにより、肌を白く表現したり、肌色のくすみ等を軽減しても良い。
【００１８】
また、画像処理部６は、画像に含まれる人物を痩身に見せる補正を行う。例えば、画像処理部６は、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整する。或いは画像処理部６は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正して頬を細く見せるようにしても良い。
【００１９】
また、画像処理部６は、顔における特徴部位（眉、目、口等）の調整を行う。例えば、画像処理部６は、目の部分を大きくする補正や鼻の幅を狭くする補正などを行う。また、画像処理部６は、特徴部位の色を補正する。例えば、画像処理部６は上瞼の色に青味を増す色補正や、頬の色に赤味を増す色補正を行う。これにより、アイシャドーや頬紅のようなポイントメイクアップの効果が得られるため、被写体となる女性の見栄えを良くすることができる。また、画像処理部６は、唇の色に赤味を増す色補正を行う。これにより、被写体の顔色を良く見せることができる。
【００２０】
また、画像処理部６は、年齢によって変形する特徴部位を補正する。一般的に、年齢が高くなるほど、目尻及び口角が下がり、ほうれい線（両小鼻から口元に向かって現れる皺）が目立ってくる。そのため、画像処理部６は、目尻、口角を上げるとともに、ほうれい線を除去する。
【００２１】
また、画像処理部６は、ハイライトを抑える処理を行うことにより、閃光発光などの強い光に起因して発生しやすいテカリを軽減しても良い。また、部分的にテカリを強調することにより、肌を瑞々しく見せる補正を行っても良い。
【００２２】
また、画像処理部６は、上述した処理の他に、ダイナミックレンジ拡張、暗部補正、エッジのアンシャープネスマスク処理、ノイズ処理などの処理を行っても良い。
【００２３】
なお、このような美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔が明るく、好ましい画像を取得することができるので、被写体が男性や子供である場合にも有用である。
【００２４】
また、画像処理部６は、画像生成部１５の機能を有している。この画像生成部１５は、上述した美肌処理を実行する際の基準となる画像（以下、基準画像と称する）を生成する。なお、基準画像の生成については、後述する。
【００２５】
制御部７は、所定のシーケンスプログラムにしたがって、デジタルカメラ１の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、制御部７は、顔検出部１６、推定部１７等の機能を有している。顔検出部１６は、本画像や記録媒体１２に記録した画像から特徴点を抽出して顔の領域、顔の大きさ等を検出する。この顔の領域の検出方法は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理が挙げられる。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。そして、顔検出部１６は、画像に含まれる顔の領域の位置を示す情報を取得する。推定部１７は、特開２００４−２２２１１８号公報等に記載された演算処理によって、被写体の年齢や性別を推定する。
【００２６】
表示部８は、制御部７の制御により各種の画像を表示する。表示部８に表示される各種の画像は、スルー画像、本画像、記録媒体１２に記録された画像、メニュー画像等を含む。また、表示部８は、タッチパネル１８を備える。タッチパネル１８は、パネル上で指又はスタイラス等がタッチされた位置を検出する。タッチパネル１８の状態は制御部７により検知される。なお、タッチパネル１８は、表示部８の表面全体に積層して配置するため、表示部８と同等の大きさを有する透明なパネルで構成されている。また、本実施形態の例では、タッチパネル１８は、静電気による電気信号を感知する静電容量式のパネルで構成されている。なお、静電容量式に限らず、圧力による電圧の変化を検知する抵抗膜式のパネルなどを用いても良い。
【００２７】
操作部９は、レリーズ釦１９、十字キー２０等を有する。レリーズ釦１９は、撮像時にユーザにより操作される。十字キー２０は、上記のメニュー画像等で操作される。なお、レリーズ釦１９及び十字キー２０の状態は制御部７により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。記録Ｉ／Ｆ部１１は、記録媒体１２を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１１と記録媒体１２とが接続されることにより、記録媒体１２に対してデータの書き込み／読み出しを実行する。音声出力部１３は、メッセージや音楽を出力する。バス１４は、バッファメモリ５、画像処理部６、制御部７、表示部８、記録Ｉ／Ｆ部１１を相互に接続することにより、データや信号の出入力を実行する。
【００２８】
以上説明した構成のデジタルカメラ１は、基準画像に基づいて、本画像に美肌処理を施す美肌処理モードを有する。美肌処理モードは、ポートレートモードや風景モードなどの既存のシーンモードと独立に備えられる。すなわち、美肌処理モードは、既存のシーンモードに追加して設定可能なモードである。
【００２９】
次に、基準画像を生成する処理について、図２のフローチャートに基づいて説明する。
【００３０】
ステップＳ１０１は、画像を読み出す処理である。制御部７は、記録媒体１２に記録された画像を読み出す。
【００３１】
ステップＳ１０２は、眉の領域のサムネイル画像を選択する処理である。例えば、顔検出部１６は、ステップＳ１０１で読み出された画像から眉の領域を抽出する。そして、画像処理部６は、眉の領域を切り出し、サムネイル画像を生成する。顔検出部１６及び画像処理部６は、上記の処理を繰り返し、複数のサムネイル画像を生成する。その後、制御部７は、複数のサムネイル画像を表示部８に表示し、ユーザから十字キー２０を介して、いずれかのサムネイル画像の選択を受け付ける。これにより、眉の領域のサムネイル画像が選択される。
【００３２】
ステップＳ１０３は、ステップＳ１０２と同様の処理である。このステップＳ１０３の処理を行うことで、目の領域のサムネイル画像が選択される。
【００３３】
ステップＳ１０４は、ステップＳ１０２と同様の処理である。このステップＳ１０４の処理を行うことで、口の領域のサムネイル画像が選択される。図３（Ａ）は、眉の領域のサムネイル画像（符号２１）、目の領域のサムネイル画像（符号２２）、口の領域のサムネイル画像（符号２３）の例である。
【００３４】
ステップＳ１０５は、基準画像を生成する処理である。画像生成部１５は、ステップＳ１０２からステップＳ１０４で選択されたサムネイル画像に含まれる眉、目、口の領域を組み合わせて基準画像を生成する。図３（Ｂ）は、サムネイル画像２１、２２、２３を組み合わせて生成された基準画像（符号２４）の例を示す図である。
【００３５】
ステップＳ１０６は、基準画像を表示する処理である。制御部７は、ステップＳ１０５で生成された基準画像を表示部８に表示する。
【００３６】
ステップＳ１０７は、基準画像を記録するか否かの選択を受け付ける処理である。制御部７は、ユーザから十字キー２０を介して、基準画像を記録するか否かの選択を受け付ける。基準画像を記録する場合（ステップＳ１０７の判定がＹＥＳとなる場合）には、ステップＳ１０８に進む。一方、基準画像を記録しない場合（ステップＳ１０７の判定がＮＯとなる場合）には、ステップＳ１０２に戻る。
【００３７】
ステップＳ１０８は、基準画像を記録する処理である。制御部７は、ステップＳ１０５で生成された基準画像をメモリ１０の専用フォルダに記録する。
【００３８】
なお、上述した図２のフローチャートの処理を繰り返すことにより、複数の基準画像を生成し、記録することが可能となる。
【００３９】
図４は、美肌処理モードが設定された場合における撮像時の動作を示すフローチャートである。以下、便宜上、１人の人物を撮像するシーンを例に挙げて説明する。
【００４０】
ステップＳ２０１は、本画像ＰＩを取得する処理である。撮像素子３は、本画像ＰＩを取得する。
【００４１】
ステップＳ２０２は、本画像ＰＩに含まれる被写体の年齢が２０代以上か否かを判定する処理である。顔検出部１６は、本画像ＰＩから顔の領域を検出する。そして、推定部１７は、顔検出部１６により検出された顔の領域に基づいて、被写体の年齢を推定する。被写体の年齢が２０代以上である場合（ステップＳ２０２の判定がＹＥＳとなる場合）には、ステップＳ２０３に進む。一方、被写体の年齢が２０代以上でない場合（ステップＳ２０２の判定がＮＯとなる場合）には、後述するステップＳ２１０に進む。
【００４２】
ステップＳ２０３は、目尻、口角、ほうれい線を補正するか否かの選択を受け付ける処理である。例えば、制御部７は、本画像ＰＩとともに、「年齢別メイクアップ補正を実行しますか？」等のメッセージを表示部８に表示する（図５参照）。そして、制御部７は、ユーザから十字キー２０を介して、年齢別メイクアップ補正、すなわち目尻、口角、ほうれい線を補正するか否かの選択を受け付ける。補正する場合（ステップＳ２０３の判定がＹＥＳとなる場合）には、ステップＳ２０４に進む。一方、補正しない場合（ステップＳ２０３の判定がＮＯとなる場合）には、後述するステップＳ２１０に進む。
【００４３】
ステップＳ２０４は、目尻、口角、ほうれい線を補正する処理である。まず、制御部７は、ステップＳ２０２で顔検出部１６により検出された顔の肌状態を判定する。例えば、制御部７は、肌の粒状性、すなわち凹凸感を検出する。そして、制御部７は、凹凸感が検出された場合、肌がなめらかな状態ではないため、肌状態は悪いと判断する。次に、制御部７は、肌状態に応じて、角度及び美肌処理のレベルを決定する。制御部７は、例えば表１に示すように、Ａ：目尻、Ｂ：口角、Ｃ：ほうれい線の３つの項目について、美肌処理の対象となる被写体の年齢と性別とに対応した、角度又はレベルを記録している。なお、角度については、本画像ＰＩにおける目尻、口角の状態から上げる角度である。また、レベルについては、数が大きいほど、ほうれい線の除去効果が高い。また、肌状態が悪いほど、目尻、口角を上げるとともに、ほうれい線の除去効果が高くなるレベルが対応付けられている。
【００４４】
【表１】
画像処理部６は、設定された角度及びレベルに応じて、本画像ＰＩにおける目尻、口角、ほうれい線を補正する。
【００４５】
ステップＳ２０５は、本画像ＰＩに含まれる被写体が女性か否かを判定する処理である。推定部１７は、ステップＳ２０２で顔検出部１６により検出された顔の領域に基づいて、本画像ＰＩに含まれる被写体が女性か否かを推定する。女性である場合（ステップＳ２０５の判定がＹＥＳとなる場合）には、ステップＳ２０６に進む。一方、男性である場合（ステップＳ２０５の判定がＮＯとなる場合）には、後述するステップＳ２１０に進む。
【００４６】
ステップＳ２０６は、基準画像の選択を受け付ける処理である。制御部７は、メモリ１０に記録された基準画像の一覧を表示部８に表示し、ユーザから十字キー２０を介して、いずれかの選択を受け付ける。以下、図３（Ｂ）に示す基準画像２４が選択された場合を例に挙げて説明する。
【００４７】
ステップＳ２０７は、基準画像２４に基づく美肌処理を施す処理である。画像処理部６は、基準画像２４に施されたメイクアップと同等の仕上がりになるように、ステップＳ２０２で顔検出部１６により検出された顔の領域に美肌処理を施す。例えば、制御部７は、基準画像２４から眉の色、アイシャドーの色、睫毛の長さ、口紅の色などを識別する。そして、画像処理部６は、識別された情報に基づいて、本画像ＰＩにおける被写体の眉の色、アイシャドーの色、睫毛の長さ、口紅の色などを補正する。これにより、例えば、ユーザが気に入っているメイクアップを本画像ＰＩにおける顔で再現することができる。以下、美肌処理が施された本画像ＰＩを本画像ＰＩ’と称する。
【００４８】
ステップＳ２０８は、本画像ＰＩ’を表示する処理である。制御部７は、図６に示すように、本画像ＰＩ’とともに、ステップＳ２０７で施された美肌処理の内容を表示部８に表示する。これにより、ユーザは、どのように美肌処理が施されたのかを認識することができる。なお、音声出力部１３は、美肌処理の内容を音声により出力しても良い。
【００４９】
ステップＳ２０９は、本画像ＰＩ’を記録するか否かの選択を受け付ける処理である。制御部７は、ユーザから十字キー２０を介して、本画像ＰＩ’を記録するか否かの選択を受け付ける。本画像ＰＩ’を記録する場合（ステップＳ２０９の判定がＹＥＳとなる場合）には、ステップＳ２１０に進む。一方、本画像ＰＩ’を記録しない場合（ステップＳ２０９の判定がＮＯとなる場合）には、ステップＳ２０６に戻り、再度、基準画像の選択を受け付ける。
【００５０】
ステップＳ２１０は、本画像ＰＩ又は本画像ＰＩ’を記録媒体１２に記録する処理である。制御部７は、本画像ＰＩ’を記録する場合、本画像ＰＩ’のＥｘｉｆ情報（付帯情報）に、美肌処理の内容を示す情報を記録する。なお、美肌処理の内容を、付帯情報として記録する代わりに、本画像ＰＩ’と対応付けた別のファイルとして記録しても良い。
【００５１】
ここで、本画像ＰＩ’に付帯された美肌処理の内容は、他者に閲覧されることが好ましくない場合がある。このような場合には、十字キー２０を介したパスワードの設定や、タッチパネル１８を介した指紋認証により、本画像ＰＩ’に付帯された美肌処理の内容を保護しても良い。
【００５２】
以上説明したように、本実施形態のデジタルカメラ１は、複数の画像から、所望のメイクアップが施された眉、目、口の領域をそれぞれ選択し、選択された領域を組み合わせて基準画像を生成する。そして、デジタルカメラ１は、基準画像に基づいて、本画像に美肌処理を施す。また、本画像に含まれる被写体の年齢、性別、肌状態に応じて、目尻、口角、ほうれい線を補正する。すなわち、デジタルカメラ１は、特徴部位ごとに、詳細な美肌処理を行う。したがって、本実施形態のデジタルカメラ１によれば、被写体をより美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【００５３】
（実施形態の補足）
上記の実施形態では、撮像時に本画像に対して美肌処理を施す例を示したが、これに限らない。例えば、再生時に記録媒体１２に記録された画像に対して美肌処理を施しても良い。
【００５４】
図２のステップＳ１０２からステップＳ１０４では、眉、目、口の領域のサムネイル画像一覧を表示する例を示したが、これに限らない。図７に示すように、画像における眉の領域、目の領域、口の領域に対して枠（図７の符号ａから符号ｅ）を表示し、ユーザからタッチパネル１８を介して、基準画像に適用する顔の特徴部位の指定を受け付けても良い。また、図２のステップＳ１０２からステップＳ１０４の順番は、限定されない。
【００５５】
図２のステップＳ１０５では、基準画像を生成する例を示したが、基準画像を生成しなくても良い。例えば、眉、目、口の領域のサムネイル画像のみを表示し、サムネイル画像を記録するか否かの選択を受け付ける。この他に、眉、目、口の各領域から眉の色、睫毛の長さ、口紅の色などを識別し、これらの情報をテキストで表示する。そして、表示した情報を記録するか否かの選択を受け付けても良い。なお、基準画像を生成しない場合、制御部７は、基準画像の選択を受け付ける代わりに、サムネイル画像やテキストで表示した情報の選択を受け付ける。そして、画像処理部６は、受け付けたサムネイル画像や情報に基づいて、本画像に美肌処理を施す。
【００５６】
また、図２のステップＳ２０６で基準画像を選択する代わりに、図２のステップＳ１０１からステップＳ１０４までの処理を行っても良い。
【００５７】
上記の実施形態では、どの人物の特徴部位の領域を組み合わせて基準画像を生成するかについて述べていないが、同一人物の特徴部位の領域を組み合わせても良いし、異なる人物の特徴部位の領域を組み合わせても良い。この場合、推定部１７は、顔検出部１６により検出された特徴点の位置、各特徴点の相対距離などを演算することにより、顔を識別する。例えば、推定部１７は、複数の顔から求めた演算結果を比較して、顔の相似度を求める。そして、推定部１７は、上記の相似度が閾値を上回る場合に、同一人物であると推定する。
【００５８】
また、デジタルカメラ１に、画像中の人物を事前登録しておく「人物登録モード」が設定されている場合には、登録人物が含まれる画像に基づいて、基準画像を生成しても良い。まず、推定部１７は、記録媒体１２に記録された画像のうち、登録人物に一致する人物が含まれる画像を抽出する。次に、制御部７は、図２のステップＳ１０２以降の処理を行い、基準画像を生成する。そして、美肌処理モードにおいて登録人物を撮像した場合、図２のステップＳ２０６で、推定部１７は、該登録人物に一致する人物が含まれる基準画像をメモリ１０から抽出する。そして、表示部８は、抽出部１７により抽出された画像を表示しても良い。
【００５９】
図２のフローチャートでは、複数の画像から選択された特徴部位を組み合わせて基準画像を生成する例を示したが、これに限らない。例えば、ユーザから選択された一枚の画像を基準画像としても良い。
【００６０】
この場合、例えば、有名人（例えばモデルなど）の画像を基準画像としてメモリ１０に予め記録しておいても良い。例えば、図４のステップＳ２０６で、制御部７は、図８に示すように、「過去の自分の画像から選択」、「有名人の画像から選択」、「自動的に候補を表示」の３つの項目を表示部８に表示する。「過去の自分の画像から選択」が選択された場合、推定部１７は、被写体と同一人物の基準画像を抽出する。「有名人の画像から選択」が選択された場合、推定部１７は、有名人の基準画像を抽出する。また、「自動的に候補を表示」が選択された場合、推定部１７は、被写体に類似する人物の基準画像を抽出する。そして、表示部８は、抽出部１７により抽出された画像を表示する。これにより、基準画像のバリエーションを増やすことができる。
【００６１】
図４のステップＳ２０４で用いる表１の数値は、一例であり、限定されない。また、本画像ＰＩにおける被写体が２０代以上である場合に、目尻、口角、ほうれい線を補正する例を示したが、これに限らない。例えば、表１に示すように、被写体が１０代であっても肌状態が悪い場合は、ほうれい線を除去しても良い。
【００６２】
図４のステップＳ２０６では、基準画像として実際の画像を表示する例を示したが、基準画像に基づいて生成されたイラストを表示しても良い。
【００６３】
図４のステップＳ２０８では、本画像ＰＩ’のみを表示する例を示したが、これに限らない。例えば、表示部８は、本画像ＰＩと本画像ＰＩ’とを並べて表示しても良い。これにより、美肌処理の効果がわかりやすくなる。
【００６４】
図４のステップＳ２０６で、制御部７は、本画像ＰＩにおける顔の領域がアップ（例えば、本画像ＰＩに占める顔の領域の割合が３０％以上）である場合は、アイシャドーの色、瞳の形、瞳の角度、目尻の長さ、キャッチライトの形などのバリエーションを、メイクアップ候補として新たにパレット表示しても良い。本画像ＰＩに占める顔の領域の割合が大きい画像では、美肌処理がより効果的に作用するためである。なお、瞳の形とは、ぱっちりとした目、切れ長の目などを示す。また、瞳の角度とは、つり目、垂れ目などを示す。また、目尻の長さとは、目尻に入れるアイラインの長さを示す。また、キャッチライトとは、瞳の中に入れるライトのように光る白い輝きを示す。
【００６５】
図９は、瞳のメイクアップに関するバリエーションを表示する際の表示部８の例である。図９の例では、アイシャドーの色を８バリエーション、瞳の形、瞳の角度、目尻の長さ、キャッチライトの形についてそれぞれ３バリエーション表示している。なお、眉及び口についても、色、長さ、形などについて複数のバリエーションを用意しても良い。この場合、画像処理部６は、ステップＳ２０７で、ステップＳ２０６で選択されたバリエーションの項目に応じて、美肌処理を施す。
【００６６】
なお、図９のバリエーションは、上記のものに限定されない。また、アイシャドーや口紅の色については、被写体の年齢に合った色のバリエーションを表示しても良い。例えば、被写体が２０代、３０代である場合は、明るい色を表示し、４０代以上である場合は、暗い色を表示する。これにより、被写体の年齢に合った自然な美肌処理を施すことができる。また、小悪魔モード、女優モード、正統派モードなどのバリエーションを表示し、それぞれのモードに応じた美肌処理を施しても良い。例えば、小悪魔モードでは、睫毛やアイラインを太くすることにより、瞳を強調する。女優モードでは、部分的にテカリを強調することにより、肌の輝きを強調する。正統派モードでは、唇の色を明るい色に補正するとともに、唇の輪郭を強調する。また、プロのメイクアップのテクニックの効果を選択できるようにしても良い。
【００６７】
上記の実施形態では、眉、目、口の領域の全てに美肌処理を施す例を示したが、少なくともいずれか一つの領域に美肌処理を施しても良い。
【００６８】
上記の実施形態では、ユーザから十字キー１９を介して基準画像の選択を受け付ける例を示したが、制御部７が自動的に基準画像を選択しても良い。この場合、制御部７は、本画像全体の色合いに対して、不自然さを感じさせない基準画像を選択することが好ましい。
【００６９】
上記の実施形態では、デジタルカメラ１を例に挙げて説明したが、これに限らない。例えば、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。
【００７０】
また、画像処理部６又は制御部７が行った処理の一部又は全部を、コンピュータで実現する構成としても良い。この場合、コンピュータに画像処理部６又は制御部７が行った処理（図２、図４）の一部又は全部を実行するためのプログラムを記憶しておき、このプログラムにより、同様の処理を行うことで、上記の実施形態と同様の効果を得ることができる。
【符号の説明】
【００７１】
１…デジタルカメラ、３…撮像素子、６…画像処理部、７…制御部、８…表示部、１３…音声出力部、１６…顔検出部、１７…推定部
【特許請求の範囲】
【請求項１】
顔の特徴部位が含まれる複数の第1画像のいずれかを選択する第1選択部と、
前記第1画像とは異なる第２画像から顔を検出する顔検出部と、
前記第１選択部によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１選択部によって異なる複数の顔の特徴部位の第１画像が選択されたことを受けて、前記美肌処理の基準となる基準画像を生成する画像生成部をさらに備え、
前記画像処理部は、生成された前記基準画像に基づいて、前記第２画像に含まれる顔に対する前記美肌処理を実行する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記基準画像を複数表示可能な表示部と、
前記表示部に表示された基準画像のうち、前記美肌処理に用いる基準画像を選択する第２選択部とをさらに備える
ことを特徴とする画像処理装置。
【請求項４】
請求項１又は２に記載の画像処理装置において、
前記第１画像における特徴部位と、前記第２画像に含まれる顔とは、同一人物からなる
ことを特徴とする画像処理装置。
【請求項５】
請求項1から請求項４までのいずれか１項に記載の画像処理装置において、
前記美肌処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも一つからなる
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記第２画像から被写体の顔を検出する顔検出部と、
前記顔検出部によって検出された被写体の顔から、該被写体の年齢もしくは年代を推定する推定部とをさらに備え、
前記顔の特徴部位に対する補正は、前記推定された被写体の年齢もしくは年代の各々に合わせて、顔の目尻を上げる、口角を上げる、ほうれい線を除去する補正のいずれか１つからなる
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記表示部は、実行される前記美肌処理の内容の候補を表示するとともに、前記推定部によって推定された被写体の年齢もしくは年代の各々に合わせて、前記美肌処理の内容の候補を変更して表示する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の画像処理装置において、
前記美肌処理済みの前記第２画像、及び前記第２画像に施された美肌処理の内容を記録する記録部と、
前記美肌処理済みの第２画像を前記表示部に表示する際に、前記表示部を制御して、前記美肌処理の具体的内容を報知する制御部とをさらに備える
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記美肌処理の具体的内容の表示を許可するか否かを設定する設定部をさらに備える
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載の画像処理装置と、
前記第１画像の元になる画像、及び前記第２画像を取得する撮像部と
を備えることを特徴とするデジタルカメラ。
【請求項１１】
顔の特徴部位が含まれる複数の第1画像のいずれかを選択する選択工程と、
前記第1画像とは異なる第２画像から顔を検出する顔検出工程と、
前記選択工程によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理工程と
を備えることを特徴とするプログラム。
【請求項１】
顔の特徴部位が含まれる複数の第1画像のいずれかを選択する第1選択部と、
前記第1画像とは異なる第２画像から顔を検出する顔検出部と、
前記第１選択部によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１選択部によって異なる複数の顔の特徴部位の第１画像が選択されたことを受けて、前記美肌処理の基準となる基準画像を生成する画像生成部をさらに備え、
前記画像処理部は、生成された前記基準画像に基づいて、前記第２画像に含まれる顔に対する前記美肌処理を実行する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記基準画像を複数表示可能な表示部と、
前記表示部に表示された基準画像のうち、前記美肌処理に用いる基準画像を選択する第２選択部とをさらに備える
ことを特徴とする画像処理装置。
【請求項４】
請求項１又は２に記載の画像処理装置において、
前記第１画像における特徴部位と、前記第２画像に含まれる顔とは、同一人物からなる
ことを特徴とする画像処理装置。
【請求項５】
請求項1から請求項４までのいずれか１項に記載の画像処理装置において、
前記美肌処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも一つからなる
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記第２画像から被写体の顔を検出する顔検出部と、
前記顔検出部によって検出された被写体の顔から、該被写体の年齢もしくは年代を推定する推定部とをさらに備え、
前記顔の特徴部位に対する補正は、前記推定された被写体の年齢もしくは年代の各々に合わせて、顔の目尻を上げる、口角を上げる、ほうれい線を除去する補正のいずれか１つからなる
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記表示部は、実行される前記美肌処理の内容の候補を表示するとともに、前記推定部によって推定された被写体の年齢もしくは年代の各々に合わせて、前記美肌処理の内容の候補を変更して表示する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の画像処理装置において、
前記美肌処理済みの前記第２画像、及び前記第２画像に施された美肌処理の内容を記録する記録部と、
前記美肌処理済みの第２画像を前記表示部に表示する際に、前記表示部を制御して、前記美肌処理の具体的内容を報知する制御部とをさらに備える
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記美肌処理の具体的内容の表示を許可するか否かを設定する設定部をさらに備える
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載の画像処理装置と、
前記第１画像の元になる画像、及び前記第２画像を取得する撮像部と
を備えることを特徴とするデジタルカメラ。
【請求項１１】
顔の特徴部位が含まれる複数の第1画像のいずれかを選択する選択工程と、
前記第1画像とは異なる第２画像から顔を検出する顔検出工程と、
前記選択工程によって選択された第１画像に含まれる顔の特徴部位を適用して、前記第２画像から検出された顔に対する美肌処理を実行する画像処理工程と
を備えることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２４４２３９（Ｐ２０１０−２４４２３９Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９１０４７（Ｐ２００９−９１０４７）
【出願日】平成２１年４月３日（２００９．４．３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月３日（２００９．４．３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]