画像処理装置、撮像装置、画像処理プログラム及び記憶媒体
【課題】 被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することを目的とする。
【解決手段】 第１画像を入力する画像入力部と、前記画像入力部により入力された前記第１画像の顔領域を検出する顔検出部と、前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正部とを備える画像処理装置。
【解決手段】 第１画像を入力する画像入力部と、前記画像入力部により入力された前記第１画像の顔領域を検出する顔検出部と、前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正部とを備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来から、人物を撮影した際に得られる画像を補正し、画像中の人物が美しく見える画像を生成する技術が用いられている。このような画像中の人物を美しく見せる画像を生成する技術として、例えば画像中の人物の瞳を大きくする補正や、肌を滑らかにする補正が挙げられる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５９５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１の技術では、画像中の人物の状態や撮影環境などに関係なく一律の割合で補正を施すため、画像中の人物の顔色、表情などの自然な風合いが損なわれ、不自然な画像となりやすい。
【０００５】
そこで、本発明の画像処理装置、デジタルカメラ、画像処理プログラム及び記憶媒体は、被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、第１画像を入力する画像入力部と、前記画像入力部により入力された前記第１画像の顔領域を検出する顔検出部と、前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正部とを備える。
【０００７】
また、前記画像補正部による前記第１画像の補正時に、前記第２画像を単数、又は複数表示する表示部と、前記表示部に表示された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えてもよい。
【０００８】
また、前記第２画像を単数、又は複数記憶する画像記憶部と、前記記憶部に記憶された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えてもよい。
【０００９】
また、前記第２画像は、該第２画像に含まれる被写体毎にまとめて前記画像記憶部に記憶されてもよい。
【００１０】
また、前記第２画像は、顔領域の少なくとも一部を有する画像からなってもよい。
【００１１】
また、前記画像補正部により補正処理された第１画像は、前記補正処理の内容を示す補正情報と関連付けられて記憶されてもよい。
【００１２】
また、前記補正情報と関連付けられた第１画像は、前記第２画像として前記画像記憶部に記憶されてもよい。
【００１３】
また、前記補正処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも１つからなってもよい。
【００１４】
本発明の撮像装置は、上記の画像処理装置を備える。
【００１５】
本発明の画像処理プログラムは、第１画像を入力する画像入力工程と、前記画像入力工程により入力された前記第１画像の顔領域を検出する顔検出工程と、前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正工程とをコンピュータにて実行することが可能である。
【００１６】
本発明の記録媒体は、上記の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記録媒体である。
【発明の効果】
【００１７】
本発明の画像処理装置、撮像装置、画像処理プログラム及び記憶媒体によれば、被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態における撮像装置１０の構成を示すブロック図である。
【図２】撮影時の動作を示すフローチャートである。
【図３】サンプル画像に対応するサムネイル画像一覧の表示例である。
【発明を実施するための形態】
【００１９】
以下、図面を用いて本発明の実施形態について説明する。図１は、本実施形態における撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮影により取得した画像に対して予め設定された撮影条件に基づいて画像処理を行う撮影モードの他に、該画像処理に加えて、画像中の人物に対して美肌処理を施す美肌撮影モードを有する。この美肌撮影モードは、後述する基準画像に基づく美肌処理を施す第１美肌撮影モードと、ユーザの設定に基づく美肌処理を施す第２美肌撮影モードとからなる。本実施形態では、人物を被写体として撮影する場合について説明する。
【００２０】
図１に示すように、撮像装置１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、操作部１７、メモリ１８、記録Ｉ／Ｆ部１９、記録媒体２０、制御部２１、バス２２を備える。
【００２１】
撮像レンズ１１は、撮像素子１２の撮像面に被写体像を結像する。撮像素子１２は、撮像レンズ１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子１２は、撮像待機時、所定間隔ごとに間引き読み出しを行い、スルー画像の元になる画像信号を出力する。その後、撮像素子１２は、後述するレリーズ釦２３の全押し時、本画像の元になる画像信号を出力する。
【００２２】
撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ１４に記録される。バッファメモリ１４は、後述する画像処理部１５による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２３】
画像処理部１５は、バッファメモリ１４に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。
【００２４】
また、画像処理部１５は、本画像から検出された顔領域に対して、美肌処理を施す。美肌処理としては、例えば、露出をオーバー側に補正する露出補正、ソフトフォーカス処理、彩度補正、明度補正、頬を細く見せる補正、顔領域における特徴部位（眉、目、口等）の調整、ハイライトを抑える処理等が挙げられる。例えば、頬を細く見せる補正は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正することにより行われる。また、顔領域における特徴部位の補正としては、目領域の拡大や鼻の幅を狭くする補正や、特徴部位の色補正、目尻、口角を上げる補正、ほうれい線の除去等が挙げられる。
【００２５】
なお、上述した処理の他に、肌を瑞々しく見せる補正処理（輝度補正）、肌の色の変更、髪の色の変更、ダイナミックレンジ拡張、暗部補正、エッジのアンシャープネスマスク処理、ノイズ除去などの処理を美肌処理に含めてもよい。
【００２６】
このように、美肌処理は、しわや肌荒れ等を目立たなくするといった肌領域の補正処理と、ポイントメイクアップに該当する処理とが含まれる。美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔が明るく、好ましい画像を取得することができるので、被写体が男性や子供である場合にも有用である。
【００２７】
また、画像処理部１５は、上述した画像処理が施された本画像に対してリサイズ処理を行って、例えば複数の画像を表示部１６に一覧表示する際に用いる画像や、表示部１６に表示する際に用いる画像（スクリーンネイル画像）などのサムネイル画像を生成する。そして、画像処理部１５は、これら画像に対して、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記の画像を伸長復元する処理を実行する。
【００２８】
表示部１６は、各種の画像を表示する。表示部１６に表示される各種の画像は、スルー画像、本画像、メニュー画像、後述する記録媒体２０に記録された画像等である。操作部１７は、レリーズ釦２３、十字キー２４等を有する。レリーズ釦２３は、撮影時にユーザにより操作される。十字キー２４は、上記のメニュー画像等で操作される。なお、レリーズ釦２３及び十字キー２４の状態は制御部２１により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。
【００２９】
メモリ１８は、第１美肌撮影モードで美肌処理を実行する際の基準となる画像（以下、基準画像と称する）の候補となるサンプル画像を複数記録している。これらサンプル画像は、被写体毎に分類されてメモリ１８内に記録される。このメモリ１８には、サンプル画像に含まれる被写体に対応付けられた専用フォルダが記録されている。なお、この専用フォルダは、メモリ１８内に新たにサンプル画像を記録する場合や、過去に記録されたサンプル画像から得られる顔認識データと、新たに記録するサンプル画像から得られる顔認識データとが一致しない場合に生成される。このメモリ１８に生成される専用フォルダには、上述したサンプル画像と、サンプル画像に含まれる被写体の顔領域から取得される顔認識データとが記録される。なお、サンプル画像としては、撮影モード、第１美肌撮影モード、第２美肌撮影モードのいずれかにより取得した本画像、該本画像に対してリサイズ処理を行ったサムネイル画像のいずれかからなる。以下、本画像をサンプル画像として専用フォルダに記録する場合について説明する。この第１美肌撮影モード、第２美肌撮影モードにより取得した本画像をサンプル画像とする場合、これらサンプル画像には、美肌処理の内容を示す補正情報が付帯情報の１つとして記録されている。なお、顔認識データは、本画像の付帯情報に記録してもよいし、本画像と関連付けた別のファイルとして記録してもよい。
【００３０】
記録Ｉ／Ｆ部１９は、記録媒体２０が接続されることにより、記録媒体２０に対してデータの書き込み／読み出しを実行する。
【００３１】
制御部２１は、所定のシーケンスプログラムにしたがって、撮像装置１０の統括的な制御を行うとともに、撮影時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。この制御部２１は、顔検出部２５、生成部２６、判定部２７等の機能を有している。顔検出部２５は、本画像、サンプル画像、記録媒体２０に記録した画像から特徴点を抽出して顔領域、顔の大きさ等を検出する。この顔領域の検出方法は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理が挙げられる。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。
【００３２】
生成部２６は、顔検出部２５により検出された特徴点の位置、各特徴点の相対距離などから、顔領域の特徴量を示す顔認識データを生成する。なお、生成部２６は、専用フォルダに複数のサンプル画像が記録されている場合には、各サンプル画像の顔認識データの平均を、顔認識データとして生成する。
【００３３】
判定部２７は、撮影時の被写体の専用フォルダがメモリ１８に生成されているか否かを判定する。例えば、判定部２７は、本画像から検出された顔領域の顔認識データと、各専用フォルダに記録されたサンプル画像から検出された顔領域の顔認識データとを比較して、撮影時の被写体の顔と、サンプル画像に含まれる顔との相似度を求める。次に、判定部２７は、求めた相似度が予め求めた閾値を上回るか否かを判定する。判定部２７は、求めた相似度が閾値を上回ると判定した場合に、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されている（被写体に対応付けられた専用フォルダがある）と判定する。つまり、この場合は、撮影時の被写体が専用フォルダに記録されたサンプル画像に含まれる被写体と同一人物となる場合である。
【００３４】
一方、上述した相似度が閾値未満となる場合に、判定部２７は、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていない（被写体に対応付けられた専用フォルダがない）と判定する。つまり、この場合は、撮影時の被写体が専用フォルダに記録されたサンプル画像に含まれる被写体と同一人物とはならない場合である。
【００３５】
バス２２は、バッファメモリ１４、画像処理部１５、表示部１６、記録Ｉ／Ｆ部１９、制御部２１を相互に接続することにより、データや信号の出入力を実行する。
【００３６】
次に、撮影時の動作について、図２のフローチャートに基づいて説明する。なお、図２のフローチャートは、撮影時にレリーズ釦２３が全押しされたことを契機に実行される。また、以下、便宜上、１人の女性を撮影するシーンを例に挙げて説明する。
【００３７】
ステップＳ１０１は、本画像を取得する処理である。なお、このステップＳ１０１の処理については、周知であることから、ここでは説明を省略する。このステップＳ１０１の処理が実行されることで、先に設定された露出条件に基づいた本画像が取得され、取得された本画像がバッファメモリ１４に一時記録される。
【００３８】
ステップＳ１０２は、顔認識データを生成する処理である。顔検出部２５は、ステップＳ１０１で取得された本画像から顔領域を検出する。生成部２６は、顔領域の顔認識データを生成する。
【００３９】
ステップＳ１０３は、撮影時の被写体の専用フォルダがメモリ１８に生成されているか否かを判定する処理である。まず、検出部２５は、メモリ１８の各専用フォルダに記録された顔認識データを読み出す。そして、判定部２７は、本画像の顔認識データと、各専用フォルダから読み出した顔認識データとを比較して、相似度を求める。判定部２７は、これら相似度のうち、閾値を上回る相似度があれば、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていると判定する。この場合、制御部２１は、この判定処理をＹＥＳとし、ステップＳ１０４に進む。
【００４０】
一方、判定部２７は、上述した相似度のうち、閾値を上回る相似度がない場合には、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていないと判定する。この場合、制御部２１は、この判定処理をＮＯとし、ステップＳ１１０に進む。
【００４１】
上述したように、制御部２１は、ステップＳ１０３の判定処理でＹＥＳとなる、つまり、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていると判定された場合には、ステップＳ１０４に進む。
【００４２】
ステップＳ１０４は、設定された撮影モードが第１美肌撮影モードであるか否かを判定する処理である。設定された撮影モードが第1美肌撮影モードであれば、制御部２１は、ステップＳ１０４の判定処理をＹＥＳとし、ステップＳ１０５に進む。一方、設定された撮影モードが第１美肌撮影モードでなければ、制御部２１は、ステップＳ１０４の判定処理をＮＯとし、ステップＳ１１０に進む。
【００４３】
ステップＳ１０５は、サムネイル画像の選択を受け付ける処理である。制御部２１は、撮影時の被写体の専用フォルダから、サムネイル画像を読み出す。これに併せて、制御部２１は、美肌処理の内容を示す補正情報を読み出す。
【００４４】
図３に示すように、表示部１６は、読み出されたサムネイル画像の一覧をサムネイル画像表示領域３１に表示する。また、表示部１６は、現在の基準画像候補を表示する枠３２、「基準画像を選択して下さい」のメッセージ３３、「ＯＫ」の項目３４を表示する。また、表示部１６は、補正情報が読み出された場合は、サムネイル画像に該補正情報を重畳表示する。例えば、サムネイル画像３５の唇領域をピンク色にしたことを示す補正情報が読み出された場合、表示部１６は、サムネイル画像３５に「ピンク系の口紅です」のメッセージ３６を重畳表示する。制御部２１は、ユーザから十字キー２４を介して、サムネイル画像の一覧からいずれかの選択を受け付け、受け付けたサムネイル画像に対応するサンプル画像を基準画像として設定する。
【００４５】
ステップＳ１０６は、基準画像に基づく美肌処理を施す処理である。まず、画像処理部１５は、ステップＳ１０２で検出された顔領域に、露出補正、ソフトフォーカス処理等を施す。次に、画像処理部１５は、ステップＳ１０６で設定された基準画像に施されたメイクアップと同等の仕上がりになるように、本画像から検出された顔領域に美肌処理を施す。例えば、制御部２１は、該基準画像から肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などを識別する。また、制御部２１は、補正情報が読み出された場合は、該補正情報からこれらを識別する。そして、画像処理部１５は、識別された情報に基づいて、本画像における顔領域の肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などを補正する。
【００４６】
ステップＳ１０７は、美肌処理が施された本画像を表示する処理である。表示部１６は、ステップＳ１０６で美肌処理が施された本画像を表示する。
【００４７】
ステップＳ１０８は、美肌処理が適切であるか否かの選択を受け付ける処理である。制御部２１は、ユーザから十字キー２４を介して、美肌処理が適切であるか否かの選択を受け付け、適切であるとの選択を受け付けた場合（ステップＳ１０８の判定がＹＥＳとなる場合）には、ステップＳ１０９に進む。一方、制御部２１は、適切でないとの選択を受け付けた場合（ステップＳ１０８の判定がＮＯとなる場合）には、ステップＳ１０４に戻り、設定された撮影モードが第１美肌撮影モードであるか否かを判定する。
【００４８】
ステップＳ１０９は、美肌処理が施された本画像を専用フォルダ及び記録媒体２０に記録する処理である。画像処理部１５は、美肌処理が施された本画像に対してリサイズ処理を行って、サムネイル画像を生成する。制御部２１は、ステップＳ１０２で生成した顔認識データと、美肌処理が施された本画像と、該サムネイル画像と、補正情報とを関連付けて、美肌処理に用いた基準画像が記録されている専用フォルダにサンプル画像として記録する。また、同時に、記録媒体２０に記録し、一連の処理を終了する。
【００４９】
上述したステップＳ１０３において撮影時の被写体の専用フォルダが生成されていないと判定された場合、又はステップＳ１０４において設定された撮影モードが第１美肌撮影モードでないと判定された場合には、ステップＳ１１０に進む。ステップＳ１１０は、設定された撮影モードが第２美肌撮影モードであるか否かを判定する処理である。設定された撮影モードが第２美肌撮影モードであれば、制御部２１は、ステップＳ１１０の判定処理をＹＥＳとし、ステップＳ１１１に進む。一方、設定された撮影モードが第２美肌撮影モードでなければ、制御部２１は、ステップＳ１１０の判定結果をＮＯとする。この場合は、画像処理部１５により、本画像に対して撮影条件に基づく画像処理が施される。この画像処理の後、ステップＳ１１２に進む。
【００５０】
ステップＳ１１１は、ユーザ設定に基づく美肌処理を施す処理である。まず、画像処理部１５は、ステップＳ１０２で検出された顔領域に、露出補正、ソフトフォーカス処理等を施す。次に、制御部２１は、肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などのバリエーションをメイクアップ候補として表示部１６にパレット表示し、ユーザから十字キー２４を介して、いずれかの選択を受け付ける。そして、画像処理部１５は受け付けた選択に基づいて、本画像における顔領域の肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などを補正する。
【００５１】
ステップＳ１１２は、撮影条件に基づく画像処理が施された本画像、又は美肌処理が施された本画像を表示する処理である。表示部１６は、撮影条件に基づく画像処理が施された本画像、又はステップＳ１１１で美肌処理が施された本画像を表示する。
【００５２】
ステップＳ１１３は、撮影条件に基づく画像処理、又は美肌処理が適切であるか否かの選択を受け付ける処理である。制御部２１は、ユーザから十字キー２４を介して、撮影条件に基づく画像処理、又は美肌処理が適切であるか否かの選択を受け付け、適切であるとの選択を受け付けた場合（ステップＳ１１３の判定がＹＥＳとなる場合）には、ステップＳ１１４に進む。一方、適切でないとの選択を受け付けた場合（ステップＳ１１３の判定がＮＯとなる場合）には、ステップＳ１１０に戻り、設定された撮影モードが第２撮影モードであるか否かを判定する。
【００５３】
ステップＳ１１４は、専用フォルダを生成する処理である。制御部２１は、メモリ１８に新たに専用フォルダを生成する。
【００５４】
ステップＳ１１５は、撮影条件に基づく画像処理が施された本画像、又は美肌処理が施された本画像を専用フォルダ及び記録媒体２０に記録する処理である。ステップＳ１１１で美肌処理を施していない場合、画像処理部１５は、撮影条件に基づく画像処理を施した本画像に対してリサイズ処理を行って、サムネイル画像を生成する。制御部２１は、撮影条件に基づく画像処理を施した本画像と、該サムネイル画像と、ステップＳ１０２で生成した顔認識データとを関連付けて、新たに生成した専用フォルダにサンプル画像として記録する。また、同時に、記録媒体２０に記録し、一連の処理を終了する。一方、ステップＳ１１１で美肌処理を施した場合、画像処理部１５は、美肌処理が施された本画像に対してリサイズ処理を行って、サムネイル画像を生成する。制御部２１は、ステップＳ１０２で生成した顔認識データと、美肌処理が施された本画像と、該サムネイル画像と、補正情報とを関連付けて、新たな専用フォルダにサンプル画像として記録する。また、同時に、記録媒体２０に記録し、一連の処理を終了する。
【００５５】
一般的に、人によって似合うメイクアップはそれぞれ異なるため、その人の肌の色や顔立ちに似合った美肌処理を施さないと、不自然な画像になってしまうことがある。また、被写体が気に入ったメイクアップを施したときに取得した画像を記録しておき、そのメイクアップを他の画像で再現したい場合が考えられる。そこで、本実施形態の撮像装置１０は、サンプル画像を被写体毎に分類し専用フォルダに記録しておく。そして、撮影時の被写体の専用フォルダに記録されたサンプル画像から基準画像を選択し、該基準画像に基づいて、本画像に美肌処理を施す。これにより、所望のメイクアップをした基準画像に本画像を近づけることができる。したがって、本実施形態の撮像装置１０によれば、被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【００５６】
なお、上記の実施形態では、被写体の顔領域全体を含む画像をサンプル画像としたが、サンプル画像から抽出した眉の領域、目の領域、口の領域など顔領域の一部を含む画像をサンプル画像としてもよい。
【００５７】
また、上記の実施形態では、肌、眉、目、口の領域の全てに美肌処理を施す例を示したが、これに限らない。例えば、制御部２１は、ユーザから十字キー２４を介して、いずれの領域に美肌処理を施すかの選択を受け付けてもよい。また、制御部２１は、髪の色のバリエーションをメイクアップ候補として表示部１６にパレット表示し、ユーザから十字キー２４を介して、いずれかの選択を受け付けてもよい。
【００５８】
また、上記の実施形態では、ユーザから十字キー２４を介して基準画像の選択を受け付ける例を示したが、これに限らない。例えば、制御部２１は、撮影時の被写体の顔と最も相似度が高いサンプル画像を自動的に基準画像として選択してもよいし、最新のサンプル画像を自動的に基準画像として選択してもよい。また、ユーザによりステップＳ１０５で選択された基準画像を固定し、図２のフローチャートの処理が繰り返されたときに、固定された基準画像を用いて、美肌処理を施してもよい。
【００５９】
また、上記の実施形態において、美肌処理が施された本画像を表示部１６に表示する際に、ユーザが美肌処理の内容を認識できるように、補正情報を表示してもよい。
【００６０】
また、上記の実施形態では、１人の女性を撮影するシーンを例に挙げて説明したが、これに限らない。例えば、男性や子供を撮影するシーンや、複数の人物を撮影するシーンに対応することも可能である。
【００６１】
また、上記の実施形態では、顔領域の特徴量を示す顔認識データを比較することにより、撮影時の被写体が、専用フォルダに記録されたサンプル画像に含まれる被写体と同一人物であるか否かを判定する例を示したが、これに限らない。例えば、周知のパターンマッチングにより同一人物であるか否かを判定してもよい。
【００６２】
また、上記の実施形態では、ステップＳ１０３で撮影時の被写体の専用フォルダがメモリ１８に生成されていないと判定された場合には、設定された撮影モードが第２美肌撮影モードであるか否かを判定する例を示したが、これに限らない。例えば、他人の専用フォルダに記録されたサンプル画像の選択を受け付け、該サンプル画像を基準画像として、美肌処理を施してもよい。撮影時の被写体と基準画像に含まれる被写体とが同一人物でない場合は、同一人物である場合に比べて、メイクアップの質では及ばないものの、美肌処理の効果は期待できる。
【００６３】
また、上記の実施形態では、美肌処理の対象を顔領域としたが、これに限らない。例えば、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整することにより、画像に含まれる人物を痩身に見せる補正を施してもよい。
【００６４】
また、上記の実施形態では、撮影時に取得した本画像に美肌処理を施す例を示したが、これに限らない。例えば、記録媒体２０に記録された画像に美肌処理を施すことも可能である。
【００６５】
また、上記の実施形態では、撮像装置１０を例に挙げて説明したが、これに限らない。例えば、パソコンなどの画像処理装置や、撮像機能を備える携帯電話機等の携帯型端末機器、デジタルフォトフレームなどの画像表示装置にも本発明を同様に適用することができる。さらに、図１の画像処理部１５、制御部２１に示す機能や、図２に示すフローチャートの流れをプログラムとしてコンピュータ読み取り可能な記録媒体に記録し、該プログラムをコンピュータにて実行するようにしてもよい。
【符号の説明】
【００６６】
１０…撮像装置、１２…撮像素子、１５…画像処理部、１６…表示部、１７…操作部、２１…制御部、２５…顔検出部、２６…生成部、２７…判定部
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来から、人物を撮影した際に得られる画像を補正し、画像中の人物が美しく見える画像を生成する技術が用いられている。このような画像中の人物を美しく見せる画像を生成する技術として、例えば画像中の人物の瞳を大きくする補正や、肌を滑らかにする補正が挙げられる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５９５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１の技術では、画像中の人物の状態や撮影環境などに関係なく一律の割合で補正を施すため、画像中の人物の顔色、表情などの自然な風合いが損なわれ、不自然な画像となりやすい。
【０００５】
そこで、本発明の画像処理装置、デジタルカメラ、画像処理プログラム及び記憶媒体は、被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、第１画像を入力する画像入力部と、前記画像入力部により入力された前記第１画像の顔領域を検出する顔検出部と、前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正部とを備える。
【０００７】
また、前記画像補正部による前記第１画像の補正時に、前記第２画像を単数、又は複数表示する表示部と、前記表示部に表示された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えてもよい。
【０００８】
また、前記第２画像を単数、又は複数記憶する画像記憶部と、前記記憶部に記憶された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えてもよい。
【０００９】
また、前記第２画像は、該第２画像に含まれる被写体毎にまとめて前記画像記憶部に記憶されてもよい。
【００１０】
また、前記第２画像は、顔領域の少なくとも一部を有する画像からなってもよい。
【００１１】
また、前記画像補正部により補正処理された第１画像は、前記補正処理の内容を示す補正情報と関連付けられて記憶されてもよい。
【００１２】
また、前記補正情報と関連付けられた第１画像は、前記第２画像として前記画像記憶部に記憶されてもよい。
【００１３】
また、前記補正処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも１つからなってもよい。
【００１４】
本発明の撮像装置は、上記の画像処理装置を備える。
【００１５】
本発明の画像処理プログラムは、第１画像を入力する画像入力工程と、前記画像入力工程により入力された前記第１画像の顔領域を検出する顔検出工程と、前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正工程とをコンピュータにて実行することが可能である。
【００１６】
本発明の記録媒体は、上記の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記録媒体である。
【発明の効果】
【００１７】
本発明の画像処理装置、撮像装置、画像処理プログラム及び記憶媒体によれば、被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態における撮像装置１０の構成を示すブロック図である。
【図２】撮影時の動作を示すフローチャートである。
【図３】サンプル画像に対応するサムネイル画像一覧の表示例である。
【発明を実施するための形態】
【００１９】
以下、図面を用いて本発明の実施形態について説明する。図１は、本実施形態における撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮影により取得した画像に対して予め設定された撮影条件に基づいて画像処理を行う撮影モードの他に、該画像処理に加えて、画像中の人物に対して美肌処理を施す美肌撮影モードを有する。この美肌撮影モードは、後述する基準画像に基づく美肌処理を施す第１美肌撮影モードと、ユーザの設定に基づく美肌処理を施す第２美肌撮影モードとからなる。本実施形態では、人物を被写体として撮影する場合について説明する。
【００２０】
図１に示すように、撮像装置１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、操作部１７、メモリ１８、記録Ｉ／Ｆ部１９、記録媒体２０、制御部２１、バス２２を備える。
【００２１】
撮像レンズ１１は、撮像素子１２の撮像面に被写体像を結像する。撮像素子１２は、撮像レンズ１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子１２は、撮像待機時、所定間隔ごとに間引き読み出しを行い、スルー画像の元になる画像信号を出力する。その後、撮像素子１２は、後述するレリーズ釦２３の全押し時、本画像の元になる画像信号を出力する。
【００２２】
撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ１４に記録される。バッファメモリ１４は、後述する画像処理部１５による画像処理の前工程や後工程で画像データを一時的に記録する。
【００２３】
画像処理部１５は、バッファメモリ１４に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。
【００２４】
また、画像処理部１５は、本画像から検出された顔領域に対して、美肌処理を施す。美肌処理としては、例えば、露出をオーバー側に補正する露出補正、ソフトフォーカス処理、彩度補正、明度補正、頬を細く見せる補正、顔領域における特徴部位（眉、目、口等）の調整、ハイライトを抑える処理等が挙げられる。例えば、頬を細く見せる補正は、特開２００４−２６４８９３号公報のように、顔の輪郭を補正することにより行われる。また、顔領域における特徴部位の補正としては、目領域の拡大や鼻の幅を狭くする補正や、特徴部位の色補正、目尻、口角を上げる補正、ほうれい線の除去等が挙げられる。
【００２５】
なお、上述した処理の他に、肌を瑞々しく見せる補正処理（輝度補正）、肌の色の変更、髪の色の変更、ダイナミックレンジ拡張、暗部補正、エッジのアンシャープネスマスク処理、ノイズ除去などの処理を美肌処理に含めてもよい。
【００２６】
このように、美肌処理は、しわや肌荒れ等を目立たなくするといった肌領域の補正処理と、ポイントメイクアップに該当する処理とが含まれる。美肌処理は、単純に女性の見映えを良くするだけのものではなく、顔が明るく、好ましい画像を取得することができるので、被写体が男性や子供である場合にも有用である。
【００２７】
また、画像処理部１５は、上述した画像処理が施された本画像に対してリサイズ処理を行って、例えば複数の画像を表示部１６に一覧表示する際に用いる画像や、表示部１６に表示する際に用いる画像（スクリーンネイル画像）などのサムネイル画像を生成する。そして、画像処理部１５は、これら画像に対して、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記の画像を伸長復元する処理を実行する。
【００２８】
表示部１６は、各種の画像を表示する。表示部１６に表示される各種の画像は、スルー画像、本画像、メニュー画像、後述する記録媒体２０に記録された画像等である。操作部１７は、レリーズ釦２３、十字キー２４等を有する。レリーズ釦２３は、撮影時にユーザにより操作される。十字キー２４は、上記のメニュー画像等で操作される。なお、レリーズ釦２３及び十字キー２４の状態は制御部２１により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。
【００２９】
メモリ１８は、第１美肌撮影モードで美肌処理を実行する際の基準となる画像（以下、基準画像と称する）の候補となるサンプル画像を複数記録している。これらサンプル画像は、被写体毎に分類されてメモリ１８内に記録される。このメモリ１８には、サンプル画像に含まれる被写体に対応付けられた専用フォルダが記録されている。なお、この専用フォルダは、メモリ１８内に新たにサンプル画像を記録する場合や、過去に記録されたサンプル画像から得られる顔認識データと、新たに記録するサンプル画像から得られる顔認識データとが一致しない場合に生成される。このメモリ１８に生成される専用フォルダには、上述したサンプル画像と、サンプル画像に含まれる被写体の顔領域から取得される顔認識データとが記録される。なお、サンプル画像としては、撮影モード、第１美肌撮影モード、第２美肌撮影モードのいずれかにより取得した本画像、該本画像に対してリサイズ処理を行ったサムネイル画像のいずれかからなる。以下、本画像をサンプル画像として専用フォルダに記録する場合について説明する。この第１美肌撮影モード、第２美肌撮影モードにより取得した本画像をサンプル画像とする場合、これらサンプル画像には、美肌処理の内容を示す補正情報が付帯情報の１つとして記録されている。なお、顔認識データは、本画像の付帯情報に記録してもよいし、本画像と関連付けた別のファイルとして記録してもよい。
【００３０】
記録Ｉ／Ｆ部１９は、記録媒体２０が接続されることにより、記録媒体２０に対してデータの書き込み／読み出しを実行する。
【００３１】
制御部２１は、所定のシーケンスプログラムにしたがって、撮像装置１０の統括的な制御を行うとともに、撮影時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。この制御部２１は、顔検出部２５、生成部２６、判定部２７等の機能を有している。顔検出部２５は、本画像、サンプル画像、記録媒体２０に記録した画像から特徴点を抽出して顔領域、顔の大きさ等を検出する。この顔領域の検出方法は、特開２００１−１６５７３号公報等に記載された特徴点抽出処理が挙げられる。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等が挙げられる。
【００３２】
生成部２６は、顔検出部２５により検出された特徴点の位置、各特徴点の相対距離などから、顔領域の特徴量を示す顔認識データを生成する。なお、生成部２６は、専用フォルダに複数のサンプル画像が記録されている場合には、各サンプル画像の顔認識データの平均を、顔認識データとして生成する。
【００３３】
判定部２７は、撮影時の被写体の専用フォルダがメモリ１８に生成されているか否かを判定する。例えば、判定部２７は、本画像から検出された顔領域の顔認識データと、各専用フォルダに記録されたサンプル画像から検出された顔領域の顔認識データとを比較して、撮影時の被写体の顔と、サンプル画像に含まれる顔との相似度を求める。次に、判定部２７は、求めた相似度が予め求めた閾値を上回るか否かを判定する。判定部２７は、求めた相似度が閾値を上回ると判定した場合に、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されている（被写体に対応付けられた専用フォルダがある）と判定する。つまり、この場合は、撮影時の被写体が専用フォルダに記録されたサンプル画像に含まれる被写体と同一人物となる場合である。
【００３４】
一方、上述した相似度が閾値未満となる場合に、判定部２７は、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていない（被写体に対応付けられた専用フォルダがない）と判定する。つまり、この場合は、撮影時の被写体が専用フォルダに記録されたサンプル画像に含まれる被写体と同一人物とはならない場合である。
【００３５】
バス２２は、バッファメモリ１４、画像処理部１５、表示部１６、記録Ｉ／Ｆ部１９、制御部２１を相互に接続することにより、データや信号の出入力を実行する。
【００３６】
次に、撮影時の動作について、図２のフローチャートに基づいて説明する。なお、図２のフローチャートは、撮影時にレリーズ釦２３が全押しされたことを契機に実行される。また、以下、便宜上、１人の女性を撮影するシーンを例に挙げて説明する。
【００３７】
ステップＳ１０１は、本画像を取得する処理である。なお、このステップＳ１０１の処理については、周知であることから、ここでは説明を省略する。このステップＳ１０１の処理が実行されることで、先に設定された露出条件に基づいた本画像が取得され、取得された本画像がバッファメモリ１４に一時記録される。
【００３８】
ステップＳ１０２は、顔認識データを生成する処理である。顔検出部２５は、ステップＳ１０１で取得された本画像から顔領域を検出する。生成部２６は、顔領域の顔認識データを生成する。
【００３９】
ステップＳ１０３は、撮影時の被写体の専用フォルダがメモリ１８に生成されているか否かを判定する処理である。まず、検出部２５は、メモリ１８の各専用フォルダに記録された顔認識データを読み出す。そして、判定部２７は、本画像の顔認識データと、各専用フォルダから読み出した顔認識データとを比較して、相似度を求める。判定部２７は、これら相似度のうち、閾値を上回る相似度があれば、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていると判定する。この場合、制御部２１は、この判定処理をＹＥＳとし、ステップＳ１０４に進む。
【００４０】
一方、判定部２７は、上述した相似度のうち、閾値を上回る相似度がない場合には、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていないと判定する。この場合、制御部２１は、この判定処理をＮＯとし、ステップＳ１１０に進む。
【００４１】
上述したように、制御部２１は、ステップＳ１０３の判定処理でＹＥＳとなる、つまり、撮影時の被写体に対応付けられた専用フォルダがメモリ１８に生成されていると判定された場合には、ステップＳ１０４に進む。
【００４２】
ステップＳ１０４は、設定された撮影モードが第１美肌撮影モードであるか否かを判定する処理である。設定された撮影モードが第1美肌撮影モードであれば、制御部２１は、ステップＳ１０４の判定処理をＹＥＳとし、ステップＳ１０５に進む。一方、設定された撮影モードが第１美肌撮影モードでなければ、制御部２１は、ステップＳ１０４の判定処理をＮＯとし、ステップＳ１１０に進む。
【００４３】
ステップＳ１０５は、サムネイル画像の選択を受け付ける処理である。制御部２１は、撮影時の被写体の専用フォルダから、サムネイル画像を読み出す。これに併せて、制御部２１は、美肌処理の内容を示す補正情報を読み出す。
【００４４】
図３に示すように、表示部１６は、読み出されたサムネイル画像の一覧をサムネイル画像表示領域３１に表示する。また、表示部１６は、現在の基準画像候補を表示する枠３２、「基準画像を選択して下さい」のメッセージ３３、「ＯＫ」の項目３４を表示する。また、表示部１６は、補正情報が読み出された場合は、サムネイル画像に該補正情報を重畳表示する。例えば、サムネイル画像３５の唇領域をピンク色にしたことを示す補正情報が読み出された場合、表示部１６は、サムネイル画像３５に「ピンク系の口紅です」のメッセージ３６を重畳表示する。制御部２１は、ユーザから十字キー２４を介して、サムネイル画像の一覧からいずれかの選択を受け付け、受け付けたサムネイル画像に対応するサンプル画像を基準画像として設定する。
【００４５】
ステップＳ１０６は、基準画像に基づく美肌処理を施す処理である。まず、画像処理部１５は、ステップＳ１０２で検出された顔領域に、露出補正、ソフトフォーカス処理等を施す。次に、画像処理部１５は、ステップＳ１０６で設定された基準画像に施されたメイクアップと同等の仕上がりになるように、本画像から検出された顔領域に美肌処理を施す。例えば、制御部２１は、該基準画像から肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などを識別する。また、制御部２１は、補正情報が読み出された場合は、該補正情報からこれらを識別する。そして、画像処理部１５は、識別された情報に基づいて、本画像における顔領域の肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などを補正する。
【００４６】
ステップＳ１０７は、美肌処理が施された本画像を表示する処理である。表示部１６は、ステップＳ１０６で美肌処理が施された本画像を表示する。
【００４７】
ステップＳ１０８は、美肌処理が適切であるか否かの選択を受け付ける処理である。制御部２１は、ユーザから十字キー２４を介して、美肌処理が適切であるか否かの選択を受け付け、適切であるとの選択を受け付けた場合（ステップＳ１０８の判定がＹＥＳとなる場合）には、ステップＳ１０９に進む。一方、制御部２１は、適切でないとの選択を受け付けた場合（ステップＳ１０８の判定がＮＯとなる場合）には、ステップＳ１０４に戻り、設定された撮影モードが第１美肌撮影モードであるか否かを判定する。
【００４８】
ステップＳ１０９は、美肌処理が施された本画像を専用フォルダ及び記録媒体２０に記録する処理である。画像処理部１５は、美肌処理が施された本画像に対してリサイズ処理を行って、サムネイル画像を生成する。制御部２１は、ステップＳ１０２で生成した顔認識データと、美肌処理が施された本画像と、該サムネイル画像と、補正情報とを関連付けて、美肌処理に用いた基準画像が記録されている専用フォルダにサンプル画像として記録する。また、同時に、記録媒体２０に記録し、一連の処理を終了する。
【００４９】
上述したステップＳ１０３において撮影時の被写体の専用フォルダが生成されていないと判定された場合、又はステップＳ１０４において設定された撮影モードが第１美肌撮影モードでないと判定された場合には、ステップＳ１１０に進む。ステップＳ１１０は、設定された撮影モードが第２美肌撮影モードであるか否かを判定する処理である。設定された撮影モードが第２美肌撮影モードであれば、制御部２１は、ステップＳ１１０の判定処理をＹＥＳとし、ステップＳ１１１に進む。一方、設定された撮影モードが第２美肌撮影モードでなければ、制御部２１は、ステップＳ１１０の判定結果をＮＯとする。この場合は、画像処理部１５により、本画像に対して撮影条件に基づく画像処理が施される。この画像処理の後、ステップＳ１１２に進む。
【００５０】
ステップＳ１１１は、ユーザ設定に基づく美肌処理を施す処理である。まず、画像処理部１５は、ステップＳ１０２で検出された顔領域に、露出補正、ソフトフォーカス処理等を施す。次に、制御部２１は、肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などのバリエーションをメイクアップ候補として表示部１６にパレット表示し、ユーザから十字キー２４を介して、いずれかの選択を受け付ける。そして、画像処理部１５は受け付けた選択に基づいて、本画像における顔領域の肌の色、眉の形や色、アイシャドーの色、睫毛の長さや色、口紅の色などを補正する。
【００５１】
ステップＳ１１２は、撮影条件に基づく画像処理が施された本画像、又は美肌処理が施された本画像を表示する処理である。表示部１６は、撮影条件に基づく画像処理が施された本画像、又はステップＳ１１１で美肌処理が施された本画像を表示する。
【００５２】
ステップＳ１１３は、撮影条件に基づく画像処理、又は美肌処理が適切であるか否かの選択を受け付ける処理である。制御部２１は、ユーザから十字キー２４を介して、撮影条件に基づく画像処理、又は美肌処理が適切であるか否かの選択を受け付け、適切であるとの選択を受け付けた場合（ステップＳ１１３の判定がＹＥＳとなる場合）には、ステップＳ１１４に進む。一方、適切でないとの選択を受け付けた場合（ステップＳ１１３の判定がＮＯとなる場合）には、ステップＳ１１０に戻り、設定された撮影モードが第２撮影モードであるか否かを判定する。
【００５３】
ステップＳ１１４は、専用フォルダを生成する処理である。制御部２１は、メモリ１８に新たに専用フォルダを生成する。
【００５４】
ステップＳ１１５は、撮影条件に基づく画像処理が施された本画像、又は美肌処理が施された本画像を専用フォルダ及び記録媒体２０に記録する処理である。ステップＳ１１１で美肌処理を施していない場合、画像処理部１５は、撮影条件に基づく画像処理を施した本画像に対してリサイズ処理を行って、サムネイル画像を生成する。制御部２１は、撮影条件に基づく画像処理を施した本画像と、該サムネイル画像と、ステップＳ１０２で生成した顔認識データとを関連付けて、新たに生成した専用フォルダにサンプル画像として記録する。また、同時に、記録媒体２０に記録し、一連の処理を終了する。一方、ステップＳ１１１で美肌処理を施した場合、画像処理部１５は、美肌処理が施された本画像に対してリサイズ処理を行って、サムネイル画像を生成する。制御部２１は、ステップＳ１０２で生成した顔認識データと、美肌処理が施された本画像と、該サムネイル画像と、補正情報とを関連付けて、新たな専用フォルダにサンプル画像として記録する。また、同時に、記録媒体２０に記録し、一連の処理を終了する。
【００５５】
一般的に、人によって似合うメイクアップはそれぞれ異なるため、その人の肌の色や顔立ちに似合った美肌処理を施さないと、不自然な画像になってしまうことがある。また、被写体が気に入ったメイクアップを施したときに取得した画像を記録しておき、そのメイクアップを他の画像で再現したい場合が考えられる。そこで、本実施形態の撮像装置１０は、サンプル画像を被写体毎に分類し専用フォルダに記録しておく。そして、撮影時の被写体の専用フォルダに記録されたサンプル画像から基準画像を選択し、該基準画像に基づいて、本画像に美肌処理を施す。これにより、所望のメイクアップをした基準画像に本画像を近づけることができる。したがって、本実施形態の撮像装置１０によれば、被写体を美しく見せるとともに、不自然な印象を与えない画像を容易に生成することができる。
【００５６】
なお、上記の実施形態では、被写体の顔領域全体を含む画像をサンプル画像としたが、サンプル画像から抽出した眉の領域、目の領域、口の領域など顔領域の一部を含む画像をサンプル画像としてもよい。
【００５７】
また、上記の実施形態では、肌、眉、目、口の領域の全てに美肌処理を施す例を示したが、これに限らない。例えば、制御部２１は、ユーザから十字キー２４を介して、いずれの領域に美肌処理を施すかの選択を受け付けてもよい。また、制御部２１は、髪の色のバリエーションをメイクアップ候補として表示部１６にパレット表示し、ユーザから十字キー２４を介して、いずれかの選択を受け付けてもよい。
【００５８】
また、上記の実施形態では、ユーザから十字キー２４を介して基準画像の選択を受け付ける例を示したが、これに限らない。例えば、制御部２１は、撮影時の被写体の顔と最も相似度が高いサンプル画像を自動的に基準画像として選択してもよいし、最新のサンプル画像を自動的に基準画像として選択してもよい。また、ユーザによりステップＳ１０５で選択された基準画像を固定し、図２のフローチャートの処理が繰り返されたときに、固定された基準画像を用いて、美肌処理を施してもよい。
【００５９】
また、上記の実施形態において、美肌処理が施された本画像を表示部１６に表示する際に、ユーザが美肌処理の内容を認識できるように、補正情報を表示してもよい。
【００６０】
また、上記の実施形態では、１人の女性を撮影するシーンを例に挙げて説明したが、これに限らない。例えば、男性や子供を撮影するシーンや、複数の人物を撮影するシーンに対応することも可能である。
【００６１】
また、上記の実施形態では、顔領域の特徴量を示す顔認識データを比較することにより、撮影時の被写体が、専用フォルダに記録されたサンプル画像に含まれる被写体と同一人物であるか否かを判定する例を示したが、これに限らない。例えば、周知のパターンマッチングにより同一人物であるか否かを判定してもよい。
【００６２】
また、上記の実施形態では、ステップＳ１０３で撮影時の被写体の専用フォルダがメモリ１８に生成されていないと判定された場合には、設定された撮影モードが第２美肌撮影モードであるか否かを判定する例を示したが、これに限らない。例えば、他人の専用フォルダに記録されたサンプル画像の選択を受け付け、該サンプル画像を基準画像として、美肌処理を施してもよい。撮影時の被写体と基準画像に含まれる被写体とが同一人物でない場合は、同一人物である場合に比べて、メイクアップの質では及ばないものの、美肌処理の効果は期待できる。
【００６３】
また、上記の実施形態では、美肌処理の対象を顔領域としたが、これに限らない。例えば、画像の縦横比を若干縦長に変更した後、人物の部分を切り出し、画像の大きさを調整することにより、画像に含まれる人物を痩身に見せる補正を施してもよい。
【００６４】
また、上記の実施形態では、撮影時に取得した本画像に美肌処理を施す例を示したが、これに限らない。例えば、記録媒体２０に記録された画像に美肌処理を施すことも可能である。
【００６５】
また、上記の実施形態では、撮像装置１０を例に挙げて説明したが、これに限らない。例えば、パソコンなどの画像処理装置や、撮像機能を備える携帯電話機等の携帯型端末機器、デジタルフォトフレームなどの画像表示装置にも本発明を同様に適用することができる。さらに、図１の画像処理部１５、制御部２１に示す機能や、図２に示すフローチャートの流れをプログラムとしてコンピュータ読み取り可能な記録媒体に記録し、該プログラムをコンピュータにて実行するようにしてもよい。
【符号の説明】
【００６６】
１０…撮像装置、１２…撮像素子、１５…画像処理部、１６…表示部、１７…操作部、２１…制御部、２５…顔検出部、２６…生成部、２７…判定部
【特許請求の範囲】
【請求項１】
第１画像を入力する画像入力部と、
前記画像入力部により入力された前記第１画像の顔領域を検出する顔検出部と、
前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像補正部による前記第１画像の補正時に、前記第２画像を単数、又は複数表示する表示部と、
前記表示部に表示された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第２画像を単数、又は複数記憶する画像記憶部と、
前記記憶部に記憶された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第２画像は、該第２画像に含まれる被写体毎にまとめて前記画像記憶部に記憶されていることを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記第２画像は、顔領域の少なくとも一部を有する画像からなることを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像処置装置において、
前記画像補正部により補正処理された第１画像は、前記補正処理の内容を示す補正情報と関連付けられて記憶されることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記補正情報と関連付けられた第１画像は、前記第２画像として前記画像記憶部に記憶されることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像処理装置において、
前記補正処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも１つからなることを特徴とする画像処理装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項１０】
第１画像を入力する画像入力工程と、
前記画像入力工程により入力された前記第１画像の顔領域を検出する顔検出工程と、
前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正工程と
をコンピュータにて実行することが可能な画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記憶媒体。
【請求項１】
第１画像を入力する画像入力部と、
前記画像入力部により入力された前記第１画像の顔領域を検出する顔検出部と、
前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像補正部による前記第１画像の補正時に、前記第２画像を単数、又は複数表示する表示部と、
前記表示部に表示された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第２画像を単数、又は複数記憶する画像記憶部と、
前記記憶部に記憶された前記第２画像から、前記補正処理の基準となる基準画像を選択する選択部とを備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第２画像は、該第２画像に含まれる被写体毎にまとめて前記画像記憶部に記憶されていることを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記第２画像は、顔領域の少なくとも一部を有する画像からなることを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像処置装置において、
前記画像補正部により補正処理された第１画像は、前記補正処理の内容を示す補正情報と関連付けられて記憶されることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記補正情報と関連付けられた第１画像は、前記第２画像として前記画像記憶部に記憶されることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像処理装置において、
前記補正処理は、色調補正、コントラスト補正、明るさ補正、或いは顔の特徴部位に対する補正の少なくとも１つからなることを特徴とする画像処理装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項１０】
第１画像を入力する画像入力工程と、
前記画像入力工程により入力された前記第１画像の顔領域を検出する顔検出工程と、
前記第１画像とは異なり、且つ前記顔検出部により検出された前記第１画像の顔領域の特徴量と同一となる特徴量を有する第２画像に基づいて、前記第１画像の顔領域に対する補正処理を実行する画像補正工程と
をコンピュータにて実行することが可能な画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムが記憶された、コンピュータにて読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−３３２４（Ｐ２０１２−３３２４Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３５２６９（Ｐ２０１０−１３５２６９）
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]