画像処理装置、画像処理方法及びプログラム
【課題】人物の肌色を好ましいとされる所定の範囲内の肌色に補正することを最優先しつつ、画像全体の色味を調整することが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する抽出部１０２と、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部１０６と、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成する色補正部１０８と、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部１０６と、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する画像補正部１０４とを備える。
【解決手段】画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する抽出部１０２と、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部１０６と、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成する色補正部１０８と、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部１０６と、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する画像補正部１０４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等によって撮影された写真に対して色味を補正する際には、撮影された１カットの画像データに含まれる色情報のみから一元的に推測演算を行っていた。すなわち、「世の中の被写体全ての色を平均すると無彩色になる」というエバンスの原理に基づき、画像全体の色の平均がグレーになるように光源の影響による画像内の光質を変化させて、写真に対して色味を補正していた。
【０００３】
色味補正に関する技術が、例えばホワイトバランス補正技術として特許文献１や特許文献２などで開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１４８８６３号公報
【特許文献２】特開２００３−２０９８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１で開示された技術は、人物が被写体である写真に対して、まず、抽出した肌色情報と、画像から別途算出したホワイトバランスパラメータを用いて、ホワイトバランス処理後の肌色情報を計算する。そして、この計算後の肌色情報が、予め設定された所定の肌色に計算前の肌色情報より近いかどうかを判断し、近いと判断した時は画像処理演算部が先のホワイトバランスパラメータを基に画像全体を補正する。
【０００６】
また、特許文献２で開示された技術は、画像から算出したパラメータを各画素に適用して肌色候補画素の個数を算出する。そして、肌色候補画素数が最大となるパラメータを適用したときの肌色候補画素の平均色温度に基づいて、撮影時の光源の色温度を推定する。その後、推定された色温度と、基準白色の色温度との差分だけ、パラメータを適用した画像信号に対して補正する。
【０００７】
従来の技術では、色味の崩れは原因が光源であるときは好適に補正されるが、原因が背景であるときは適切に補正されない。例えば、人物が被写体であって、周辺環境からの反射光によって肌色の色味が崩れている写真（森林の中で立っていて、緑色の光が当たっている人物の写真など）に対してエバンスの原理を適用すると、人物の肌の部分が不自然な色となるケースがある。
【０００８】
また、特許文献１の技術では、ホワイトバランス処理後の肌色が、処理前の肌色と比較して所定の肌色に近いかの相対評価を行っている。しかし、ホワイトバランス処理による補正のみによるため、ホワイトバランス処理後であっても、人物の肌の部分が好ましい肌色からはまだかけ離れているケースがある。
【０００９】
さらに、特許文献２の技術では、大きく色味が崩れていて、パラメータ適用後も肌色候補画素が皆無である画像に対しては、適切な補正がされないケースがある。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、人物の肌色を好ましいとされる所定の範囲内の肌色に補正することを最優先しつつ、画像全体の色味を調整することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する抽出部と、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成する色補正部と、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する画像補正部とを備える画像処理装置が提供される。
【００１２】
上記色補正部は、第１肌色情報の位置から所定の範囲内までに最も近い所定の範囲の外周上の位置を計算し、計算後の位置を第２肌色情報の位置としてもよい。
【００１３】
上記色補正部は、第１肌色情報の位置から第２肌色情報の位置までが所定の距離より大きいか否かを判断し、所定の距離以下であるとき計算後の位置を第２肌色情報の位置としてもよい。
【００１４】
上記色補正部によって、第１肌色情報の位置から第２肌色情報の位置までが所定の距離より大きいと判断されたとき、抽出部は、ユーザーによって画像データから人物の肌の部分を抽出するモードへ移行してもよい。
【００１５】
上記抽出部が、ユーザーによって画像データから人物の肌の部分を抽出するモードへ移行しているとき、色補正部は、第１肌色情報の位置から第２肌色情報の位置までが所定の距離より大きいか否かを判断せず、計算後の位置を第２肌色情報の位置としてもよい。
【００１６】
また、本発明の別の観点によれば、画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する抽出部と、第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、変換された第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１色情報を所定の範囲内へ補正し第２色情報を生成する色補正部と、第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、第１色情報が第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する画像補正部とを備える画像処理装置が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成するステップと、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成するステップと、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用するステップとを備える画像処理方法が提供される。
【００１８】
また、本発明の別の観点によれば、画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成するステップと、第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、変換された第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１色情報を所定の範囲内へ補正し第２色情報を生成するステップと、第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、第１色情報が第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用するステップとを備える画像処理方法が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する手段、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成する手段、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する手段としてコンピュータを機能させるためのプログラムが提供される。
【００２０】
また、本発明の別の観点によれば、画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する手段、第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、変換された第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１色情報を所定の範囲内へ補正し第２色情報を生成する手段、第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、第１色情報が第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する手段としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、人物の肌色を好ましいとされる所定の範囲内の肌色に補正しつつ、画像全体の色味を調整できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る画像処理装置を示すブロック図である。
【図２】同実施形態に係る画像処理装置の画像処理動作を示すフローチャートである。
【図３】人物が被写体となった画像の一例を示す説明図である。
【図４】Ｌａｂ表色系を示すグラフである。
【図５】Ｌａｂ表色系の一部を示すグラフである。
【図６】赤色のトーンカーブの一例を示すグラフである。
【図７】操作画面の一例を示す説明図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
３．変更例
【００２５】
＜１．一実施形態の構成＞
本発明の一実施形態に係る画像処理装置１００について説明する。
画像処理装置１００は、撮影された写真や動画の画像データを画像処理する。画像処理装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、プリンターなどに適用される。
【００２６】
本実施形態は、元画像の被写体を解析して人物を検出する。そして、人物の肌色情報を抽出した後、その肌色情報をＬａｂ表色系で表し、その肌色が人の好む肌色領域から外れる場合、元画像の肌色が人の好む肌色領域に収まるように補正しつつ、背景への補正の影響が出来る限り小さくなるよう元画像全体の各色のバランスを補正する。以下、元画像の肌色が人の好む肌色領域に最短距離で収まるように、元画像全体の各色のバランスを補正する場合について説明する。
【００２７】
画像処理装置１００は、図１に示すように、例えば肌色抽出部１０２と、画像補正部１０４と、色空間変換部１０６と、肌色補正部１０８などからなる。
【００２８】
肌色抽出部１０２は、撮影された画像（元画像）の画像データが入力される。肌色抽出部１０２は、被写体が人物であるとき、入力画像から人物の肌の部分を検出し、元画像の肌色情報を生成する。元画像の肌色情報は、人物の肌の部分の色情報である。人物の肌の部分は、顔検出機能などにより自動に検出させてもよいし、ユーザーの手動による範囲の指定によって検出させてもよい。
【００２９】
肌色抽出部１０２は、生成した肌色情報を色空間変換部１０６と画像補正部１０４へと送出する。肌色抽出部１０２によって抽出される肌色情報は、ＲＧＢ色空間である。
【００３０】
色空間変換部１０６は、肌色抽出部１０２から入力される元画像の肌色情報の色空間をＲＧＢからＬａｂへと変換する。色空間変換部１０６は、色空間がＬａｂに変換された元画像の肌色情報を肌色補正部１０８へと送出する。
【００３１】
肌色補正部１０８は、色空間変換部１０６から入力されるＬａｂ表色系で表された肌色情報が、予め定められた所定の肌色の範囲（図４で示す範囲２）の範囲内であるかどうかを判断する。すなわち、Ｌａｂ表色系では、画像内において、人物の肌色は人種によらずその色相・彩度はある一定の範囲内（範囲１）に収まることが知られている。さらに、画像内において、人物の肌の色相・彩度が、範囲１より狭い範囲である特定の範囲内（範囲２）に収まったとき、人物の肌色は人が見た目に好む肌色となる。
【００３２】
肌色補正部１０８は、入力された元画像の肌色情報が範囲２内に収まる好ましい肌色であるときは、補正処理を終了する。肌色補正部１０８は、入力された元画像の肌色情報が範囲２外の人の見た目で好ましくない肌色であるときは、補正処理を実施する。人の見た目で好ましくない肌色とは、写真などの画像を人が見たとき、肌の部分が他の色の影響を受けている、または肌以外の色に偏っていると感じるような色である。これは、光源の色温度や、周囲環境の反射光の色の影響、その他を原因とする。
【００３３】
肌色補正部１０８は、入力された元画像の肌色情報のＬａｂ表色系における位置を算出する。そして、肌色補正部１０８は、算出した元画像の肌色情報の位置から、範囲２までに最も近い範囲２の外周上の位置を計算する。計算後の位置が補正後の肌色情報である。
【００３４】
肌色補正部１０８は、さらに、元画像の肌色情報の位置と補正後の肌色情報の位置との距離を算出し、算出された距離が予め定められた所定の距離より大きいか否かを判断する。肌色補正部１０８は、算出された距離が所定の距離より大きいと判断し、また入力された元画像の肌色情報が顔検出機能などにより自動的に抽出されたものであれば、肌色抽出部１０２を自動から手動へと切り替える切り替え信号を肌色抽出部１０２へ送出する。そして、画像処理装置１００は、もう一度始めから計算し直す。肌色補正部１０８は、算出された距離が所定の距離以下であるとき、補正後の肌色情報を色空間変換部１０６へと送出する。
【００３５】
色空間変換部１０６は、肌色補正部１０８から入力された補正後の肌色情報の色空間をＬａｂからＲＧＢへと変換する。色空間変換部１０６は、色空間がＲＧＢに変換された肌色情報を画像補正部１０４へと送出する。
【００３６】
画像補正部１０４は、肌色抽出部１０２から入力された元画像の肌色情報と色空間変換部１０６から入力された補正後の肌色情報を用いて、ＲＧＢ各々に対して画像補正用トーンカーブを作成する。画像補正部１０４は、元画像に、作成したＲＧＢ毎のトーンカーブを適用することで画像全体の各色の補正を行う。その結果、画像内における人物の肌の部分が好ましい肌色に調整されつつ、画像全体への影響は出来る限り小さくなるよう各色のバランスを調整した補正が行われる。
【００３７】
＜２．一実施形態の動作＞
次に、本発明の一実施形態に係る画像処理装置１００の動作について説明する。
Ｌａｂ表色系では、画像内の人物の肌色は、人種によらず図４に示すようにその色相・彩度はある一定の範囲内（例えば図４に示す範囲１）に収まる。また、色相・彩度が特定の範囲内（例えば図４に示す範囲２）に収まったとき、画像内に表示された人物の肌は人が好む肌色となる。
【００３８】
これら範囲１と範囲２は、Ｌａｂ表色系のａとｂを用いた特定の数値の範囲内として表すことができる。本実施形態では、図３に示すような画像１２０（元画像）の被写体である人物の肌の部分１２２の色が、図４におけるＬａｂ表色系のα（ａ＿ｉｎ，ｂ＿ｉｎ）であり、範囲２の外に位置する場合について説明する。
【００３９】
この場合、肌の部分１２２の色が、人物の肌色が好ましい肌色である領域２の外周上かつαとの距離が最も近いβ（ａ＿ｏｕｔ，ｂ＿ｏｕｔ）の位置となるように、肌の部分１２２の色と同時に画像全体の各色のバランスを補正する。
【００４０】
図２を参照して、本実施形態に係る画像処理の動作を説明する。図２は、本実施形態に係る画像処理装置１００の画像処理動作を示すフローチャートである。
【００４１】
まず、人物が被写体である写真から、人物を検出してその肌色を抽出する。そして、抽出された人物の肌色が、元画像の肌色情報としてＲＧＢ値で入力される（ステップＳ１０１）。このとき抽出される人物の肌色は、例えば、顔検出機能を用いて算出される額や頬の座標上の色を平均したものなどであり、顔検出機能によって自動的に得られるものとする。
【００４２】
次に、入力された人物の肌色情報を色相・彩度で表現するため、色空間をＲＧＢからＬａｂへと変換する（ステップＳ１０２）。その後、Ｌａｂ表色系で表された人物の元画像の肌色情報の位置αが、図４の範囲２（予め定められた所定の肌色の範囲）の範囲内であるかどうかを判断する（ステップＳ１０３）。入力された人物の元画像の肌色情報αが範囲２内に収まる好ましい肌色であるときは処理を終了する。一方、範囲２外の好ましくない肌色であるときは、入力された人物の元画像の肌色情報から、範囲２の外周上かつαに最も近い位置を計算する（ステップＳ１０４）。例えば、範囲２がＬａｂ表色系において、図５に示すように、４本の直線に囲まれた四角形の範囲で示されるとき、それぞれの四角形の頂点をＡ（ａ１，ｂ１），Ｂ（ａ２，ｂ２），Ｃ（ａ３，ｂ３），Ｄ（ａ４，ｂ４）とし、αから最も近い線分をＡＢとすると、βの位置は以下の式で表される。
【００４３】
【数１】
【００４４】
【数２】
【００４５】
上記の例では、βの位置は、範囲２の外周上かつαに最も近い位置とした。これは、範囲２の外周上であれば、人が見た目に好ましい肌色に補正されるためである。また、元画像の肌色情報から補正後の肌色情報への変化量が最少になるため、後述するようにトーンカーブを作成して、画像全体に作成したトーンカーブを適用しても、肌色以外を含む画像全体に与える影響を最小限に抑えることができるためである。
【００４６】
そして、入力された元画像の肌色情報として、顔検出機能などによって自動的に抽出されたものが用いられているとき、元画像の位置αと計算後の位置βの距離が予め定められた所定の距離γよりも大きいかどうかを判断する（ステップＳ１０５）。αとβの距離がγよりも小さいときはステップＳ１０６に進む。一方、αとβの距離がγよりも大きいときはステップＳ１０１において人物の肌色として誤ったものを抽出して入力した可能性がある。例えば、顔検出機能により検出された顔が人物のものでなく、銅像などであったときが該当する。したがって、Ｌａｂ表色系のグラフ上のαとβの距離がγよりも大きいときは、ステップＳ１０１に戻り手動で人物を検出して肌色を抽出し直し、再びステップＳ１０２からステップＳ１０４を行う。この後、手動で抽出した人物の肌色情報の位置αとβの距離がγより大きくても、ステップＳ１０６に進む。
【００４７】
次に、βの位置を計算後、元画像より抽出された人物の肌色情報の位置αを計算後の位置βに補正する（ステップＳ１０６）。補正前後の人物の肌色のＲＧＢ値から画像全体の色味を調整するＲＧＢそれぞれのトーンカーブを作成するため、補正された肌色情報の色空間をＬａｂからＲＧＢへと戻す（ステップＳ１０７）。最後に、入力された元画像の肌色情報が補正後の肌色情報へとなるようＲＧＢそれぞれのトーンカーブを作成する。図６に、赤色Ｒのトーンカーブの一例を示す。元画像の肌色情報がｒ（１）であり、補正後の肌色情報がｒ（２）であるとき、ｒ（１），ｒ（２）の関係を維持しながら、トーンカーブを作成する。
【００４８】
そして、画像全体に対して、作成したＲＧＢそれぞれのトーンカーブを適用することで、入力された元画像の肌色情報が補正後の肌色情報へとなるよう補正しながら、画像全体の各色のバランスを補正する（ステップＳ１０８）。
【００４９】
本実施形態が組み込まれた画像処理装置１００の実施例を以下に示す。
まず、画像データが保存されたリムーバル記録媒体などから画像データが読み出され、画像がディスプレイ上に一覧として表示されるとする。操作者は表示された画像一覧の中から補正を行う画像を選択する。
【００５０】
次に、選択した画像に対して適用する補正の種類を選択する。図７に、画像処理をするときの操作画面の例を示す。操作画面１５０には、補正の種類を示す選択可能なボタン１５２と、画像処理前の画像１５４と、画像処理後の画像１５６等が含まれる。ボタン１５２は、補正の種類に応じて複数個が表示される
【００５１】
操作画面１５０において、「色味補正（あるいは「肌色補正」等）」ボタン１５２−１が選択されると、ボタン１５２−１に対応して色味補正（あるいは「肌色補正」等）の画像処理が実行される。その結果、操作画面１５０の左側の元画像１５４に対して、各色（ＲＧＢ）のバランスが補正された画像１５６が右側に表示される。
【００５２】
ここで、ステップＳ１０５によって、手動で人物の肌色情報を抽出する必要があると判断されたときは、左側に表示されている元画像１５４から人物の肌をディスプレイ上からタッチする、またはカーソルで選択するなどの操作者の選択によって、人物の肌色情報が抽出されてもよい。
【００５３】
元画像１５４から複数の人物が検出された場合、被写体の人物によっては、異なる光源の元で写真が撮影された可能性もある。そのため、例えば、１枚の集合写真において一人だけ森の中に立っており、その他の人は被写体であるが直射日光に当たっている写真などである。この場合、特定の人物の肌色情報のみを用いても、必ずしも残りの人物の肌色がきれいに補正されるとは限らない。そのため、本実施形態では、複数の人物が検出された際には、全員の肌色情報を用いてもよい。全員の肌色情報を使用する場合、例えば、各肌の部分が画像全体に占める肌色の面積に応じて重み付けなどを行う。
【００５４】
被写体全員の肌色が出来るだけ、図４の範囲２に近づくように補正をかけることが望ましい。一方、特定の人物に注目したい場合、その被写体をディスプレイ上からタッチもしくはカーソルで合わせることで、その人物の肌色をきれいに補正するようにしてもよい。
【００５５】
また、本実施形態では、記録媒体に保存された画像データの一覧がディスプレイ上に表示された後、補正を行いたい画像を逐次選択して補正した。なお、補正する画像が多いときなどは、予め全ての画像データに対して本実施形態に係る画像処理を適用した後、ディスプレイに適用後の全画像を表示する。そして、ステップＳ１０８まで補正が行われた画像は、点滅させたり○印をつけたりし、ステップＳ１０５において肌色を手動で選択しなければならない画像には、△印をつけたりなどして表示してもよい。これは、記録媒体から画像データを読み込むと、自動的に本実施形態を適用して画像を補正するような仕組みとすることができる。このとき、被写体として人物が検出されなかった画像データには×印などをつけて、画像を表示してもよい。
【００５６】
以上、本実施形態によれば、色味の崩れの原因が光源の色温度、周辺環境の反射光もしくは他の要因によるものであっても、人物が被写体である色味が崩れた写真等の画像に対して、画像内の人物の肌色がきれいに見えるように色味を補正する。
【００５７】
人物が被写体であり、かつ周辺環境の反射光が原因で肌色の色味が崩れている写真（例えば、森林の中で立っているため、人物の肌色が周囲からの反射光により緑の色かぶりをしている写真など）は、背景の色自体は破綻していない。従来の画像処理によれば、肌の部分を補正しようとすると、画像全体、特に破綻していなかった背景の色が不自然な色となるケースがあった。一方、本実施形態によれば、人物の肌色をきれいに補正しつつ、背景への補正の影響を最小限に抑えることができ、人物の肌色及び背景双方がきれいに見えるように色味を調整することが可能となる。
【００５８】
＜３．変更例＞
次に、人物が検出されなかった画像データ、例えば風景画像に対して、本発明を適用する場合について説明する。上記実施形態では、人物の肌の部分が、人の見た目で好ましい肌色になるように補正する場合について説明した。本発明は、空や海などの自然物、又は人工物を、それぞれ好みの色に補正する場合に適用されてもよい。
【００５９】
例えば、空や海などの補正対象をディスプレイ上からタッチもしくはカーソルで合わせることで、元画像の空や海などの色が予め設定された所定の空や海などの色の範囲内へ最短距離で収まるように補正する。その際、元画像全体の各色のバランスも補正する。ただし、人の肌色の場合、人種によらず図４に示すようにその色相・彩度はある一定の範囲内（例えば図４に示す範囲１）に収まるが、空や海などの自然物や人工物は様々な色相・彩度をとりうる。そのため、予め設定する色の範囲は、数種類用意しておく（例えば、海ならば「北極海」「熱帯域の海」「雨天時の海」「夕焼け時の海」など）。そして、それぞれの色の範囲について補正をかけて、候補画像をディスプレイに表示し、操作者が好みの画像を選択するようにしてもよい。
【００６０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６１】
１００ 画像処理装置
１０２ 肌色抽出部
１０４ 画像補正部
１０６ 色空間変換部
１０８ 肌色補正部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等によって撮影された写真に対して色味を補正する際には、撮影された１カットの画像データに含まれる色情報のみから一元的に推測演算を行っていた。すなわち、「世の中の被写体全ての色を平均すると無彩色になる」というエバンスの原理に基づき、画像全体の色の平均がグレーになるように光源の影響による画像内の光質を変化させて、写真に対して色味を補正していた。
【０００３】
色味補正に関する技術が、例えばホワイトバランス補正技術として特許文献１や特許文献２などで開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１４８８６３号公報
【特許文献２】特開２００３−２０９８５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１で開示された技術は、人物が被写体である写真に対して、まず、抽出した肌色情報と、画像から別途算出したホワイトバランスパラメータを用いて、ホワイトバランス処理後の肌色情報を計算する。そして、この計算後の肌色情報が、予め設定された所定の肌色に計算前の肌色情報より近いかどうかを判断し、近いと判断した時は画像処理演算部が先のホワイトバランスパラメータを基に画像全体を補正する。
【０００６】
また、特許文献２で開示された技術は、画像から算出したパラメータを各画素に適用して肌色候補画素の個数を算出する。そして、肌色候補画素数が最大となるパラメータを適用したときの肌色候補画素の平均色温度に基づいて、撮影時の光源の色温度を推定する。その後、推定された色温度と、基準白色の色温度との差分だけ、パラメータを適用した画像信号に対して補正する。
【０００７】
従来の技術では、色味の崩れは原因が光源であるときは好適に補正されるが、原因が背景であるときは適切に補正されない。例えば、人物が被写体であって、周辺環境からの反射光によって肌色の色味が崩れている写真（森林の中で立っていて、緑色の光が当たっている人物の写真など）に対してエバンスの原理を適用すると、人物の肌の部分が不自然な色となるケースがある。
【０００８】
また、特許文献１の技術では、ホワイトバランス処理後の肌色が、処理前の肌色と比較して所定の肌色に近いかの相対評価を行っている。しかし、ホワイトバランス処理による補正のみによるため、ホワイトバランス処理後であっても、人物の肌の部分が好ましい肌色からはまだかけ離れているケースがある。
【０００９】
さらに、特許文献２の技術では、大きく色味が崩れていて、パラメータ適用後も肌色候補画素が皆無である画像に対しては、適切な補正がされないケースがある。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、人物の肌色を好ましいとされる所定の範囲内の肌色に補正することを最優先しつつ、画像全体の色味を調整することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する抽出部と、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成する色補正部と、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する画像補正部とを備える画像処理装置が提供される。
【００１２】
上記色補正部は、第１肌色情報の位置から所定の範囲内までに最も近い所定の範囲の外周上の位置を計算し、計算後の位置を第２肌色情報の位置としてもよい。
【００１３】
上記色補正部は、第１肌色情報の位置から第２肌色情報の位置までが所定の距離より大きいか否かを判断し、所定の距離以下であるとき計算後の位置を第２肌色情報の位置としてもよい。
【００１４】
上記色補正部によって、第１肌色情報の位置から第２肌色情報の位置までが所定の距離より大きいと判断されたとき、抽出部は、ユーザーによって画像データから人物の肌の部分を抽出するモードへ移行してもよい。
【００１５】
上記抽出部が、ユーザーによって画像データから人物の肌の部分を抽出するモードへ移行しているとき、色補正部は、第１肌色情報の位置から第２肌色情報の位置までが所定の距離より大きいか否かを判断せず、計算後の位置を第２肌色情報の位置としてもよい。
【００１６】
また、本発明の別の観点によれば、画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する抽出部と、第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、変換された第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１色情報を所定の範囲内へ補正し第２色情報を生成する色補正部と、第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、第１色情報が第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する画像補正部とを備える画像処理装置が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成するステップと、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成するステップと、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用するステップとを備える画像処理方法が提供される。
【００１８】
また、本発明の別の観点によれば、画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成するステップと、第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、変換された第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１色情報を所定の範囲内へ補正し第２色情報を生成するステップと、第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、第１色情報が第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用するステップとを備える画像処理方法が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する手段、第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、変換された第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１肌色情報を所定の範囲内へ補正し第２肌色情報を生成する手段、第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、第１肌色情報が第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する手段としてコンピュータを機能させるためのプログラムが提供される。
【００２０】
また、本発明の別の観点によれば、画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する手段、第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、変換された第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、所定の範囲外であるとき、変換された第１色情報を所定の範囲内へ補正し第２色情報を生成する手段、第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、第１色情報が第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成したトーンカーブを画像データ全体に対して適用する手段としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、人物の肌色を好ましいとされる所定の範囲内の肌色に補正しつつ、画像全体の色味を調整できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る画像処理装置を示すブロック図である。
【図２】同実施形態に係る画像処理装置の画像処理動作を示すフローチャートである。
【図３】人物が被写体となった画像の一例を示す説明図である。
【図４】Ｌａｂ表色系を示すグラフである。
【図５】Ｌａｂ表色系の一部を示すグラフである。
【図６】赤色のトーンカーブの一例を示すグラフである。
【図７】操作画面の一例を示す説明図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
３．変更例
【００２５】
＜１．一実施形態の構成＞
本発明の一実施形態に係る画像処理装置１００について説明する。
画像処理装置１００は、撮影された写真や動画の画像データを画像処理する。画像処理装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、プリンターなどに適用される。
【００２６】
本実施形態は、元画像の被写体を解析して人物を検出する。そして、人物の肌色情報を抽出した後、その肌色情報をＬａｂ表色系で表し、その肌色が人の好む肌色領域から外れる場合、元画像の肌色が人の好む肌色領域に収まるように補正しつつ、背景への補正の影響が出来る限り小さくなるよう元画像全体の各色のバランスを補正する。以下、元画像の肌色が人の好む肌色領域に最短距離で収まるように、元画像全体の各色のバランスを補正する場合について説明する。
【００２７】
画像処理装置１００は、図１に示すように、例えば肌色抽出部１０２と、画像補正部１０４と、色空間変換部１０６と、肌色補正部１０８などからなる。
【００２８】
肌色抽出部１０２は、撮影された画像（元画像）の画像データが入力される。肌色抽出部１０２は、被写体が人物であるとき、入力画像から人物の肌の部分を検出し、元画像の肌色情報を生成する。元画像の肌色情報は、人物の肌の部分の色情報である。人物の肌の部分は、顔検出機能などにより自動に検出させてもよいし、ユーザーの手動による範囲の指定によって検出させてもよい。
【００２９】
肌色抽出部１０２は、生成した肌色情報を色空間変換部１０６と画像補正部１０４へと送出する。肌色抽出部１０２によって抽出される肌色情報は、ＲＧＢ色空間である。
【００３０】
色空間変換部１０６は、肌色抽出部１０２から入力される元画像の肌色情報の色空間をＲＧＢからＬａｂへと変換する。色空間変換部１０６は、色空間がＬａｂに変換された元画像の肌色情報を肌色補正部１０８へと送出する。
【００３１】
肌色補正部１０８は、色空間変換部１０６から入力されるＬａｂ表色系で表された肌色情報が、予め定められた所定の肌色の範囲（図４で示す範囲２）の範囲内であるかどうかを判断する。すなわち、Ｌａｂ表色系では、画像内において、人物の肌色は人種によらずその色相・彩度はある一定の範囲内（範囲１）に収まることが知られている。さらに、画像内において、人物の肌の色相・彩度が、範囲１より狭い範囲である特定の範囲内（範囲２）に収まったとき、人物の肌色は人が見た目に好む肌色となる。
【００３２】
肌色補正部１０８は、入力された元画像の肌色情報が範囲２内に収まる好ましい肌色であるときは、補正処理を終了する。肌色補正部１０８は、入力された元画像の肌色情報が範囲２外の人の見た目で好ましくない肌色であるときは、補正処理を実施する。人の見た目で好ましくない肌色とは、写真などの画像を人が見たとき、肌の部分が他の色の影響を受けている、または肌以外の色に偏っていると感じるような色である。これは、光源の色温度や、周囲環境の反射光の色の影響、その他を原因とする。
【００３３】
肌色補正部１０８は、入力された元画像の肌色情報のＬａｂ表色系における位置を算出する。そして、肌色補正部１０８は、算出した元画像の肌色情報の位置から、範囲２までに最も近い範囲２の外周上の位置を計算する。計算後の位置が補正後の肌色情報である。
【００３４】
肌色補正部１０８は、さらに、元画像の肌色情報の位置と補正後の肌色情報の位置との距離を算出し、算出された距離が予め定められた所定の距離より大きいか否かを判断する。肌色補正部１０８は、算出された距離が所定の距離より大きいと判断し、また入力された元画像の肌色情報が顔検出機能などにより自動的に抽出されたものであれば、肌色抽出部１０２を自動から手動へと切り替える切り替え信号を肌色抽出部１０２へ送出する。そして、画像処理装置１００は、もう一度始めから計算し直す。肌色補正部１０８は、算出された距離が所定の距離以下であるとき、補正後の肌色情報を色空間変換部１０６へと送出する。
【００３５】
色空間変換部１０６は、肌色補正部１０８から入力された補正後の肌色情報の色空間をＬａｂからＲＧＢへと変換する。色空間変換部１０６は、色空間がＲＧＢに変換された肌色情報を画像補正部１０４へと送出する。
【００３６】
画像補正部１０４は、肌色抽出部１０２から入力された元画像の肌色情報と色空間変換部１０６から入力された補正後の肌色情報を用いて、ＲＧＢ各々に対して画像補正用トーンカーブを作成する。画像補正部１０４は、元画像に、作成したＲＧＢ毎のトーンカーブを適用することで画像全体の各色の補正を行う。その結果、画像内における人物の肌の部分が好ましい肌色に調整されつつ、画像全体への影響は出来る限り小さくなるよう各色のバランスを調整した補正が行われる。
【００３７】
＜２．一実施形態の動作＞
次に、本発明の一実施形態に係る画像処理装置１００の動作について説明する。
Ｌａｂ表色系では、画像内の人物の肌色は、人種によらず図４に示すようにその色相・彩度はある一定の範囲内（例えば図４に示す範囲１）に収まる。また、色相・彩度が特定の範囲内（例えば図４に示す範囲２）に収まったとき、画像内に表示された人物の肌は人が好む肌色となる。
【００３８】
これら範囲１と範囲２は、Ｌａｂ表色系のａとｂを用いた特定の数値の範囲内として表すことができる。本実施形態では、図３に示すような画像１２０（元画像）の被写体である人物の肌の部分１２２の色が、図４におけるＬａｂ表色系のα（ａ＿ｉｎ，ｂ＿ｉｎ）であり、範囲２の外に位置する場合について説明する。
【００３９】
この場合、肌の部分１２２の色が、人物の肌色が好ましい肌色である領域２の外周上かつαとの距離が最も近いβ（ａ＿ｏｕｔ，ｂ＿ｏｕｔ）の位置となるように、肌の部分１２２の色と同時に画像全体の各色のバランスを補正する。
【００４０】
図２を参照して、本実施形態に係る画像処理の動作を説明する。図２は、本実施形態に係る画像処理装置１００の画像処理動作を示すフローチャートである。
【００４１】
まず、人物が被写体である写真から、人物を検出してその肌色を抽出する。そして、抽出された人物の肌色が、元画像の肌色情報としてＲＧＢ値で入力される（ステップＳ１０１）。このとき抽出される人物の肌色は、例えば、顔検出機能を用いて算出される額や頬の座標上の色を平均したものなどであり、顔検出機能によって自動的に得られるものとする。
【００４２】
次に、入力された人物の肌色情報を色相・彩度で表現するため、色空間をＲＧＢからＬａｂへと変換する（ステップＳ１０２）。その後、Ｌａｂ表色系で表された人物の元画像の肌色情報の位置αが、図４の範囲２（予め定められた所定の肌色の範囲）の範囲内であるかどうかを判断する（ステップＳ１０３）。入力された人物の元画像の肌色情報αが範囲２内に収まる好ましい肌色であるときは処理を終了する。一方、範囲２外の好ましくない肌色であるときは、入力された人物の元画像の肌色情報から、範囲２の外周上かつαに最も近い位置を計算する（ステップＳ１０４）。例えば、範囲２がＬａｂ表色系において、図５に示すように、４本の直線に囲まれた四角形の範囲で示されるとき、それぞれの四角形の頂点をＡ（ａ１，ｂ１），Ｂ（ａ２，ｂ２），Ｃ（ａ３，ｂ３），Ｄ（ａ４，ｂ４）とし、αから最も近い線分をＡＢとすると、βの位置は以下の式で表される。
【００４３】
【数１】
【００４４】
【数２】
【００４５】
上記の例では、βの位置は、範囲２の外周上かつαに最も近い位置とした。これは、範囲２の外周上であれば、人が見た目に好ましい肌色に補正されるためである。また、元画像の肌色情報から補正後の肌色情報への変化量が最少になるため、後述するようにトーンカーブを作成して、画像全体に作成したトーンカーブを適用しても、肌色以外を含む画像全体に与える影響を最小限に抑えることができるためである。
【００４６】
そして、入力された元画像の肌色情報として、顔検出機能などによって自動的に抽出されたものが用いられているとき、元画像の位置αと計算後の位置βの距離が予め定められた所定の距離γよりも大きいかどうかを判断する（ステップＳ１０５）。αとβの距離がγよりも小さいときはステップＳ１０６に進む。一方、αとβの距離がγよりも大きいときはステップＳ１０１において人物の肌色として誤ったものを抽出して入力した可能性がある。例えば、顔検出機能により検出された顔が人物のものでなく、銅像などであったときが該当する。したがって、Ｌａｂ表色系のグラフ上のαとβの距離がγよりも大きいときは、ステップＳ１０１に戻り手動で人物を検出して肌色を抽出し直し、再びステップＳ１０２からステップＳ１０４を行う。この後、手動で抽出した人物の肌色情報の位置αとβの距離がγより大きくても、ステップＳ１０６に進む。
【００４７】
次に、βの位置を計算後、元画像より抽出された人物の肌色情報の位置αを計算後の位置βに補正する（ステップＳ１０６）。補正前後の人物の肌色のＲＧＢ値から画像全体の色味を調整するＲＧＢそれぞれのトーンカーブを作成するため、補正された肌色情報の色空間をＬａｂからＲＧＢへと戻す（ステップＳ１０７）。最後に、入力された元画像の肌色情報が補正後の肌色情報へとなるようＲＧＢそれぞれのトーンカーブを作成する。図６に、赤色Ｒのトーンカーブの一例を示す。元画像の肌色情報がｒ（１）であり、補正後の肌色情報がｒ（２）であるとき、ｒ（１），ｒ（２）の関係を維持しながら、トーンカーブを作成する。
【００４８】
そして、画像全体に対して、作成したＲＧＢそれぞれのトーンカーブを適用することで、入力された元画像の肌色情報が補正後の肌色情報へとなるよう補正しながら、画像全体の各色のバランスを補正する（ステップＳ１０８）。
【００４９】
本実施形態が組み込まれた画像処理装置１００の実施例を以下に示す。
まず、画像データが保存されたリムーバル記録媒体などから画像データが読み出され、画像がディスプレイ上に一覧として表示されるとする。操作者は表示された画像一覧の中から補正を行う画像を選択する。
【００５０】
次に、選択した画像に対して適用する補正の種類を選択する。図７に、画像処理をするときの操作画面の例を示す。操作画面１５０には、補正の種類を示す選択可能なボタン１５２と、画像処理前の画像１５４と、画像処理後の画像１５６等が含まれる。ボタン１５２は、補正の種類に応じて複数個が表示される
【００５１】
操作画面１５０において、「色味補正（あるいは「肌色補正」等）」ボタン１５２−１が選択されると、ボタン１５２−１に対応して色味補正（あるいは「肌色補正」等）の画像処理が実行される。その結果、操作画面１５０の左側の元画像１５４に対して、各色（ＲＧＢ）のバランスが補正された画像１５６が右側に表示される。
【００５２】
ここで、ステップＳ１０５によって、手動で人物の肌色情報を抽出する必要があると判断されたときは、左側に表示されている元画像１５４から人物の肌をディスプレイ上からタッチする、またはカーソルで選択するなどの操作者の選択によって、人物の肌色情報が抽出されてもよい。
【００５３】
元画像１５４から複数の人物が検出された場合、被写体の人物によっては、異なる光源の元で写真が撮影された可能性もある。そのため、例えば、１枚の集合写真において一人だけ森の中に立っており、その他の人は被写体であるが直射日光に当たっている写真などである。この場合、特定の人物の肌色情報のみを用いても、必ずしも残りの人物の肌色がきれいに補正されるとは限らない。そのため、本実施形態では、複数の人物が検出された際には、全員の肌色情報を用いてもよい。全員の肌色情報を使用する場合、例えば、各肌の部分が画像全体に占める肌色の面積に応じて重み付けなどを行う。
【００５４】
被写体全員の肌色が出来るだけ、図４の範囲２に近づくように補正をかけることが望ましい。一方、特定の人物に注目したい場合、その被写体をディスプレイ上からタッチもしくはカーソルで合わせることで、その人物の肌色をきれいに補正するようにしてもよい。
【００５５】
また、本実施形態では、記録媒体に保存された画像データの一覧がディスプレイ上に表示された後、補正を行いたい画像を逐次選択して補正した。なお、補正する画像が多いときなどは、予め全ての画像データに対して本実施形態に係る画像処理を適用した後、ディスプレイに適用後の全画像を表示する。そして、ステップＳ１０８まで補正が行われた画像は、点滅させたり○印をつけたりし、ステップＳ１０５において肌色を手動で選択しなければならない画像には、△印をつけたりなどして表示してもよい。これは、記録媒体から画像データを読み込むと、自動的に本実施形態を適用して画像を補正するような仕組みとすることができる。このとき、被写体として人物が検出されなかった画像データには×印などをつけて、画像を表示してもよい。
【００５６】
以上、本実施形態によれば、色味の崩れの原因が光源の色温度、周辺環境の反射光もしくは他の要因によるものであっても、人物が被写体である色味が崩れた写真等の画像に対して、画像内の人物の肌色がきれいに見えるように色味を補正する。
【００５７】
人物が被写体であり、かつ周辺環境の反射光が原因で肌色の色味が崩れている写真（例えば、森林の中で立っているため、人物の肌色が周囲からの反射光により緑の色かぶりをしている写真など）は、背景の色自体は破綻していない。従来の画像処理によれば、肌の部分を補正しようとすると、画像全体、特に破綻していなかった背景の色が不自然な色となるケースがあった。一方、本実施形態によれば、人物の肌色をきれいに補正しつつ、背景への補正の影響を最小限に抑えることができ、人物の肌色及び背景双方がきれいに見えるように色味を調整することが可能となる。
【００５８】
＜３．変更例＞
次に、人物が検出されなかった画像データ、例えば風景画像に対して、本発明を適用する場合について説明する。上記実施形態では、人物の肌の部分が、人の見た目で好ましい肌色になるように補正する場合について説明した。本発明は、空や海などの自然物、又は人工物を、それぞれ好みの色に補正する場合に適用されてもよい。
【００５９】
例えば、空や海などの補正対象をディスプレイ上からタッチもしくはカーソルで合わせることで、元画像の空や海などの色が予め設定された所定の空や海などの色の範囲内へ最短距離で収まるように補正する。その際、元画像全体の各色のバランスも補正する。ただし、人の肌色の場合、人種によらず図４に示すようにその色相・彩度はある一定の範囲内（例えば図４に示す範囲１）に収まるが、空や海などの自然物や人工物は様々な色相・彩度をとりうる。そのため、予め設定する色の範囲は、数種類用意しておく（例えば、海ならば「北極海」「熱帯域の海」「雨天時の海」「夕焼け時の海」など）。そして、それぞれの色の範囲について補正をかけて、候補画像をディスプレイに表示し、操作者が好みの画像を選択するようにしてもよい。
【００６０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６１】
１００ 画像処理装置
１０２ 肌色抽出部
１０４ 画像補正部
１０６ 色空間変換部
１０８ 肌色補正部
【特許請求の範囲】
【請求項１】
画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する抽出部と、
前記第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、
変換された前記第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１肌色情報を前記所定の範囲内へ補正し第２肌色情報を生成する色補正部と、
前記第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、
前記第１肌色情報が前記第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する画像補正部と
を備える、画像処理装置。
【請求項２】
前記色補正部は、前記第１肌色情報の位置から前記所定の範囲内までに最も近い前記所定の範囲の外周上の位置を計算し、計算後の位置を前記第２肌色情報の位置とする、請求項１に記載の画像処理装置。
【請求項３】
前記色補正部は、前記第１肌色情報の位置から前記第２肌色情報の位置までが所定の距離より大きいか否かを判断し、前記所定の距離以下であるとき計算後の位置を前記第２肌色情報の位置とする、請求項２に記載の画像処理装置。
【請求項４】
前記色補正部によって、前記第１肌色情報の位置から前記第２肌色情報の位置までが前記所定の距離より大きいと判断されたとき、
前記抽出部は、ユーザーによって前記画像データから人物の肌の部分を抽出するモードへ移行する、請求項３に記載の画像処理装置。
【請求項５】
前記抽出部が、前記ユーザーによって前記画像データから人物の肌の部分を抽出するモードへ移行しているとき、
前記色補正部は、前記第１肌色情報の位置から前記第２肌色情報の位置までが所定の距離より大きいか否かを判断せず、計算後の位置を前記第２肌色情報の位置とする、請求項４に記載の画像処理装置。
【請求項６】
画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する抽出部と、
前記第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、
変換された前記第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１色情報を前記所定の範囲内へ補正し第２色情報を生成する色補正部と、
前記第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、
前記第１色情報が前記第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する画像補正部と
を備える、画像処理装置。
【請求項７】
画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成するステップと、
前記第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、
変換された前記第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１肌色情報を前記所定の範囲内へ補正し第２肌色情報を生成するステップと、
前記第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、
前記第１肌色情報が前記第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用するステップと
を備える、画像処理方法。
【請求項８】
画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成するステップと、
前記第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、
変換された前記第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１色情報を前記所定の範囲内へ補正し第２色情報を生成するステップと、
前記第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、
前記第１色情報が前記第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用するステップと
を備える、画像処理方法。
【請求項９】
画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する手段、
前記第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、
変換された前記第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１肌色情報を前記所定の範囲内へ補正し第２肌色情報を生成する手段、
前記第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、
前記第１肌色情報が前記第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する手段
としてコンピュータを機能させるためのプログラム。
【請求項１０】
画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する手段、
前記第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、
変換された前記第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１色情報を前記所定の範囲内へ補正し第２色情報を生成する手段、
前記第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、
前記第１色情報が前記第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する手段
としてコンピュータを機能させるためのプログラム。
【請求項１】
画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する抽出部と、
前記第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、
変換された前記第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１肌色情報を前記所定の範囲内へ補正し第２肌色情報を生成する色補正部と、
前記第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、
前記第１肌色情報が前記第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する画像補正部と
を備える、画像処理装置。
【請求項２】
前記色補正部は、前記第１肌色情報の位置から前記所定の範囲内までに最も近い前記所定の範囲の外周上の位置を計算し、計算後の位置を前記第２肌色情報の位置とする、請求項１に記載の画像処理装置。
【請求項３】
前記色補正部は、前記第１肌色情報の位置から前記第２肌色情報の位置までが所定の距離より大きいか否かを判断し、前記所定の距離以下であるとき計算後の位置を前記第２肌色情報の位置とする、請求項２に記載の画像処理装置。
【請求項４】
前記色補正部によって、前記第１肌色情報の位置から前記第２肌色情報の位置までが前記所定の距離より大きいと判断されたとき、
前記抽出部は、ユーザーによって前記画像データから人物の肌の部分を抽出するモードへ移行する、請求項３に記載の画像処理装置。
【請求項５】
前記抽出部が、前記ユーザーによって前記画像データから人物の肌の部分を抽出するモードへ移行しているとき、
前記色補正部は、前記第１肌色情報の位置から前記第２肌色情報の位置までが所定の距離より大きいか否かを判断せず、計算後の位置を前記第２肌色情報の位置とする、請求項４に記載の画像処理装置。
【請求項６】
画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する抽出部と、
前記第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する第１変換部と、
変換された前記第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１色情報を前記所定の範囲内へ補正し第２色情報を生成する色補正部と、
前記第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する第２変換部と、
前記第１色情報が前記第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する画像補正部と
を備える、画像処理装置。
【請求項７】
画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成するステップと、
前記第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、
変換された前記第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１肌色情報を前記所定の範囲内へ補正し第２肌色情報を生成するステップと、
前記第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、
前記第１肌色情報が前記第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用するステップと
を備える、画像処理方法。
【請求項８】
画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成するステップと、
前記第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換するステップと、
変換された前記第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１色情報を前記所定の範囲内へ補正し第２色情報を生成するステップと、
前記第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換するステップと、
前記第１色情報が前記第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用するステップと
を備える、画像処理方法。
【請求項９】
画像データから人物の肌の部分を抽出し、抽出した部分の色情報を第１肌色情報として生成する手段、
前記第１肌色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、
変換された前記第１肌色情報が予め設定された所定の肌色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１肌色情報を前記所定の範囲内へ補正し第２肌色情報を生成する手段、
前記第２肌色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、
前記第１肌色情報が前記第２肌色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する手段
としてコンピュータを機能させるためのプログラム。
【請求項１０】
画像データから被写体の任意の部分を抽出し、抽出した部分の色情報を第１色情報として生成する手段、
前記第１色情報の色空間をＲＧＢ色空間からＬａｂ色空間へ変換する手段、
変換された前記第１色情報が予め設定された所定の色の範囲内であるかどうかを判断し、前記所定の範囲外であるとき、変換された前記第１色情報を前記所定の範囲内へ補正し第２色情報を生成する手段、
前記第２色情報の色空間をＬａｂ色空間からＲＧＢ色空間へ変換する手段、
前記第１色情報が前記第２色情報へとなるＲＧＢ各色のトーンカーブを生成し、生成した前記トーンカーブを前記画像データ全体に対して適用する手段
としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−４３３６０（Ｐ２０１２−４３３６０Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１０−１８６２９５（Ｐ２０１０−１８６２９５）
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２２年８月２３日（２０１０．８．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]