画像処理装置及びカメラ
【課題】画像処理によって生じる不自然さを抑制しつつ、人物の顔の印象を積極的に改善する画像補正を実施可能な画像処理装置等を提供する。
【解決手段】デジタル画像から、人物の目が写っている領域である目領域を抽出する目抽出部４４と、前記目領域に対して、黒目の白目に対する比率が大きくなるように、前記目領域に補正処理を実施する色補正処理部７０と、強膜領域を抽出する第１領域抽出部５０と、瞳孔及び虹彩を抽出する第２領域抽出部６０と、境界を縁取りする形状を有する補正予定領域を算出する補正領域算出部６６と、色補正処理部を有する画像処理装置。
【解決手段】デジタル画像から、人物の目が写っている領域である目領域を抽出する目抽出部４４と、前記目領域に対して、黒目の白目に対する比率が大きくなるように、前記目領域に補正処理を実施する色補正処理部７０と、強膜領域を抽出する第１領域抽出部５０と、瞳孔及び虹彩を抽出する第２領域抽出部６０と、境界を縁取りする形状を有する補正予定領域を算出する補正領域算出部６６と、色補正処理部を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びカメラに関する。
【背景技術】
【０００２】
人物の映像、画像等において、人物の目及びその周辺に対して適切な画像補正を施すことにより、画像の見栄えが改善若しくは向上するという報告がある。また、処理前の画像が有する自然な特徴を維持しつつ、若干の補正を加えることで、被写体の印象を向上又は変化させる画像処理技術が、人物画像等に関する分野でも求められている。
【０００３】
目や目周辺に対して画像処理を行う技術としては、例えば目の大きさを拡大する処理（特許文献１等参照）や、目の白目部分を無彩色へ近い方向へ補正する技術（特許文献２等参照）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−００５６６０号公報
【特許文献２】特開２００５−３１００６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、目の大きさを拡大する従来の画像処理技術では、顔全体の大きさ等に対するバランスが十分に考慮されず、処理後の画像が不自然な印象を生じる場合があった。また、白目部分を無彩色方向へ補正する従来技術では、目自体の見栄えが向上する効果は認められるものの、人物の顔全体の見栄えに与える効果は限定的である。したがって、従来技術は、被写体の自然な特徴を維持しつつも、より積極的に被写体の印象を向上させたいという要望には、十分に応えられていなかった。
【０００６】
本発明に係る画像処理装置等は、このような課題に鑑みてなされたものであり、その目的は、画像処理によって生じる不自然さを抑制しつつ、人物の顔の印象を積極的に改善する画像補正を実施可能な画像処理装置等を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る画像処理装置は、
デジタル画像から、人物の目が写っている領域である目領域（８０）を抽出する目抽出部（４４）と、
前記目領域に対して、黒目の白目に対する比率が大きくなるように、前記目領域に補正処理を実施する色補正処理部（７０）と、を有する。
【０００８】
また、本発明の第２の観点に係る画像処理装置は、
デジタル画像から、人物の目が写っている領域である目領域（８０）を抽出する目抽出部（４４）と、
前記目領域から、強膜が写っている第１領域（８２）を抽出する第１領域抽出部（５０）と、
前記目領域から、瞳孔及び虹彩が写っている第２領域（８５）を抽出する第２領域抽出部（６０）と、
前記第１領域の一部であって前記第１領域と前記第２領域の境界を縁取りする形状を有する補正予定領域（９２）を、算出する補正領域算出部（６６）と、
前記補正予定領域の色を、前記第２領域と同一又は類似の色に変更する補正処理を実施する色補正処理部（７０）と、を有する。
【０００９】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第１領域のサイズである第１サイズ（Ｓ１）を算出する第１サイズ算出部（５２）と、
前記第２領域のサイズである第２サイズ（Ｓ２，Ｌ２）を算出する第２サイズ算出部（６２）と、をさらに有しても良く、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズ（ＳＨ）を算出する補正サイズ算出部（６８）を有しても良く、
前記補正サイズ算出部は、前記第１サイズと前記補正サイズの差である第１の値（α１）と、前記第２サイズと前記補正サイズの和である第２の値（α２）との比が、第１の所定値（Ｖ１）になるように、前記補正サイズを算出しても良い。
【００１０】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第２領域のサイズである第２サイズ（Ｓ２，Ｌ２）を算出する第２サイズ算出部（６２）をさらに有しても良く、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズ（ＳＨ）を算出する補正サイズ算出部（６２）を有しても良く、
前記補正サイズ算出部は、前記第２サイズと前記補正サイズとの比が、第２の所定値になるように、前記補正サイズを算出しても良い。
【００１１】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第１領域のうち、前記第２領域より顔の中心側に位置する内側部分（８３）を抽出する内側抽出部（５４）と、
前記第１領域のうち、前記第２領域を挟んで前記内側部分とは反対側に位置する外側部分（８４）を抽出する外側抽出部（５６）と、
前記内側部分のサイズ（Ｓ３，Ｌ３）と前記外側部分のサイズ（Ｓ４，Ｌ４）の比である第１領域内外比（β１）を算出する第１内外比算出部（５８）と、を有しても良く、
前記補正領域算出部は、前記補正予定領域のうち前記内側部分に含まれる内側補正部分（９２）のサイズ（Ｓ５）と、前記補正予定領域のうち前記外側部分に含まれる外側補正部分（９４）のサイズ（Ｓ６）との比である補正領域内外比（β２）が、前記第１領域内外比に等しくなるように、前記補正予定領域を算出しても良い。
【００１２】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第２領域において前記虹彩が写っている虹彩領域（８６）を抽出する虹彩領域抽出部（６４）と、
前記虹彩領域の色を抽出する色抽出部（７５）と、を有しても良く、
前記色補正処理部は、前記色抽出部による抽出結果に基づき、前記補正処理を実施しても良い。
【００１３】
また、例えば、前記色抽出部は、前記虹彩領域の平均色である虹彩平均色を算出する平均色算出部（７６）と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部（９５）の色である虹彩外周部色を算出する外周色算出部（７７）と、を有しても良く、
前記色補正処理部は、前記虹彩平均色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部（７２）を有しても良く、
前記色補正処理部は、前記補正予定領域の外縁部（９６）の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施しても良い。
【００１４】
また、例えば、前記色抽出部は、前記虹彩領域で最も濃い色である虹彩最濃色を算出する最濃色算出部（７８）と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部の色である虹彩外周部色（９５）を算出する外周色算出部（７７）と、を有しても良く、
前記色補正処理部は、前記虹彩最濃色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部（７２）を有しても良く、
前記色補正処理部は、前記補正予定領域の外縁部の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施しても良い。
【００１５】
また、例えば、本発明に係るカメラは、上記いずれかに記載の画像処理装置を搭載する。
【００１６】
なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の一実施形態に係る画像処理装置を搭載したカメラの概略ブロック図である。
【図２】図２は、画像処理装置の演算部として機能するＣＰＵのブロック図である。
【図３】図３は、目領域に対する画像処理の一例を表すフローチャートの前半部分である。
【図４】図４は、目領域に対する画像処理の一例を表すフローチャートの後半部分である。
【図５】図５は、目抽出部によって抽出された目領域を表す概念図である。
【図６】図６は、画像処理後における目領域を表す概念図である。
【図７】図７は、補正予定領域の算出過程を説明するための模式図である。
【図８】図８は、補正領域算出部によって算出される補正予定領域を表す模式図である。
【図９】図９は、色抽出部及び色補正処理部での処理を説明した概念図であり、目領域の一部を拡大した図である。
【図１０】図１０は、画像処理前後における処理対象画像の一例を、並べて表示したものである。
【図１１】図１１は、第１及び第２サイズ算出部によるサイズ算出の他の例を表す模式図である。
【発明を実施するための形態】
【００１８】
第１実施形態
図１は、本発明の一実施形態に係る画像処理装置を搭載するカメラ１０の概略ブロック図である。カメラ１０は、撮影光学系１２、撮像素子１４、画像信号処理回路１６、レンズ駆動制御回路１８、ＣＰＵ４０、ＬＣＤモニタ２２及び各種のスイッチ２４〜３２等を有する。
【００１９】
カメラ１０の撮影光学系１２は、通常複数のレンズ群によって構成されており、撮像素子１４に被写体光を導く。また、撮影光学系１２は、撮影光学系１２の合焦距離を変化させるためのフォーカシングレンズや、像ブレを抑制するための振れ補正レンズを含んでいても良い。フォーカシングレンズや補正レンズの移動は、レンズ駆動制御回路１８によって制御される。レンズ駆動制御回路１８は、ＣＰＵ４０を介して、カメラ１０に備えられる各種センサ（不図示）からの情報を取得し、撮影光学系１２に含まれるレンズ群の移動を制御する。
【００２０】
撮像素子１４は、撮影光学系１２によって導かれた被写体光を光電変換し、画像信号を生成する。撮像素子１４は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子で構成されるが特に限定されない。撮像素子１４は、生成した画像信号を、画像信号処理回路１６へ出力する。画像信号処理回路１６は、画像信号に対して増幅やノイズ除去等の処理を実施する。画像信号処理回路１６によって処理された画像信号は、Ａ／Ｄ変換された後、画像データとしてＣＰＵ４０に送られる。
【００２１】
ＣＰＵ４０は、カメラ１０で行われる電子制御や画像処理に関する各種の演算処理を実施する。例えば、ＣＰＵ４０は、ＬＣＤモニタ２２等に画像を表示させる処理や、不図示のメモリカード等に画像データを保存する処理を行うことができる。また、ＣＰＵ４０は、各種センサ（不図示）、電源ボタン２４、及び各種スイッチ２６〜３２等からの入力信号を処理し、撮影者の意図をカメラ１０の動作に反映する。さらに、ＣＰＵ４０は、撮影後の画像等に対して画像補正を行うことができる。この場合、ＣＰＵ４０は、画像処理を行う画像処理装置の演算部として機能する。ＣＰＵ４０における画像処理については、後ほど詳述する。
【００２２】
ＬＣＤモニタ２２は、ＣＰＵ４０からの制御を受けて、撮影した画像や、メニュー選択画面等を表示する。メニュースイッチ３０やＯＫスイッチ３２は、使用者が撮影条件や画像処理条件を設定できるようにするための入力部である。例えば、メニュースイッチ３０やＯＫスイッチ３２は、十字キー又はボタン等を有しており、使用者の操作に応じて、ＣＰＵ４０に出力する信号を変化させる。ＣＰＵ４０は、メニュースイッチ３０やＯＫスイッチ３２からの信号に応じて、ＬＣＤモニタ２２に表示するメニュー選択画面等を変化させることによって使用者とコミュニケートし、使用者から情報を取得することができる。
【００２３】
電源ボタン２４は、使用者がカメラ１０の主電源をＯＮ及びＯＦＦにするためのボタンである。ＣＰＵ４０は、電源ボタン２４からの信号に応じて、カメラ１０全体の制御を開始及び終了する。半押しスイッチ２６は、オートフォーカス動作など、撮影準備動作の開始を制御するためのスイッチである。また、レリーズスイッチ２８は、撮像素子１４による画像信号取得動作の開始を制御するためのスイッチである。ＣＰＵ４０は、半押しスイッチ２６及びレリーズスイッチ２８からの信号に基づき、オートフォーカス動作や画像信号取得動作を実施する。なお、半押しスイッチ２６とレリーズスイッチ２８は、共通のシャッターボタン（不図示）に連動しており、使用者は、シャッターボタンの押し込み量を変化させることで、半押しスイッチ２６及びレリーズスイッチ２８のＯＮ・ＯＦＦを調整できる。
【００２４】
ＣＰＵ４０は、カメラ１０で撮影された画像や、外部からカメラ１０に入力された画像について、各種の画像処理を行うことができる。特に、本実施形態に係るＣＰＵ４０は、画像から人物の目が写っている部分を検出し、必要に応じて目が写っている部分に補正を加え、被写体の見栄えを向上させる画像処理を行うことができる。
【００２５】
図２は、画像処理装置の演算部として機能するＣＰＵ４０のブロック図である。図２は、画像処理においてＣＰＵ４０で行われる各演算処理を、各ブロックに対応させて表したものである。本実施形態に係るＣＰＵ４０では、画像処理に関係する全ての演算処理が実施されるが、一部の演算処理がＣＰＵ４０以外で実施される態様であってもかまわない。
【００２６】
ＣＰＵ４０は、処理対象画像に対する一連の画像処理において、顔検出部４２、目抽出部４４、基準比率決定部４６、判定部４８、第１領域抽出部５０、第１サイズ算出部５２、内側抽出部５４、外側抽出部５６、第１内外比算出部５８等として機能する。また、ＣＰＵ４０は、第２領域抽出部６０、第２サイズ算出部６２、虹彩領域抽出部６４、補正領域算出部６６、色抽出部７５、色補正処理部７０等として機能する。以下では、ＣＰＵ４０における具体的処理を説明した図２〜図１１を用いて、図２に示す各ブロックの機能及び処理を説明する。
【００２７】
図３及び図４は、本実施形態に係る画像処理の一例を表すフローチャートである。図３はフローチャートの前半部分であり、図４はフローチャートの後半部分である。ＣＰＵ４０における画像処理は、大きく分けて４つの処理群に分類することができる。第１の処理群は、主として、処理対象となるデジタル画像に対して、白目と黒目の比を認識した上で、目領域に対して補正処理を行うべきか否かを判断するために、実施される処理群である。第１の処理群は、フローチャートにおけるステップＳ００３〜ステップＳ００７（図３）までの各処理を含む。
【００２８】
第２の処理群は、目に対する補正処理の対象となる補正予定領域を決定するための処理群である。第２の処理群は、目領域に対する補正処理のための補正準備処理の一部であり、フローチャートにおけるステップＳ００８〜ステップＳ０１０（図３）までの各処理を含む。第３の処理群は、補正処理に必要な色に関する情報を抽出及び算出するための処理群である。第３の処理群は、第２の処理群と同様に、目領域に対する補正処理のための補正準備処理の他の一部であり、フローチャートにおけるステップＳ０１１〜ステップＳ０１３（図４）の各処理を含む。第４の処理群は、デジタル画像の補正予定領域に対して、実際に補正処理（彩色処理）を行う処理群である。第４の処理群は、フローチャートにおけるステップＳ０１４の処理を含む。
【００２９】
図３に示すステップＳ００１では、図１に示すカメラ１０のＣＰＵ４０が、一連の画像処理を開始する。処理を開始するタイミングは特に限定されないが、カメラ１０で画像を取得した直後に行われても良いし、メニュースイッチ３０やＯＫスイッチ３２等を介して入力された使用者の意志を反映して開始されても良い。また、フローチャートに示す処理は、単独の処理として実施されても良く、他の画像処理と合わせて行われても良い。なお、各ステップに示す処理はＣＰＵ４０において行われ、処理結果は必要に応じて不図示の記憶部に保存される。
【００３０】
図３に示すステップＳ００２では、画像処理のための準備処理が実施される。ステップＳ００２において、ＣＰＵ４０は、処理対象となるデジタル画像を特定する。補正対象となる画像は、図１に示す画像信号処理回路１６から入力された撮影直後の画像であっても良く、不図示の記憶部等に保存されていた画像であって、使用者によって指定されたものであっても良い。補正対象となる画像は、特に限定されず、例えば図１０の左側に示すような画像９８を、処理対象画像として特定する。
【００３１】
（１）第１の処理群
フローチャートにおけるステップＳ００３〜ステップＳ００７では、図２に示す目抽出部４４、第１領域抽出部５０、第２領域抽出部６０による領域の抽出や、第１サイズ算出部５２及び第２サイズ算出部６２による面積の算出や、判定部４８による補正処理の実施・不実施の決定が行われる。
【００３２】
図３に示すステップＳ００３では、図２に示す顔検出部４２が、処理対象画像の中から、人物の顔が写っている領域である顔エリアを抽出する。顔検出部４２は、例えばテンプレートマッチング法などによって、画像の中から顔エリアを抽出することができるが、人物の顔を抽出する具体的な方法は特に限定されない。
【００３３】
ステップＳ００３において顔検出部４２が人物の顔を抽出した場合は、フローチャート（図３）におけるステップＳ００４の処理へ進む。これとは逆に、人物の顔を抽出できなかった場合は、フローチャート（図４）におけるステップＳ０１５へ進み、処理を終了する。
【００３４】
図３に示すステップＳ００４では、図２に示す目抽出部４４が、人物の目が写っている領域である目領域を抽出する。目抽出部４４による抽出方法は特に限定されないが、顔検出部４２によって抽出された人物の顔が写っている領域に対して、テンプレートマッチングを行う方法や、顔が写っている領域に含まれるエッジの形状及び位置関係から検出する方法が挙げられる。
【００３５】
図５は、目抽出部４４によって抽出された目領域８０を表す概念図である。本実施形態において、目抽出部４４は、上瞼ライン８８ａと下瞼ライン８８ｂの間に挟まれた領域を目領域８０であると認識する。なお、目抽出部４４によって複数の目領域が抽出された場合は、それぞれの目領域に対して、ステップＳ００５以下の処理を行う。
【００３６】
ステップＳ００５では、図２に示す第１領域抽出部５０が、目領域から、目の強膜が写っている領域である第１領域を抽出する。さらに、図２に示す第１サイズ算出部５２が、第１領域抽出部５０によって抽出された第１領域の面積である第１面積を算出する。
【００３７】
図５に示すように、強膜が写っている第１領域８２は、白色又は白色に近い淡色の領域として認識される。目領域８０において、白色に見える部分は、白目とも呼ばれる。これに対して、第１領域８２と伴に目領域８０を構成する第２領域８５は、虹彩が写っている虹彩領域８６と瞳孔が写っている瞳孔領域８７を含む。第１領域８２の形状は、眼球の動きによって変化するものの、円形に近い第２領域８５の周辺を囲むように広がるという特徴を有する。第１領域抽出部５０は、例えば、白目の一般的な色及び形状の特徴に基づくマッチングを行うことにより、第１領域８２を特定することができる。
【００３８】
第１領域８２は、人物を正面から撮影したような画像においては、第２領域８５を挟んで顔の中心側に位置する内側部分８３と、第２領域８５を挟んで内側部分８３とは反対側に位置する外側部分８４とに分かれている場合がある（図５は、右目部分を目領域８０として抽出した場合を表している）。また、人物を側方から撮影したような画像においては、第１領域８２は、内側部分８３か外側部分８４のいずれか一方のみによって構成される場合もある。ただし、第１領域抽出部５０は、内側部分８３と外側部分８４とを区別して認識する必要はなく、目領域８０に含まれる第１領域８２全体を認識できれば良い。
【００３９】
図７は、図２に示す第１領域抽出部５０，内側抽出部５４，外側抽出部５６及び第２領域抽出部６０が、図５に示す目領域８０をどのように認識するのかを説明した模式図である。ステップＳ００５において、第１領域抽出部５０は、図７においてハッチングを施している内側部分８３及び外側部分８４を第１領域８２として抽出する。さらに、ステップＳ００５では、図２の第１サイズ算出部５２が、第１領域８２の面積である第１面積Ｓ１を算出する。第１面積Ｓ１は、内側部分８３の面積である第３面積Ｓ３と、外側部分８４の面積である第４面積Ｓ４の和に等しい。
【００４０】
ステップＳ００６では、図２に示す第２領域抽出部６０が、目領域から、瞳孔及び虹彩が写っている領域である第２領域を抽出する。さらに、図２に示す第２サイズ算出部６２が、第２領域抽出部によって抽出された第２領域の面積を算出する。
【００４１】
図５に示すように、第２領域８５は、第２領域８５の中心部分に位置する瞳孔領域８７と、瞳孔領域８７の周辺に広がる虹彩領域８６とを含み、瞳孔領域８７と虹彩領域８６が略同心円状に配置されている。瞳孔領域８７は黒色又は黒色に近い濃色の領域として認識される。また、虹彩領域８６は、濃褐色、淡褐色、琥珀色、緑色、灰色、青色等であって、解像度が高ければ複雑な模様を有する領域として認識される。なお、目領域８０において、瞳孔領域８７及び虹彩領域８６を含む色の濃い部分は、白色（淡い色）の白目と対比して黒目とも呼ばれるが、本実施形態において、黒目に含まれる虹彩の色は限定されない。第２領域抽出部６０は、例えば、黒目の一般的な色及び形状に基づくマッチングを行うことにより、第２領域８５を特定することができる。
【００４２】
第２領域抽出部６０は、瞳孔領域８７と虹彩領域８６とを区別して認識する必要はなく、目領域８０に含まれる第２領域８５全体を認識できれば良い。第２領域抽出部６０は、図７において目領域８０の中央に位置しておりグレーで表されている部分を、第２領域８５として抽出する。さらに、ステップＳ００６では、図２の第２サイズ算出部６２が、第２領域８５の面積である第２面積Ｓ２を算出する。
【００４３】
ステップＳ００７では、図２に示す判定部４８が、ステップＳ００６で算出された第２領域の面積（第２面積）と、ステップＳ００５で算出された第１領域の面積（第１面積）との比が、第１の所定値Ｖ１以上であるか否かを判定する。図７に示すように、第１領域８２の面積を第１面積Ｓ１とし、第２領域８５の面積を第２面積Ｓ２とした場合、判定部４８は、第１面積Ｓ１及び第２面積Ｓ２が以下の数式（１）を満たすか否かを判断する。
Ｓ２／Ｓ１ ≧ Ｖ１ ・・・数式（１）
【００４４】
第２領域８５の面積Ｓ２と第１領域８２の面積Ｓ１が数式（１）を満たす場合、すなわち黒目の比率が所定の閾値より大きいと認められる場合は、補正処理を行わず、ステップＳ０１５へ進んで画像処理を終了する。それとは反対に、面積Ｓ２と面積Ｓ１が数式（１）を満たさず、黒目の比率が所定の閾値より小さいと認められる場合は、ステップＳ００８へ進み、補正処理を実施する。
【００４５】
ここで、第１の所定値Ｖ１は、例えばユーザーが最も好ましいと感じる黒目の比率の統計結果から求められる平均値とすることができ、例えば１程度とすることができる。また、ユーザーが最も好ましいと感じる黒目の比率は、一般人の現実の黒目の比率より大きい、という傾向が見られる。そこで、本実施形態に係る画像処理装置は、黒目の白目に対する比率が所定の閾値より小さい場合にのみ、当該比率が大きくなるように補正処理を実施し、黒目の比率が大きい場合は、補正処理を行わない。
【００４６】
（２）第２の処理群
フローチャートにおけるステップＳ００８〜ステップＳ０１０では、図２に示す内側抽出部５４及び外側抽出部５６による領域の抽出や、第１内外比算出部５８及び補正サイズ算出部６８による面積および面積比の算出や、補正領域算出部６６による補正予定領域の決定等が行われる。
【００４７】
図３に示すステップＳ００８では、図２の補正領域算出部６６の補正サイズ算出部６８が、補正予定領域の面積である補正面積を算出する。ここで、補正予定領域とは、ステップＳ００５で抽出された第１領域の一部であって、後述するステップＳ０１４（図４）での処理において、色補正処理（彩色処理）が行われる領域である。
【００４８】
図７に示すように、補正サイズ算出部６８は、ステップＳ００５で算出した第１領域８２の面積（第１面積Ｓ１）と、ステップＳ００６で算出した第２領域８５の面積（第２面積Ｓ２）と、ステップＳ００７で用いた第１の所定値Ｖ１から、補正面積ＳＨを求める。ここで、補正サイズ算出部６８は、第１面積Ｓ１と補正面積ＳＨとの差である第１の値α１と、第２面積Ｓ２と補正面積の和である第２の値α２との比が、第１の所定値Ｖ１になるように、補正面積ＳＨを算出する。
【００４９】
言い換えると、補正サイズ算出部６８は、以下の数式（２）〜（４）を満たす補正面積ＳＨを算出する。
α１＝Ｓ１−ＳＨ・・・数式（２）
α２＝Ｓ２＋ＳＨ・・・数式（３）
α２／α１＝Ｖ１・・・数式（４）
補正面積ＳＨをこのように算出した後、補正予定領域の色を第２領域と同一又は類似の色に変更する補正処理を行うことによって、補正後の画像から認識される黒目の比率を、第１の所定値Ｖ１とすることができる。
【００５０】
ステップＳ００９では、図２の内側抽出部５４及び外側抽出部５６が第１領域の内側部分と外側部分とを区別して抽出する。さらに、第１内外比算出部５８は、内側部分のサイズと外側部分のサイズの比である第１領域内外比を算出する。第１領域内外比は、ステップＳ０１０において、補正予定領域を算出する際に用いられる。
【００５１】
図５に示すように、ステップＳ００９では、まず内側抽出部５４が、内側部分８３を抽出する。内側抽出部５４は、第１領域８２のうち、第２領域８５より顔の中心側に位置する内側部分８３を、外側部分８４とは区別して抽出する。内側抽出部５４は、例えば、第１領域８２のうち、瞳孔領域８７の中心を通る垂直線Ａを境界線として、垂直線Ａより顔の中心側の部分を、内側部分８３として認識することができる。この場合、垂直線Ａに平行な方向は、鼻筋の方向や、両目を繋ぐラインに垂直な方向や、上瞼ライン８８ａと下瞼ライン８８ｂとの交点を繋ぐラインに垂直な方向等から認識することができるが、特に限定されない。
【００５２】
また、図７に示すように、第２領域８５が、上瞼ライン８８ａと下瞼ライン８８ｂの両方に接触している場合は、内側抽出部５４は、内側境界ライン９０ａと、上瞼ライン８８ａと、下瞼ライン８８ｂによって囲まれた領域（右下がりハッチングされた領域）を、内側部分８３として認識することができる。なお、内側境界ライン９０ａは、第２領域８５と第１領域８２が接触する境界線のうち、垂直線Ａ（図５）より顔の中心側の部分である。
【００５３】
次に、ステップＳ００９では、図２の外側抽出部５６が、図５に示す外側部分８４を抽出する。外側抽出部５６は、第１領域８２のうち、第２領域８５を挟んで内側部分８３とは反対側に位置する外側部分８４を、内側部分８３とは区別して抽出する。外側抽出部５６が内側部分８３と外側部分８４とを区別する基準は、内側抽出部５４と同様である。
【００５４】
図７に示す例では、外側抽出部５６は、外側境界ライン９０ｂと、上瞼ライン８８ａと、下瞼ライン８８ｂによって囲まれた領域（右上がりハッチングされた領域）を、外側部分８４として認識することができる。なお、外側境界ライン９０ｂは、第２領域８５と第１領域８２が接触する境界線のうち、垂直線Ａ（図５）より顔の側方側の部分である。
【００５５】
さらに、ステップＳ００９では、図２の第１内外比算出部５８が、内側部分８３の面積（第３面積Ｓ３）と外側部分８４の面積（第４面積Ｓ４）との比である第１領域内外比β１を算出する（図７）。第１内外比算出部５８は、内側抽出部５４及び外側抽出部５６の抽出結果に基づき、内側部分８３及び外側部分８４の面積Ｓ３，Ｓ４をそれぞれ算出し、その算出結果を用いて、第１領域内外比β１を求める。第１内外比算出部５８は、例えば以下の数式（５）を用いて、第１領域内外比β１を算出することができる。
β１＝Ｓ４／Ｓ３・・・数式（５）
【００５６】
ステップＳ０１０では、図２の補正領域算出部６６が、補正予定領域を決定する。図７に示すように、補正予定領域９２は、第１領域８２の一部であって、第１領域８２と第２領域８５との境界（内側境界ライン９０ａ，外側境界ライン９０ｂ）を縁取りする形状を有する。第１領域８２が内側部分８３と外側部分８４を含む場合、補正予定領域９２も、内側部分８３に含まれる内側補正部分９３と、外側部分８４に含まれる外側補正部分９４を含む。補正領域算出部６８は、内側境界ライン９０ａ又は外側境界ライン９０ｂに沿ってそれぞれ所定の幅Ｗ１，Ｗ２（図８）を有するように、内側補正部分９３と外側補正部分９４を決定する。
【００５７】
図８は、図７から補正予定領域９２を抜き出して表示したものである。補正予定領域９２を算出する際、補正領域算出部６６は、内側補正部分９３と外側補正部分９４の面積の合計を、ステップＳ００８において算出された補正面積ＳＨと一致させる。また、補正予定領域９２の内側補正部分９３の面積（第５面積Ｓ５）と外側補正部分９４の面積（第６面積Ｓ６）の比（補正領域内外比β２）は、ステップＳ００９において算出された第１領域内外比β１（内側部分８３の面積と外側部分８４の面積の比）に一致させる。
【００５８】
例えば、補正領域算出部６６は、以下の数式（６）〜（８）を用いて、内側補正部分９３の面積である第５面積Ｓ５と、外側補正部分９４の面積である第６面積Ｓ６を決定することができる。
Ｓ５＋Ｓ６＝ＳＨ・・・数式（６）
Ｓ６／Ｓ５＝β２・・・数式（７）
β２＝β１・・・数式（８）
【００５９】
このように、内側補正部分９３の面積と外側補正部分９４の面積の比を、内側部分８３の面積と外側部分８４の面積の比と一致させることにより、補正処理前後における白目の内外比を維持することができる。これにより、本実施形態による画像処理装置は、補正処理により被写体の目線が変化することを抑制することができる。
【００６０】
（３）第３の処理群
フローチャートにおけるステップＳ０１１からステップＳ０１３（図４）では、図２に示す虹彩領域抽出部６４による領域の抽出や、平均色算出部７６、外周色算出部７７及び補正基準色算出部７２による色の抽出及び算出等、が行われる。
【００６１】
図４に示すステップＳ０１１では、図２の虹彩領域抽出部６４が、第２領域８５において虹彩が写っている部分である虹彩領域を抽出する。さらに図２の色抽出部７５における平均色算出部７６が、虹彩領域の平均色である虹彩平均色を算出する。
【００６２】
図５に示すように、第２領域８５は、瞳孔領域８７と虹彩領域８６を含むが、虹彩領域抽出部６４は、虹彩領域８６を瞳孔領域８７とは区別して認識する。虹彩領域抽出部６４は、虹彩領域８６の色、模様及び形状的な特徴に基づき、虹彩領域８６を抽出する。また、平均色算出部７６は、虹彩領域８６に含まれる画素の色に関する情報（ＲＧＢデータ等）を取得し、平均値を求めることによって、虹彩平均色を算出する。
【００６３】
図４に示すステップＳ０１２では、図２の色補正処理部７０の補正基準色算出部７２が、補正基準色を算出する。補正基準色は、ステップＳ０１４における補正処理において、補正予定領域の外縁部の色として使用される。補正基準色算出部７２は、ステップＳ０１１で算出された虹彩平均色に対して所定の彩度上昇又は明度低下処理を施し、補正基準色とする。補正予定領域の外縁部の色として使用される補正基準色を、虹彩平均色と類似の色であって虹彩平均色よりやや目立つ色とすることによって、補正処理による黒目強調効果を高めることができる。
【００６４】
図４に示すステップＳ０１３では、図２の色抽出部７５の外周色算出部７７が、虹彩外周部の色である虹彩外周色を取得する。図９は、図５に示す目領域８０の一部を拡大した拡大図である。図９に示すように、虹彩領域８６は、第２領域８５における外周側の一部分であり、虹彩領域８６と接触する第１領域８２には、帯状の補正予定領域９２が形成されている。外周色算出部７７は、虹彩領域８６の一部であって、補正予定領域９２と接触する部分を、虹彩外周部９５と認定し、当該虹彩外周部９５の色を取得し、その色を虹彩外周色とする。また、外周色算出部７７は、虹彩外周部９５を、ある程度の幅を有する領域として設定し、虹彩外周部９５の平均色を虹彩外周色としても良い。
【００６５】
（４）第４の処理群
図４に示すステップＳ０１４では、図２の色補正処理部７０が、ステップＳ０１０で決定された補正予定領域に対して、補正処理を実施する。図９に示すように、色補正処理部７０は、補正予定領域９２の外縁部９６の色を、ステップＳ０１２で算出した補正基準色に置き換える。次に、色補正処理部７０は、外縁部９６と虹彩外周部９５との間の中間部分９７に対して、補正基準色から虹彩外周色へ変化するグラデーション処理を施し、中間部分９７の色を変更する。なお、図８に示すように、外縁部９６は、補正予定領域９２の周９３ａ，９３ｂ，９４ａ，９４ｂのうち、第２領域８５から遠い側（曲率が小さい側）の周９３ｂ，９４ｂにそって形成される帯状の領域である。
【００６６】
図６は、ステップＳ０１４に示す補正処理を実施した後の目領域８０ａを表す概念図である。図６は、図５に示す目領域８０に対して、図７及び図８に示される補正予定領域９２を算出し、ステップＳ０１４に示す補正処理を実施した状態を表したものである。ステップＳ０１４において、色補正処理部７０は、補正予定領域９２に含まれる内側補正部分９３及び外側補正部分９４の両方に、同様の補正処理を行う。また、色補正処理部７０は、第２領域８５を縁取りするように算出された補正予定領域９２に対して、虹彩領域８６から抽出された色に基づいて、補正予定領域９２の色を置換する処理を行う。これにより、補正後の目領域８０ａは、補正前の目領域８０に比べて黒目の比率が大きくなる。
【００６７】
ステップＳ０１５では、図２に示すＣＰＵ４０が、補正後の画像を不図示の記憶部に保存するなど、必要な終了準備処理を行ったのち、一連の画像処理を終了する。
【００６８】
図１０は、画像処理前後における処理対象画像の一例を、並べて表示したものである。画像９８は処理前の状態を表しており、画像９９は、図３及び図４に示す一連の画像処理を実施した後の状態を表している。図１０に示すように、上述した目領域に対する補正処理を伴う画像処理は、人物の目における黒目の比率を、ユーザーが最も好ましいと感じる比率まで増加させることができる。これにより、本実施形態に係る画像処理は、画像中の被写体の印象を積極的に向上させることができる。また、本実施形態に係る画像処理は、目そのものの大きさを変えるのではなく、黒目の白目に対する比率を変更する補正であるため、顔の他の部位とのバランスを悪化させる恐れが少なく、被写体の自然な特徴を維持することができる。
【００６９】
また、本実施形態に係る画像処理装置は、１つの目領域において、黒目を挟んで左と右に存在する白目の比率を、補正前後で維持することができる。したがって、本実施形態に係る画像処理装置は、画像中における人物の視線の方向が画像補正の前後で変化することを抑制し、画像処理によって生じる違和感を抑制することができる。
【００７０】
本実施形態に係る画像装置は、ユーザーからの入力に応じて、補正後の画像から認識される黒目の比率を変更することも可能である。図２に示す基準比率決定部４６は、図１に示すメニュースイッチ３０及びＯＫスイッチ３２を介してユーザーからの入力信号を取得し、ステップＳ００８で使用される第１の所定値Ｖ１を変更し、補正予定領域の面積を変更することができる。また、ＣＰＵ４０は、ユーザーから第１の所定値Ｖ１を変更する旨の信号を受け取った直後に、処理後の画像のプレビューを、ＬＣＤモニタ２２に表示させても良い。
【００７１】
また、図４のステップＳ０１１では、図２の平均色算出部７６が虹彩平均色を算出するが、これに替えて、図２の最濃色算出部７８が、図５に示す虹彩領域８６で最も濃い色である虹彩最濃色を算出しても良い。この場合、ステップＳ０１２では、直前に算出した虹彩最濃色そのもの又は虹彩最濃色をさらに強調色側にシフトさせた色を、補正基準色とすることができる。
【００７２】
また、図２の補正サイズ算出部６８、第１サイズ算出部５２、第２サイズ算出部６２、第１内外比算出部５８によって算出され、補正予定領域の大きさ及び形状を決定するために用いられるサイズは、面積に限られない。図１１に示すように、補正サイズ算出部６８、第１サイズ算出部５２、第２サイズ算出部６２、第１内外比算出部５８は、目領域の中心を通る水平線Ｈ１に沿って計測された内側部分８３の長さＬ３、第２領域８５の長さＬ２、外側部分８４の長さＬ４を用いて、補正予定領域の大きさ及び形状を決定しても良い。
【００７３】
また、ステップＳ００８において、図２の補正サイズ算出部６８は、第２領域８５の面積である第２面積（Ｓ２）と補正予定領域の面積である補正面積ＳＨの比が、第２の所定値となるように、補正面積ＳＨを算出しても良い。第２の所定値（Ｖ２＝ＳＨ／Ｓ２）は、例えば実際の平均的な黒目の比率と、最も好まれる黒目の比率との比を考慮して決定することができ、例えば１０％程度とすることができる。なお、ＣＰＵ４０は、ステップＳ０１５において処理後の画像を保存する際、目領域に対する補正を実施済みであることを示す情報を、処理後の画像に関連付けて保存しても良い。これにより、繰り返し補正が実施されることを防止し、黒目の比率が不自然に大きくなることを防止できる。
【００７４】
また、ステップＳ０１４において、図２の色補正処理部７０は、虹彩領域８６から取得した色で補正予定領域の色を置換等する処理に替えて、第２領域８５の画像を切り取り、拡大、貼り付け等することによって、黒目の比率を変更しても良い。また、ステップＳ０１４において、色補正処理部７０は、虹彩部領域８６の一部又は全体に対して、色をシフトさせる透過性のレイヤーを重ねるなどの処理を行い、さらに積極的に被写体の印象を変更することも可能である。
【００７５】
本実施形態では、カメラ１０に搭載される画像処理装置を例に説明を行ったが、本発明に係る画像処理装置はこれに限定されず、パーソナルコンピュータ、携帯電話、携帯通信端末等に搭載されていても良い。また、画像処理装置の処理対象画像には、静止画だけでなく、動画も含まれる。
【符号の説明】
【００７６】
１０…カメラ
１２…撮影光学系
１４…撮像素子
２２…ＬＣＤモニタ
２４…電源ボタン
３０…メニュースイッチ
３２…ＯＫスイッチ
４０…ＣＰＵ
４２…顔検出部
４４…目抽出部
４６…基準比率決定部
４８…判定部
５０…第１領域抽出部
５２…第１サイズ算出部
５４…内側抽出部
５６…外側抽出部
５８…第１内外比算出部
６０…第２領域抽出部
６２…第２サイズ算出部
６４…虹彩領域抽出部
６６…補正領域算出部
６８…補正サイズ算出部
７０…色補正処理部
７２…補正基準色算出部
７５…色抽出部
７６…平均色算出部
７７…外周色算出部
７８…最濃色算出部
８０…目領域
８２…第１領域
８３…内側部分
８４…外側部分
８５…第２領域
８６…虹彩領域
８７…瞳孔領域
９２…補正予定領域
９３…内側補正部分
９４…外側補正部分
９５…虹彩外周部
９６…外周縁
９７…中間部分
ＳＨ…補正面積
α１…第１の値
α２…第２の値
β１…第１領域内外比
β２…補正領域内外比
Ｖ１…第１の所定値
【技術分野】
【０００１】
本発明は、画像処理装置及びカメラに関する。
【背景技術】
【０００２】
人物の映像、画像等において、人物の目及びその周辺に対して適切な画像補正を施すことにより、画像の見栄えが改善若しくは向上するという報告がある。また、処理前の画像が有する自然な特徴を維持しつつ、若干の補正を加えることで、被写体の印象を向上又は変化させる画像処理技術が、人物画像等に関する分野でも求められている。
【０００３】
目や目周辺に対して画像処理を行う技術としては、例えば目の大きさを拡大する処理（特許文献１等参照）や、目の白目部分を無彩色へ近い方向へ補正する技術（特許文献２等参照）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−００５６６０号公報
【特許文献２】特開２００５−３１００６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、目の大きさを拡大する従来の画像処理技術では、顔全体の大きさ等に対するバランスが十分に考慮されず、処理後の画像が不自然な印象を生じる場合があった。また、白目部分を無彩色方向へ補正する従来技術では、目自体の見栄えが向上する効果は認められるものの、人物の顔全体の見栄えに与える効果は限定的である。したがって、従来技術は、被写体の自然な特徴を維持しつつも、より積極的に被写体の印象を向上させたいという要望には、十分に応えられていなかった。
【０００６】
本発明に係る画像処理装置等は、このような課題に鑑みてなされたものであり、その目的は、画像処理によって生じる不自然さを抑制しつつ、人物の顔の印象を積極的に改善する画像補正を実施可能な画像処理装置等を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る画像処理装置は、
デジタル画像から、人物の目が写っている領域である目領域（８０）を抽出する目抽出部（４４）と、
前記目領域に対して、黒目の白目に対する比率が大きくなるように、前記目領域に補正処理を実施する色補正処理部（７０）と、を有する。
【０００８】
また、本発明の第２の観点に係る画像処理装置は、
デジタル画像から、人物の目が写っている領域である目領域（８０）を抽出する目抽出部（４４）と、
前記目領域から、強膜が写っている第１領域（８２）を抽出する第１領域抽出部（５０）と、
前記目領域から、瞳孔及び虹彩が写っている第２領域（８５）を抽出する第２領域抽出部（６０）と、
前記第１領域の一部であって前記第１領域と前記第２領域の境界を縁取りする形状を有する補正予定領域（９２）を、算出する補正領域算出部（６６）と、
前記補正予定領域の色を、前記第２領域と同一又は類似の色に変更する補正処理を実施する色補正処理部（７０）と、を有する。
【０００９】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第１領域のサイズである第１サイズ（Ｓ１）を算出する第１サイズ算出部（５２）と、
前記第２領域のサイズである第２サイズ（Ｓ２，Ｌ２）を算出する第２サイズ算出部（６２）と、をさらに有しても良く、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズ（ＳＨ）を算出する補正サイズ算出部（６８）を有しても良く、
前記補正サイズ算出部は、前記第１サイズと前記補正サイズの差である第１の値（α１）と、前記第２サイズと前記補正サイズの和である第２の値（α２）との比が、第１の所定値（Ｖ１）になるように、前記補正サイズを算出しても良い。
【００１０】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第２領域のサイズである第２サイズ（Ｓ２，Ｌ２）を算出する第２サイズ算出部（６２）をさらに有しても良く、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズ（ＳＨ）を算出する補正サイズ算出部（６２）を有しても良く、
前記補正サイズ算出部は、前記第２サイズと前記補正サイズとの比が、第２の所定値になるように、前記補正サイズを算出しても良い。
【００１１】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第１領域のうち、前記第２領域より顔の中心側に位置する内側部分（８３）を抽出する内側抽出部（５４）と、
前記第１領域のうち、前記第２領域を挟んで前記内側部分とは反対側に位置する外側部分（８４）を抽出する外側抽出部（５６）と、
前記内側部分のサイズ（Ｓ３，Ｌ３）と前記外側部分のサイズ（Ｓ４，Ｌ４）の比である第１領域内外比（β１）を算出する第１内外比算出部（５８）と、を有しても良く、
前記補正領域算出部は、前記補正予定領域のうち前記内側部分に含まれる内側補正部分（９２）のサイズ（Ｓ５）と、前記補正予定領域のうち前記外側部分に含まれる外側補正部分（９４）のサイズ（Ｓ６）との比である補正領域内外比（β２）が、前記第１領域内外比に等しくなるように、前記補正予定領域を算出しても良い。
【００１２】
また、例えば、本発明の第２の観点に係る画像処理装置は、
前記第２領域において前記虹彩が写っている虹彩領域（８６）を抽出する虹彩領域抽出部（６４）と、
前記虹彩領域の色を抽出する色抽出部（７５）と、を有しても良く、
前記色補正処理部は、前記色抽出部による抽出結果に基づき、前記補正処理を実施しても良い。
【００１３】
また、例えば、前記色抽出部は、前記虹彩領域の平均色である虹彩平均色を算出する平均色算出部（７６）と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部（９５）の色である虹彩外周部色を算出する外周色算出部（７７）と、を有しても良く、
前記色補正処理部は、前記虹彩平均色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部（７２）を有しても良く、
前記色補正処理部は、前記補正予定領域の外縁部（９６）の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施しても良い。
【００１４】
また、例えば、前記色抽出部は、前記虹彩領域で最も濃い色である虹彩最濃色を算出する最濃色算出部（７８）と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部の色である虹彩外周部色（９５）を算出する外周色算出部（７７）と、を有しても良く、
前記色補正処理部は、前記虹彩最濃色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部（７２）を有しても良く、
前記色補正処理部は、前記補正予定領域の外縁部の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施しても良い。
【００１５】
また、例えば、本発明に係るカメラは、上記いずれかに記載の画像処理装置を搭載する。
【００１６】
なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の一実施形態に係る画像処理装置を搭載したカメラの概略ブロック図である。
【図２】図２は、画像処理装置の演算部として機能するＣＰＵのブロック図である。
【図３】図３は、目領域に対する画像処理の一例を表すフローチャートの前半部分である。
【図４】図４は、目領域に対する画像処理の一例を表すフローチャートの後半部分である。
【図５】図５は、目抽出部によって抽出された目領域を表す概念図である。
【図６】図６は、画像処理後における目領域を表す概念図である。
【図７】図７は、補正予定領域の算出過程を説明するための模式図である。
【図８】図８は、補正領域算出部によって算出される補正予定領域を表す模式図である。
【図９】図９は、色抽出部及び色補正処理部での処理を説明した概念図であり、目領域の一部を拡大した図である。
【図１０】図１０は、画像処理前後における処理対象画像の一例を、並べて表示したものである。
【図１１】図１１は、第１及び第２サイズ算出部によるサイズ算出の他の例を表す模式図である。
【発明を実施するための形態】
【００１８】
第１実施形態
図１は、本発明の一実施形態に係る画像処理装置を搭載するカメラ１０の概略ブロック図である。カメラ１０は、撮影光学系１２、撮像素子１４、画像信号処理回路１６、レンズ駆動制御回路１８、ＣＰＵ４０、ＬＣＤモニタ２２及び各種のスイッチ２４〜３２等を有する。
【００１９】
カメラ１０の撮影光学系１２は、通常複数のレンズ群によって構成されており、撮像素子１４に被写体光を導く。また、撮影光学系１２は、撮影光学系１２の合焦距離を変化させるためのフォーカシングレンズや、像ブレを抑制するための振れ補正レンズを含んでいても良い。フォーカシングレンズや補正レンズの移動は、レンズ駆動制御回路１８によって制御される。レンズ駆動制御回路１８は、ＣＰＵ４０を介して、カメラ１０に備えられる各種センサ（不図示）からの情報を取得し、撮影光学系１２に含まれるレンズ群の移動を制御する。
【００２０】
撮像素子１４は、撮影光学系１２によって導かれた被写体光を光電変換し、画像信号を生成する。撮像素子１４は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子で構成されるが特に限定されない。撮像素子１４は、生成した画像信号を、画像信号処理回路１６へ出力する。画像信号処理回路１６は、画像信号に対して増幅やノイズ除去等の処理を実施する。画像信号処理回路１６によって処理された画像信号は、Ａ／Ｄ変換された後、画像データとしてＣＰＵ４０に送られる。
【００２１】
ＣＰＵ４０は、カメラ１０で行われる電子制御や画像処理に関する各種の演算処理を実施する。例えば、ＣＰＵ４０は、ＬＣＤモニタ２２等に画像を表示させる処理や、不図示のメモリカード等に画像データを保存する処理を行うことができる。また、ＣＰＵ４０は、各種センサ（不図示）、電源ボタン２４、及び各種スイッチ２６〜３２等からの入力信号を処理し、撮影者の意図をカメラ１０の動作に反映する。さらに、ＣＰＵ４０は、撮影後の画像等に対して画像補正を行うことができる。この場合、ＣＰＵ４０は、画像処理を行う画像処理装置の演算部として機能する。ＣＰＵ４０における画像処理については、後ほど詳述する。
【００２２】
ＬＣＤモニタ２２は、ＣＰＵ４０からの制御を受けて、撮影した画像や、メニュー選択画面等を表示する。メニュースイッチ３０やＯＫスイッチ３２は、使用者が撮影条件や画像処理条件を設定できるようにするための入力部である。例えば、メニュースイッチ３０やＯＫスイッチ３２は、十字キー又はボタン等を有しており、使用者の操作に応じて、ＣＰＵ４０に出力する信号を変化させる。ＣＰＵ４０は、メニュースイッチ３０やＯＫスイッチ３２からの信号に応じて、ＬＣＤモニタ２２に表示するメニュー選択画面等を変化させることによって使用者とコミュニケートし、使用者から情報を取得することができる。
【００２３】
電源ボタン２４は、使用者がカメラ１０の主電源をＯＮ及びＯＦＦにするためのボタンである。ＣＰＵ４０は、電源ボタン２４からの信号に応じて、カメラ１０全体の制御を開始及び終了する。半押しスイッチ２６は、オートフォーカス動作など、撮影準備動作の開始を制御するためのスイッチである。また、レリーズスイッチ２８は、撮像素子１４による画像信号取得動作の開始を制御するためのスイッチである。ＣＰＵ４０は、半押しスイッチ２６及びレリーズスイッチ２８からの信号に基づき、オートフォーカス動作や画像信号取得動作を実施する。なお、半押しスイッチ２６とレリーズスイッチ２８は、共通のシャッターボタン（不図示）に連動しており、使用者は、シャッターボタンの押し込み量を変化させることで、半押しスイッチ２６及びレリーズスイッチ２８のＯＮ・ＯＦＦを調整できる。
【００２４】
ＣＰＵ４０は、カメラ１０で撮影された画像や、外部からカメラ１０に入力された画像について、各種の画像処理を行うことができる。特に、本実施形態に係るＣＰＵ４０は、画像から人物の目が写っている部分を検出し、必要に応じて目が写っている部分に補正を加え、被写体の見栄えを向上させる画像処理を行うことができる。
【００２５】
図２は、画像処理装置の演算部として機能するＣＰＵ４０のブロック図である。図２は、画像処理においてＣＰＵ４０で行われる各演算処理を、各ブロックに対応させて表したものである。本実施形態に係るＣＰＵ４０では、画像処理に関係する全ての演算処理が実施されるが、一部の演算処理がＣＰＵ４０以外で実施される態様であってもかまわない。
【００２６】
ＣＰＵ４０は、処理対象画像に対する一連の画像処理において、顔検出部４２、目抽出部４４、基準比率決定部４６、判定部４８、第１領域抽出部５０、第１サイズ算出部５２、内側抽出部５４、外側抽出部５６、第１内外比算出部５８等として機能する。また、ＣＰＵ４０は、第２領域抽出部６０、第２サイズ算出部６２、虹彩領域抽出部６４、補正領域算出部６６、色抽出部７５、色補正処理部７０等として機能する。以下では、ＣＰＵ４０における具体的処理を説明した図２〜図１１を用いて、図２に示す各ブロックの機能及び処理を説明する。
【００２７】
図３及び図４は、本実施形態に係る画像処理の一例を表すフローチャートである。図３はフローチャートの前半部分であり、図４はフローチャートの後半部分である。ＣＰＵ４０における画像処理は、大きく分けて４つの処理群に分類することができる。第１の処理群は、主として、処理対象となるデジタル画像に対して、白目と黒目の比を認識した上で、目領域に対して補正処理を行うべきか否かを判断するために、実施される処理群である。第１の処理群は、フローチャートにおけるステップＳ００３〜ステップＳ００７（図３）までの各処理を含む。
【００２８】
第２の処理群は、目に対する補正処理の対象となる補正予定領域を決定するための処理群である。第２の処理群は、目領域に対する補正処理のための補正準備処理の一部であり、フローチャートにおけるステップＳ００８〜ステップＳ０１０（図３）までの各処理を含む。第３の処理群は、補正処理に必要な色に関する情報を抽出及び算出するための処理群である。第３の処理群は、第２の処理群と同様に、目領域に対する補正処理のための補正準備処理の他の一部であり、フローチャートにおけるステップＳ０１１〜ステップＳ０１３（図４）の各処理を含む。第４の処理群は、デジタル画像の補正予定領域に対して、実際に補正処理（彩色処理）を行う処理群である。第４の処理群は、フローチャートにおけるステップＳ０１４の処理を含む。
【００２９】
図３に示すステップＳ００１では、図１に示すカメラ１０のＣＰＵ４０が、一連の画像処理を開始する。処理を開始するタイミングは特に限定されないが、カメラ１０で画像を取得した直後に行われても良いし、メニュースイッチ３０やＯＫスイッチ３２等を介して入力された使用者の意志を反映して開始されても良い。また、フローチャートに示す処理は、単独の処理として実施されても良く、他の画像処理と合わせて行われても良い。なお、各ステップに示す処理はＣＰＵ４０において行われ、処理結果は必要に応じて不図示の記憶部に保存される。
【００３０】
図３に示すステップＳ００２では、画像処理のための準備処理が実施される。ステップＳ００２において、ＣＰＵ４０は、処理対象となるデジタル画像を特定する。補正対象となる画像は、図１に示す画像信号処理回路１６から入力された撮影直後の画像であっても良く、不図示の記憶部等に保存されていた画像であって、使用者によって指定されたものであっても良い。補正対象となる画像は、特に限定されず、例えば図１０の左側に示すような画像９８を、処理対象画像として特定する。
【００３１】
（１）第１の処理群
フローチャートにおけるステップＳ００３〜ステップＳ００７では、図２に示す目抽出部４４、第１領域抽出部５０、第２領域抽出部６０による領域の抽出や、第１サイズ算出部５２及び第２サイズ算出部６２による面積の算出や、判定部４８による補正処理の実施・不実施の決定が行われる。
【００３２】
図３に示すステップＳ００３では、図２に示す顔検出部４２が、処理対象画像の中から、人物の顔が写っている領域である顔エリアを抽出する。顔検出部４２は、例えばテンプレートマッチング法などによって、画像の中から顔エリアを抽出することができるが、人物の顔を抽出する具体的な方法は特に限定されない。
【００３３】
ステップＳ００３において顔検出部４２が人物の顔を抽出した場合は、フローチャート（図３）におけるステップＳ００４の処理へ進む。これとは逆に、人物の顔を抽出できなかった場合は、フローチャート（図４）におけるステップＳ０１５へ進み、処理を終了する。
【００３４】
図３に示すステップＳ００４では、図２に示す目抽出部４４が、人物の目が写っている領域である目領域を抽出する。目抽出部４４による抽出方法は特に限定されないが、顔検出部４２によって抽出された人物の顔が写っている領域に対して、テンプレートマッチングを行う方法や、顔が写っている領域に含まれるエッジの形状及び位置関係から検出する方法が挙げられる。
【００３５】
図５は、目抽出部４４によって抽出された目領域８０を表す概念図である。本実施形態において、目抽出部４４は、上瞼ライン８８ａと下瞼ライン８８ｂの間に挟まれた領域を目領域８０であると認識する。なお、目抽出部４４によって複数の目領域が抽出された場合は、それぞれの目領域に対して、ステップＳ００５以下の処理を行う。
【００３６】
ステップＳ００５では、図２に示す第１領域抽出部５０が、目領域から、目の強膜が写っている領域である第１領域を抽出する。さらに、図２に示す第１サイズ算出部５２が、第１領域抽出部５０によって抽出された第１領域の面積である第１面積を算出する。
【００３７】
図５に示すように、強膜が写っている第１領域８２は、白色又は白色に近い淡色の領域として認識される。目領域８０において、白色に見える部分は、白目とも呼ばれる。これに対して、第１領域８２と伴に目領域８０を構成する第２領域８５は、虹彩が写っている虹彩領域８６と瞳孔が写っている瞳孔領域８７を含む。第１領域８２の形状は、眼球の動きによって変化するものの、円形に近い第２領域８５の周辺を囲むように広がるという特徴を有する。第１領域抽出部５０は、例えば、白目の一般的な色及び形状の特徴に基づくマッチングを行うことにより、第１領域８２を特定することができる。
【００３８】
第１領域８２は、人物を正面から撮影したような画像においては、第２領域８５を挟んで顔の中心側に位置する内側部分８３と、第２領域８５を挟んで内側部分８３とは反対側に位置する外側部分８４とに分かれている場合がある（図５は、右目部分を目領域８０として抽出した場合を表している）。また、人物を側方から撮影したような画像においては、第１領域８２は、内側部分８３か外側部分８４のいずれか一方のみによって構成される場合もある。ただし、第１領域抽出部５０は、内側部分８３と外側部分８４とを区別して認識する必要はなく、目領域８０に含まれる第１領域８２全体を認識できれば良い。
【００３９】
図７は、図２に示す第１領域抽出部５０，内側抽出部５４，外側抽出部５６及び第２領域抽出部６０が、図５に示す目領域８０をどのように認識するのかを説明した模式図である。ステップＳ００５において、第１領域抽出部５０は、図７においてハッチングを施している内側部分８３及び外側部分８４を第１領域８２として抽出する。さらに、ステップＳ００５では、図２の第１サイズ算出部５２が、第１領域８２の面積である第１面積Ｓ１を算出する。第１面積Ｓ１は、内側部分８３の面積である第３面積Ｓ３と、外側部分８４の面積である第４面積Ｓ４の和に等しい。
【００４０】
ステップＳ００６では、図２に示す第２領域抽出部６０が、目領域から、瞳孔及び虹彩が写っている領域である第２領域を抽出する。さらに、図２に示す第２サイズ算出部６２が、第２領域抽出部によって抽出された第２領域の面積を算出する。
【００４１】
図５に示すように、第２領域８５は、第２領域８５の中心部分に位置する瞳孔領域８７と、瞳孔領域８７の周辺に広がる虹彩領域８６とを含み、瞳孔領域８７と虹彩領域８６が略同心円状に配置されている。瞳孔領域８７は黒色又は黒色に近い濃色の領域として認識される。また、虹彩領域８６は、濃褐色、淡褐色、琥珀色、緑色、灰色、青色等であって、解像度が高ければ複雑な模様を有する領域として認識される。なお、目領域８０において、瞳孔領域８７及び虹彩領域８６を含む色の濃い部分は、白色（淡い色）の白目と対比して黒目とも呼ばれるが、本実施形態において、黒目に含まれる虹彩の色は限定されない。第２領域抽出部６０は、例えば、黒目の一般的な色及び形状に基づくマッチングを行うことにより、第２領域８５を特定することができる。
【００４２】
第２領域抽出部６０は、瞳孔領域８７と虹彩領域８６とを区別して認識する必要はなく、目領域８０に含まれる第２領域８５全体を認識できれば良い。第２領域抽出部６０は、図７において目領域８０の中央に位置しておりグレーで表されている部分を、第２領域８５として抽出する。さらに、ステップＳ００６では、図２の第２サイズ算出部６２が、第２領域８５の面積である第２面積Ｓ２を算出する。
【００４３】
ステップＳ００７では、図２に示す判定部４８が、ステップＳ００６で算出された第２領域の面積（第２面積）と、ステップＳ００５で算出された第１領域の面積（第１面積）との比が、第１の所定値Ｖ１以上であるか否かを判定する。図７に示すように、第１領域８２の面積を第１面積Ｓ１とし、第２領域８５の面積を第２面積Ｓ２とした場合、判定部４８は、第１面積Ｓ１及び第２面積Ｓ２が以下の数式（１）を満たすか否かを判断する。
Ｓ２／Ｓ１ ≧ Ｖ１ ・・・数式（１）
【００４４】
第２領域８５の面積Ｓ２と第１領域８２の面積Ｓ１が数式（１）を満たす場合、すなわち黒目の比率が所定の閾値より大きいと認められる場合は、補正処理を行わず、ステップＳ０１５へ進んで画像処理を終了する。それとは反対に、面積Ｓ２と面積Ｓ１が数式（１）を満たさず、黒目の比率が所定の閾値より小さいと認められる場合は、ステップＳ００８へ進み、補正処理を実施する。
【００４５】
ここで、第１の所定値Ｖ１は、例えばユーザーが最も好ましいと感じる黒目の比率の統計結果から求められる平均値とすることができ、例えば１程度とすることができる。また、ユーザーが最も好ましいと感じる黒目の比率は、一般人の現実の黒目の比率より大きい、という傾向が見られる。そこで、本実施形態に係る画像処理装置は、黒目の白目に対する比率が所定の閾値より小さい場合にのみ、当該比率が大きくなるように補正処理を実施し、黒目の比率が大きい場合は、補正処理を行わない。
【００４６】
（２）第２の処理群
フローチャートにおけるステップＳ００８〜ステップＳ０１０では、図２に示す内側抽出部５４及び外側抽出部５６による領域の抽出や、第１内外比算出部５８及び補正サイズ算出部６８による面積および面積比の算出や、補正領域算出部６６による補正予定領域の決定等が行われる。
【００４７】
図３に示すステップＳ００８では、図２の補正領域算出部６６の補正サイズ算出部６８が、補正予定領域の面積である補正面積を算出する。ここで、補正予定領域とは、ステップＳ００５で抽出された第１領域の一部であって、後述するステップＳ０１４（図４）での処理において、色補正処理（彩色処理）が行われる領域である。
【００４８】
図７に示すように、補正サイズ算出部６８は、ステップＳ００５で算出した第１領域８２の面積（第１面積Ｓ１）と、ステップＳ００６で算出した第２領域８５の面積（第２面積Ｓ２）と、ステップＳ００７で用いた第１の所定値Ｖ１から、補正面積ＳＨを求める。ここで、補正サイズ算出部６８は、第１面積Ｓ１と補正面積ＳＨとの差である第１の値α１と、第２面積Ｓ２と補正面積の和である第２の値α２との比が、第１の所定値Ｖ１になるように、補正面積ＳＨを算出する。
【００４９】
言い換えると、補正サイズ算出部６８は、以下の数式（２）〜（４）を満たす補正面積ＳＨを算出する。
α１＝Ｓ１−ＳＨ・・・数式（２）
α２＝Ｓ２＋ＳＨ・・・数式（３）
α２／α１＝Ｖ１・・・数式（４）
補正面積ＳＨをこのように算出した後、補正予定領域の色を第２領域と同一又は類似の色に変更する補正処理を行うことによって、補正後の画像から認識される黒目の比率を、第１の所定値Ｖ１とすることができる。
【００５０】
ステップＳ００９では、図２の内側抽出部５４及び外側抽出部５６が第１領域の内側部分と外側部分とを区別して抽出する。さらに、第１内外比算出部５８は、内側部分のサイズと外側部分のサイズの比である第１領域内外比を算出する。第１領域内外比は、ステップＳ０１０において、補正予定領域を算出する際に用いられる。
【００５１】
図５に示すように、ステップＳ００９では、まず内側抽出部５４が、内側部分８３を抽出する。内側抽出部５４は、第１領域８２のうち、第２領域８５より顔の中心側に位置する内側部分８３を、外側部分８４とは区別して抽出する。内側抽出部５４は、例えば、第１領域８２のうち、瞳孔領域８７の中心を通る垂直線Ａを境界線として、垂直線Ａより顔の中心側の部分を、内側部分８３として認識することができる。この場合、垂直線Ａに平行な方向は、鼻筋の方向や、両目を繋ぐラインに垂直な方向や、上瞼ライン８８ａと下瞼ライン８８ｂとの交点を繋ぐラインに垂直な方向等から認識することができるが、特に限定されない。
【００５２】
また、図７に示すように、第２領域８５が、上瞼ライン８８ａと下瞼ライン８８ｂの両方に接触している場合は、内側抽出部５４は、内側境界ライン９０ａと、上瞼ライン８８ａと、下瞼ライン８８ｂによって囲まれた領域（右下がりハッチングされた領域）を、内側部分８３として認識することができる。なお、内側境界ライン９０ａは、第２領域８５と第１領域８２が接触する境界線のうち、垂直線Ａ（図５）より顔の中心側の部分である。
【００５３】
次に、ステップＳ００９では、図２の外側抽出部５６が、図５に示す外側部分８４を抽出する。外側抽出部５６は、第１領域８２のうち、第２領域８５を挟んで内側部分８３とは反対側に位置する外側部分８４を、内側部分８３とは区別して抽出する。外側抽出部５６が内側部分８３と外側部分８４とを区別する基準は、内側抽出部５４と同様である。
【００５４】
図７に示す例では、外側抽出部５６は、外側境界ライン９０ｂと、上瞼ライン８８ａと、下瞼ライン８８ｂによって囲まれた領域（右上がりハッチングされた領域）を、外側部分８４として認識することができる。なお、外側境界ライン９０ｂは、第２領域８５と第１領域８２が接触する境界線のうち、垂直線Ａ（図５）より顔の側方側の部分である。
【００５５】
さらに、ステップＳ００９では、図２の第１内外比算出部５８が、内側部分８３の面積（第３面積Ｓ３）と外側部分８４の面積（第４面積Ｓ４）との比である第１領域内外比β１を算出する（図７）。第１内外比算出部５８は、内側抽出部５４及び外側抽出部５６の抽出結果に基づき、内側部分８３及び外側部分８４の面積Ｓ３，Ｓ４をそれぞれ算出し、その算出結果を用いて、第１領域内外比β１を求める。第１内外比算出部５８は、例えば以下の数式（５）を用いて、第１領域内外比β１を算出することができる。
β１＝Ｓ４／Ｓ３・・・数式（５）
【００５６】
ステップＳ０１０では、図２の補正領域算出部６６が、補正予定領域を決定する。図７に示すように、補正予定領域９２は、第１領域８２の一部であって、第１領域８２と第２領域８５との境界（内側境界ライン９０ａ，外側境界ライン９０ｂ）を縁取りする形状を有する。第１領域８２が内側部分８３と外側部分８４を含む場合、補正予定領域９２も、内側部分８３に含まれる内側補正部分９３と、外側部分８４に含まれる外側補正部分９４を含む。補正領域算出部６８は、内側境界ライン９０ａ又は外側境界ライン９０ｂに沿ってそれぞれ所定の幅Ｗ１，Ｗ２（図８）を有するように、内側補正部分９３と外側補正部分９４を決定する。
【００５７】
図８は、図７から補正予定領域９２を抜き出して表示したものである。補正予定領域９２を算出する際、補正領域算出部６６は、内側補正部分９３と外側補正部分９４の面積の合計を、ステップＳ００８において算出された補正面積ＳＨと一致させる。また、補正予定領域９２の内側補正部分９３の面積（第５面積Ｓ５）と外側補正部分９４の面積（第６面積Ｓ６）の比（補正領域内外比β２）は、ステップＳ００９において算出された第１領域内外比β１（内側部分８３の面積と外側部分８４の面積の比）に一致させる。
【００５８】
例えば、補正領域算出部６６は、以下の数式（６）〜（８）を用いて、内側補正部分９３の面積である第５面積Ｓ５と、外側補正部分９４の面積である第６面積Ｓ６を決定することができる。
Ｓ５＋Ｓ６＝ＳＨ・・・数式（６）
Ｓ６／Ｓ５＝β２・・・数式（７）
β２＝β１・・・数式（８）
【００５９】
このように、内側補正部分９３の面積と外側補正部分９４の面積の比を、内側部分８３の面積と外側部分８４の面積の比と一致させることにより、補正処理前後における白目の内外比を維持することができる。これにより、本実施形態による画像処理装置は、補正処理により被写体の目線が変化することを抑制することができる。
【００６０】
（３）第３の処理群
フローチャートにおけるステップＳ０１１からステップＳ０１３（図４）では、図２に示す虹彩領域抽出部６４による領域の抽出や、平均色算出部７６、外周色算出部７７及び補正基準色算出部７２による色の抽出及び算出等、が行われる。
【００６１】
図４に示すステップＳ０１１では、図２の虹彩領域抽出部６４が、第２領域８５において虹彩が写っている部分である虹彩領域を抽出する。さらに図２の色抽出部７５における平均色算出部７６が、虹彩領域の平均色である虹彩平均色を算出する。
【００６２】
図５に示すように、第２領域８５は、瞳孔領域８７と虹彩領域８６を含むが、虹彩領域抽出部６４は、虹彩領域８６を瞳孔領域８７とは区別して認識する。虹彩領域抽出部６４は、虹彩領域８６の色、模様及び形状的な特徴に基づき、虹彩領域８６を抽出する。また、平均色算出部７６は、虹彩領域８６に含まれる画素の色に関する情報（ＲＧＢデータ等）を取得し、平均値を求めることによって、虹彩平均色を算出する。
【００６３】
図４に示すステップＳ０１２では、図２の色補正処理部７０の補正基準色算出部７２が、補正基準色を算出する。補正基準色は、ステップＳ０１４における補正処理において、補正予定領域の外縁部の色として使用される。補正基準色算出部７２は、ステップＳ０１１で算出された虹彩平均色に対して所定の彩度上昇又は明度低下処理を施し、補正基準色とする。補正予定領域の外縁部の色として使用される補正基準色を、虹彩平均色と類似の色であって虹彩平均色よりやや目立つ色とすることによって、補正処理による黒目強調効果を高めることができる。
【００６４】
図４に示すステップＳ０１３では、図２の色抽出部７５の外周色算出部７７が、虹彩外周部の色である虹彩外周色を取得する。図９は、図５に示す目領域８０の一部を拡大した拡大図である。図９に示すように、虹彩領域８６は、第２領域８５における外周側の一部分であり、虹彩領域８６と接触する第１領域８２には、帯状の補正予定領域９２が形成されている。外周色算出部７７は、虹彩領域８６の一部であって、補正予定領域９２と接触する部分を、虹彩外周部９５と認定し、当該虹彩外周部９５の色を取得し、その色を虹彩外周色とする。また、外周色算出部７７は、虹彩外周部９５を、ある程度の幅を有する領域として設定し、虹彩外周部９５の平均色を虹彩外周色としても良い。
【００６５】
（４）第４の処理群
図４に示すステップＳ０１４では、図２の色補正処理部７０が、ステップＳ０１０で決定された補正予定領域に対して、補正処理を実施する。図９に示すように、色補正処理部７０は、補正予定領域９２の外縁部９６の色を、ステップＳ０１２で算出した補正基準色に置き換える。次に、色補正処理部７０は、外縁部９６と虹彩外周部９５との間の中間部分９７に対して、補正基準色から虹彩外周色へ変化するグラデーション処理を施し、中間部分９７の色を変更する。なお、図８に示すように、外縁部９６は、補正予定領域９２の周９３ａ，９３ｂ，９４ａ，９４ｂのうち、第２領域８５から遠い側（曲率が小さい側）の周９３ｂ，９４ｂにそって形成される帯状の領域である。
【００６６】
図６は、ステップＳ０１４に示す補正処理を実施した後の目領域８０ａを表す概念図である。図６は、図５に示す目領域８０に対して、図７及び図８に示される補正予定領域９２を算出し、ステップＳ０１４に示す補正処理を実施した状態を表したものである。ステップＳ０１４において、色補正処理部７０は、補正予定領域９２に含まれる内側補正部分９３及び外側補正部分９４の両方に、同様の補正処理を行う。また、色補正処理部７０は、第２領域８５を縁取りするように算出された補正予定領域９２に対して、虹彩領域８６から抽出された色に基づいて、補正予定領域９２の色を置換する処理を行う。これにより、補正後の目領域８０ａは、補正前の目領域８０に比べて黒目の比率が大きくなる。
【００６７】
ステップＳ０１５では、図２に示すＣＰＵ４０が、補正後の画像を不図示の記憶部に保存するなど、必要な終了準備処理を行ったのち、一連の画像処理を終了する。
【００６８】
図１０は、画像処理前後における処理対象画像の一例を、並べて表示したものである。画像９８は処理前の状態を表しており、画像９９は、図３及び図４に示す一連の画像処理を実施した後の状態を表している。図１０に示すように、上述した目領域に対する補正処理を伴う画像処理は、人物の目における黒目の比率を、ユーザーが最も好ましいと感じる比率まで増加させることができる。これにより、本実施形態に係る画像処理は、画像中の被写体の印象を積極的に向上させることができる。また、本実施形態に係る画像処理は、目そのものの大きさを変えるのではなく、黒目の白目に対する比率を変更する補正であるため、顔の他の部位とのバランスを悪化させる恐れが少なく、被写体の自然な特徴を維持することができる。
【００６９】
また、本実施形態に係る画像処理装置は、１つの目領域において、黒目を挟んで左と右に存在する白目の比率を、補正前後で維持することができる。したがって、本実施形態に係る画像処理装置は、画像中における人物の視線の方向が画像補正の前後で変化することを抑制し、画像処理によって生じる違和感を抑制することができる。
【００７０】
本実施形態に係る画像装置は、ユーザーからの入力に応じて、補正後の画像から認識される黒目の比率を変更することも可能である。図２に示す基準比率決定部４６は、図１に示すメニュースイッチ３０及びＯＫスイッチ３２を介してユーザーからの入力信号を取得し、ステップＳ００８で使用される第１の所定値Ｖ１を変更し、補正予定領域の面積を変更することができる。また、ＣＰＵ４０は、ユーザーから第１の所定値Ｖ１を変更する旨の信号を受け取った直後に、処理後の画像のプレビューを、ＬＣＤモニタ２２に表示させても良い。
【００７１】
また、図４のステップＳ０１１では、図２の平均色算出部７６が虹彩平均色を算出するが、これに替えて、図２の最濃色算出部７８が、図５に示す虹彩領域８６で最も濃い色である虹彩最濃色を算出しても良い。この場合、ステップＳ０１２では、直前に算出した虹彩最濃色そのもの又は虹彩最濃色をさらに強調色側にシフトさせた色を、補正基準色とすることができる。
【００７２】
また、図２の補正サイズ算出部６８、第１サイズ算出部５２、第２サイズ算出部６２、第１内外比算出部５８によって算出され、補正予定領域の大きさ及び形状を決定するために用いられるサイズは、面積に限られない。図１１に示すように、補正サイズ算出部６８、第１サイズ算出部５２、第２サイズ算出部６２、第１内外比算出部５８は、目領域の中心を通る水平線Ｈ１に沿って計測された内側部分８３の長さＬ３、第２領域８５の長さＬ２、外側部分８４の長さＬ４を用いて、補正予定領域の大きさ及び形状を決定しても良い。
【００７３】
また、ステップＳ００８において、図２の補正サイズ算出部６８は、第２領域８５の面積である第２面積（Ｓ２）と補正予定領域の面積である補正面積ＳＨの比が、第２の所定値となるように、補正面積ＳＨを算出しても良い。第２の所定値（Ｖ２＝ＳＨ／Ｓ２）は、例えば実際の平均的な黒目の比率と、最も好まれる黒目の比率との比を考慮して決定することができ、例えば１０％程度とすることができる。なお、ＣＰＵ４０は、ステップＳ０１５において処理後の画像を保存する際、目領域に対する補正を実施済みであることを示す情報を、処理後の画像に関連付けて保存しても良い。これにより、繰り返し補正が実施されることを防止し、黒目の比率が不自然に大きくなることを防止できる。
【００７４】
また、ステップＳ０１４において、図２の色補正処理部７０は、虹彩領域８６から取得した色で補正予定領域の色を置換等する処理に替えて、第２領域８５の画像を切り取り、拡大、貼り付け等することによって、黒目の比率を変更しても良い。また、ステップＳ０１４において、色補正処理部７０は、虹彩部領域８６の一部又は全体に対して、色をシフトさせる透過性のレイヤーを重ねるなどの処理を行い、さらに積極的に被写体の印象を変更することも可能である。
【００７５】
本実施形態では、カメラ１０に搭載される画像処理装置を例に説明を行ったが、本発明に係る画像処理装置はこれに限定されず、パーソナルコンピュータ、携帯電話、携帯通信端末等に搭載されていても良い。また、画像処理装置の処理対象画像には、静止画だけでなく、動画も含まれる。
【符号の説明】
【００７６】
１０…カメラ
１２…撮影光学系
１４…撮像素子
２２…ＬＣＤモニタ
２４…電源ボタン
３０…メニュースイッチ
３２…ＯＫスイッチ
４０…ＣＰＵ
４２…顔検出部
４４…目抽出部
４６…基準比率決定部
４８…判定部
５０…第１領域抽出部
５２…第１サイズ算出部
５４…内側抽出部
５６…外側抽出部
５８…第１内外比算出部
６０…第２領域抽出部
６２…第２サイズ算出部
６４…虹彩領域抽出部
６６…補正領域算出部
６８…補正サイズ算出部
７０…色補正処理部
７２…補正基準色算出部
７５…色抽出部
７６…平均色算出部
７７…外周色算出部
７８…最濃色算出部
８０…目領域
８２…第１領域
８３…内側部分
８４…外側部分
８５…第２領域
８６…虹彩領域
８７…瞳孔領域
９２…補正予定領域
９３…内側補正部分
９４…外側補正部分
９５…虹彩外周部
９６…外周縁
９７…中間部分
ＳＨ…補正面積
α１…第１の値
α２…第２の値
β１…第１領域内外比
β２…補正領域内外比
Ｖ１…第１の所定値
【特許請求の範囲】
【請求項１】
デジタル画像から、人物の目が写っている領域である目領域を抽出する目抽出部と、
前記目領域に対して、黒目の白目に対する比率が大きくなるように、前記目領域に補正処理を実施する色補正処理部と、を有する画像処理装置。
【請求項２】
デジタル画像から、人物の目が写っている領域である目領域を抽出する目抽出部と、
前記目領域から、強膜が写っている第１領域を抽出する第１領域抽出部と、
前記目領域から、瞳孔及び虹彩が写っている第２領域を抽出する第２領域抽出部と、
前記第１領域の一部であって前記第１領域と前記第２領域の境界を縁取りする形状を有する補正予定領域を、算出する補正領域算出部と、
前記補正予定領域の色を、前記第２領域と同一又は類似の色に変更する補正処理を実施する色補正処理部と、を有する画像処理装置。
【請求項３】
前記第１領域のサイズである第１サイズを算出する第１サイズ算出部と、
前記第２領域のサイズである第２サイズを算出する第２サイズ算出部と、を有し、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズを算出する補正サイズ算出部を有し、
前記補正サイズ算出部は、前記第１サイズと前記補正サイズの差である第１の値と、前記第２サイズと前記補正サイズの和である第２の値との比が、第１の所定値になるように、前記補正サイズを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２領域のサイズである第２サイズを算出する第２サイズ算出部を有し、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズを算出する補正サイズ算出部を有し、
前記補正サイズ算出部は、前記第２サイズと前記補正サイズとの比が、第２の所定値になるように、前記補正サイズを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第１領域のうち、前記第２領域より顔の中心側に位置する内側部分を抽出する内側抽出部と、
前記第１領域のうち、前記第２領域を挟んで前記内側部分とは反対側に位置する外側部分を抽出する外側抽出部と、
前記内側部分のサイズと前記外側部分のサイズの比である第１領域内外比を算出する第１内外比算出部と、を有し、
前記補正領域算出部は、前記補正予定領域のうち前記内側部分に含まれる内側補正部分のサイズと、前記補正予定領域のうち前記外側部分に含まれる外側補正部分のサイズとの比である補正領域内外比が、前記第１領域内外比に等しくなるように、前記補正予定領域を算出することを特徴とする請求項２から請求項４までのいずれかに記載の画像処理装置。
【請求項６】
前記第２領域において前記虹彩が写っている虹彩領域を抽出する虹彩領域抽出部と、
前記虹彩領域の色を抽出する色抽出部と、を有し、
前記色補正処理部は、前記色抽出部による抽出結果に基づき、前記補正処理を実施することを特徴とする請求項２から請求項５までのいずれかに記載の画像処理装置。
【請求項７】
前記色抽出部は、前記虹彩領域の平均色である虹彩平均色を算出する平均色算出部と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部の色である虹彩外周部色を算出する外周色算出部と、を有し、
前記色補正処理部は、前記虹彩平均色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部を有し、
前記色補正処理部は、前記補正予定領域の外縁部の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施すことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記色抽出部は、前記虹彩領域で最も濃い色である虹彩最濃色を算出する最濃色算出部と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部の色である虹彩外周部色を算出する外周色算出部と、を有し、
前記色補正処理部は、前記虹彩最濃色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部を有し、
前記色補正処理部は、前記補正予定領域の外縁部の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施すことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の画像処理装置を搭載するカメラ。
【請求項１】
デジタル画像から、人物の目が写っている領域である目領域を抽出する目抽出部と、
前記目領域に対して、黒目の白目に対する比率が大きくなるように、前記目領域に補正処理を実施する色補正処理部と、を有する画像処理装置。
【請求項２】
デジタル画像から、人物の目が写っている領域である目領域を抽出する目抽出部と、
前記目領域から、強膜が写っている第１領域を抽出する第１領域抽出部と、
前記目領域から、瞳孔及び虹彩が写っている第２領域を抽出する第２領域抽出部と、
前記第１領域の一部であって前記第１領域と前記第２領域の境界を縁取りする形状を有する補正予定領域を、算出する補正領域算出部と、
前記補正予定領域の色を、前記第２領域と同一又は類似の色に変更する補正処理を実施する色補正処理部と、を有する画像処理装置。
【請求項３】
前記第１領域のサイズである第１サイズを算出する第１サイズ算出部と、
前記第２領域のサイズである第２サイズを算出する第２サイズ算出部と、を有し、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズを算出する補正サイズ算出部を有し、
前記補正サイズ算出部は、前記第１サイズと前記補正サイズの差である第１の値と、前記第２サイズと前記補正サイズの和である第２の値との比が、第１の所定値になるように、前記補正サイズを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２領域のサイズである第２サイズを算出する第２サイズ算出部を有し、
前記補正領域算出部は、前記補正予定領域のサイズである補正サイズを算出する補正サイズ算出部を有し、
前記補正サイズ算出部は、前記第２サイズと前記補正サイズとの比が、第２の所定値になるように、前記補正サイズを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第１領域のうち、前記第２領域より顔の中心側に位置する内側部分を抽出する内側抽出部と、
前記第１領域のうち、前記第２領域を挟んで前記内側部分とは反対側に位置する外側部分を抽出する外側抽出部と、
前記内側部分のサイズと前記外側部分のサイズの比である第１領域内外比を算出する第１内外比算出部と、を有し、
前記補正領域算出部は、前記補正予定領域のうち前記内側部分に含まれる内側補正部分のサイズと、前記補正予定領域のうち前記外側部分に含まれる外側補正部分のサイズとの比である補正領域内外比が、前記第１領域内外比に等しくなるように、前記補正予定領域を算出することを特徴とする請求項２から請求項４までのいずれかに記載の画像処理装置。
【請求項６】
前記第２領域において前記虹彩が写っている虹彩領域を抽出する虹彩領域抽出部と、
前記虹彩領域の色を抽出する色抽出部と、を有し、
前記色補正処理部は、前記色抽出部による抽出結果に基づき、前記補正処理を実施することを特徴とする請求項２から請求項５までのいずれかに記載の画像処理装置。
【請求項７】
前記色抽出部は、前記虹彩領域の平均色である虹彩平均色を算出する平均色算出部と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部の色である虹彩外周部色を算出する外周色算出部と、を有し、
前記色補正処理部は、前記虹彩平均色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部を有し、
前記色補正処理部は、前記補正予定領域の外縁部の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施すことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記色抽出部は、前記虹彩領域で最も濃い色である虹彩最濃色を算出する最濃色算出部と、前記虹彩領域の一部であって前記補正予定領域と接触する虹彩外周部の色である虹彩外周部色を算出する外周色算出部と、を有し、
前記色補正処理部は、前記虹彩最濃色に対して所定の彩度上昇又は明度低下処理を施した補正基準色を算出する補正基準色算出部を有し、
前記色補正処理部は、前記補正予定領域の外縁部の色を、前記補正基準色とし、前記外縁部と前記虹彩外周部との間の部分に対して、前記補正基準色から前記虹彩外周部色へ変化するグラデーション処理を施すことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の画像処理装置を搭載するカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−５８１６５（Ｐ２０１３−５８１６５Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９７４６６（Ｐ２０１１−１９７４６６）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]