撮像装置、撮像方法、撮像プログラム及び画像処理装置
【課題】例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる撮像装置を提供する。
【解決手段】撮像装置は、フラッシュ撮影された画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに表示する表示部とを備えたことを特徴とする。
【解決手段】撮像装置は、フラッシュ撮影された画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに表示する表示部とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、撮像プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
従来より、バッチ処理による赤目補正を行う撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、インタラクティブ処理による赤目補正を行う撮像装置も提案されている。
【特許文献１】特開２００２−２４７５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術（バッチ処理による赤目補正を行う技術）では、撮影された画像から、色相、彩度及び明度などを用いて、虹彩領域及び他の特徴領域を抽出している。そして、虹彩領域と他の特徴領域との配置関係に基づいて、赤目補正を行う対象領域である赤目領域を特定している。
【０００５】
しかし、特許文献１の技術では、赤目領域を正しく特定できない場合、例えば、不適切な赤目領域に対して赤目補正が行われることがあるので、赤目補正を適切に行えないおそれがある。
【０００６】
一方、インタラクティブ処理による赤目補正を行う技術では、複数の赤目領域が検出された場合でも、全ての赤目領域のそれぞれに対して赤目補正を行うか否かを指定しなければならない傾向にある。これにより、赤目補正における利用者側の処理が煩雑化する傾向にある。
【０００７】
本発明の目的は、例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、フラッシュ撮影された画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに表示する表示部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置では、例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる。
【発明を実施するための最良の形態】
【００１０】
本発明の好適な第１実施形態に係る撮像装置について、図１〜図１３を参照して説明する。
【００１１】
まず、撮像装置の概略構成を、図１を用いて説明する。
【００１２】
撮像装置１は、赤目補正の機能を有する装置である。撮像装置１は、主として、入力部５，光学系１０，固体撮像装置２０，アナログ信号処理部３０，Ａ／Ｄ変換部４０，フラッシュ５０，デジタル信号処理部６０を備える。撮像装置１は、画像表示部７０，内部記憶部８０及び外部Ｉ／Ｆ９０を備える。
【００１３】
入力部５は、ボタン類を有する。ボタン類は、例えば、本体に設けられたシャッターボタン５ａ、選択ボタン５ｂ、削除ボタン５ｃ及び確定ボタン５ｄ（図１５参照）を含む。
【００１４】
光学系１０は、レンズ、絞りなどの光学機器やその駆動系を含む。光学系１０は、被写体Ｏと固体撮像装置２０との間に設けられている。
【００１５】
固体撮像装置２０は、ＣＣＤセンサやＣＭＯＳセンサなどを有している。固体撮像装置２０は、アナログ信号処理部３０に接続されている。
【００１６】
アナログ信号処理部３０は、クランプ回路や増幅回路などを有している。アナログ信号処理部３０は、固体撮像装置２０及びＡ／Ｄ変換部４０に接続されている。
【００１７】
Ａ／Ｄ変換部４０は、Ａ／Ｄコンバータなどを有している。Ａ／Ｄ変換部４０は、アナログ信号処理部３０及びデジタル信号処理部６０に接続されている。
【００１８】
フラッシュ５０は、ストロボなどを有している。フラッシュ５０は、デジタル信号処理部６０に接続されている。
【００１９】
デジタル信号処理部６０は、フィルタ回路、検出回路などを有している。デジタル信号処理部６０は、Ａ／Ｄ変換部４０、フラッシュ５０、画像表示部７０、内部記憶部８０及び外部Ｉ／Ｆ９０に接続されている。
【００２０】
画像表示部７０は、表示デバイス及び表示制御回路などを有している。画像表示部７０は、デジタル信号処理部６０及び内部記憶部８０に接続されている。表示デバイスは、電子ファインダとして用いられる。
【００２１】
内部記憶部８０は、半導体メモリなどの記録媒体及びその制御回路などを有している。内部記憶部８０は、デジタル信号処理部６０及び画像表示部７０に接続されている。
【００２２】
外部Ｉ／Ｆ９０は、外部記憶装置を接続可能な構成を有している。外部Ｉ／Ｆ９０は、デジタル信号処理部６０に接続されている。
【００２３】
次に、撮像装置の概略動作を、図１を用いて説明する。
【００２４】
光学系１０は、被写体Ｏを含む撮影領域（図１０の画像ＧＩとして取得される対象領域）に向けられる。これにより、光学系１０は、被写体Ｏを含む撮影領域の光学像を固体撮像装置２０の上に結像させる。
【００２５】
利用者により、低照度撮影時などにおいて、入力部５を介して、フラッシュの発光を指示する情報であるフラッシュ発光情報がデジタル信号処理部６０に入力される。デジタル信号処理部６０は、フラッシュ発光情報に応じて、フラッシュ５０に発光を行わせる。これにより、フラッシュ５０は、被写体Ｏを含む撮影領域を照らす。そして、固体撮像装置２０には、フラッシュに照らされた被写体Ｏを含む撮影領域の光学像が結像する。このとき、被写体Ｏに赤目が生じた状態で、撮影領域の光学像が結像することがある。
【００２６】
固体撮像装置２０は、結像された光学像に対応した電気信号を発生させて、光学像（入力画像）を電気信号（アナログ信号）に変換する。固体撮像装置２０は、変換後のアナログ信号をアナログ信号処理部３０へ供給する。
【００２７】
アナログ信号処理部３０は、そのアナログ信号の波形にクランプやゲインなどの処理を行う。アナログ信号処理部３０は、処理後のアナログ信号をＡ／Ｄ変換部４０へ供給する。
【００２８】
Ａ／Ｄ変換部４０は、アナログ信号をデジタル信号へ変換する。Ａ／Ｄ変換部４０は、変換後のデジタル信号をデジタル信号処理部６０へ供給する。
【００２９】
デジタル信号処理部６０は、デジタル信号に各種の補正を行い、出力画像を表示させるための画像データを生成する。ここで、デジタル信号処理部６０は、画像データを生成する際に、内部記憶部８０にアクセスし、画像データの一部又は全部を内部記憶部８０に格納する。デジタル信号処理部６０は、その画像データを画像表示部７０、内部記憶部８０及び外部Ｉ／Ｆ９０に供給する。
【００３０】
画像表示部７０は、画像データをデジタル信号処理部６０や内部記憶部８０から受け取り、画像データに対応した出力画像を逐次表示する。これにより、画像表示部７０は、表示デバイスを電子ファインダとして機能させる。
【００３１】
外部Ｉ／Ｆ９０には、外部記憶装置が接続される。これにより、外部Ｉ／Ｆ９０に供給された画像データは、外部記憶装置に最終的に保存される。
【００３２】
デジタル信号処理部の詳細構成を、図２を用いて説明する。
【００３３】
デジタル信号処理部６０は、主として、色変換部６１、色処理部６２、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）６３、輝度処理部６４、ＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）６５を備える。デジタル信号処理部６０は、輪郭強調部６６、赤目検出部６７、顔検出部６８、判定部７１及び赤目補正部６９を備える。これらは、デジタル信号処理部６０の構成のうち、画像データの生成及び赤目補正を行う部分の構成である。
【００３４】
色変換部６１は、Ａ／Ｄ変換部４０（図１参照）、色処理部６２、ＬＰＦ６３及びＢＰＦ６５に接続されている。色処理部６２は、色変換部６１、赤目検出部６７及び判定部７１に接続されている。輝度処理部６４は、ＬＰＦ６３、赤目検出部６７及び判定部７１に接続されている。輪郭強調部６６は、ＢＰＦ６５、顔検出部６８及び判定部７１に接続されている。判定部７１は、色処理部６２、輝度処理部６４、輪郭強調部６６、赤目検出部６７、顔検出部６８及び赤目補正部６９に接続されている。赤目補正部６９は、画像表示部７０，内部記憶部８０及び外部Ｉ／Ｆ９０に接続されている。
【００３５】
次に、デジタル信号処理部の詳細動作を、図２を用いて説明する。
【００３６】
色変換部６１には、光学像（入力画像）のＲＧＢを示すデジタル信号がＡ／Ｄ変換部４０から入力される。色変換部６１は、入力画像のＲＧＢから輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成、分離する。色変換部６１は、色差信号Ｃｒ，Ｃｂなどを色処理部６２に供給し、輝度信号ＹなどをＬＰＦ６３及びＢＰＦ６５に供給する。
【００３７】
色処理部６２は、色差信号Ｃｒ，Ｃｂなどに対して、ホワイトバランスの調整、色処理、ガンマ処理などを行う。ここで、色処理は、例えば、高輝度、低輝度の色の濃さを薄くする処理である。色処理部６２は、これらの処理が施された色信号を赤目検出部６７及び判定部７１へ供給する。
【００３８】
ＬＰＦ６３には、輝度信号Ｙなどが色変換部６１から入力される。ＬＰＦ６３は、輝度信号Ｙなどの入力信号のうち低周波成分を通過させる。ＬＰＦ６３は、輝度信号Ｙなどの低周波成分を輝度処理部６４へ供給する。
【００３９】
輝度処理部６４は、輝度信号Ｙなどの低周波成分に対して、フィルタ処理、輝度補正、ガンマ処理などを行う。輝度処理部６４は、これらの処理が施された輝度信号を赤目検出部６７及び判定部７１へ供給する。
【００４０】
ＢＰＦ６５には、輝度信号Ｙなどが色変換部６１から入力される。ＢＰＦ６５は、輝度信号Ｙなどの入力信号のうち高周波成分を通過させる。ＢＰＦ６５は、輝度信号Ｙなどの高周波成分（輪郭信号）を輪郭強調部６６へ供給する。
【００４１】
輪郭強調部６６は、輝度信号Ｙなどの高周波成分（輪郭信号）に対して、輪郭強調処理を行う。輪郭強調部６６は、これらの処理が施された輪郭信号を顔検出部６８及び判定部７１へ供給する。
【００４２】
赤目検出部６７は、入力部５を介して、フラッシュ発光情報をフラッシュ５０から受け取る。赤目検出部６７は、色信号を色処理部６２から受け取り、輝度信号を輝度処理部６４から受け取る。赤目検出部６７は、色信号及び輝度信号などを介して、赤目補正候補領域を検出する。ここで、赤目補正候補領域は、被写体Ｏの赤目補正を行う候補となる領域である。それとともに、赤目検出部６７は、赤目検出結果に基づき、赤目検出信頼度を生成して出力する。赤目検出信頼度は、被写体Ｏから赤目補正候補領域として検出された領域の赤目らしさを示す。赤目検出信頼度は、例えば、被写体Ｏの赤目補正候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００４３】
顔検出部６８は、輪郭信号を輪郭強調部６６から受け取る。顔検出部６８は、輪郭信号などを介して、赤目補正候補領域に対して被写体Ｏの顔を検出する。それとともに、顔検出部６８は、顔検出結果に基づき、顔検出信頼度を生成して出力する。顔検出信頼度は、被写体Ｏから顔候補領域として検出された領域の顔らしさを示す。顔候補領域は、被写体Ｏの顔であると認識された領域である。顔検出信頼度は、例えば、被写体Ｏの顔候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００４４】
なお、本発明における顔検出に関しては、公知の顔検出技術を用いることとする。公知の顔検出技術として、例えば、ニューラルネットワークに代表される学習を用いた手法が挙げられる。あるいは、公知の顔検出技術として、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法が挙げられる。また、他にも、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、一般的にはこれらの手法を複数組み合わせて顔認識するのが一般的である。
【００４５】
具体的な例としては特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００４６】
判定部７１は、赤目補正候補領域の情報と赤目検出信頼度とを赤目検出部６７から受け取り、被写体Ｏの顔の情報と顔検出信頼度とを顔検出部６８から受け取る。判定部７１は、色信号を色処理部６２から受け取り、輝度信号を輝度処理部６４から受け取り、輪郭強調信号を輪郭強調部６６から受け取る。判定部７１は、これらの情報に基づいて、被写体Ｏの赤目を検出することに成功している度合いを各赤目補正候補領域に対して判定する。ここで、判定部７１は、判定する際に、メモリ（図示せず）にアクセスして、成功度合い判定テーブル（図７参照）を参照する。判定部７１は、成功している度合いの情報を赤目補正候補領域の識別情報（例えば、後述する赤目位置情報）に対応付けて赤目補正部６９へ供給する。また、判定部７１は、赤目補正候補領域の情報、被写体Ｏの顔の情報、色信号、輝度信号及び輪郭信号を赤目補正部６９へ転送する。
【００４７】
赤目補正部６９は、成功している度合いの情報を赤目補正候補領域の識別情報に対応付けて画像表示部７０へ出力する。
【００４８】
また、赤目補正部６９は、入力部５の削除ボタン５ｃ（図１２参照）を介して入力された削除命令を赤目補正候補領域の識別情報に対応付けて受け取る。赤目補正部６９は、削除命令により指定された赤目補正候補領域の情報を削除する。
【００４９】
赤目補正部６９は、入力部５の確定ボタン５ｄ（図１２参照）を介して入力された確定命令を受け取る。赤目補正部６９は、確定命令に応じて、赤目補正候補領域に対して赤目補正を行う。ここで、すでに情報が削除された赤目補正候補領域に対して、赤目補正は行われない。
【００５０】
次に、撮像装置が赤目補正を行う処理の流れを、図３〜図９に示すフローチャート及び図１０〜図１５の概念図を用いて説明する。図３〜図９に示す処理は、主として図１に示すデジタル信号処理部により行われる。
【００５１】
ステップＳ１では、赤目補正部６９は、フラッシュ撮影が行われたか否かの判断を行う。すなわち、利用者により、低照度撮影時などにおいて、入力部５を介して、フラッシュ発光情報がデジタル信号処理部６０に入力される。フラッシュ発光情報は、フラッシュの発光を指示する情報である。デジタル信号処理部６０は、フラッシュ発光情報に応じて、フラッシュ５０に発光を行わせる。これにより、フラッシュ５０は、被写体Ｏを含む撮影領域を照らす。そして、固体撮像装置２０には、フラッシュに照らされた被写体Ｏを含む撮影領域の光学像が結像する。このとき、被写体Ｏに赤目が生じた状態で、撮影領域の光学像が結像することがある。
【００５２】
デジタル信号処理部６０内の赤目補正部６９は、赤目検出部６７及び判定部７１経由でフラッシュ発光情報をフラッシュ５０から受け取った場合、フラッシュ撮影が行われたと判断する。赤目補正部６９は、赤目検出部６７及び判定部７１経由でフラッシュ発光情報をフラッシュ５０から受け取らなかった場合、フラッシュ撮影が行われなかったと判断する。赤目補正部６９は、フラッシュ撮影が行われたと判断した場合、処理をステップＳ２へ進め、フラッシュ撮影が行われなかったと判断した場合、処理を終了する。
【００５３】
ステップＳ２では、デジタル信号処理部６０は、赤目検出信頼度及び顔検出信頼度の閾値を設定する。すなわち、デジタル信号処理部６０内の赤目補正部６９は、メモリ（図示せず）に記憶されていた赤目検出閾値ＴＨ１及び顔検出閾値ＴＨ２を読み出し判定部７１へ渡す。
【００５４】
判定部７１は、赤目検出閾値ＴＨ１が設定された旨の情報を赤目検出部６７へ供給するとともに、顔検出閾値ＴＨ２が設定された旨の情報を顔検出部６８へ供給する。
【００５５】
ステップＳ３では、赤目検出部６７は、赤目検出閾値ＴＨ１が設定された旨の情報を受け取ったことに応じて、赤目検出処理を行う。例えば、赤目検出部６７は、赤目補正候補領域を検出すると共に、赤目検出信頼度も算出する。赤目検出部６７は、赤目検出処理を完了したら、赤目検出処理を完了した旨の情報、赤目補正候補領域及び赤目検出信頼度を判定部７１へ供給する。なお、赤目検出処理の詳細な説明については後述する。
【００５６】
ステップＳ４では、顔検出部６８は、顔検出閾値ＴＨ２が設定された旨の情報を受け取ったことに応じて、上述した公知の顔検出処理を行う。例えば、顔検出部６８は、顔候補領域を検出すると共に、顔検出信頼度も算出する。顔検出部６８は、顔検出処理を完了したら、顔検出処理を完了した旨の情報、顔補正候補領域及び顔検出信頼度を判定部７１へ供給する。なお、顔検出処理の詳細な説明については後述する。
【００５７】
ステップＳ５では、判定部７１は、赤目検出処理を完了した旨の情報及び顔検出処理を完了した旨の情報を両方とも受け取ったことに応じて、成功度合い判定処理を行う。なお、成功度合い判定処理の詳細な説明については後述する。
成功度合い「低」成功度合い「低」成功度合い「低」成功度合い「ＮＧ」成功度合い「ＮＧ」成功度合い「ＮＧ」 ステップＳ６では、赤目補正部６９が赤目補正処理を行う。なお、赤目補正処理の詳細な説明については後述する。
【００５８】
このようにして、撮像装置１は、赤目補正を行う。
【００５９】
次に、赤目検出処理を、図４に示すフローチャート及び図１０、図１１の概念図を用いて説明する。図１０、図１１は、主として図１に示す画像表示部７０により表示される画面の一例である。なお、図１１は、内部的な処理を説明するための仮想的な画面の一例であり、実際には、画像表示部７０により表示されない。
【００６０】
ステップＳ２１では、色差信号が色処理部６２に入力され、輝度信号がＬＰＦ６３及びＢＰＦ６５に入力される。すなわち、デジタル信号処理部６０の色変換部６１には、光学像（入力画像）のＲＧＢを示すデジタル信号がＡ／Ｄ変換部４０から入力される。色変換部６１は、入力画像のＲＧＢから輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成、分離する。色変換部６１は、色差信号Ｃｒ，Ｃｂなどを色処理部６２に供給し、輝度信号ＹなどをＬＰＦ６３及びＢＰＦ６５に供給する。
【００６１】
色処理部６２は、色差信号Ｃｒ，Ｃｂなどに対して、ホワイトバランスの調整、色処理、ガンマ処理などを行う。ここで、色処理は、例えば、高輝度、低輝度の色の濃さを薄くする処理である。色処理部６２は、これらの処理が施された色信号を赤目検出部６７及び判定部７１へ供給する。
【００６２】
ＬＰＦ６３には、輝度信号Ｙなどが色変換部６１から入力される。ＬＰＦ６３は、輝度信号Ｙなどの入力信号のうち低周波成分を通過させる。ＬＰＦ６３は、輝度信号Ｙなどの低周波成分を輝度処理部６４へ供給する。
【００６３】
輝度処理部６４は、輝度信号Ｙなどの低周波成分に対して、フィルタ処理、輝度補正、ガンマ処理などを行う。輝度処理部６４は、これらの処理が施された輝度信号を赤目検出部６７及び判定部７１へ供給する。
【００６４】
ステップＳ２２では、赤目検出部６７は入力信号に対して赤目検出を行う。すなわち、赤目検出部６７は、色信号を色処理部６２から受け取り、輝度信号を輝度処理部６４から受け取る。赤目検出部６７は、色信号及び輝度信号などを介して、赤目補正候補領域を検出する。ここで、赤目補正候補領域は、被写体Ｏの赤目補正を行う候補となる領域である。
【００６５】
例えば、図１０に示すように、画像ＧＩで示される撮影領域に、被写体Ｏ１〜Ｏ３が存在する場合を考える。ここで、被写体Ｏ１，Ｏ２は正面を向いているのに対して、被写体Ｏ３は横を向いている。このとき、赤目検出部６７は、図１１に示すように、赤目補正候補領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５を検出する。
【００６６】
ステップＳ２３では、赤目検出部６７は、赤目検出信頼度を生成して出力する。赤目検出信頼度は、被写体Ｏから赤目補正候補領域として検出された領域の赤目らしさを示す。また、赤目検出信頼度は、例えば、被写体Ｏの赤目補正候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００６７】
具体的には、赤目検出部６７は、色相、彩度、明度、輝度などを分析する。そして、赤目検出部６７は、該当の画素（エリア）が赤であるか（パラメータＲＰ１）、該当の画素（エリア）の周辺画素（エリア）が肌色であるか（パラメータＲＰ２）を演算する。赤目検出部６７は、該当の画素（エリア）が高輝度であるか（パラメータＲＰ３）、該当の画素（エリア）が丸い形状をしているか（パラメータＲＰ４）を演算する。そして、赤目検出部６７は、赤目検出信頼度ＲＲを
ＲＲ＝Ｋ１×ＲＰ１＋Ｋ２×ＲＰ２＋Ｋ３×ＲＰ３＋Ｋ４×ＲＰ４・・・数式１
の式により演算する。ここで、Ｋ１、Ｋ２、Ｋ３、Ｋ４は、実験などにより予め求められた定数である。
【００６８】
なお、本実施形態において赤目検出信頼度ＲＲを構成する要素を上記のように規定したが、赤目検出の信頼度を推定するために有効な要素であれば上記した要素に限定されるわけではない。
【００６９】
例えば、赤目検出部６７は、数式１のような演算を行い、赤目補正候補領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５（図１１参照）について、赤目検出信頼度ＲＲ１，ＲＲ２，ＲＲ３，ＲＲ４，ＲＲ５を生成する。例えば、図１１に示すような入力信号が得られた場合、赤目検出信頼度ＲＲ１，ＲＲ２，ＲＲ３，ＲＲ４，ＲＲ５と赤目検出閾値ＴＨ１とは、それぞれ、数式２〜数式６のような関係にあることになる。
【００７０】
ＲＲ１≧ＴＨ１・・・数式２
ＲＲ２≧ＴＨ１・・・数式３
ＲＲ３＜ＴＨ１・・・数式４
ＲＲ４≧ＴＨ１・・・数式５
ＲＲ５＜ＴＨ１・・・数式６
ステップＳ２４では、赤目検出部６７は、赤目検出信頼度を出力する。すなわち、デジタル信号処理部６０内の赤目検出部６７は、赤目補正候補領域（例えば、Ｒ１〜Ｒ５）の情報と赤目検出信頼度（例えば、ＲＲ１〜ＲＲ５）とを判定部７１へ出力する。
【００７１】
次に、顔検出処理を、主として、図５に示すフローチャート及び図１０、図１１に示す概念図を用いて説明する。図１０、図１１は、主として図１に示す画像表示部７０により表示される画面の一例である。なお、図１１は、内部的な処理を説明するための仮想的な画面の一例であり、実際には、画像表示部７０により表示されない。
【００７２】
ステップＳ３１では、顔検出部６８は、入力信号に対して上述した公知の顔検出方法を用いることで顔領域の検出を行う。
【００７３】
例えば、図１０に示すように、画像ＧＩで示される撮影領域に、被写体Ｏ１〜Ｏ３が存在する場合を考える。ここで、被写体Ｏ１，Ｏ２は正面を向いているのに対して、被写体Ｏ３は横を向いている。このとき、顔検出部６８は、図１１に示すように、顔候補領域Ｆ１，Ｆ２，Ｆ３を検出する。顔候補領域Ｆ１，Ｆ２，Ｆ３は、それぞれ、被写体Ｏ１，Ｏ２，Ｏ３の顔であると認識された領域である。
【００７４】
ステップＳ３２では、顔検出部６８は、ステップＳ３１の顔検出結果に基づき、顔検出信頼度を演算し、出力する。顔検出信頼度は、被写体Ｏから顔候補領域として検出された領域の顔らしさを示す。顔検出信頼度は、例えば、被写体Ｏの顔候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００７５】
具体的には、顔検出部６８は、輝度パターンなどを分析する。そして、顔検出部６８は、目が検出されるか（パラメータＦＰ１）、鼻が検出されるか（パラメータＦＰ２）を演算する。さらに、顔検出部６８は、口が検出されるか（パラメータＦＰ３）、耳が検出されるか（パラメータＦＰ４）を演算する。そして、顔検出部６８は、顔検出信頼度ＦＲを
ＦＲ＝Ｋ５×ＦＰ１＋Ｋ６×ＦＰ２＋Ｋ７×ＦＰ３＋Ｋ８×ＦＰ４・・・数式７
の式により演算する。ここで、Ｋ５、Ｋ６、Ｋ７、Ｋ８は、実験などにより予め求められた定数である。
【００７６】
なお、本実施形態において赤目検出信頼度ＲＲを構成する要素を上記のように規定したが、赤目検出の信頼度を推定するために有効な要素であれば上記した要素に限定されるわけではない。
【００７７】
例えば、顔検出部６８は、数式７ような演算を行い、顔候補領域Ｆ１，Ｆ２，Ｆ３に対して、顔検出信頼度ＦＲ１，ＦＲ２，ＦＲ３を生成する。例えば、図１１に示す場合、顔検出信頼度ＦＲ１，ＦＲ２，ＦＲ３と顔検出閾値ＴＨ２とは、それぞれ、数式８〜数式１０のような関係にあることになる。
【００７８】
ＦＲ１≧ＴＨ２・・・数式８
ＦＲ２≧ＴＨ２・・・数式９
ＦＲ３≧ＴＨ２・・・数式１０
ステップＳ３３では、顔検出信頼度を出力する。すなわち、デジタル信号処理部６０の顔検出部６８は、被写体Ｏの顔の情報（例えば、顔候補領域Ｆ１，Ｆ２，Ｆ３の情報）と顔検出信頼度（例えば、顔検出信頼度ＦＲ１，ＦＲ２，ＦＲ３）とを判定部７１へ出力する。
【００７９】
次に、成功度合い判定処理を、図６に示すフローチャート及び図７、図１０、図１１の概念図を用いて説明する。図７は、図２に示す判定部７１がメモリ（図示せず）にアクセスして参照する成功度合い参照テーブルを示す。図１０、図１１は、主として図１に示す画像表示部７０により表示される画面の一例である。なお、図１１は、内部的な処理を説明するための仮想的な画面の一例であり、実際には、画像表示部７０により表示されない。
【００８０】
ステップＳ５１では、判定部７１は、赤目補正候補領域を選択する。すなわち、デジタル信号処理部６０内の判定部７１は、赤目補正候補領域の情報（赤目位置情報を含む）と赤目検出信頼度とを赤目検出部６７から受け取る。赤目位置情報は、画像における赤目補正候補領域の位置を示す情報である。判定部７１は、複数の赤目補正候補領域から判定の対象とする赤目補正候補領域（赤目位置情報）を選択する。なお、判定部７１は、メモリ（図示せず）を参照してすでに判定した赤目補正候補領域を特定するとともに、判定の対象とする赤目補正候補領域をメモリに追加記憶する。
【００８１】
ステップＳ５２では、判定部７１は、赤目補正候補領域が顔候補領域に含まれるか否かを判断する。すなわち、判定部７１は、顔補正候補領域の情報（顔位置情報を含む）と顔検出信頼度とを顔検出部６８から受け取る。顔位置情報は、画像における顔候補領域の位置を示す情報である。
【００８２】
判定部７１は、赤目位置情報と顔位置情報とに基づいて、赤目補正候補領域と顔候補領域との包含関係を判断する。判定部７１は、赤目位置情報が１以上の顔位置情報のうちのいずれかに含まれていると判断すれば、その赤目位置情報に対応する赤目補正候補領域が顔候補領域に含まれていると判断する。判定部７１は、赤目位置情報が１以上の顔位置情報のうちのいずれにも含まれていないと判断すれば、その赤目位置情報に対応する赤目補正候補領域が顔候補領域に含まれていないと判断する。
【００８３】
例えば、図１０に示す被写体Ｏ１〜Ｏ３に対して、図１１に示すように、赤目補正候補領域Ｒ１〜Ｒ５と顔候補領域Ｆ１〜Ｆ３とが検出された場合を考える。この場合、判定部７１は、赤目補正候補領域Ｒ１〜Ｒ３を、それぞれ、顔候補領域Ｆ１〜Ｆ３に含まれていると判断する。判定部７１は、赤目補正候補領域Ｒ４，Ｒ５を、それぞれ、顔候補領域Ｆ１〜Ｆ３のいずれにも含まれていないと判断する。
【００８４】
判定部７１は、赤目補正候補領域が顔候補領域に含まれていると判断する場合、処理をステップＳ５４へ進める。判定部７１は、赤目補正候補領域が顔候補領域に含まれていないと判断する場合、処理をステップＳ５３へ進める。
【００８５】
ステップＳ５３では、判定部７１は、顔検出信頼度が「低」であると判定する。つまり、赤目補正候補領域が顔候補領域に含まれていないので、赤目補正候補領域を含む仮想的な顔候補領域を想定し、その顔候補領域の顔らしさが低いものと判定する。
【００８６】
例えば、図１１に示す場合、判定部７１は、赤目補正候補領域Ｒ４，Ｒ５を含む仮想的な顔候補領域Ｆ４，Ｆ５を想定する。そして、判定部７１は、顔候補領域Ｆ４，Ｆ５の顔検出信頼度を「低」と判定する。
【００８７】
ステップＳ５４では、判定部７１は、顔検出信頼度が閾値以上であるか否かを判断する。すなわち、デジタル信号処理部６０の判定部７１は、被写体Ｏの顔の情報と顔検出信頼度とを顔検出部６８から受け取る。判定部７１は、顔検出信頼度により示される顔検出信頼度ＦＲと、顔検出閾値ＴＨ２とを比較する。そして、判定部７１は、ＦＲ≧ＴＨ２であると判断する場合に、顔検出信頼度が「高」であると判定する。判定部７１は、ＦＲ＜ＴＨ２であると判断する場合に、顔検出信頼度が「低」であると判定する。
【００８８】
例えば、図１１に示す場合、判定部７１は、数式８〜数式１０に示すように、顔候補領域Ｆ１，Ｆ２，Ｆ３に対して、顔検出信頼度を「高」と判定する。
【００８９】
ここで、成功度合いを判定するために、赤目検出信頼度に加えてさらに顔検出信頼度を用いる理由を説明する。
【００９０】
本来、目は顔の中にしか存在しない。そこで、目は顔の中に存在するという前提に基づいて、赤目補正候補領域であったとしても、顔候補領域としての信頼度が低ければ、それは目ではないと判断し、赤目補正候補領域から排除する。これにより、より判定の精度を高めることができる。
【００９１】
つまり、顔検出信頼度を考慮して赤目検出に成功しているか否かを判断及び決定するので、赤目補正すべき赤目補正候補領域と赤目補正すべきでない赤目補正候補領域とはさらに区別しやすくなる。
【００９２】
なお、本実施形態においては、閾値を一つだけ設定しているが、閾値を複数個設定することで、顔らしさのランク分けを更に細かくしてもよい。そうすることで、複数の顔候補領域が検出された際に、より細かく優先度付けを行うことが可能になる。
【００９３】
ステップＳ５５では、判定部７１は、赤目検出信頼度が閾値以上であるか否かを判断する。すなわち、デジタル信号処理部６０内の判定部７１は、赤目検出信頼度により示される赤目検出信頼度ＲＲ１と、赤目検出閾値ＴＨ１とを比較する。そして、判定部７１は、ＲＲ１≧ＴＨ１であると判断する場合に、赤目検出信頼度が「高」であると判定する。判定部７１は、ＲＲ１＜ＴＨ１であると判断する場合に、赤目検出信頼度が「低」であると判定する。
【００９４】
例えば、図１１に示す場合、判定部７１は、数式２，数式３，数式５に示すように、赤目補正候補領域Ｒ１，Ｒ２，Ｒ４に対して、赤目検出信頼度を「高」と判定する。判定部７１は、数式４，数式６に示すように、赤目補正候補領域Ｒ３，Ｒ５に対して、赤目検出信頼度を「低」と判定する。
【００９５】
なお、本実施形態においては、閾値を一つだけ設定しているが、閾値を複数個設定することで、赤目らしさのランク分けを更に細かくしてもよい。そうすることで、複数の赤目候補領域が検出された際に、より細かく優先度付けを行うことが可能になる。
【００９６】
ステップＳ５６では、判定部７１は、成功度合いを判定する。すなわち、判定部７１は、赤目検出信頼度について判定した結果と、顔検出信頼度について判定した結果とに基づいて、赤目検出に成功している度合い（成功度合い）を判定する。ここで、判定部７１は、判定する際に、メモリ（図示せず）にアクセスして、成功度合い判定テーブル（図７参照）を参照する。
【００９７】
図７に示すように、判定部７１は、赤目検出信頼度を「高」と判定し顔検出信頼度を「高」と判定した場合、成功度合いを「高」と判定する。判定部７１は、赤目検出信頼度を「低」と判定し顔検出信頼度を「高」と判定した場合、成功度合いを「中」と判定する。判定部７１は、赤目検出信頼度を「高」と判定し顔検出信頼度を「低」と判定した場合、成功度合いを「低」と判定する。判定部７１は、赤目検出信頼度を「低」と判定し顔検出信頼度を「低」と判定した場合、成功度合いを「ＮＧ」と判定する。
【００９８】
例えば、図１１に示す場合、判定部７１は、赤目補正候補領域Ｒ１，Ｒ２の赤目検出信頼度を「高」と判定し、赤目補正候補領域Ｒ１，Ｒ２を含む顔候補領域Ｆ１，Ｆ２の顔検出信頼度を「高」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ１に対して、成功度合いを「高」と判定する。
【００９９】
判定部７１は、赤目補正候補領域Ｒ３の赤目検出信頼度を「低」と判定し、赤目補正候補領域Ｒ３を含む顔候補領域Ｆ３の顔検出信頼度を「高」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ３に対して、成功度合いを「中」と判定する。
【０１００】
判定部７１は、赤目補正候補領域Ｒ４の赤目検出信頼度を「高」と判定し、赤目補正候補領域Ｒ４を含む仮想的な顔候補領域Ｆ４の顔検出信頼度を「低」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ４に対して、成功度合いを「小」と判定する。
【０１０１】
判定部７１は、赤目補正候補領域Ｒ５の赤目検出信頼度を「低」と判定し、赤目補正候補領域Ｒ５を含む仮想的な顔候補領域Ｆ５の顔検出信頼度を「低」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ５に対して、成功度合いを「ＮＧ」と判定する。
【０１０２】
ステップＳ５７では、判定部７１は、全ての赤目補正候補領域に対して判定が行われたか否かを判断する。判定が行われたと判断した場合、処理をステップＳ１２へ進め、判定が行われていないと判断した場合、処理をステップＳ４へ進める。
なお、ステップＳ５、ステップＳ８において、ランク分けを細かくすることで、赤目検出に成功している度合いのランク分けをより詳細に行うことができる。
【０１０３】
このように、成功度合い判定処理により、全ての赤目補正候補領域に対して、赤目検出に成功している度合いが「高」、「中」、「低」、「ＮＧ」にランク付けされる。すなわち、デジタル信号処理部６０の判定部７１は、赤目検出に成功している度合いを判定している。
【０１０４】
次に、赤目補正処理を、図８，図９に示すフローチャート及び図１２〜図１５の概念図を用いて説明する。図１２〜図１５は、撮像装置の背面図の一例である。
【０１０５】
ステップＳ４１では、画像表示部７０は、成功度合い「ＮＧ」と決定された領域（以下、「ＮＧ領域」とする）を表示する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が選択ボタン５ｂを押したことを検知することにより、ＮＧ領域の表示命令を受け付ける。入力部５は、ＮＧ領域の表示命令を、デジタル信号処理部６０へ供給する。そのＮＧ領域の表示命令は、デジタル信号処理部６０において、赤目検出部６７及び判定部７１経由で赤目補正部６９へ供給される。赤目補正部６９は、ＮＧ領域の表示命令に基づいて、１以上のＮＧ領域の中から表示すべきＮＧ領域を選択する。赤目補正部６９は、画像情報とともに、選択されたＮＧ領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、選択されたＮＧ領域の情報とに基づいて、削除候補を表示デバイスに表示する。ここで、削除候補は、複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である。
【０１０６】
例えば、図１２では、画像表示部７０により、画像ＧＩとともに、赤目補正候補領域Ｒ５がＮＧ領域であることを示すフレームＲＦ５が、削除候補を示す情報として表示される。
【０１０７】
なお、本実施形態において画像ＧＩは画像表示部７０のサイズに合わせて表示されているが、選択ボタン５ｂを操作することで拡大した画像を表示することも可能である。
【０１０８】
これにより、赤目補正候補領域Ｒ５が削除候補であることを把握することができ、赤目補正候補領域Ｒ５を赤目補正する対象から削除すべきか否かの判断を利用者に促すことができる。すなわち、赤目補正候補領域Ｒ５を削除すべきか否かの判断を利用者に促すことができ、削除すべきであると判断した場合に削除命令を入力するように利用者に促すことができる。
【０１０９】
ステップＳ４２では、判定部７１は、削除が指定されたか否かを判断する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が削除ボタン５ｃを押したことを検知することにより、削除命令を受け付ける。入力部５は、削除命令をデジタル信号処理部６０へ供給する。その削除命令は、デジタル信号処理部６０において、赤目検出部６７経由で判定部７１へ供給される。判定部７１は、削除命令を受け取った場合、削除が指定されたと判断し、削除命令を受け取っていない場合、削除が指定されていないと判断する。判定部７１は、削除が指定されたと判断した場合、処理をステップＳ４３へ進め、削除が指定されていないと判断した場合、処理をステップＳ４４へ進める。
【０１１０】
ステップＳ４３では、赤目補正部６９は、削除が指定された赤目補正候補領域の情報を削除する。すなわち、判定部７１は、削除命令を赤目補正部６９へ供給する。赤目補正部６９は、削除命令に基づいて、メモリ（図示せず）を参照して、選択された赤目補正候補領域の情報を削除する。なお、メモリには、全ての赤目補正候補領域の情報が記憶されているものとする。
【０１１１】
そして、赤目補正部６９は、画像情報とともに、削除されたＮＧ領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、削除されたＮＧ領域の情報とに基づいて、図１２に示す画像ＧＩに代えて図１３に示す画像ＧＩを表示デバイスに表示する。
【０１１２】
例えば、図１３では、画像表示部７０により、赤目補正候補領域Ｒ５に対応する部分のハイライト表示（図中では斜線）が消えた状態で表示される。これにより、赤目補正候補領域Ｒ５が赤目補正の対象から削除されたことを把握することができる。
【０１１３】
ステップＳ４４では、判定部７１は、全てのＮＧ領域が選択されたか否かを判断する。判定部７１は、全てのＮＧ領域が選択されたと判断した場合、処理をステップＳ４５へ進め、全てのＮＧ領域が選択されていないと判断した場合、処理をステップＳ４１へ進める。
【０１１４】
ステップＳ４５では、判定部７１は、確定が指定されたか否かを判断する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が確定ボタン５ｄを押したことを検知することにより、確定命令を受け付ける。入力部５は、確定命令をデジタル信号処理部６０へ供給する。その確定命令は、デジタル信号処理部６０において、赤目検出部６７経由で判定部７１へ供給される。判定部７１は、確定命令を受け取った場合、確定が指定されたと判断し、確定命令を受け取っていない場合、確定が指定されていないと判断する。判定部７１は、確定が指定されたと判断した場合、処理をステップＳ４６（図８，７で示す（１））へ進め、確定が指定されていないと判断した場合、処理をステップＳ５０（図８，７で示す（２））へ進める。
【０１１５】
ステップＳ４６では、画像表示部７０が、成功度合い「低」と決定された領域（以下、「低領域」とする）を表示する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が選択ボタン５ｂを押したことを検知することにより、低領域の表示命令を受け付ける。入力部５は、低領域の表示命令を、デジタル信号処理部６０へ供給する。その低領域の表示命令は、デジタル信号処理部６０において、赤目検出部６７及び判定部７１経由で赤目補正部６９へ供給される。赤目補正部６９は、低領域の表示命令に基づいて、１以上の低領域の中から表示すべき低領域を選択する。赤目補正部６９は、画像情報とともに、選択された低領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、選択された低領域の情報とに基づいて、削除候補を表示デバイスに表示する。ここで、削除候補は、複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である。
【０１１６】
例えば、図１３では、画像表示部７０により、画像ＧＩとともに、赤目補正候補領域Ｒ４が低領域であることを示すフレームＲＦ４が、削除候補を示す情報として表示される。これにより、赤目補正候補領域Ｒ４が削除候補であることを把握することができ、赤目補正候補領域Ｒ４を赤目補正する対象から削除すべきか否かの判断を利用者に促すことができる。すなわち、赤目補正候補領域Ｒ４を削除すべきか否かの判断を利用者に促すことができ、削除すべきであると判断した場合に削除命令を入力するように利用者に促すことができる。
【０１１７】
ステップＳ４７では、判定部７１は、削除が指定されたか否かを判断する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が削除ボタン５ｃを押したことを検知することにより、削除命令を受け付ける。入力部５は、削除命令をデジタル信号処理部６０へ供給する。その削除命令は、デジタル信号処理部６０において、赤目検出部６７経由で判定部７１へ供給される。判定部７１は、削除命令を受け取った場合、削除が指定されたと判断し、削除命令を受け取っていない場合、削除が指定されていないと判断する。判定部７１は、削除が指定されたと判断した場合、処理をステップＳ４８へ進め、削除が指定されていないと判断した場合、処理をステップＳ４９へ進める。
【０１１８】
ステップＳ４８では、赤目補正部６９は、削除が指定された赤目補正候補領域の情報を削除する。すなわち、判定部７１は、削除命令を赤目補正部６９へ供給する。赤目補正部６９は、削除命令に基づいて、メモリ（図示せず）を参照して、選択された赤目補正候補領域の情報を削除する。なお、メモリには、全ての赤目補正候補領域の情報が記憶されているものとする。
【０１１９】
そして、赤目補正部６９は、画像情報とともに、削除された低領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、削除された低領域の情報とに基づいて、図１３に示す画像ＧＩに代えて図１４に示す画像ＧＩを表示デバイスに表示する。
【０１２０】
例えば、図１４では、画像表示部７０により、赤目補正候補領域Ｒ４に対応する部分のハイライト表示（図中では斜線）が消えた状態で表示される。これにより、赤目補正候補領域Ｒ４が赤目補正の対象から削除されたことを把握することができる。
【０１２１】
ステップＳ４９では、判定部７１は、全ての低領域が選択されたか否かを判断する。判定部７１は、全ての低領域が選択されたと判断した場合、処理をステップＳ４５へ進め、全ての低領域が選択されていないと判断した場合、処理をステップＳ４１へ進める。
【０１２２】
なお、本実施形態において、ＮＧ領域と低領域とを対象として削除するか否かの指定を行っているが、中領域も対象として削除するか否かの指定を行ってもよい。こうすることで、より精度の高い赤目領域の除去を行うことができる。
【０１２３】
ステップＳ５０では、赤目補正部６９は、赤目補正候補領域を確定する。すなわち、デジタル信号処理部６０の判定部７１は、確定命令を赤目補正部６９へ供給する。赤目補正部６９は、確定命令に基づき、メモリ（図示せず）を参照して、全ての赤目補正候補領域を確定する。そして、赤目補正部６９は、画像情報とともに、確定された赤目補正候補領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、確定された赤目補正候補領域の情報とに基づいて、図１４に示す画像ＧＩに代えて図１５に示す画像ＧＩを表示デバイスに表示する。
【０１２４】
例えば、図１５では、画像表示部７０により、赤目補正候補領域Ｒ１〜Ｒ３に対応する部分のハイライト表示（図中では斜線）が別のハイライト表示（図中では格子状のハッチング）で表示される。これにより、赤目補正候補領域Ｒ１〜Ｒ３が赤目補正の対象として確定したことを把握することができる。
【０１２５】
以上のような処理により、画像表示部７０により表示される画像は、例えば、図１５に示すような画像になる。なお、図１５において、実線斜線で示されている部分は、赤目位置情報を示す。赤目位置情報は、画像ＧＩにおいて、赤目検出に成功していると判定部７１が判定する場合における赤目補正候補領域Ｒ１，Ｒ２，Ｒ３の位置を示す情報である。
【０１２６】
そして、赤目補正部６９は、確定した赤目補正候補領域に対して赤目補正を行う。
【０１２７】
例えば、図１５では、赤目補正部６９は、複数の赤目補正候補領域Ｒ１〜Ｒ５において、削除命令で指定された赤目補正候補領域Ｒ４，Ｒ５を除く赤目補正候補領域Ｒ１〜Ｒ３を赤目補正する。
【０１２８】
このように、フラッシュ撮影された画像ＧＩの中において、赤目補正に失敗している可能性が高い順番に（赤目検出に成功している度合いが低い順番に）削除すべきかどうかの入力を、利用者に対して促すことができる。これにより、不適切な赤目補正候補領域を赤目補正の対象から削除することができるとともに、全ての赤目補正候補領域に対して赤目補正を行うか否かを指定することを避けることができる。このため、例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる。
【０１２９】
なお、例えば、ＮＧ１，ＮＧ２，ＮＧ３（１から順に信頼度が低いとする）のように信頼度のランク分けが細かく設定されている場合、信頼度の低い順に削除せず、例えば、画面内の右から左に削除していくようにしても良い。
【０１３０】
例えば、拡大された再生画像から赤目補正候補領域の確認を行い削除するような場合、削除対象が離散的に存在している画像に対して信頼度の低い順に削除すると、削除のたびに表示対象（削除対象）が画像全体において右に左にと変わることがある。この場合、画像全体においてどれだけの削除対象が残っているか分かりにくい。そこで、上記のように、例えば、画面内の右から左に削除していくようにすることにより、削除残しを低減できる。
【０１３１】
なお、撮像装置のデジタル信号処理部は、ＢＰＦ６５の代わりにＨＰＦを備えていてもよい。この場合でも、輝度信号Ｙなどの入力信号のうち高周波成分を通過させて輪郭強調部６６へ供給することができる。
【０１３２】
本発明の好適な第２実施形態に係る撮像装置について、図１６〜図２２を参照して説明する。なお、第１実施形態と同様の部分は説明を省略し、第１実施形態と異なる部分を中心に説明する。
【０１３３】
撮像装置１００は、図１６に示すように、基本的な構成は第１実施形態と同様であるが、デジタル信号処理部６０の代わりにデジタル信号処理部１６０を備え、入力部５の代わりに入力部１０５を備える点で、第１実施形態と異なる。具体的には、以下の点が異なる。
【０１３４】
すなわち、入力部１０５には、利用者により、画像表示部７０が表示した画像（例えば、図２１に示す画像ＧＩ）及び赤目位置情報（例えば、図２１に示す実線斜線の領域）に基づいて、赤目検出閾値ＴＨ１の変更命令が入力される。
【０１３５】
デジタル信号処理部１６０は、図１７に示すように、赤目検出部６７の代わりに赤目検出部１６７を備え、判定部７１の代わりに判定部１７１を備え、赤目補正部６９の代わりに赤目補正部１６９を備える。赤目補正部１６９は、赤目検出閾値ＴＨ１の変更命令を、赤目検出部１６７及び判定部１７１を経由して入力部１０５から受け取る。赤目補正部１６９は、変更後の赤目検出閾値ＴＨ１ａを生成し判定部１７１へ渡す。判定部１７１は、赤目検出閾値ＴＨ１の代わりに変更後の赤目検出閾値ＴＨ１ａを用いて判定を行う。
【０１３６】
また、撮像装置が赤目検出を行う処理の流れが、図１８及び図１９に示すように、次の点で第１実施形態と異なる。なお、図１８及び図１９において、図３に示す処理と同様の処理は同じ記号で示し説明を省略する。
【０１３７】
ステップＳ１３１（図１８、図１９で示す（４））では、赤目検出閾値の変更命令を受け付けたか否かが判断される。すなわち、画像表示部７０は、赤目位置情報とともに画像を表示する。赤目位置情報及び画像は利用者により閲覧される。
【０１３８】
例えば、画像表示部７０により表示される画像は、図２１に示すような画像になる。図２１において、実線斜線で示されている部分は、赤目位置情報を示す。図２１の場合、赤目検出に成功していると判定部１７１が判定する場合における赤目補正候補領域Ｒ１，Ｒ２，Ｒ３，Ｒ４に対して、赤目位置情報が表示されている。ここで、赤目補正候補領域Ｒ１，Ｒ２，Ｒ３は、適切に判定されている。赤目補正候補領域Ｒ４は、誤判定されている。赤目位置情報とともに赤目補正候補領域Ｒ４が表示されていることを閲覧した利用者は、厳しめに設定するように赤目検出閾値ＴＨ１の変更命令を入力する。
【０１３９】
このように、例えば、赤目補正すべきでない領域が誤判定された場合に、赤目検出閾値ＴＨ１を厳しめに設定しなおすように変更命令が入力される。
【０１４０】
あるいは、例えば、画像表示部７０により表示される画像は、図２２に示すような画像になる。図２２において、実線斜線で示されている部分は、赤目位置情報を示す。図２２の場合、赤目検出に成功していると判定部１７１が判定する場合における赤目補正候補領域Ｒ１，Ｒ２に対して、赤目位置情報が表示されている。ここで、赤目補正候補領域Ｒ１，Ｒ２は、適切に判定されている。赤目補正候補領域Ｒ３は、本来なら赤目検出されるべき領域であり、誤判定されている。赤目位置情報とともに赤目補正候補領域Ｒ４が表示されていることを閲覧した利用者は、緩めに設定するように赤目検出閾値ＴＨ１の変更命令を入力する。
【０１４１】
このように、例えば、赤目補正すべき領域が誤判定された場合に、赤目検出閾値ＴＨ１を緩めに設定しなおすように変更命令が入力される。
【０１４２】
デジタル信号処理部１６０の入力部１０５には、赤目検出閾値ＴＨ１の変更命令が入力される。赤目補正部１６９は、赤目検出部１６７及び判定部１７１を経由して赤目検出閾値ＴＨ１の変更命令を入力部１０５から受け取る。赤目補正部１６９は、赤目検出閾値ＴＨ１の変更命令を受け取った場合、赤目検出閾値の変更命令を受け付けたと判断する。赤目補正部１６９は、赤目検出閾値ＴＨ１の変更命令を受け取っていない場合、赤目検出閾値の変更命令を受け付けていないと判断する。
【０１４３】
赤目検出閾値の変更命令を受け付けたと判断された場合、赤目補正部１６９により変更後の赤目検出閾値ＴＨ１ａが生成され判定部１７１へ渡され、ステップＳ１（図１９、図１８で示す（３））へ進められる。赤目検出閾値の変更命令を受け付けていないと判断された場合、処理が終了する。
【０１４４】
撮影された画像の中において赤目補正すべきでない領域に対して赤目補正されることが低減される点は、第１実施形態と同様である。したがって、このような撮像装置１００によっても、例えば赤目補正は適切に行われる。
【０１４５】
ステップＳ１０５では、判定部１７１が、成功度合い判定処理を行う。具体的には、図２０に示すように、成功度合い判定処理は、次の点で第１実施形態と異なる。
【０１４６】
ステップＳ１５５では、判定部１７１は、変更後の赤目検出閾値ＴＨ１ａを受け取った場合、赤目検出閾値ＴＨ１の代わりに変更後の赤目検出閾値ＴＨ１ａを用いて判定を行う。この点で、図６のステップＳ５５と異なる。
【０１４７】
このように、例えば、赤目補正すべきでない領域が誤判定された場合に、赤目検出閾値ＴＨ１に代えて、厳しめに設定しなおされた赤目検出閾値ＴＨ１ａにより赤目検出に成功したか否かが判定されるようになる。これにより、撮影された画像の中において赤目補正すべきでない領域に対して赤目補正されることがさらに低減される。
【０１４８】
また、例えば、赤目補正すべき領域が誤判定された場合に、赤目検出閾値ＴＨ１に代えて、緩めに設定しなおされた赤目検出閾値ＴＨ１ａにより赤目検出に成功したか否かが判定されるようになる。これにより、撮影された画像の中において赤目補正すべき領域に対して赤目補正されないことも低減される。
【０１４９】
なお、利用者により撮像装置の入力部に入力されるのは、赤目検出閾値ＴＨ１の変更命令である代わりに顔検出閾値ＴＨ２の変更命令であってもよい。あるいは、利用者により撮像装置の入力部に入力されるのは、赤目検出閾値ＴＨ１の変更命令である代わりに赤目検出閾値ＴＨ１及び顔検出閾値ＴＨ２の変更命令であってもよい。
【０１５０】
次に、上述した各実施形態の機能を実現するためのプログラムについて説明する。
【０１５１】
上述した各実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した各実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。
【０１５２】
そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納されたプログラムにしたがって上記の各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。
【０１５３】
また、この場合、上記のソフトウェアのプログラム自体が上述した実施形態の機能を実現することになる。
【０１５４】
また、そのプログラム自体、及びそのプログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。
【０１５５】
かかるプログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１５６】
また、供給されたプログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。
【０１５７】
例えば、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかるプログラムは、本発明の範疇に含まれる。
【０１５８】
さらに、供給されたプログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。
【０１５９】
そして、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかるプログラムは、本発明の範疇に含まれる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の好適な第１実施形態に係る撮像装置の構成図。
【図２】第１実施形態におけるデジタル信号処理部の構成図。
【図３】撮像装置が赤目検出を行う処理の流れを示すフローチャート。
【図４】赤目補正処理を示すフローチャート。
【図５】顔補正処理を示すフローチャート。
【図６】成功度合い判定処理を示すフローチャート。
【図７】成功度合い判定テーブルを示す概念図。
【図８】赤目補正処理を示すフローチャート。
【図９】赤目補正処理を示すフローチャート。
【図１０】画像表示部により表示される画面の一例。
【図１１】画像表示部により表示される画面の一例。
【図１２】撮像装置の背面図の一例。
【図１３】撮像装置の背面図の一例。
【図１４】撮像装置の背面図の一例。
【図１５】撮像装置の背面図の一例。
【図１６】本発明の好適な第２実施形態に係る撮像装置の構成図。
【図１７】第２実施形態におけるデジタル信号処理部の構成図。
【図１８】撮像装置が赤目検出を行う処理の流れを示すフローチャート。
【図１９】撮像装置が赤目検出を行う処理の流れを示すフローチャート。
【図２０】成功度合い判定処理を示すフローチャート。
【図２１】画像表示部により表示される画面の一例。
【図２２】画像表示部により表示される画面の一例。
【符号の説明】
【０１６１】
１，１００ 撮像装置
５，１０５ 入力部
６７，１６７ 赤目検出部
６８，１６８ 顔検出部
６９，１６９ 赤目補正部
７０ 画像表示部
７１，１７１ 判定部
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、撮像プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
従来より、バッチ処理による赤目補正を行う撮像装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、インタラクティブ処理による赤目補正を行う撮像装置も提案されている。
【特許文献１】特開２００２−２４７５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術（バッチ処理による赤目補正を行う技術）では、撮影された画像から、色相、彩度及び明度などを用いて、虹彩領域及び他の特徴領域を抽出している。そして、虹彩領域と他の特徴領域との配置関係に基づいて、赤目補正を行う対象領域である赤目領域を特定している。
【０００５】
しかし、特許文献１の技術では、赤目領域を正しく特定できない場合、例えば、不適切な赤目領域に対して赤目補正が行われることがあるので、赤目補正を適切に行えないおそれがある。
【０００６】
一方、インタラクティブ処理による赤目補正を行う技術では、複数の赤目領域が検出された場合でも、全ての赤目領域のそれぞれに対して赤目補正を行うか否かを指定しなければならない傾向にある。これにより、赤目補正における利用者側の処理が煩雑化する傾向にある。
【０００７】
本発明の目的は、例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、フラッシュ撮影された画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに表示する表示部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置では、例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる。
【発明を実施するための最良の形態】
【００１０】
本発明の好適な第１実施形態に係る撮像装置について、図１〜図１３を参照して説明する。
【００１１】
まず、撮像装置の概略構成を、図１を用いて説明する。
【００１２】
撮像装置１は、赤目補正の機能を有する装置である。撮像装置１は、主として、入力部５，光学系１０，固体撮像装置２０，アナログ信号処理部３０，Ａ／Ｄ変換部４０，フラッシュ５０，デジタル信号処理部６０を備える。撮像装置１は、画像表示部７０，内部記憶部８０及び外部Ｉ／Ｆ９０を備える。
【００１３】
入力部５は、ボタン類を有する。ボタン類は、例えば、本体に設けられたシャッターボタン５ａ、選択ボタン５ｂ、削除ボタン５ｃ及び確定ボタン５ｄ（図１５参照）を含む。
【００１４】
光学系１０は、レンズ、絞りなどの光学機器やその駆動系を含む。光学系１０は、被写体Ｏと固体撮像装置２０との間に設けられている。
【００１５】
固体撮像装置２０は、ＣＣＤセンサやＣＭＯＳセンサなどを有している。固体撮像装置２０は、アナログ信号処理部３０に接続されている。
【００１６】
アナログ信号処理部３０は、クランプ回路や増幅回路などを有している。アナログ信号処理部３０は、固体撮像装置２０及びＡ／Ｄ変換部４０に接続されている。
【００１７】
Ａ／Ｄ変換部４０は、Ａ／Ｄコンバータなどを有している。Ａ／Ｄ変換部４０は、アナログ信号処理部３０及びデジタル信号処理部６０に接続されている。
【００１８】
フラッシュ５０は、ストロボなどを有している。フラッシュ５０は、デジタル信号処理部６０に接続されている。
【００１９】
デジタル信号処理部６０は、フィルタ回路、検出回路などを有している。デジタル信号処理部６０は、Ａ／Ｄ変換部４０、フラッシュ５０、画像表示部７０、内部記憶部８０及び外部Ｉ／Ｆ９０に接続されている。
【００２０】
画像表示部７０は、表示デバイス及び表示制御回路などを有している。画像表示部７０は、デジタル信号処理部６０及び内部記憶部８０に接続されている。表示デバイスは、電子ファインダとして用いられる。
【００２１】
内部記憶部８０は、半導体メモリなどの記録媒体及びその制御回路などを有している。内部記憶部８０は、デジタル信号処理部６０及び画像表示部７０に接続されている。
【００２２】
外部Ｉ／Ｆ９０は、外部記憶装置を接続可能な構成を有している。外部Ｉ／Ｆ９０は、デジタル信号処理部６０に接続されている。
【００２３】
次に、撮像装置の概略動作を、図１を用いて説明する。
【００２４】
光学系１０は、被写体Ｏを含む撮影領域（図１０の画像ＧＩとして取得される対象領域）に向けられる。これにより、光学系１０は、被写体Ｏを含む撮影領域の光学像を固体撮像装置２０の上に結像させる。
【００２５】
利用者により、低照度撮影時などにおいて、入力部５を介して、フラッシュの発光を指示する情報であるフラッシュ発光情報がデジタル信号処理部６０に入力される。デジタル信号処理部６０は、フラッシュ発光情報に応じて、フラッシュ５０に発光を行わせる。これにより、フラッシュ５０は、被写体Ｏを含む撮影領域を照らす。そして、固体撮像装置２０には、フラッシュに照らされた被写体Ｏを含む撮影領域の光学像が結像する。このとき、被写体Ｏに赤目が生じた状態で、撮影領域の光学像が結像することがある。
【００２６】
固体撮像装置２０は、結像された光学像に対応した電気信号を発生させて、光学像（入力画像）を電気信号（アナログ信号）に変換する。固体撮像装置２０は、変換後のアナログ信号をアナログ信号処理部３０へ供給する。
【００２７】
アナログ信号処理部３０は、そのアナログ信号の波形にクランプやゲインなどの処理を行う。アナログ信号処理部３０は、処理後のアナログ信号をＡ／Ｄ変換部４０へ供給する。
【００２８】
Ａ／Ｄ変換部４０は、アナログ信号をデジタル信号へ変換する。Ａ／Ｄ変換部４０は、変換後のデジタル信号をデジタル信号処理部６０へ供給する。
【００２９】
デジタル信号処理部６０は、デジタル信号に各種の補正を行い、出力画像を表示させるための画像データを生成する。ここで、デジタル信号処理部６０は、画像データを生成する際に、内部記憶部８０にアクセスし、画像データの一部又は全部を内部記憶部８０に格納する。デジタル信号処理部６０は、その画像データを画像表示部７０、内部記憶部８０及び外部Ｉ／Ｆ９０に供給する。
【００３０】
画像表示部７０は、画像データをデジタル信号処理部６０や内部記憶部８０から受け取り、画像データに対応した出力画像を逐次表示する。これにより、画像表示部７０は、表示デバイスを電子ファインダとして機能させる。
【００３１】
外部Ｉ／Ｆ９０には、外部記憶装置が接続される。これにより、外部Ｉ／Ｆ９０に供給された画像データは、外部記憶装置に最終的に保存される。
【００３２】
デジタル信号処理部の詳細構成を、図２を用いて説明する。
【００３３】
デジタル信号処理部６０は、主として、色変換部６１、色処理部６２、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）６３、輝度処理部６４、ＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）６５を備える。デジタル信号処理部６０は、輪郭強調部６６、赤目検出部６７、顔検出部６８、判定部７１及び赤目補正部６９を備える。これらは、デジタル信号処理部６０の構成のうち、画像データの生成及び赤目補正を行う部分の構成である。
【００３４】
色変換部６１は、Ａ／Ｄ変換部４０（図１参照）、色処理部６２、ＬＰＦ６３及びＢＰＦ６５に接続されている。色処理部６２は、色変換部６１、赤目検出部６７及び判定部７１に接続されている。輝度処理部６４は、ＬＰＦ６３、赤目検出部６７及び判定部７１に接続されている。輪郭強調部６６は、ＢＰＦ６５、顔検出部６８及び判定部７１に接続されている。判定部７１は、色処理部６２、輝度処理部６４、輪郭強調部６６、赤目検出部６７、顔検出部６８及び赤目補正部６９に接続されている。赤目補正部６９は、画像表示部７０，内部記憶部８０及び外部Ｉ／Ｆ９０に接続されている。
【００３５】
次に、デジタル信号処理部の詳細動作を、図２を用いて説明する。
【００３６】
色変換部６１には、光学像（入力画像）のＲＧＢを示すデジタル信号がＡ／Ｄ変換部４０から入力される。色変換部６１は、入力画像のＲＧＢから輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成、分離する。色変換部６１は、色差信号Ｃｒ，Ｃｂなどを色処理部６２に供給し、輝度信号ＹなどをＬＰＦ６３及びＢＰＦ６５に供給する。
【００３７】
色処理部６２は、色差信号Ｃｒ，Ｃｂなどに対して、ホワイトバランスの調整、色処理、ガンマ処理などを行う。ここで、色処理は、例えば、高輝度、低輝度の色の濃さを薄くする処理である。色処理部６２は、これらの処理が施された色信号を赤目検出部６７及び判定部７１へ供給する。
【００３８】
ＬＰＦ６３には、輝度信号Ｙなどが色変換部６１から入力される。ＬＰＦ６３は、輝度信号Ｙなどの入力信号のうち低周波成分を通過させる。ＬＰＦ６３は、輝度信号Ｙなどの低周波成分を輝度処理部６４へ供給する。
【００３９】
輝度処理部６４は、輝度信号Ｙなどの低周波成分に対して、フィルタ処理、輝度補正、ガンマ処理などを行う。輝度処理部６４は、これらの処理が施された輝度信号を赤目検出部６７及び判定部７１へ供給する。
【００４０】
ＢＰＦ６５には、輝度信号Ｙなどが色変換部６１から入力される。ＢＰＦ６５は、輝度信号Ｙなどの入力信号のうち高周波成分を通過させる。ＢＰＦ６５は、輝度信号Ｙなどの高周波成分（輪郭信号）を輪郭強調部６６へ供給する。
【００４１】
輪郭強調部６６は、輝度信号Ｙなどの高周波成分（輪郭信号）に対して、輪郭強調処理を行う。輪郭強調部６６は、これらの処理が施された輪郭信号を顔検出部６８及び判定部７１へ供給する。
【００４２】
赤目検出部６７は、入力部５を介して、フラッシュ発光情報をフラッシュ５０から受け取る。赤目検出部６７は、色信号を色処理部６２から受け取り、輝度信号を輝度処理部６４から受け取る。赤目検出部６７は、色信号及び輝度信号などを介して、赤目補正候補領域を検出する。ここで、赤目補正候補領域は、被写体Ｏの赤目補正を行う候補となる領域である。それとともに、赤目検出部６７は、赤目検出結果に基づき、赤目検出信頼度を生成して出力する。赤目検出信頼度は、被写体Ｏから赤目補正候補領域として検出された領域の赤目らしさを示す。赤目検出信頼度は、例えば、被写体Ｏの赤目補正候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００４３】
顔検出部６８は、輪郭信号を輪郭強調部６６から受け取る。顔検出部６８は、輪郭信号などを介して、赤目補正候補領域に対して被写体Ｏの顔を検出する。それとともに、顔検出部６８は、顔検出結果に基づき、顔検出信頼度を生成して出力する。顔検出信頼度は、被写体Ｏから顔候補領域として検出された領域の顔らしさを示す。顔候補領域は、被写体Ｏの顔であると認識された領域である。顔検出信頼度は、例えば、被写体Ｏの顔候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００４４】
なお、本発明における顔検出に関しては、公知の顔検出技術を用いることとする。公知の顔検出技術として、例えば、ニューラルネットワークに代表される学習を用いた手法が挙げられる。あるいは、公知の顔検出技術として、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法が挙げられる。また、他にも、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、一般的にはこれらの手法を複数組み合わせて顔認識するのが一般的である。
【００４５】
具体的な例としては特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
【００４６】
判定部７１は、赤目補正候補領域の情報と赤目検出信頼度とを赤目検出部６７から受け取り、被写体Ｏの顔の情報と顔検出信頼度とを顔検出部６８から受け取る。判定部７１は、色信号を色処理部６２から受け取り、輝度信号を輝度処理部６４から受け取り、輪郭強調信号を輪郭強調部６６から受け取る。判定部７１は、これらの情報に基づいて、被写体Ｏの赤目を検出することに成功している度合いを各赤目補正候補領域に対して判定する。ここで、判定部７１は、判定する際に、メモリ（図示せず）にアクセスして、成功度合い判定テーブル（図７参照）を参照する。判定部７１は、成功している度合いの情報を赤目補正候補領域の識別情報（例えば、後述する赤目位置情報）に対応付けて赤目補正部６９へ供給する。また、判定部７１は、赤目補正候補領域の情報、被写体Ｏの顔の情報、色信号、輝度信号及び輪郭信号を赤目補正部６９へ転送する。
【００４７】
赤目補正部６９は、成功している度合いの情報を赤目補正候補領域の識別情報に対応付けて画像表示部７０へ出力する。
【００４８】
また、赤目補正部６９は、入力部５の削除ボタン５ｃ（図１２参照）を介して入力された削除命令を赤目補正候補領域の識別情報に対応付けて受け取る。赤目補正部６９は、削除命令により指定された赤目補正候補領域の情報を削除する。
【００４９】
赤目補正部６９は、入力部５の確定ボタン５ｄ（図１２参照）を介して入力された確定命令を受け取る。赤目補正部６９は、確定命令に応じて、赤目補正候補領域に対して赤目補正を行う。ここで、すでに情報が削除された赤目補正候補領域に対して、赤目補正は行われない。
【００５０】
次に、撮像装置が赤目補正を行う処理の流れを、図３〜図９に示すフローチャート及び図１０〜図１５の概念図を用いて説明する。図３〜図９に示す処理は、主として図１に示すデジタル信号処理部により行われる。
【００５１】
ステップＳ１では、赤目補正部６９は、フラッシュ撮影が行われたか否かの判断を行う。すなわち、利用者により、低照度撮影時などにおいて、入力部５を介して、フラッシュ発光情報がデジタル信号処理部６０に入力される。フラッシュ発光情報は、フラッシュの発光を指示する情報である。デジタル信号処理部６０は、フラッシュ発光情報に応じて、フラッシュ５０に発光を行わせる。これにより、フラッシュ５０は、被写体Ｏを含む撮影領域を照らす。そして、固体撮像装置２０には、フラッシュに照らされた被写体Ｏを含む撮影領域の光学像が結像する。このとき、被写体Ｏに赤目が生じた状態で、撮影領域の光学像が結像することがある。
【００５２】
デジタル信号処理部６０内の赤目補正部６９は、赤目検出部６７及び判定部７１経由でフラッシュ発光情報をフラッシュ５０から受け取った場合、フラッシュ撮影が行われたと判断する。赤目補正部６９は、赤目検出部６７及び判定部７１経由でフラッシュ発光情報をフラッシュ５０から受け取らなかった場合、フラッシュ撮影が行われなかったと判断する。赤目補正部６９は、フラッシュ撮影が行われたと判断した場合、処理をステップＳ２へ進め、フラッシュ撮影が行われなかったと判断した場合、処理を終了する。
【００５３】
ステップＳ２では、デジタル信号処理部６０は、赤目検出信頼度及び顔検出信頼度の閾値を設定する。すなわち、デジタル信号処理部６０内の赤目補正部６９は、メモリ（図示せず）に記憶されていた赤目検出閾値ＴＨ１及び顔検出閾値ＴＨ２を読み出し判定部７１へ渡す。
【００５４】
判定部７１は、赤目検出閾値ＴＨ１が設定された旨の情報を赤目検出部６７へ供給するとともに、顔検出閾値ＴＨ２が設定された旨の情報を顔検出部６８へ供給する。
【００５５】
ステップＳ３では、赤目検出部６７は、赤目検出閾値ＴＨ１が設定された旨の情報を受け取ったことに応じて、赤目検出処理を行う。例えば、赤目検出部６７は、赤目補正候補領域を検出すると共に、赤目検出信頼度も算出する。赤目検出部６７は、赤目検出処理を完了したら、赤目検出処理を完了した旨の情報、赤目補正候補領域及び赤目検出信頼度を判定部７１へ供給する。なお、赤目検出処理の詳細な説明については後述する。
【００５６】
ステップＳ４では、顔検出部６８は、顔検出閾値ＴＨ２が設定された旨の情報を受け取ったことに応じて、上述した公知の顔検出処理を行う。例えば、顔検出部６８は、顔候補領域を検出すると共に、顔検出信頼度も算出する。顔検出部６８は、顔検出処理を完了したら、顔検出処理を完了した旨の情報、顔補正候補領域及び顔検出信頼度を判定部７１へ供給する。なお、顔検出処理の詳細な説明については後述する。
【００５７】
ステップＳ５では、判定部７１は、赤目検出処理を完了した旨の情報及び顔検出処理を完了した旨の情報を両方とも受け取ったことに応じて、成功度合い判定処理を行う。なお、成功度合い判定処理の詳細な説明については後述する。
成功度合い「低」成功度合い「低」成功度合い「低」成功度合い「ＮＧ」成功度合い「ＮＧ」成功度合い「ＮＧ」 ステップＳ６では、赤目補正部６９が赤目補正処理を行う。なお、赤目補正処理の詳細な説明については後述する。
【００５８】
このようにして、撮像装置１は、赤目補正を行う。
【００５９】
次に、赤目検出処理を、図４に示すフローチャート及び図１０、図１１の概念図を用いて説明する。図１０、図１１は、主として図１に示す画像表示部７０により表示される画面の一例である。なお、図１１は、内部的な処理を説明するための仮想的な画面の一例であり、実際には、画像表示部７０により表示されない。
【００６０】
ステップＳ２１では、色差信号が色処理部６２に入力され、輝度信号がＬＰＦ６３及びＢＰＦ６５に入力される。すなわち、デジタル信号処理部６０の色変換部６１には、光学像（入力画像）のＲＧＢを示すデジタル信号がＡ／Ｄ変換部４０から入力される。色変換部６１は、入力画像のＲＧＢから輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成、分離する。色変換部６１は、色差信号Ｃｒ，Ｃｂなどを色処理部６２に供給し、輝度信号ＹなどをＬＰＦ６３及びＢＰＦ６５に供給する。
【００６１】
色処理部６２は、色差信号Ｃｒ，Ｃｂなどに対して、ホワイトバランスの調整、色処理、ガンマ処理などを行う。ここで、色処理は、例えば、高輝度、低輝度の色の濃さを薄くする処理である。色処理部６２は、これらの処理が施された色信号を赤目検出部６７及び判定部７１へ供給する。
【００６２】
ＬＰＦ６３には、輝度信号Ｙなどが色変換部６１から入力される。ＬＰＦ６３は、輝度信号Ｙなどの入力信号のうち低周波成分を通過させる。ＬＰＦ６３は、輝度信号Ｙなどの低周波成分を輝度処理部６４へ供給する。
【００６３】
輝度処理部６４は、輝度信号Ｙなどの低周波成分に対して、フィルタ処理、輝度補正、ガンマ処理などを行う。輝度処理部６４は、これらの処理が施された輝度信号を赤目検出部６７及び判定部７１へ供給する。
【００６４】
ステップＳ２２では、赤目検出部６７は入力信号に対して赤目検出を行う。すなわち、赤目検出部６７は、色信号を色処理部６２から受け取り、輝度信号を輝度処理部６４から受け取る。赤目検出部６７は、色信号及び輝度信号などを介して、赤目補正候補領域を検出する。ここで、赤目補正候補領域は、被写体Ｏの赤目補正を行う候補となる領域である。
【００６５】
例えば、図１０に示すように、画像ＧＩで示される撮影領域に、被写体Ｏ１〜Ｏ３が存在する場合を考える。ここで、被写体Ｏ１，Ｏ２は正面を向いているのに対して、被写体Ｏ３は横を向いている。このとき、赤目検出部６７は、図１１に示すように、赤目補正候補領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５を検出する。
【００６６】
ステップＳ２３では、赤目検出部６７は、赤目検出信頼度を生成して出力する。赤目検出信頼度は、被写体Ｏから赤目補正候補領域として検出された領域の赤目らしさを示す。また、赤目検出信頼度は、例えば、被写体Ｏの赤目補正候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００６７】
具体的には、赤目検出部６７は、色相、彩度、明度、輝度などを分析する。そして、赤目検出部６７は、該当の画素（エリア）が赤であるか（パラメータＲＰ１）、該当の画素（エリア）の周辺画素（エリア）が肌色であるか（パラメータＲＰ２）を演算する。赤目検出部６７は、該当の画素（エリア）が高輝度であるか（パラメータＲＰ３）、該当の画素（エリア）が丸い形状をしているか（パラメータＲＰ４）を演算する。そして、赤目検出部６７は、赤目検出信頼度ＲＲを
ＲＲ＝Ｋ１×ＲＰ１＋Ｋ２×ＲＰ２＋Ｋ３×ＲＰ３＋Ｋ４×ＲＰ４・・・数式１
の式により演算する。ここで、Ｋ１、Ｋ２、Ｋ３、Ｋ４は、実験などにより予め求められた定数である。
【００６８】
なお、本実施形態において赤目検出信頼度ＲＲを構成する要素を上記のように規定したが、赤目検出の信頼度を推定するために有効な要素であれば上記した要素に限定されるわけではない。
【００６９】
例えば、赤目検出部６７は、数式１のような演算を行い、赤目補正候補領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５（図１１参照）について、赤目検出信頼度ＲＲ１，ＲＲ２，ＲＲ３，ＲＲ４，ＲＲ５を生成する。例えば、図１１に示すような入力信号が得られた場合、赤目検出信頼度ＲＲ１，ＲＲ２，ＲＲ３，ＲＲ４，ＲＲ５と赤目検出閾値ＴＨ１とは、それぞれ、数式２〜数式６のような関係にあることになる。
【００７０】
ＲＲ１≧ＴＨ１・・・数式２
ＲＲ２≧ＴＨ１・・・数式３
ＲＲ３＜ＴＨ１・・・数式４
ＲＲ４≧ＴＨ１・・・数式５
ＲＲ５＜ＴＨ１・・・数式６
ステップＳ２４では、赤目検出部６７は、赤目検出信頼度を出力する。すなわち、デジタル信号処理部６０内の赤目検出部６７は、赤目補正候補領域（例えば、Ｒ１〜Ｒ５）の情報と赤目検出信頼度（例えば、ＲＲ１〜ＲＲ５）とを判定部７１へ出力する。
【００７１】
次に、顔検出処理を、主として、図５に示すフローチャート及び図１０、図１１に示す概念図を用いて説明する。図１０、図１１は、主として図１に示す画像表示部７０により表示される画面の一例である。なお、図１１は、内部的な処理を説明するための仮想的な画面の一例であり、実際には、画像表示部７０により表示されない。
【００７２】
ステップＳ３１では、顔検出部６８は、入力信号に対して上述した公知の顔検出方法を用いることで顔領域の検出を行う。
【００７３】
例えば、図１０に示すように、画像ＧＩで示される撮影領域に、被写体Ｏ１〜Ｏ３が存在する場合を考える。ここで、被写体Ｏ１，Ｏ２は正面を向いているのに対して、被写体Ｏ３は横を向いている。このとき、顔検出部６８は、図１１に示すように、顔候補領域Ｆ１，Ｆ２，Ｆ３を検出する。顔候補領域Ｆ１，Ｆ２，Ｆ３は、それぞれ、被写体Ｏ１，Ｏ２，Ｏ３の顔であると認識された領域である。
【００７４】
ステップＳ３２では、顔検出部６８は、ステップＳ３１の顔検出結果に基づき、顔検出信頼度を演算し、出力する。顔検出信頼度は、被写体Ｏから顔候補領域として検出された領域の顔らしさを示す。顔検出信頼度は、例えば、被写体Ｏの顔候補領域を検出した結果の信頼度を数値で示したものであり、大きな値であるときに信頼度が高いことを示し、小さな値であるときに信頼度が低いことを示す。
【００７５】
具体的には、顔検出部６８は、輝度パターンなどを分析する。そして、顔検出部６８は、目が検出されるか（パラメータＦＰ１）、鼻が検出されるか（パラメータＦＰ２）を演算する。さらに、顔検出部６８は、口が検出されるか（パラメータＦＰ３）、耳が検出されるか（パラメータＦＰ４）を演算する。そして、顔検出部６８は、顔検出信頼度ＦＲを
ＦＲ＝Ｋ５×ＦＰ１＋Ｋ６×ＦＰ２＋Ｋ７×ＦＰ３＋Ｋ８×ＦＰ４・・・数式７
の式により演算する。ここで、Ｋ５、Ｋ６、Ｋ７、Ｋ８は、実験などにより予め求められた定数である。
【００７６】
なお、本実施形態において赤目検出信頼度ＲＲを構成する要素を上記のように規定したが、赤目検出の信頼度を推定するために有効な要素であれば上記した要素に限定されるわけではない。
【００７７】
例えば、顔検出部６８は、数式７ような演算を行い、顔候補領域Ｆ１，Ｆ２，Ｆ３に対して、顔検出信頼度ＦＲ１，ＦＲ２，ＦＲ３を生成する。例えば、図１１に示す場合、顔検出信頼度ＦＲ１，ＦＲ２，ＦＲ３と顔検出閾値ＴＨ２とは、それぞれ、数式８〜数式１０のような関係にあることになる。
【００７８】
ＦＲ１≧ＴＨ２・・・数式８
ＦＲ２≧ＴＨ２・・・数式９
ＦＲ３≧ＴＨ２・・・数式１０
ステップＳ３３では、顔検出信頼度を出力する。すなわち、デジタル信号処理部６０の顔検出部６８は、被写体Ｏの顔の情報（例えば、顔候補領域Ｆ１，Ｆ２，Ｆ３の情報）と顔検出信頼度（例えば、顔検出信頼度ＦＲ１，ＦＲ２，ＦＲ３）とを判定部７１へ出力する。
【００７９】
次に、成功度合い判定処理を、図６に示すフローチャート及び図７、図１０、図１１の概念図を用いて説明する。図７は、図２に示す判定部７１がメモリ（図示せず）にアクセスして参照する成功度合い参照テーブルを示す。図１０、図１１は、主として図１に示す画像表示部７０により表示される画面の一例である。なお、図１１は、内部的な処理を説明するための仮想的な画面の一例であり、実際には、画像表示部７０により表示されない。
【００８０】
ステップＳ５１では、判定部７１は、赤目補正候補領域を選択する。すなわち、デジタル信号処理部６０内の判定部７１は、赤目補正候補領域の情報（赤目位置情報を含む）と赤目検出信頼度とを赤目検出部６７から受け取る。赤目位置情報は、画像における赤目補正候補領域の位置を示す情報である。判定部７１は、複数の赤目補正候補領域から判定の対象とする赤目補正候補領域（赤目位置情報）を選択する。なお、判定部７１は、メモリ（図示せず）を参照してすでに判定した赤目補正候補領域を特定するとともに、判定の対象とする赤目補正候補領域をメモリに追加記憶する。
【００８１】
ステップＳ５２では、判定部７１は、赤目補正候補領域が顔候補領域に含まれるか否かを判断する。すなわち、判定部７１は、顔補正候補領域の情報（顔位置情報を含む）と顔検出信頼度とを顔検出部６８から受け取る。顔位置情報は、画像における顔候補領域の位置を示す情報である。
【００８２】
判定部７１は、赤目位置情報と顔位置情報とに基づいて、赤目補正候補領域と顔候補領域との包含関係を判断する。判定部７１は、赤目位置情報が１以上の顔位置情報のうちのいずれかに含まれていると判断すれば、その赤目位置情報に対応する赤目補正候補領域が顔候補領域に含まれていると判断する。判定部７１は、赤目位置情報が１以上の顔位置情報のうちのいずれにも含まれていないと判断すれば、その赤目位置情報に対応する赤目補正候補領域が顔候補領域に含まれていないと判断する。
【００８３】
例えば、図１０に示す被写体Ｏ１〜Ｏ３に対して、図１１に示すように、赤目補正候補領域Ｒ１〜Ｒ５と顔候補領域Ｆ１〜Ｆ３とが検出された場合を考える。この場合、判定部７１は、赤目補正候補領域Ｒ１〜Ｒ３を、それぞれ、顔候補領域Ｆ１〜Ｆ３に含まれていると判断する。判定部７１は、赤目補正候補領域Ｒ４，Ｒ５を、それぞれ、顔候補領域Ｆ１〜Ｆ３のいずれにも含まれていないと判断する。
【００８４】
判定部７１は、赤目補正候補領域が顔候補領域に含まれていると判断する場合、処理をステップＳ５４へ進める。判定部７１は、赤目補正候補領域が顔候補領域に含まれていないと判断する場合、処理をステップＳ５３へ進める。
【００８５】
ステップＳ５３では、判定部７１は、顔検出信頼度が「低」であると判定する。つまり、赤目補正候補領域が顔候補領域に含まれていないので、赤目補正候補領域を含む仮想的な顔候補領域を想定し、その顔候補領域の顔らしさが低いものと判定する。
【００８６】
例えば、図１１に示す場合、判定部７１は、赤目補正候補領域Ｒ４，Ｒ５を含む仮想的な顔候補領域Ｆ４，Ｆ５を想定する。そして、判定部７１は、顔候補領域Ｆ４，Ｆ５の顔検出信頼度を「低」と判定する。
【００８７】
ステップＳ５４では、判定部７１は、顔検出信頼度が閾値以上であるか否かを判断する。すなわち、デジタル信号処理部６０の判定部７１は、被写体Ｏの顔の情報と顔検出信頼度とを顔検出部６８から受け取る。判定部７１は、顔検出信頼度により示される顔検出信頼度ＦＲと、顔検出閾値ＴＨ２とを比較する。そして、判定部７１は、ＦＲ≧ＴＨ２であると判断する場合に、顔検出信頼度が「高」であると判定する。判定部７１は、ＦＲ＜ＴＨ２であると判断する場合に、顔検出信頼度が「低」であると判定する。
【００８８】
例えば、図１１に示す場合、判定部７１は、数式８〜数式１０に示すように、顔候補領域Ｆ１，Ｆ２，Ｆ３に対して、顔検出信頼度を「高」と判定する。
【００８９】
ここで、成功度合いを判定するために、赤目検出信頼度に加えてさらに顔検出信頼度を用いる理由を説明する。
【００９０】
本来、目は顔の中にしか存在しない。そこで、目は顔の中に存在するという前提に基づいて、赤目補正候補領域であったとしても、顔候補領域としての信頼度が低ければ、それは目ではないと判断し、赤目補正候補領域から排除する。これにより、より判定の精度を高めることができる。
【００９１】
つまり、顔検出信頼度を考慮して赤目検出に成功しているか否かを判断及び決定するので、赤目補正すべき赤目補正候補領域と赤目補正すべきでない赤目補正候補領域とはさらに区別しやすくなる。
【００９２】
なお、本実施形態においては、閾値を一つだけ設定しているが、閾値を複数個設定することで、顔らしさのランク分けを更に細かくしてもよい。そうすることで、複数の顔候補領域が検出された際に、より細かく優先度付けを行うことが可能になる。
【００９３】
ステップＳ５５では、判定部７１は、赤目検出信頼度が閾値以上であるか否かを判断する。すなわち、デジタル信号処理部６０内の判定部７１は、赤目検出信頼度により示される赤目検出信頼度ＲＲ１と、赤目検出閾値ＴＨ１とを比較する。そして、判定部７１は、ＲＲ１≧ＴＨ１であると判断する場合に、赤目検出信頼度が「高」であると判定する。判定部７１は、ＲＲ１＜ＴＨ１であると判断する場合に、赤目検出信頼度が「低」であると判定する。
【００９４】
例えば、図１１に示す場合、判定部７１は、数式２，数式３，数式５に示すように、赤目補正候補領域Ｒ１，Ｒ２，Ｒ４に対して、赤目検出信頼度を「高」と判定する。判定部７１は、数式４，数式６に示すように、赤目補正候補領域Ｒ３，Ｒ５に対して、赤目検出信頼度を「低」と判定する。
【００９５】
なお、本実施形態においては、閾値を一つだけ設定しているが、閾値を複数個設定することで、赤目らしさのランク分けを更に細かくしてもよい。そうすることで、複数の赤目候補領域が検出された際に、より細かく優先度付けを行うことが可能になる。
【００９６】
ステップＳ５６では、判定部７１は、成功度合いを判定する。すなわち、判定部７１は、赤目検出信頼度について判定した結果と、顔検出信頼度について判定した結果とに基づいて、赤目検出に成功している度合い（成功度合い）を判定する。ここで、判定部７１は、判定する際に、メモリ（図示せず）にアクセスして、成功度合い判定テーブル（図７参照）を参照する。
【００９７】
図７に示すように、判定部７１は、赤目検出信頼度を「高」と判定し顔検出信頼度を「高」と判定した場合、成功度合いを「高」と判定する。判定部７１は、赤目検出信頼度を「低」と判定し顔検出信頼度を「高」と判定した場合、成功度合いを「中」と判定する。判定部７１は、赤目検出信頼度を「高」と判定し顔検出信頼度を「低」と判定した場合、成功度合いを「低」と判定する。判定部７１は、赤目検出信頼度を「低」と判定し顔検出信頼度を「低」と判定した場合、成功度合いを「ＮＧ」と判定する。
【００９８】
例えば、図１１に示す場合、判定部７１は、赤目補正候補領域Ｒ１，Ｒ２の赤目検出信頼度を「高」と判定し、赤目補正候補領域Ｒ１，Ｒ２を含む顔候補領域Ｆ１，Ｆ２の顔検出信頼度を「高」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ１に対して、成功度合いを「高」と判定する。
【００９９】
判定部７１は、赤目補正候補領域Ｒ３の赤目検出信頼度を「低」と判定し、赤目補正候補領域Ｒ３を含む顔候補領域Ｆ３の顔検出信頼度を「高」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ３に対して、成功度合いを「中」と判定する。
【０１００】
判定部７１は、赤目補正候補領域Ｒ４の赤目検出信頼度を「高」と判定し、赤目補正候補領域Ｒ４を含む仮想的な顔候補領域Ｆ４の顔検出信頼度を「低」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ４に対して、成功度合いを「小」と判定する。
【０１０１】
判定部７１は、赤目補正候補領域Ｒ５の赤目検出信頼度を「低」と判定し、赤目補正候補領域Ｒ５を含む仮想的な顔候補領域Ｆ５の顔検出信頼度を「低」と判定している。これにより、判定部７１は、赤目補正候補領域Ｒ５に対して、成功度合いを「ＮＧ」と判定する。
【０１０２】
ステップＳ５７では、判定部７１は、全ての赤目補正候補領域に対して判定が行われたか否かを判断する。判定が行われたと判断した場合、処理をステップＳ１２へ進め、判定が行われていないと判断した場合、処理をステップＳ４へ進める。
なお、ステップＳ５、ステップＳ８において、ランク分けを細かくすることで、赤目検出に成功している度合いのランク分けをより詳細に行うことができる。
【０１０３】
このように、成功度合い判定処理により、全ての赤目補正候補領域に対して、赤目検出に成功している度合いが「高」、「中」、「低」、「ＮＧ」にランク付けされる。すなわち、デジタル信号処理部６０の判定部７１は、赤目検出に成功している度合いを判定している。
【０１０４】
次に、赤目補正処理を、図８，図９に示すフローチャート及び図１２〜図１５の概念図を用いて説明する。図１２〜図１５は、撮像装置の背面図の一例である。
【０１０５】
ステップＳ４１では、画像表示部７０は、成功度合い「ＮＧ」と決定された領域（以下、「ＮＧ領域」とする）を表示する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が選択ボタン５ｂを押したことを検知することにより、ＮＧ領域の表示命令を受け付ける。入力部５は、ＮＧ領域の表示命令を、デジタル信号処理部６０へ供給する。そのＮＧ領域の表示命令は、デジタル信号処理部６０において、赤目検出部６７及び判定部７１経由で赤目補正部６９へ供給される。赤目補正部６９は、ＮＧ領域の表示命令に基づいて、１以上のＮＧ領域の中から表示すべきＮＧ領域を選択する。赤目補正部６９は、画像情報とともに、選択されたＮＧ領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、選択されたＮＧ領域の情報とに基づいて、削除候補を表示デバイスに表示する。ここで、削除候補は、複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である。
【０１０６】
例えば、図１２では、画像表示部７０により、画像ＧＩとともに、赤目補正候補領域Ｒ５がＮＧ領域であることを示すフレームＲＦ５が、削除候補を示す情報として表示される。
【０１０７】
なお、本実施形態において画像ＧＩは画像表示部７０のサイズに合わせて表示されているが、選択ボタン５ｂを操作することで拡大した画像を表示することも可能である。
【０１０８】
これにより、赤目補正候補領域Ｒ５が削除候補であることを把握することができ、赤目補正候補領域Ｒ５を赤目補正する対象から削除すべきか否かの判断を利用者に促すことができる。すなわち、赤目補正候補領域Ｒ５を削除すべきか否かの判断を利用者に促すことができ、削除すべきであると判断した場合に削除命令を入力するように利用者に促すことができる。
【０１０９】
ステップＳ４２では、判定部７１は、削除が指定されたか否かを判断する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が削除ボタン５ｃを押したことを検知することにより、削除命令を受け付ける。入力部５は、削除命令をデジタル信号処理部６０へ供給する。その削除命令は、デジタル信号処理部６０において、赤目検出部６７経由で判定部７１へ供給される。判定部７１は、削除命令を受け取った場合、削除が指定されたと判断し、削除命令を受け取っていない場合、削除が指定されていないと判断する。判定部７１は、削除が指定されたと判断した場合、処理をステップＳ４３へ進め、削除が指定されていないと判断した場合、処理をステップＳ４４へ進める。
【０１１０】
ステップＳ４３では、赤目補正部６９は、削除が指定された赤目補正候補領域の情報を削除する。すなわち、判定部７１は、削除命令を赤目補正部６９へ供給する。赤目補正部６９は、削除命令に基づいて、メモリ（図示せず）を参照して、選択された赤目補正候補領域の情報を削除する。なお、メモリには、全ての赤目補正候補領域の情報が記憶されているものとする。
【０１１１】
そして、赤目補正部６９は、画像情報とともに、削除されたＮＧ領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、削除されたＮＧ領域の情報とに基づいて、図１２に示す画像ＧＩに代えて図１３に示す画像ＧＩを表示デバイスに表示する。
【０１１２】
例えば、図１３では、画像表示部７０により、赤目補正候補領域Ｒ５に対応する部分のハイライト表示（図中では斜線）が消えた状態で表示される。これにより、赤目補正候補領域Ｒ５が赤目補正の対象から削除されたことを把握することができる。
【０１１３】
ステップＳ４４では、判定部７１は、全てのＮＧ領域が選択されたか否かを判断する。判定部７１は、全てのＮＧ領域が選択されたと判断した場合、処理をステップＳ４５へ進め、全てのＮＧ領域が選択されていないと判断した場合、処理をステップＳ４１へ進める。
【０１１４】
ステップＳ４５では、判定部７１は、確定が指定されたか否かを判断する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が確定ボタン５ｄを押したことを検知することにより、確定命令を受け付ける。入力部５は、確定命令をデジタル信号処理部６０へ供給する。その確定命令は、デジタル信号処理部６０において、赤目検出部６７経由で判定部７１へ供給される。判定部７１は、確定命令を受け取った場合、確定が指定されたと判断し、確定命令を受け取っていない場合、確定が指定されていないと判断する。判定部７１は、確定が指定されたと判断した場合、処理をステップＳ４６（図８，７で示す（１））へ進め、確定が指定されていないと判断した場合、処理をステップＳ５０（図８，７で示す（２））へ進める。
【０１１５】
ステップＳ４６では、画像表示部７０が、成功度合い「低」と決定された領域（以下、「低領域」とする）を表示する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が選択ボタン５ｂを押したことを検知することにより、低領域の表示命令を受け付ける。入力部５は、低領域の表示命令を、デジタル信号処理部６０へ供給する。その低領域の表示命令は、デジタル信号処理部６０において、赤目検出部６７及び判定部７１経由で赤目補正部６９へ供給される。赤目補正部６９は、低領域の表示命令に基づいて、１以上の低領域の中から表示すべき低領域を選択する。赤目補正部６９は、画像情報とともに、選択された低領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、選択された低領域の情報とに基づいて、削除候補を表示デバイスに表示する。ここで、削除候補は、複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である。
【０１１６】
例えば、図１３では、画像表示部７０により、画像ＧＩとともに、赤目補正候補領域Ｒ４が低領域であることを示すフレームＲＦ４が、削除候補を示す情報として表示される。これにより、赤目補正候補領域Ｒ４が削除候補であることを把握することができ、赤目補正候補領域Ｒ４を赤目補正する対象から削除すべきか否かの判断を利用者に促すことができる。すなわち、赤目補正候補領域Ｒ４を削除すべきか否かの判断を利用者に促すことができ、削除すべきであると判断した場合に削除命令を入力するように利用者に促すことができる。
【０１１７】
ステップＳ４７では、判定部７１は、削除が指定されたか否かを判断する。すなわち、デジタル信号処理部６０の入力部５は、例えば利用者が削除ボタン５ｃを押したことを検知することにより、削除命令を受け付ける。入力部５は、削除命令をデジタル信号処理部６０へ供給する。その削除命令は、デジタル信号処理部６０において、赤目検出部６７経由で判定部７１へ供給される。判定部７１は、削除命令を受け取った場合、削除が指定されたと判断し、削除命令を受け取っていない場合、削除が指定されていないと判断する。判定部７１は、削除が指定されたと判断した場合、処理をステップＳ４８へ進め、削除が指定されていないと判断した場合、処理をステップＳ４９へ進める。
【０１１８】
ステップＳ４８では、赤目補正部６９は、削除が指定された赤目補正候補領域の情報を削除する。すなわち、判定部７１は、削除命令を赤目補正部６９へ供給する。赤目補正部６９は、削除命令に基づいて、メモリ（図示せず）を参照して、選択された赤目補正候補領域の情報を削除する。なお、メモリには、全ての赤目補正候補領域の情報が記憶されているものとする。
【０１１９】
そして、赤目補正部６９は、画像情報とともに、削除された低領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、削除された低領域の情報とに基づいて、図１３に示す画像ＧＩに代えて図１４に示す画像ＧＩを表示デバイスに表示する。
【０１２０】
例えば、図１４では、画像表示部７０により、赤目補正候補領域Ｒ４に対応する部分のハイライト表示（図中では斜線）が消えた状態で表示される。これにより、赤目補正候補領域Ｒ４が赤目補正の対象から削除されたことを把握することができる。
【０１２１】
ステップＳ４９では、判定部７１は、全ての低領域が選択されたか否かを判断する。判定部７１は、全ての低領域が選択されたと判断した場合、処理をステップＳ４５へ進め、全ての低領域が選択されていないと判断した場合、処理をステップＳ４１へ進める。
【０１２２】
なお、本実施形態において、ＮＧ領域と低領域とを対象として削除するか否かの指定を行っているが、中領域も対象として削除するか否かの指定を行ってもよい。こうすることで、より精度の高い赤目領域の除去を行うことができる。
【０１２３】
ステップＳ５０では、赤目補正部６９は、赤目補正候補領域を確定する。すなわち、デジタル信号処理部６０の判定部７１は、確定命令を赤目補正部６９へ供給する。赤目補正部６９は、確定命令に基づき、メモリ（図示せず）を参照して、全ての赤目補正候補領域を確定する。そして、赤目補正部６９は、画像情報とともに、確定された赤目補正候補領域の情報を、画像表示部７０へ供給する。画像表示部７０は、画像情報と、確定された赤目補正候補領域の情報とに基づいて、図１４に示す画像ＧＩに代えて図１５に示す画像ＧＩを表示デバイスに表示する。
【０１２４】
例えば、図１５では、画像表示部７０により、赤目補正候補領域Ｒ１〜Ｒ３に対応する部分のハイライト表示（図中では斜線）が別のハイライト表示（図中では格子状のハッチング）で表示される。これにより、赤目補正候補領域Ｒ１〜Ｒ３が赤目補正の対象として確定したことを把握することができる。
【０１２５】
以上のような処理により、画像表示部７０により表示される画像は、例えば、図１５に示すような画像になる。なお、図１５において、実線斜線で示されている部分は、赤目位置情報を示す。赤目位置情報は、画像ＧＩにおいて、赤目検出に成功していると判定部７１が判定する場合における赤目補正候補領域Ｒ１，Ｒ２，Ｒ３の位置を示す情報である。
【０１２６】
そして、赤目補正部６９は、確定した赤目補正候補領域に対して赤目補正を行う。
【０１２７】
例えば、図１５では、赤目補正部６９は、複数の赤目補正候補領域Ｒ１〜Ｒ５において、削除命令で指定された赤目補正候補領域Ｒ４，Ｒ５を除く赤目補正候補領域Ｒ１〜Ｒ３を赤目補正する。
【０１２８】
このように、フラッシュ撮影された画像ＧＩの中において、赤目補正に失敗している可能性が高い順番に（赤目検出に成功している度合いが低い順番に）削除すべきかどうかの入力を、利用者に対して促すことができる。これにより、不適切な赤目補正候補領域を赤目補正の対象から削除することができるとともに、全ての赤目補正候補領域に対して赤目補正を行うか否かを指定することを避けることができる。このため、例えば赤目補正を適切に行うことができ、利用者側の処理負担を軽減できる。
【０１２９】
なお、例えば、ＮＧ１，ＮＧ２，ＮＧ３（１から順に信頼度が低いとする）のように信頼度のランク分けが細かく設定されている場合、信頼度の低い順に削除せず、例えば、画面内の右から左に削除していくようにしても良い。
【０１３０】
例えば、拡大された再生画像から赤目補正候補領域の確認を行い削除するような場合、削除対象が離散的に存在している画像に対して信頼度の低い順に削除すると、削除のたびに表示対象（削除対象）が画像全体において右に左にと変わることがある。この場合、画像全体においてどれだけの削除対象が残っているか分かりにくい。そこで、上記のように、例えば、画面内の右から左に削除していくようにすることにより、削除残しを低減できる。
【０１３１】
なお、撮像装置のデジタル信号処理部は、ＢＰＦ６５の代わりにＨＰＦを備えていてもよい。この場合でも、輝度信号Ｙなどの入力信号のうち高周波成分を通過させて輪郭強調部６６へ供給することができる。
【０１３２】
本発明の好適な第２実施形態に係る撮像装置について、図１６〜図２２を参照して説明する。なお、第１実施形態と同様の部分は説明を省略し、第１実施形態と異なる部分を中心に説明する。
【０１３３】
撮像装置１００は、図１６に示すように、基本的な構成は第１実施形態と同様であるが、デジタル信号処理部６０の代わりにデジタル信号処理部１６０を備え、入力部５の代わりに入力部１０５を備える点で、第１実施形態と異なる。具体的には、以下の点が異なる。
【０１３４】
すなわち、入力部１０５には、利用者により、画像表示部７０が表示した画像（例えば、図２１に示す画像ＧＩ）及び赤目位置情報（例えば、図２１に示す実線斜線の領域）に基づいて、赤目検出閾値ＴＨ１の変更命令が入力される。
【０１３５】
デジタル信号処理部１６０は、図１７に示すように、赤目検出部６７の代わりに赤目検出部１６７を備え、判定部７１の代わりに判定部１７１を備え、赤目補正部６９の代わりに赤目補正部１６９を備える。赤目補正部１６９は、赤目検出閾値ＴＨ１の変更命令を、赤目検出部１６７及び判定部１７１を経由して入力部１０５から受け取る。赤目補正部１６９は、変更後の赤目検出閾値ＴＨ１ａを生成し判定部１７１へ渡す。判定部１７１は、赤目検出閾値ＴＨ１の代わりに変更後の赤目検出閾値ＴＨ１ａを用いて判定を行う。
【０１３６】
また、撮像装置が赤目検出を行う処理の流れが、図１８及び図１９に示すように、次の点で第１実施形態と異なる。なお、図１８及び図１９において、図３に示す処理と同様の処理は同じ記号で示し説明を省略する。
【０１３７】
ステップＳ１３１（図１８、図１９で示す（４））では、赤目検出閾値の変更命令を受け付けたか否かが判断される。すなわち、画像表示部７０は、赤目位置情報とともに画像を表示する。赤目位置情報及び画像は利用者により閲覧される。
【０１３８】
例えば、画像表示部７０により表示される画像は、図２１に示すような画像になる。図２１において、実線斜線で示されている部分は、赤目位置情報を示す。図２１の場合、赤目検出に成功していると判定部１７１が判定する場合における赤目補正候補領域Ｒ１，Ｒ２，Ｒ３，Ｒ４に対して、赤目位置情報が表示されている。ここで、赤目補正候補領域Ｒ１，Ｒ２，Ｒ３は、適切に判定されている。赤目補正候補領域Ｒ４は、誤判定されている。赤目位置情報とともに赤目補正候補領域Ｒ４が表示されていることを閲覧した利用者は、厳しめに設定するように赤目検出閾値ＴＨ１の変更命令を入力する。
【０１３９】
このように、例えば、赤目補正すべきでない領域が誤判定された場合に、赤目検出閾値ＴＨ１を厳しめに設定しなおすように変更命令が入力される。
【０１４０】
あるいは、例えば、画像表示部７０により表示される画像は、図２２に示すような画像になる。図２２において、実線斜線で示されている部分は、赤目位置情報を示す。図２２の場合、赤目検出に成功していると判定部１７１が判定する場合における赤目補正候補領域Ｒ１，Ｒ２に対して、赤目位置情報が表示されている。ここで、赤目補正候補領域Ｒ１，Ｒ２は、適切に判定されている。赤目補正候補領域Ｒ３は、本来なら赤目検出されるべき領域であり、誤判定されている。赤目位置情報とともに赤目補正候補領域Ｒ４が表示されていることを閲覧した利用者は、緩めに設定するように赤目検出閾値ＴＨ１の変更命令を入力する。
【０１４１】
このように、例えば、赤目補正すべき領域が誤判定された場合に、赤目検出閾値ＴＨ１を緩めに設定しなおすように変更命令が入力される。
【０１４２】
デジタル信号処理部１６０の入力部１０５には、赤目検出閾値ＴＨ１の変更命令が入力される。赤目補正部１６９は、赤目検出部１６７及び判定部１７１を経由して赤目検出閾値ＴＨ１の変更命令を入力部１０５から受け取る。赤目補正部１６９は、赤目検出閾値ＴＨ１の変更命令を受け取った場合、赤目検出閾値の変更命令を受け付けたと判断する。赤目補正部１６９は、赤目検出閾値ＴＨ１の変更命令を受け取っていない場合、赤目検出閾値の変更命令を受け付けていないと判断する。
【０１４３】
赤目検出閾値の変更命令を受け付けたと判断された場合、赤目補正部１６９により変更後の赤目検出閾値ＴＨ１ａが生成され判定部１７１へ渡され、ステップＳ１（図１９、図１８で示す（３））へ進められる。赤目検出閾値の変更命令を受け付けていないと判断された場合、処理が終了する。
【０１４４】
撮影された画像の中において赤目補正すべきでない領域に対して赤目補正されることが低減される点は、第１実施形態と同様である。したがって、このような撮像装置１００によっても、例えば赤目補正は適切に行われる。
【０１４５】
ステップＳ１０５では、判定部１７１が、成功度合い判定処理を行う。具体的には、図２０に示すように、成功度合い判定処理は、次の点で第１実施形態と異なる。
【０１４６】
ステップＳ１５５では、判定部１７１は、変更後の赤目検出閾値ＴＨ１ａを受け取った場合、赤目検出閾値ＴＨ１の代わりに変更後の赤目検出閾値ＴＨ１ａを用いて判定を行う。この点で、図６のステップＳ５５と異なる。
【０１４７】
このように、例えば、赤目補正すべきでない領域が誤判定された場合に、赤目検出閾値ＴＨ１に代えて、厳しめに設定しなおされた赤目検出閾値ＴＨ１ａにより赤目検出に成功したか否かが判定されるようになる。これにより、撮影された画像の中において赤目補正すべきでない領域に対して赤目補正されることがさらに低減される。
【０１４８】
また、例えば、赤目補正すべき領域が誤判定された場合に、赤目検出閾値ＴＨ１に代えて、緩めに設定しなおされた赤目検出閾値ＴＨ１ａにより赤目検出に成功したか否かが判定されるようになる。これにより、撮影された画像の中において赤目補正すべき領域に対して赤目補正されないことも低減される。
【０１４９】
なお、利用者により撮像装置の入力部に入力されるのは、赤目検出閾値ＴＨ１の変更命令である代わりに顔検出閾値ＴＨ２の変更命令であってもよい。あるいは、利用者により撮像装置の入力部に入力されるのは、赤目検出閾値ＴＨ１の変更命令である代わりに赤目検出閾値ＴＨ１及び顔検出閾値ＴＨ２の変更命令であってもよい。
【０１５０】
次に、上述した各実施形態の機能を実現するためのプログラムについて説明する。
【０１５１】
上述した各実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した各実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。
【０１５２】
そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納されたプログラムにしたがって上記の各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。
【０１５３】
また、この場合、上記のソフトウェアのプログラム自体が上述した実施形態の機能を実現することになる。
【０１５４】
また、そのプログラム自体、及びそのプログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。
【０１５５】
かかるプログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１５６】
また、供給されたプログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。
【０１５７】
例えば、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかるプログラムは、本発明の範疇に含まれる。
【０１５８】
さらに、供給されたプログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。
【０１５９】
そして、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかるプログラムは、本発明の範疇に含まれる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の好適な第１実施形態に係る撮像装置の構成図。
【図２】第１実施形態におけるデジタル信号処理部の構成図。
【図３】撮像装置が赤目検出を行う処理の流れを示すフローチャート。
【図４】赤目補正処理を示すフローチャート。
【図５】顔補正処理を示すフローチャート。
【図６】成功度合い判定処理を示すフローチャート。
【図７】成功度合い判定テーブルを示す概念図。
【図８】赤目補正処理を示すフローチャート。
【図９】赤目補正処理を示すフローチャート。
【図１０】画像表示部により表示される画面の一例。
【図１１】画像表示部により表示される画面の一例。
【図１２】撮像装置の背面図の一例。
【図１３】撮像装置の背面図の一例。
【図１４】撮像装置の背面図の一例。
【図１５】撮像装置の背面図の一例。
【図１６】本発明の好適な第２実施形態に係る撮像装置の構成図。
【図１７】第２実施形態におけるデジタル信号処理部の構成図。
【図１８】撮像装置が赤目検出を行う処理の流れを示すフローチャート。
【図１９】撮像装置が赤目検出を行う処理の流れを示すフローチャート。
【図２０】成功度合い判定処理を示すフローチャート。
【図２１】画像表示部により表示される画面の一例。
【図２２】画像表示部により表示される画面の一例。
【符号の説明】
【０１６１】
１，１００ 撮像装置
５，１０５ 入力部
６７，１６７ 赤目検出部
６８，１６８ 顔検出部
６９，１６９ 赤目補正部
７０ 画像表示部
７１，１７１ 判定部
【特許請求の範囲】
【請求項１】
画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、
少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、
前記度合いに基づき、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに順次表示する表示部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示部は、前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに順次表示する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記削除候補の削除を指定させる命令である削除命令が入力される入力部と、
前記複数の赤目補正候補領域において、前記削除命令で指定された赤目補正候補領域を除く赤目補正候補領域を赤目補正する赤目補正部と、
をさらに備えたことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像の中から被写体の顔として認識された領域である複数の顔候補領域を検出するとともに、検出された顔候補領域の顔らしさを示す顔検出信頼度を各前記顔候補領域に対して生成する顔検出部をさらに備え、
前記判定部は、赤目補正候補領域の前記赤目検出信頼度と、赤目補正領域を含む顔候補領域の前記顔検出信頼度とに基づいて、前記度合いを判定する
請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出ステップと、
少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定ステップと、
前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに表示する表示ステップと、
を備えたことを特徴とする撮像方法。
【請求項６】
請求項５に記載の撮像方法を撮像装置に行わせる
ことを特徴とする撮像プログラム。
【請求項７】
画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、
少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、
前記度合いに基づき、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに順次表示する表示部と、
を備えたことを特徴とする画像処理装置。
【請求項１】
画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、
少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、
前記度合いに基づき、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに順次表示する表示部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示部は、前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに順次表示する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記削除候補の削除を指定させる命令である削除命令が入力される入力部と、
前記複数の赤目補正候補領域において、前記削除命令で指定された赤目補正候補領域を除く赤目補正候補領域を赤目補正する赤目補正部と、
をさらに備えたことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像の中から被写体の顔として認識された領域である複数の顔候補領域を検出するとともに、検出された顔候補領域の顔らしさを示す顔検出信頼度を各前記顔候補領域に対して生成する顔検出部をさらに備え、
前記判定部は、赤目補正候補領域の前記赤目検出信頼度と、赤目補正領域を含む顔候補領域の前記顔検出信頼度とに基づいて、前記度合いを判定する
請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出ステップと、
少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定ステップと、
前記度合いが低い順番に、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに表示する表示ステップと、
を備えたことを特徴とする撮像方法。
【請求項６】
請求項５に記載の撮像方法を撮像装置に行わせる
ことを特徴とする撮像プログラム。
【請求項７】
画像の中から、赤目補正を行う候補となる領域である複数の赤目補正候補領域を検出するとともに、検出された赤目補正候補領域の赤目らしさを示す赤目検出信頼度を各前記赤目補正候補領域に対して生成する赤目検出部と、
少なくとも前記赤目検出信頼度に基づいて、検出することに成功している度合いを各前記赤目補正候補領域に対して判定する判定部と、
前記度合いに基づき、前記複数の赤目補正候補領域において赤目補正の対象から削除すべき候補となる赤目補正候補領域である削除候補を前記画像とともに順次表示する表示部と、
を備えたことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００８−２２５０２（Ｐ２００８−２２５０２Ａ）
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００６−１９４８８８（Ｐ２００６−１９４８８８）
【出願日】平成１８年７月１４日（２００６．７．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１８年７月１４日（２００６．７．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]