画像処理装置
【課題】一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能な画像処理装置を提供すること。
【解決手段】顔検出部１２は、画像から顔領域および顔の傾きを検出する。目領域検出部１３は、顔検出部１２によって検出された顔領域から目領域を検出する。赤目検出部１４は、目領域検出部１３によって検出された目領域から赤目領域を検出する。赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色補正を行なう。目領域検出部１３は、一方の目領域のみしか検出できなかった場合に、一方の目領域と顔検出部１２によって検出された顔の傾きとから他方の目領域を検出する。したがって、一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能となる。
【解決手段】顔検出部１２は、画像から顔領域および顔の傾きを検出する。目領域検出部１３は、顔検出部１２によって検出された顔領域から目領域を検出する。赤目検出部１４は、目領域検出部１３によって検出された目領域から赤目領域を検出する。赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色補正を行なう。目領域検出部１３は、一方の目領域のみしか検出できなかった場合に、一方の目領域と顔検出部１２によって検出された顔の傾きとから他方の目領域を検出する。したがって、一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔の器官を検出する技術に関し、特に、検出した目の赤目現象を補正する画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルスチールカメラ、デジタルビデオカメラ、携帯電話などのカメラセンサを搭載した機器が広く普及している。このような機器においては、カメラセンサによって得られた画像に対して画像処理や画像認識処理を行なうことにより、様々な機能をユーザに提供することができる。
【０００３】
たとえば、カメラセンサによって得られた画像から人物の顔を検出し、顔の各器官（部位）を抽出することによって、赤目現象を補正したりすることができる。ここで、赤目現象とは、フラッシュ撮影をしたときに人物や動物の目が赤く写る現象のことであり、フラッシュの光が高速であるのに対し瞳孔が閉じるのが遅いため光が目の網膜を反射して赤く撮像されることに起因する。
【０００４】
赤目補正機能は、この赤目現象が生じた静止画像を自然な目の色にデジタル的に補正する機能である。従来、赤目補正を行なうには、ユーザが赤目の位置をマウスクリックなどで指定することで位置を認識し補正していたが、近年はユーザの手間をかけずに自動的に静止画像から赤目の位置を検出して補正する技術が開発されている。これに関連する技術として、下記の特許文献１〜７に開示された発明および非特許文献１に開示された技術がある。
【０００５】
特許文献１は、自動的な赤目欠陥検出方法を提供することを目的とする。画像内の対称のフラッシュ照明による目の色の欠陥を検出するコンピュータプログラム製品であって、コンピュータが読み込み可能な記憶媒体を含む。この記憶媒体は、デジタルイメージ内の肌色領域を検出するステップと、肌色領域の赤目欠陥の色特徴を持つ画素の集合を検索するステップと、検索ステップで発見された赤目欠陥の位置に基づき画素の色を訂正するステップとを実行するコンピュータプログラムを記憶する。
【０００６】
特許文献２は、画像における器官領域の設定処理の精度向上および効率化を図ることを可能とすることを目的とする。画像処理装置は、顔領域の検出を行う顔領域検出部と、顔領域の検出結果に基づき顔領域が真に顔の画像に対応する画像領域であることの確からしさを表す顔領域信頼度を算出する顔領域信頼度算出部と、顔領域信頼度に基づき顔領域における器官領域の設定方法を決定する設定方法決定部と、決定された設定方法で器官領域を設定する器官領域設定部とを備える。
【０００７】
特許文献３は、比較的短い処理時間により顔に含まれる目等の構成部品の位置を識別することを目的とする。特徴量算出部が識別対象画像の特徴量を算出する。目の位置を所定の許容度を持って正規化した多数の顔画像および顔でない画像の特徴量について学習を行った第１の参照データを参照して、識別対象画像から算出した特徴量に基づいて、識別対象画像に顔が含まれるか否かを第１の識別部が識別する。顔が含まれる場合、目の位置を所定の許容度よりも小さい許容度を持って正規化した多数の顔画像および顔でない画像の特徴量について学習を行った第２の参照データを参照して、顔に含まれる目の位置を第２の識別部が識別する。
【０００８】
特許文献４は、画像中の赤目を検出する際に、片目のみが赤目の場合と電飾などとを区別して、赤目のみを検出できるようにすることを目的とする。赤目候補検出部において赤目候補として検出されたのにも拘わらず、赤目ペア特定部において赤目のペアとして特定されなかったために、ペア赤目候補検証部においてペアの特徴を利用して真の赤目か否かを検証することができない孤立した赤目候補に対し、孤立赤目候補検証部において別途真の赤目か否かの検証を行って、検出漏れや誤検出を防止する。
【０００９】
特許文献５は、赤目が検出される画像部分によって表される被写体の種類を考慮して赤目を検出することができる技術を提供することを目的とする。対象画像における人物の目の画像を含む器官領域を検出し、そして、器官領域を利用して赤目の画像を含む赤目領域を検出する。ここで、器官領域から第１検出処理に従って赤目領域を検出する。対象画像から器官領域を除いた残りの領域からは、第１検出処理とは異なる第２検出処理に従って赤目領域を検出する。
【００１０】
特許文献６は、顔を撮影した画像からその顔に含まれる赤目領域を適切に抽出することを目的とする。記録メディア等の記録媒体や撮像部から入力された画像データに含まれる顔を検出するとともにその検出された顔に含まれる目領域を設定する画像処理装置において、その目領域において左右方向の各ラインにおける色差の値を抽出するとともに抽出された色差の値の変化の態様に基づいて左右方向の各ラインにおける赤目領域候補を抽出する。さらに、抽出された赤目領域候補からノイズが除去された後に存在する赤目領域候補に基づいて設定された範囲内を上下方向の各ラインにおける色差の値を抽出するとともに抽出された色差の値の変化の態様に基づいて上下方向の各ラインにおける赤目領域候補を抽出し、左右方向および上下方向の各ラインにおける赤目領域候補に基づいて目領域に含まれる赤目領域を設定する。
【００１１】
特許文献７は、目を閉じている場合等でも顔の傾きを補正することが可能な装置を実現することを目的とする。画像回転手段は、回転角度指定手段で指定された角度で顔の画像データを回転する。回転画像記憶手段は画像回転手段で回転された顔の画像データを記憶する。中心線算出手段は、回転画像記憶手段に記憶された回転画像より、顔の対称性に基づいてその中心線を算出し、その時の中心線らしさの度合を出力する。傾き決定手段は、回転角度指定手段が指定したそれぞれの角度に対して、中心線算出手段が出力した中心線らしさの度合を監視し、最も中心線らしさの度合の高い角度を検出して顔の傾きを決定する。
【００１２】
非特許文献１は、人物の顔を検出する手法を提案しており、高い識別性能と高速な処理性能とを両立している。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０００−１２５３２０号公報
【特許文献２】特開２００９−２３７８５７号公報
【特許文献３】特開２００５−１０８１９７号公報
【特許文献４】特開２００５−３１６９７３号公報
【特許文献５】特開２００９−２３７６６１号公報
【特許文献６】特開２００８−１２９６６５号公報
【特許文献７】特開平０９−１７１５６０号公報
【非特許文献】
【００１４】
【非特許文献１】P. Viola and M. Jones, "Robust real time object detection," In IEEE ICCV Workshop on Statistical and Computational Theories of Vision, July 2001.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、上述の特許文献１〜６に開示された発明を用いて赤目領域を検出したときに、一方の赤目領域候補しか検出されなかった場合には、他方の赤目領域が画像に存在していたとしても検出することができないといった問題点があった。
【００１６】
本発明は、上記問題点を解決するためになされたものであり、その目的は、一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明の一実施例によれば、人物の顔領域内の赤目領域を検出して色補正を行なう画像処理装置が提供される。顔検出部は、画像から顔領域および顔の傾きを検出する。目領域検出部は、顔検出部によって検出された顔領域から目領域を検出する。赤目検出部は、目領域検出部によって検出された目領域から赤目領域を検出する。赤目画像補正部は、赤目検出部によって検出された赤目領域の色補正を行なう。目領域検出部は、一方の目領域のみしか検出できなかった場合に、一方の目領域と顔検出部によって検出された顔の傾きとから他方の目領域を検出する。
【発明の効果】
【００１８】
本発明の一実施例によれば、目領域検出部が、一方の目領域のみしか検出できなかった場合に、一方の目領域と顔検出部によって検出された顔の傾きとから他方の目領域を検出するので、一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態における画像処理装置を含んだシステムの一例であるデジタルカメラの構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における赤目補正装置６の機能的構成を示すブロック図である。
【図３】顔検出部１２によって検出された顔領域を説明するための図である。
【図４】顔の傾き情報を説明するための図である。
【図５】顔の傾き情報の検出の一例を示す図である。
【図６】目領域検出部１３が目領域を検出する際に用いられる目領域のパターンを示す図である。
【図７】赤目領域の検出を説明するための図である。
【図８】本発明の第１の実施の形態における赤目補正装置６の処理手順を説明するためのフローチャートである。
【図９】検出された片側の目領域からもう一方の目領域を検出する処理を説明するための図である。
【図１０】顔の向きを用いてもう一方の目領域を求める場合を説明するための図である。
【図１１】赤目領域の一例を示す図である。
【図１２】本発明の第２の実施の形態における赤目補正の方法を説明するための図である。
【発明を実施するための形態】
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置を含んだシステムの一例であるデジタルカメラの構成例を示すブロック図である。このデジタルカメラは、カメラＩ／Ｆ（Interface）１と、ＣＰＵ（Central Processing Unit）２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３と、ＲＯＭ（Read Only Memory）４と、ユーザ操作入力装置５と、画像処理装置の一例である赤目補正装置６と、ＬＣＤ Ｉ／Ｆ７と、カードＩ／Ｆ８とを含み、これらがバス９を介して接続されている。
【００２１】
カメラＩ／Ｆ１は、カメラセンサに接続されており、カメラセンサによって撮像された画像を受け、ＳＤＲＡＭ３やカードＩ／Ｆ８を介して接続される図示しないＳＤメモリカードなどにその画像を書き込む。
【００２２】
ＣＰＵ２は、ＳＤＲＡＭ３やＲＯＭ４に記憶されるプログラムを実行することによって、システム全体の制御を行なう。また、図１においては、赤目補正装置６をハードウェアによって実現する場合の構成を示しているが、ＣＰＵ２がＳＤＲＡＭ３やＲＯＭ４に記憶される赤目補正プログラムを実行することによって、赤目補正装置６の機能を実現するようにしてもよい。
【００２３】
ＲＯＭ４は、後述のように、顔の傾き情報を検出する際に用いられる顔傾きのモデルパターンやしきい値、目領域を検出する際に用いられる様々な目領域パターンなどの情報を記憶する。
【００２４】
ユーザ操作入力装置５は、シャッターボタンなどによって構成され、シャッターボタンが押されたときに、割り込みなどによってその旨をＣＰＵ２に通知する。ＣＰＵ２は、割り込み要求を受けると、カメラＩ／Ｆ１を制御してカメラセンサによって撮像された画像をＳＤＲＡＭ３などに格納する。
【００２５】
赤目補正装置６は、ＳＤＲＡＭ３や図示しないＳＤメモリカードなどに記憶される撮像画像から人物の顔を検出し、その位置情報およびサイズなどを検出する。そして、検出された顔領域から走査領域を抽出し、その走査領域内を走査することによって目領域および赤目領域を検出し、赤目領域の補正処理を行なう。この赤目領域補正装置６の詳細については、後述する。
【００２６】
ＬＣＤ Ｉ／Ｆ７は、図示しないＬＣＤパネルに接続され、ＬＣＤの表示の制御などを行なう。カメラセンサによって撮影された画像をプレビューとしてＬＣＤに表示する。ユーザがその画像を見て赤目補正を行ないたいと考えると、ユーザ操作入力部５を操作することによって赤目補正の実行が指示される。
【００２７】
カードＩ／Ｆ８は、ＳＤメモリカードなどの外部の記録媒体に接続され、記録媒体に対するデータの読み出しや書き込みを行なう。たとえば、赤目補正された画像が一旦ＳＤＲＡＭ３に格納され、そしてカードＩ／Ｆ８を介して外部の記録媒体に記録される。
【００２８】
図２は、本発明の第１の実施の形態における赤目補正装置６の機能的構成を示すブロック図である。この赤目補正装置６は、画像入力部１１と、顔検出部１２と、目領域検出部１３と、赤目検出部１４と、赤目画像補正部１５とを含む。
【００２９】
画像入力部１１は、ＳＤＲＡＭ３や外部の記録媒体に格納される静止画像を１枚入力する。
【００３０】
顔検出部１２は、画像入力部１１によって入力された静止画像内の人物の顔領域を検出する。人物の顔を検出する手法は種々提案されており、本実施の形態においては、たとえば非特許文献１に開示されたViolaらが提案する手法を用いることとするが、この手法に限定されるものではない。
【００３１】
図３は、顔検出部１２によって検出された顔領域を説明するための図である。領域２１が、顔検出部１２によって検出された顔領域を示している。
【００３２】
目領域検出部１３は、顔検出部１２によって検出された顔領域内の２つの目領域を検出する。図３においては、領域２２および２３が目領域検出部１３によって検出された目領域を示している。
【００３３】
赤目検出部１４は、目領域検出部１３によって検出された目領域から赤目領域を検出する。図３においては、領域２４および２５が赤目検出部１４によって検出された赤目領域を示している。
【００３４】
赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色を自然な目の色に補正する。
【００３５】
顔検出部１２は、画像内の人物の顔領域を検出するときに、顔のメタ情報も出力する。顔のメタ情報とは、たとえば画像内における顔の傾きや顔の向きなどの情報である。
【００３６】
図４は、顔の傾き情報を説明するための図である。図４（ａ）および図４（ｂ）は、人物が正面を向いている場合を示しており、顔の中心線３４および３５によって顔の傾きを求めることができる。また、図４（ｃ）は、人物が横を向いている場合を示しており、正面を向いている場合と同様に、中心線３６によって顔の傾きを求めることができる。
【００３７】
図４（ａ）〜図４（ｃ）に示すように、顔領域３１〜３３において、目や眉などの顔器官が中心線３４〜３６に対して水平位置に存在する。後述のように、本実施の形態における赤目補正装置６は、このような顔器官が中心線に対して水平位置に存在するといった特性を利用するものである。
【００３８】
顔の傾き情報を検出する方法として、様々な方法が提案されている。図５は、顔の傾き情報の検出の一例を示す図である。図５（ａ）は、画像入力部１１によって入力された静止画像を示している。
【００３９】
また、図５（ｂ）〜図５（ｅ）は、図５（ａ）に示す顔領域４１の顔の傾きを検出するための様々な顔傾きのモデルパターンを示している。顔検出部１２は、図５に示す顔領域４１と、図５（ｂ）〜図５（ｅ）に示す顔傾きのモデルパターン４２〜４５とのパターンマッチングを行ない、一致度があるしきい値以上であり、かつ最も一致度が高いモデルパターンの顔傾きを、図５（ａ）に示す顔の傾きと判定する。また、上述の特許文献７に示す顔の傾き検出方法を用いるようにしてもよい。
【００４０】
図６は、目領域検出部１３が目領域を検出する際に用いられる目領域のパターンを示す図である。領域５１は、画像入力部１１によって入力された静止画像に含まれる目領域を示している。また、領域５２〜５５は、目領域を検出する際に用いられる目領域のパターンを示している。
【００４１】
目領域検出部１３は、中心線に対して顔領域を左右の２つの領域に分け、それぞれの領域に対して１画素ずつスキャンしながらパターン５２〜５５との一致度を計算する。そして、目領域検出部１３は、一致度があるしきい値以上であり、かつ最も一致度が高い領域を目領域と判定する。
【００４２】
目領域検出部１３によって検出された目領域の中心に必ず赤目領域があるとは限らないため、赤目検出部１４は、目領域検出部１３によって検出された目領域の中で、周囲と比べて赤目らしさが大きい領域を赤目領域として検出する。ここで、赤目らしさとは、画像の色情報の色情報である赤、緑、青の割合や、彩度情報のことである。
【００４３】
図７は、赤目領域の検出を説明するための図である。領域６１は、赤目領域の周辺を含んだ領域を示している。領域６２は、赤目領域を示している。領域６２の平均赤目らしさをＲａ、領域６１の平均赤目らしさをＲｂとしたとき、Ｒａ／Ｒｂが目領域の中で最も大きい領域を赤目領域と判定する。
【００４４】
ここで、領域６２の赤目らしさは、領域６３のキャッチライト領域の赤目らしさを除いた値としてもよい。キャッチライト領域とは、フラッシュ撮影したときに瞳に写っている白い光のことであり、この領域を赤目領域に含めると正確に赤目領域を検出できない場合があるためである。
【００４５】
赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色差成分を減じることによって、赤目領域の色を黒目に近づけるような補正を行なう。
【００４６】
図８は、本発明の第１の実施の形態における赤目補正装置６の処理手順を説明するためのフローチャートである。まず、画像入力部１１が、ＳＤＲＡＭ３や外部の記録媒体に格納される静止画像を１枚入力する（Ｓ１１）。
【００４７】
次に、顔検出部１２が、画像入力部１１によって入力された画像に対して人物の顔検出処理を行なうことにより顔領域を検出する（Ｓ１２）。そして、顔領域が存在するか否かを判定する（Ｓ１３）。
【００４８】
顔領域が存在しない場合には（Ｓ１３，Ｎｏ）、処理を終了する。また、顔領域が存在する場合には（Ｓ１３，Ｙｅｓ）、目領域検出部１３が顔領域の中心線の左右の２つの領域に対してパターンマッチングを行ない、目領域の検出処理を行なう（Ｓ１４）。そして、検出した目領域を赤目探索領域として設定する（Ｓ１５）。
【００４９】
次に、目領域検出部１３によって検出された目領域が片側だけであるか否かが判定される（Ｓ１６）。両方の目領域が検出されている場合には（Ｓ１６，Ｎｏ）、ステップＳ１８に処理が進む。
【００５０】
また、片側の目領域のみが検出されている場合には（Ｓ１６，Ｙｅｓ）、目領域検出部１３は、検出した片側の目領域と、顔のメタ情報（顔の傾き情報、顔の向き情報）とを用いてもう一方の赤目探索領域を設定する（Ｓ１７）。
【００５１】
図９は、検出された片側の目領域からもう一方の目領域を検出する処理を説明するための図である。図９（ａ）は、顔領域７１の中から検出された片側の目領域７３を示している。なお、領域７４は、赤目領域を示している。
【００５２】
目領域検出部１３は、検出した片側の目領域７３と、顔の傾き情報（顔の中心線）７２とから、図９（ｂ）に示すように新たに赤目探索領域（もう一方の目領域）７５を設定する。これは、左右の赤目領域が顔の中心線に対して対称に存在することを利用している。なお、領域７６は、赤目領域を示している。
【００５３】
同様に、図９（ｃ）は、顔領域８１の中から検出された片側の目領域８３を示している。また、図９（ｄ）は、目領域検出部１３によって設定されたもう一方の赤目探索領域８５を示している。なお、領域８４および８６は、赤目領域を示している。
【００５４】
目領域検出部１３は、顔領域７１または８１と、メタ情報である顔の中心線７２または８２とから、ＲＯＭ４などに格納される統計情報を用いてもう一方の赤目探索領域７５または８５を求めるようにしてもよい。この統計情報は予め静的に求められており、大量の画像サンプルによって得られる顔領域７１、８１と、２つの目の位置関係とから求められる拘束条件である。
【００５５】
また、顔検出部１２から出力される顔のメタ情報である顔の向きと、両目の位置関係とを予め統計的に求めておき、目領域検出部１３が、検出した片側の目領域の位置および大きさと顔の向きとから、統計情報を用いることによってもう一方の目領域を求めることも可能である。
【００５６】
図１０は、顔の向きを用いてもう一方の目領域を求める場合を説明するための図である。顔領域９１に対して片側の目領域９２が検出されている場合、顔の向き情報からもう一方の目領域９３を統計情報に基づいて求める。
【００５７】
赤目検出部１４は、目領域検出部１３によって検出された２つの赤目探索領域のそれぞれから赤目の位置（赤目領域）を検出する（Ｓ１８）。そして、赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色補正を行なって（Ｓ１９）、処理を終了する。
【００５８】
以上説明したように、本実施の形態における赤目補正装置によれば、目領域検出部１３は、片側の目領域のみしか検出できなかった場合に、その目領域と顔のメタ情報（顔の傾き情報、顔の向き）を用いてもう一方の目領域を検出するようにした。したがって、一方の目領域しか検出できなかった場合でも、両目の赤目補正を行なうことが可能となった。
【００５９】
また、片側の目領域の位置と顔のメタ情報とからもう一方の目領域を求めるようにしたので、処理負荷を軽減できると共に、高精度で赤目検出を行なうことが可能となった。
【００６０】
（第２の実施の形態）
本発明の第１の実施の形態においては、赤目補正を行なう際に赤目領域の色差成分を一律に減じることによって、赤目領域の色補正を行なっていたが、第２の実施の形態においては、赤目領域の座標に応じて赤目補正を行なうことにより自然な赤目補正を行なうものである。本実施の形態における赤目補正装置の構成および処理手順は、図２および図８に示す第１の実施の形態における赤目補正装置の構成および処理手順と同様である。したがって、重複する構成および機能の詳細な説明は繰り返さない。
【００６１】
図１１は、赤目領域の一例を示す図である。図１１に示すように、赤目画像補正部１５は、赤目領域１０２内の赤目１０１の画素値を補正するが、統計的に見て赤目１０１は真円でない。また、赤目領域１０２の中心点１０３が、補正すべき赤目１０１の中心点とは限らない。
【００６２】
図１２は、本発明の第２の実施の形態における赤目補正の方法を説明するための図である。顔検出部１２によって検出された顔の傾き情報（中心線）１１１に対して、図１２に示すように、目器官１１２、対象の赤目１１３、赤目領域１１４があるとする。ここで、赤目領域１１４の中心点を通るように、顔の傾き１１１に対して垂直な軸１１５と水平な軸１１６とを有する座標空間を設定する。
【００６３】
赤目画像補正部１５は、赤目領域１１４内の各画素１１７に対して、その座標空間におけるｘ座標値、ｙ座標値に応じて補正レベルを決定する。たとえば、補正レベルＬｅｖｅｌは、その座標空間における画素値の座標（ｘ，ｙ）から、次式（１）によって算出される。ここで、ａ１、ａ２、ｂ１、ｂ２は、予め大量の画像サンプルから統計的に算出された値であり、ＲＯＭ４などに予め格納しておき、赤目補正時に用いられる。
【００６４】
【数１】
【００６５】
赤目画像補正部１５は、赤目領域１１４内の各画素１１７に対して、画素の色差成分Ｃｘ，ｙの値を補正レベルＬｅｖｅｌｘ，ｙの値に応じて、次式のように補正する。
【００６６】
Ｃ’ｘ，ｙ＝（Ｌｅｖｅｌｘ，ｙ÷ＬｅｖｅｌＭＡＸ）×Ｃｘ，ｙ ・・・（２）
ここで、Ｃ’ｘ，ｙは、補正後の色差成分の値であり、ＬｅｖｅｌＭＡＸは、赤目領域１１４の大きさや顔検出部１２によって検出された顔領域の大きさから定められる、補正レベルの最大値である。画素（ｘ，ｙ）が赤目の中心に近いほど補正レベルは小さく、色差成分が大きく減じられて黒目に近づくことになる。
【００６７】
以上説明したように、本実施の形態における赤目補正装置によれば、赤目領域内の色補正を赤目領域の各画素の座標に応じて行なうようにしたので、処理負荷を軽減することができ、高速に自然な赤目補正を行なうことが可能となった。
【００６８】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６９】
１ カメラＩ／Ｆ、２ ＣＰＵ、３ ＳＤＲＡＭ、４ ＲＯＭ、５ ユーザ操作入力装置、６ 赤目補正装置、７ ＬＣＤ Ｉ／Ｆ、８ カードＩ／Ｆ、９ バス、１１ 画像入力部、１２ 顔検出部、１３ 目領域検出部、１４ 赤目検出部、１５ 赤目画像補正部。
【技術分野】
【０００１】
本発明は、人物の顔の器官を検出する技術に関し、特に、検出した目の赤目現象を補正する画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルスチールカメラ、デジタルビデオカメラ、携帯電話などのカメラセンサを搭載した機器が広く普及している。このような機器においては、カメラセンサによって得られた画像に対して画像処理や画像認識処理を行なうことにより、様々な機能をユーザに提供することができる。
【０００３】
たとえば、カメラセンサによって得られた画像から人物の顔を検出し、顔の各器官（部位）を抽出することによって、赤目現象を補正したりすることができる。ここで、赤目現象とは、フラッシュ撮影をしたときに人物や動物の目が赤く写る現象のことであり、フラッシュの光が高速であるのに対し瞳孔が閉じるのが遅いため光が目の網膜を反射して赤く撮像されることに起因する。
【０００４】
赤目補正機能は、この赤目現象が生じた静止画像を自然な目の色にデジタル的に補正する機能である。従来、赤目補正を行なうには、ユーザが赤目の位置をマウスクリックなどで指定することで位置を認識し補正していたが、近年はユーザの手間をかけずに自動的に静止画像から赤目の位置を検出して補正する技術が開発されている。これに関連する技術として、下記の特許文献１〜７に開示された発明および非特許文献１に開示された技術がある。
【０００５】
特許文献１は、自動的な赤目欠陥検出方法を提供することを目的とする。画像内の対称のフラッシュ照明による目の色の欠陥を検出するコンピュータプログラム製品であって、コンピュータが読み込み可能な記憶媒体を含む。この記憶媒体は、デジタルイメージ内の肌色領域を検出するステップと、肌色領域の赤目欠陥の色特徴を持つ画素の集合を検索するステップと、検索ステップで発見された赤目欠陥の位置に基づき画素の色を訂正するステップとを実行するコンピュータプログラムを記憶する。
【０００６】
特許文献２は、画像における器官領域の設定処理の精度向上および効率化を図ることを可能とすることを目的とする。画像処理装置は、顔領域の検出を行う顔領域検出部と、顔領域の検出結果に基づき顔領域が真に顔の画像に対応する画像領域であることの確からしさを表す顔領域信頼度を算出する顔領域信頼度算出部と、顔領域信頼度に基づき顔領域における器官領域の設定方法を決定する設定方法決定部と、決定された設定方法で器官領域を設定する器官領域設定部とを備える。
【０００７】
特許文献３は、比較的短い処理時間により顔に含まれる目等の構成部品の位置を識別することを目的とする。特徴量算出部が識別対象画像の特徴量を算出する。目の位置を所定の許容度を持って正規化した多数の顔画像および顔でない画像の特徴量について学習を行った第１の参照データを参照して、識別対象画像から算出した特徴量に基づいて、識別対象画像に顔が含まれるか否かを第１の識別部が識別する。顔が含まれる場合、目の位置を所定の許容度よりも小さい許容度を持って正規化した多数の顔画像および顔でない画像の特徴量について学習を行った第２の参照データを参照して、顔に含まれる目の位置を第２の識別部が識別する。
【０００８】
特許文献４は、画像中の赤目を検出する際に、片目のみが赤目の場合と電飾などとを区別して、赤目のみを検出できるようにすることを目的とする。赤目候補検出部において赤目候補として検出されたのにも拘わらず、赤目ペア特定部において赤目のペアとして特定されなかったために、ペア赤目候補検証部においてペアの特徴を利用して真の赤目か否かを検証することができない孤立した赤目候補に対し、孤立赤目候補検証部において別途真の赤目か否かの検証を行って、検出漏れや誤検出を防止する。
【０００９】
特許文献５は、赤目が検出される画像部分によって表される被写体の種類を考慮して赤目を検出することができる技術を提供することを目的とする。対象画像における人物の目の画像を含む器官領域を検出し、そして、器官領域を利用して赤目の画像を含む赤目領域を検出する。ここで、器官領域から第１検出処理に従って赤目領域を検出する。対象画像から器官領域を除いた残りの領域からは、第１検出処理とは異なる第２検出処理に従って赤目領域を検出する。
【００１０】
特許文献６は、顔を撮影した画像からその顔に含まれる赤目領域を適切に抽出することを目的とする。記録メディア等の記録媒体や撮像部から入力された画像データに含まれる顔を検出するとともにその検出された顔に含まれる目領域を設定する画像処理装置において、その目領域において左右方向の各ラインにおける色差の値を抽出するとともに抽出された色差の値の変化の態様に基づいて左右方向の各ラインにおける赤目領域候補を抽出する。さらに、抽出された赤目領域候補からノイズが除去された後に存在する赤目領域候補に基づいて設定された範囲内を上下方向の各ラインにおける色差の値を抽出するとともに抽出された色差の値の変化の態様に基づいて上下方向の各ラインにおける赤目領域候補を抽出し、左右方向および上下方向の各ラインにおける赤目領域候補に基づいて目領域に含まれる赤目領域を設定する。
【００１１】
特許文献７は、目を閉じている場合等でも顔の傾きを補正することが可能な装置を実現することを目的とする。画像回転手段は、回転角度指定手段で指定された角度で顔の画像データを回転する。回転画像記憶手段は画像回転手段で回転された顔の画像データを記憶する。中心線算出手段は、回転画像記憶手段に記憶された回転画像より、顔の対称性に基づいてその中心線を算出し、その時の中心線らしさの度合を出力する。傾き決定手段は、回転角度指定手段が指定したそれぞれの角度に対して、中心線算出手段が出力した中心線らしさの度合を監視し、最も中心線らしさの度合の高い角度を検出して顔の傾きを決定する。
【００１２】
非特許文献１は、人物の顔を検出する手法を提案しており、高い識別性能と高速な処理性能とを両立している。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０００−１２５３２０号公報
【特許文献２】特開２００９−２３７８５７号公報
【特許文献３】特開２００５−１０８１９７号公報
【特許文献４】特開２００５−３１６９７３号公報
【特許文献５】特開２００９−２３７６６１号公報
【特許文献６】特開２００８−１２９６６５号公報
【特許文献７】特開平０９−１７１５６０号公報
【非特許文献】
【００１４】
【非特許文献１】P. Viola and M. Jones, "Robust real time object detection," In IEEE ICCV Workshop on Statistical and Computational Theories of Vision, July 2001.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、上述の特許文献１〜６に開示された発明を用いて赤目領域を検出したときに、一方の赤目領域候補しか検出されなかった場合には、他方の赤目領域が画像に存在していたとしても検出することができないといった問題点があった。
【００１６】
本発明は、上記問題点を解決するためになされたものであり、その目的は、一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明の一実施例によれば、人物の顔領域内の赤目領域を検出して色補正を行なう画像処理装置が提供される。顔検出部は、画像から顔領域および顔の傾きを検出する。目領域検出部は、顔検出部によって検出された顔領域から目領域を検出する。赤目検出部は、目領域検出部によって検出された目領域から赤目領域を検出する。赤目画像補正部は、赤目検出部によって検出された赤目領域の色補正を行なう。目領域検出部は、一方の目領域のみしか検出できなかった場合に、一方の目領域と顔検出部によって検出された顔の傾きとから他方の目領域を検出する。
【発明の効果】
【００１８】
本発明の一実施例によれば、目領域検出部が、一方の目領域のみしか検出できなかった場合に、一方の目領域と顔検出部によって検出された顔の傾きとから他方の目領域を検出するので、一方の目領域しか検出できなかった場合でも両目の赤目補正を行なうことが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態における画像処理装置を含んだシステムの一例であるデジタルカメラの構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における赤目補正装置６の機能的構成を示すブロック図である。
【図３】顔検出部１２によって検出された顔領域を説明するための図である。
【図４】顔の傾き情報を説明するための図である。
【図５】顔の傾き情報の検出の一例を示す図である。
【図６】目領域検出部１３が目領域を検出する際に用いられる目領域のパターンを示す図である。
【図７】赤目領域の検出を説明するための図である。
【図８】本発明の第１の実施の形態における赤目補正装置６の処理手順を説明するためのフローチャートである。
【図９】検出された片側の目領域からもう一方の目領域を検出する処理を説明するための図である。
【図１０】顔の向きを用いてもう一方の目領域を求める場合を説明するための図である。
【図１１】赤目領域の一例を示す図である。
【図１２】本発明の第２の実施の形態における赤目補正の方法を説明するための図である。
【発明を実施するための形態】
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置を含んだシステムの一例であるデジタルカメラの構成例を示すブロック図である。このデジタルカメラは、カメラＩ／Ｆ（Interface）１と、ＣＰＵ（Central Processing Unit）２と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３と、ＲＯＭ（Read Only Memory）４と、ユーザ操作入力装置５と、画像処理装置の一例である赤目補正装置６と、ＬＣＤ Ｉ／Ｆ７と、カードＩ／Ｆ８とを含み、これらがバス９を介して接続されている。
【００２１】
カメラＩ／Ｆ１は、カメラセンサに接続されており、カメラセンサによって撮像された画像を受け、ＳＤＲＡＭ３やカードＩ／Ｆ８を介して接続される図示しないＳＤメモリカードなどにその画像を書き込む。
【００２２】
ＣＰＵ２は、ＳＤＲＡＭ３やＲＯＭ４に記憶されるプログラムを実行することによって、システム全体の制御を行なう。また、図１においては、赤目補正装置６をハードウェアによって実現する場合の構成を示しているが、ＣＰＵ２がＳＤＲＡＭ３やＲＯＭ４に記憶される赤目補正プログラムを実行することによって、赤目補正装置６の機能を実現するようにしてもよい。
【００２３】
ＲＯＭ４は、後述のように、顔の傾き情報を検出する際に用いられる顔傾きのモデルパターンやしきい値、目領域を検出する際に用いられる様々な目領域パターンなどの情報を記憶する。
【００２４】
ユーザ操作入力装置５は、シャッターボタンなどによって構成され、シャッターボタンが押されたときに、割り込みなどによってその旨をＣＰＵ２に通知する。ＣＰＵ２は、割り込み要求を受けると、カメラＩ／Ｆ１を制御してカメラセンサによって撮像された画像をＳＤＲＡＭ３などに格納する。
【００２５】
赤目補正装置６は、ＳＤＲＡＭ３や図示しないＳＤメモリカードなどに記憶される撮像画像から人物の顔を検出し、その位置情報およびサイズなどを検出する。そして、検出された顔領域から走査領域を抽出し、その走査領域内を走査することによって目領域および赤目領域を検出し、赤目領域の補正処理を行なう。この赤目領域補正装置６の詳細については、後述する。
【００２６】
ＬＣＤ Ｉ／Ｆ７は、図示しないＬＣＤパネルに接続され、ＬＣＤの表示の制御などを行なう。カメラセンサによって撮影された画像をプレビューとしてＬＣＤに表示する。ユーザがその画像を見て赤目補正を行ないたいと考えると、ユーザ操作入力部５を操作することによって赤目補正の実行が指示される。
【００２７】
カードＩ／Ｆ８は、ＳＤメモリカードなどの外部の記録媒体に接続され、記録媒体に対するデータの読み出しや書き込みを行なう。たとえば、赤目補正された画像が一旦ＳＤＲＡＭ３に格納され、そしてカードＩ／Ｆ８を介して外部の記録媒体に記録される。
【００２８】
図２は、本発明の第１の実施の形態における赤目補正装置６の機能的構成を示すブロック図である。この赤目補正装置６は、画像入力部１１と、顔検出部１２と、目領域検出部１３と、赤目検出部１４と、赤目画像補正部１５とを含む。
【００２９】
画像入力部１１は、ＳＤＲＡＭ３や外部の記録媒体に格納される静止画像を１枚入力する。
【００３０】
顔検出部１２は、画像入力部１１によって入力された静止画像内の人物の顔領域を検出する。人物の顔を検出する手法は種々提案されており、本実施の形態においては、たとえば非特許文献１に開示されたViolaらが提案する手法を用いることとするが、この手法に限定されるものではない。
【００３１】
図３は、顔検出部１２によって検出された顔領域を説明するための図である。領域２１が、顔検出部１２によって検出された顔領域を示している。
【００３２】
目領域検出部１３は、顔検出部１２によって検出された顔領域内の２つの目領域を検出する。図３においては、領域２２および２３が目領域検出部１３によって検出された目領域を示している。
【００３３】
赤目検出部１４は、目領域検出部１３によって検出された目領域から赤目領域を検出する。図３においては、領域２４および２５が赤目検出部１４によって検出された赤目領域を示している。
【００３４】
赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色を自然な目の色に補正する。
【００３５】
顔検出部１２は、画像内の人物の顔領域を検出するときに、顔のメタ情報も出力する。顔のメタ情報とは、たとえば画像内における顔の傾きや顔の向きなどの情報である。
【００３６】
図４は、顔の傾き情報を説明するための図である。図４（ａ）および図４（ｂ）は、人物が正面を向いている場合を示しており、顔の中心線３４および３５によって顔の傾きを求めることができる。また、図４（ｃ）は、人物が横を向いている場合を示しており、正面を向いている場合と同様に、中心線３６によって顔の傾きを求めることができる。
【００３７】
図４（ａ）〜図４（ｃ）に示すように、顔領域３１〜３３において、目や眉などの顔器官が中心線３４〜３６に対して水平位置に存在する。後述のように、本実施の形態における赤目補正装置６は、このような顔器官が中心線に対して水平位置に存在するといった特性を利用するものである。
【００３８】
顔の傾き情報を検出する方法として、様々な方法が提案されている。図５は、顔の傾き情報の検出の一例を示す図である。図５（ａ）は、画像入力部１１によって入力された静止画像を示している。
【００３９】
また、図５（ｂ）〜図５（ｅ）は、図５（ａ）に示す顔領域４１の顔の傾きを検出するための様々な顔傾きのモデルパターンを示している。顔検出部１２は、図５に示す顔領域４１と、図５（ｂ）〜図５（ｅ）に示す顔傾きのモデルパターン４２〜４５とのパターンマッチングを行ない、一致度があるしきい値以上であり、かつ最も一致度が高いモデルパターンの顔傾きを、図５（ａ）に示す顔の傾きと判定する。また、上述の特許文献７に示す顔の傾き検出方法を用いるようにしてもよい。
【００４０】
図６は、目領域検出部１３が目領域を検出する際に用いられる目領域のパターンを示す図である。領域５１は、画像入力部１１によって入力された静止画像に含まれる目領域を示している。また、領域５２〜５５は、目領域を検出する際に用いられる目領域のパターンを示している。
【００４１】
目領域検出部１３は、中心線に対して顔領域を左右の２つの領域に分け、それぞれの領域に対して１画素ずつスキャンしながらパターン５２〜５５との一致度を計算する。そして、目領域検出部１３は、一致度があるしきい値以上であり、かつ最も一致度が高い領域を目領域と判定する。
【００４２】
目領域検出部１３によって検出された目領域の中心に必ず赤目領域があるとは限らないため、赤目検出部１４は、目領域検出部１３によって検出された目領域の中で、周囲と比べて赤目らしさが大きい領域を赤目領域として検出する。ここで、赤目らしさとは、画像の色情報の色情報である赤、緑、青の割合や、彩度情報のことである。
【００４３】
図７は、赤目領域の検出を説明するための図である。領域６１は、赤目領域の周辺を含んだ領域を示している。領域６２は、赤目領域を示している。領域６２の平均赤目らしさをＲａ、領域６１の平均赤目らしさをＲｂとしたとき、Ｒａ／Ｒｂが目領域の中で最も大きい領域を赤目領域と判定する。
【００４４】
ここで、領域６２の赤目らしさは、領域６３のキャッチライト領域の赤目らしさを除いた値としてもよい。キャッチライト領域とは、フラッシュ撮影したときに瞳に写っている白い光のことであり、この領域を赤目領域に含めると正確に赤目領域を検出できない場合があるためである。
【００４５】
赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色差成分を減じることによって、赤目領域の色を黒目に近づけるような補正を行なう。
【００４６】
図８は、本発明の第１の実施の形態における赤目補正装置６の処理手順を説明するためのフローチャートである。まず、画像入力部１１が、ＳＤＲＡＭ３や外部の記録媒体に格納される静止画像を１枚入力する（Ｓ１１）。
【００４７】
次に、顔検出部１２が、画像入力部１１によって入力された画像に対して人物の顔検出処理を行なうことにより顔領域を検出する（Ｓ１２）。そして、顔領域が存在するか否かを判定する（Ｓ１３）。
【００４８】
顔領域が存在しない場合には（Ｓ１３，Ｎｏ）、処理を終了する。また、顔領域が存在する場合には（Ｓ１３，Ｙｅｓ）、目領域検出部１３が顔領域の中心線の左右の２つの領域に対してパターンマッチングを行ない、目領域の検出処理を行なう（Ｓ１４）。そして、検出した目領域を赤目探索領域として設定する（Ｓ１５）。
【００４９】
次に、目領域検出部１３によって検出された目領域が片側だけであるか否かが判定される（Ｓ１６）。両方の目領域が検出されている場合には（Ｓ１６，Ｎｏ）、ステップＳ１８に処理が進む。
【００５０】
また、片側の目領域のみが検出されている場合には（Ｓ１６，Ｙｅｓ）、目領域検出部１３は、検出した片側の目領域と、顔のメタ情報（顔の傾き情報、顔の向き情報）とを用いてもう一方の赤目探索領域を設定する（Ｓ１７）。
【００５１】
図９は、検出された片側の目領域からもう一方の目領域を検出する処理を説明するための図である。図９（ａ）は、顔領域７１の中から検出された片側の目領域７３を示している。なお、領域７４は、赤目領域を示している。
【００５２】
目領域検出部１３は、検出した片側の目領域７３と、顔の傾き情報（顔の中心線）７２とから、図９（ｂ）に示すように新たに赤目探索領域（もう一方の目領域）７５を設定する。これは、左右の赤目領域が顔の中心線に対して対称に存在することを利用している。なお、領域７６は、赤目領域を示している。
【００５３】
同様に、図９（ｃ）は、顔領域８１の中から検出された片側の目領域８３を示している。また、図９（ｄ）は、目領域検出部１３によって設定されたもう一方の赤目探索領域８５を示している。なお、領域８４および８６は、赤目領域を示している。
【００５４】
目領域検出部１３は、顔領域７１または８１と、メタ情報である顔の中心線７２または８２とから、ＲＯＭ４などに格納される統計情報を用いてもう一方の赤目探索領域７５または８５を求めるようにしてもよい。この統計情報は予め静的に求められており、大量の画像サンプルによって得られる顔領域７１、８１と、２つの目の位置関係とから求められる拘束条件である。
【００５５】
また、顔検出部１２から出力される顔のメタ情報である顔の向きと、両目の位置関係とを予め統計的に求めておき、目領域検出部１３が、検出した片側の目領域の位置および大きさと顔の向きとから、統計情報を用いることによってもう一方の目領域を求めることも可能である。
【００５６】
図１０は、顔の向きを用いてもう一方の目領域を求める場合を説明するための図である。顔領域９１に対して片側の目領域９２が検出されている場合、顔の向き情報からもう一方の目領域９３を統計情報に基づいて求める。
【００５７】
赤目検出部１４は、目領域検出部１３によって検出された２つの赤目探索領域のそれぞれから赤目の位置（赤目領域）を検出する（Ｓ１８）。そして、赤目画像補正部１５は、赤目検出部１４によって検出された赤目領域の色補正を行なって（Ｓ１９）、処理を終了する。
【００５８】
以上説明したように、本実施の形態における赤目補正装置によれば、目領域検出部１３は、片側の目領域のみしか検出できなかった場合に、その目領域と顔のメタ情報（顔の傾き情報、顔の向き）を用いてもう一方の目領域を検出するようにした。したがって、一方の目領域しか検出できなかった場合でも、両目の赤目補正を行なうことが可能となった。
【００５９】
また、片側の目領域の位置と顔のメタ情報とからもう一方の目領域を求めるようにしたので、処理負荷を軽減できると共に、高精度で赤目検出を行なうことが可能となった。
【００６０】
（第２の実施の形態）
本発明の第１の実施の形態においては、赤目補正を行なう際に赤目領域の色差成分を一律に減じることによって、赤目領域の色補正を行なっていたが、第２の実施の形態においては、赤目領域の座標に応じて赤目補正を行なうことにより自然な赤目補正を行なうものである。本実施の形態における赤目補正装置の構成および処理手順は、図２および図８に示す第１の実施の形態における赤目補正装置の構成および処理手順と同様である。したがって、重複する構成および機能の詳細な説明は繰り返さない。
【００６１】
図１１は、赤目領域の一例を示す図である。図１１に示すように、赤目画像補正部１５は、赤目領域１０２内の赤目１０１の画素値を補正するが、統計的に見て赤目１０１は真円でない。また、赤目領域１０２の中心点１０３が、補正すべき赤目１０１の中心点とは限らない。
【００６２】
図１２は、本発明の第２の実施の形態における赤目補正の方法を説明するための図である。顔検出部１２によって検出された顔の傾き情報（中心線）１１１に対して、図１２に示すように、目器官１１２、対象の赤目１１３、赤目領域１１４があるとする。ここで、赤目領域１１４の中心点を通るように、顔の傾き１１１に対して垂直な軸１１５と水平な軸１１６とを有する座標空間を設定する。
【００６３】
赤目画像補正部１５は、赤目領域１１４内の各画素１１７に対して、その座標空間におけるｘ座標値、ｙ座標値に応じて補正レベルを決定する。たとえば、補正レベルＬｅｖｅｌは、その座標空間における画素値の座標（ｘ，ｙ）から、次式（１）によって算出される。ここで、ａ１、ａ２、ｂ１、ｂ２は、予め大量の画像サンプルから統計的に算出された値であり、ＲＯＭ４などに予め格納しておき、赤目補正時に用いられる。
【００６４】
【数１】
【００６５】
赤目画像補正部１５は、赤目領域１１４内の各画素１１７に対して、画素の色差成分Ｃｘ，ｙの値を補正レベルＬｅｖｅｌｘ，ｙの値に応じて、次式のように補正する。
【００６６】
Ｃ’ｘ，ｙ＝（Ｌｅｖｅｌｘ，ｙ÷ＬｅｖｅｌＭＡＸ）×Ｃｘ，ｙ ・・・（２）
ここで、Ｃ’ｘ，ｙは、補正後の色差成分の値であり、ＬｅｖｅｌＭＡＸは、赤目領域１１４の大きさや顔検出部１２によって検出された顔領域の大きさから定められる、補正レベルの最大値である。画素（ｘ，ｙ）が赤目の中心に近いほど補正レベルは小さく、色差成分が大きく減じられて黒目に近づくことになる。
【００６７】
以上説明したように、本実施の形態における赤目補正装置によれば、赤目領域内の色補正を赤目領域の各画素の座標に応じて行なうようにしたので、処理負荷を軽減することができ、高速に自然な赤目補正を行なうことが可能となった。
【００６８】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６９】
１ カメラＩ／Ｆ、２ ＣＰＵ、３ ＳＤＲＡＭ、４ ＲＯＭ、５ ユーザ操作入力装置、６ 赤目補正装置、７ ＬＣＤ Ｉ／Ｆ、８ カードＩ／Ｆ、９ バス、１１ 画像入力部、１２ 顔検出部、１３ 目領域検出部、１４ 赤目検出部、１５ 赤目画像補正部。
【特許請求の範囲】
【請求項１】
人物の顔領域内の赤目領域を検出して色補正を行なう画像処理装置であって、
画像から顔領域および顔の傾きを検出する顔検出手段と、
前記顔検出手段によって検出された顔領域から目領域を検出する目領域検出手段と、
前記目領域検出手段によって検出された目領域から赤目領域を検出する赤目検出手段と、
前記赤目検出手段によって検出された赤目領域の色補正を行なう補正手段とを含み、
前記目領域検出手段は、一方の目領域のみしか検出できなかった場合に、該一方の目領域と前記顔検出手段によって検出された顔の傾きとから他方の目領域を検出する、画像処理装置。
【請求項２】
前記目領域検出手段は、前記顔の傾きに対して前記一方の目領域と水平位置にある領域を前記他方の目領域として検出する、請求項１記載の画像処理装置。
【請求項３】
前記顔検出手段は、顔の向きを検出し、
前記目領域検出手段は、前記顔検出手段によって検出された顔の向きに応じて、前記他方の目領域を検出する、請求項１または２記載の画像処理装置。
【請求項４】
前記赤目検出手段は、前記目領域検出手段によって検出された目領域の中の各画素の色情報の割合または彩度情報に基づいて前記赤目領域を検出する、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記補正手段は、前記赤目検出手段によって検出された赤目領域の中心を通り、前記顔検出手段によって検出された顔の傾きに対して垂直な軸と水平な軸とを有する座標空間を設定し、該座標空間における各画素の位置に応じて色の補正量を変更する、請求項１〜４のいずれかに記載の画像処理装置。
【請求項１】
人物の顔領域内の赤目領域を検出して色補正を行なう画像処理装置であって、
画像から顔領域および顔の傾きを検出する顔検出手段と、
前記顔検出手段によって検出された顔領域から目領域を検出する目領域検出手段と、
前記目領域検出手段によって検出された目領域から赤目領域を検出する赤目検出手段と、
前記赤目検出手段によって検出された赤目領域の色補正を行なう補正手段とを含み、
前記目領域検出手段は、一方の目領域のみしか検出できなかった場合に、該一方の目領域と前記顔検出手段によって検出された顔の傾きとから他方の目領域を検出する、画像処理装置。
【請求項２】
前記目領域検出手段は、前記顔の傾きに対して前記一方の目領域と水平位置にある領域を前記他方の目領域として検出する、請求項１記載の画像処理装置。
【請求項３】
前記顔検出手段は、顔の向きを検出し、
前記目領域検出手段は、前記顔検出手段によって検出された顔の向きに応じて、前記他方の目領域を検出する、請求項１または２記載の画像処理装置。
【請求項４】
前記赤目検出手段は、前記目領域検出手段によって検出された目領域の中の各画素の色情報の割合または彩度情報に基づいて前記赤目領域を検出する、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記補正手段は、前記赤目検出手段によって検出された赤目領域の中心を通り、前記顔検出手段によって検出された顔の傾きに対して垂直な軸と水平な軸とを有する座標空間を設定し、該座標空間における各画素の位置に応じて色の補正量を変更する、請求項１〜４のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２９９９６（Ｐ２０１３−２９９９６Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５６８２（Ｐ２０１１−１６５６８２）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]