画像処理装置及び画像処理方法
【課題】眼鏡の画像において、反射光を除去した画像に補正するときに、誤って目の白目部分も補正してしまい、目の白目部分が不正な画像となってしまう可能性がある。
【解決手段】取得した画像から顔を検出する顔検出部１８と、顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定部１９と、顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定部２０と、記眼鏡領域内の画像を補正する画像補正部２２と、を有する。そして、画像補正部２２は、眼鏡領域内における目領域を除く領域となる差分領域について、所定の閾値を超える輝度を有する画像部分に対して補正を行う。
【解決手段】取得した画像から顔を検出する顔検出部１８と、顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定部１９と、顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定部２０と、記眼鏡領域内の画像を補正する画像補正部２２と、を有する。そして、画像補正部２２は、眼鏡領域内における目領域を除く領域となる差分領域について、所定の閾値を超える輝度を有する画像部分に対して補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影した画像において、太陽光やフラッシュ光などによって眼鏡が反射した場合に、眼鏡の画像を補正する技術が提供されている。
例えば、特許文献１に記載されている画像処理方法では、顔画像中で高輝度画素を検出し、検出された高輝度画素に対して最近接画素の平均値で置き換える処理を繰り返すことにより、反射光を除去した画像に補正するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２６９５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような画像処理の場合、眼鏡の画像において、光の反射に伴って白とびする部分と、目の白目部分とを区別することが難しい。そのため、眼鏡の画像に対して、反射光を除去した画像に補正するときに、誤って目の白目部分も補正してしまい、目の白目部分が不正な画像となってしまう可能性がある。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］画像を取得する画像取得部と、前記取得した画像から顔を検出する顔検出部と、前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定部と、前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定部と、前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正部と、を有し、前記画像補正部は、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理装置。
【０００７】
上記した画像処理装置によれば、目領域設定部が、目の輪郭で囲まれた目領域を設定し、眼鏡領域設定部が、眼鏡を検出してその眼鏡領域を設定する。そして、画像補正部が、眼鏡領域内における目領域を除く領域となる差分領域について、所定の閾値を超える輝度を有する画像部分に対して補正を行う。
補正を行う画像部分が、眼鏡領域内における目領域を除く領域であることから、眼鏡の反射に伴う白とび部分を補正するときに、誤って目の白目部分を補正してしまうことがない。これにより、眼鏡が反射している画像を正しく補正することができる。
【０００８】
［適用例２］前記画像取得部は、画像を取得するとともに、当該画像が撮影された際のＥｘｉｆ規格の撮影情報を取得し、前記画像補正部は、前記撮影情報がフラッシュ有りで撮影された画像であることを示すときに、前記眼鏡領域内の画像を補正することを特徴とする上記画像処理装置。
【０００９】
上記した画像処理装置によれば、画像補正部は、撮影情報がフラッシュ有りで撮影された画像であることを示すときに、眼鏡領域内の画像を補正する。これにより、眼鏡の反射が起こり易いフラッシュ光で撮影された画像について、眼鏡の反射に伴う白とび部分を確実に検出して補正を行うことができる。また、フラッシュ有りで撮影された画像に特定することで、様々な環境下で撮影された多数の画像を対象にする場合に、処理速度を向上させることができる。
【００１０】
［適用例３］画像を取得する画像取得工程と、前記取得した画像から顔を検出する顔検出工程と、前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定工程と、前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定工程と、前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正工程と、を有し、前記画像補正工程において、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理方法。
【００１１】
上記した画像処理方法によれば、目領域設定工程において、目の輪郭で囲まれた目領域を設定し、眼鏡領域設定工程において、眼鏡を検出してその眼鏡領域を設定する。そして、画像補正工程において、眼鏡領域内における目領域を除く領域となる差分領域について、所定の閾値を超える輝度を有する画像部分に対して補正を行う。
補正を行う画像部分が、眼鏡領域内における目領域を除く領域であることから、眼鏡の反射に伴う白とび部分を補正するときに、誤って目の白目部分を補正してしまうことがない。これにより、眼鏡が反射している画像を正しく補正することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の機能構成を示すブロック図。
【図２】取得画像から差分領域を設定するまでの流れを示す説明図。
【図３】画像処理装置の動作を示すフローチャート。
【図４】差分領域に対して補正を行った例を示す図。
【図５】第２実施形態に係る画像処理装置の動作を示すフローチャート。
【図６】第２実施形態における画像ファイルの構成を示す図。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、第１実施形態に係る画像処理装置について、図面を参照して説明する。
【００１４】
＜画像処理装置の構成＞
最初に、本実施形態に係る画像処理装置の構成について説明する。
図１は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。この画像処理装置は、例えば、被写体を撮影するために用いるデジタルカメラ等の情報処理機器の一機能として適用することができる。
【００１５】
画像処理装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、記憶部１５、撮影部１６、画像取得部１７、顔検出部１８、目領域設定部１９、眼鏡領域設定部２０、高輝度検出部２１、画像補正部２２等を備えている。
【００１６】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）により構成されている。
【００１７】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、画像、各種設定情報及びユーザーへのメッセージ等を表示する。
【００１８】
記憶部１５は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリーにより構成される。記憶部１５には、画像ファイル１５ａ等が記憶されている。この画像ファイル１５ａには、後述する撮影部１６において撮影された画像の画像データが保存されている。
【００１９】
撮影部１６は、撮影を行う機構部分であり、図示しないシャッター、レンズ、光学素子等からなり、風景画像や人物画像等を撮影して撮影した画像の画像データを生成する。画像取得部１７は、記憶部１５に記憶されている画像ファイル１５ａを読み込み、画像データに基づく画像を取得する。
【００２０】
顔検出部１８は、画像取得部１７により取得した画像に含まれる人物の顔を検出する。ここで、顔の検出方法は、例えば、顔テンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０号公報参照）等の公知の検出方法を用いる。
【００２１】
目領域設定部１９は、顔検出部１８により検出された顔の画像から目の輪郭を検出する。そして、目の輪郭で囲まれた領域を目領域として設定する。ここで、目の輪郭の検出方法は、例えば、目テンプレートを利用したパターンマッチングによる方法（特開２００９−２３７６２４号公報参照）等の公知の検出方法を用いる。なお、スネークの手法やＡＡＭ等を用いて目の輪郭の検出を行っても良い。
【００２２】
眼鏡領域設定部２０は、顔検出部１８により検出された顔の画像から眼鏡を検出する。そして、検出された眼鏡の領域を眼鏡領域として設定する。眼鏡領域は、眼鏡の輪郭で囲まれた領域であっても良いし、眼鏡の輪郭の周辺領域を含めた領域であっても良い。ここで、眼鏡の検出方法は、例えば、複数の眼鏡の画像を平均化することにより求めた眼鏡テンプレートを利用したパターンマッチングによる方法（特開２００６−３１８３７５号公報参照）等の公知の検出方法を用いる。
【００２３】
高輝度検出部２１は、眼鏡領域設定部２０により設定された眼鏡領域の画像から、所定の閾値を超える輝度を有する高輝度の画像部分を検出する。ここで、所定の閾値とは、人物画像の撮影時において、太陽光やフラッシュ光などにより眼鏡に光反射が生じ、画像に白とび部分が生じると判定される閾値とする。
【００２４】
画像補正部２２は、高輝度検出部２１により検出された眼鏡領域における高輝度の画像部分に対して、当該画像部分の周辺画素を用いて補正を行う。ここで、目領域設定部１９により目が検出された場合は、眼鏡領域内の目領域を除く領域を差分領域として設定する。そして、この差分領域における高輝度の画像部分に対してのみ補正を行う。即ち、目領域に対しては補正が行われないことになる。
【００２５】
図２は、取得画像から差分領域を設定するまでの流れを示す説明図である。同図（ａ）は、画像取得部１７により取得する画像を示している。（ｂ）は、顔検出部１８により検出される顔を示しており、矩形状の検出窓Ｗｆと顔テンプレートとをパターンマッチングすることにより顔が検出される。（ｃ）は、眼鏡領域設定部２０により検出される眼鏡を示しており、矩形状の検出窓Ｗｇと眼鏡テンプレートとをパターンマッチングすることにより眼鏡が検出される。（ｄ）は、眼鏡領域Ａｇ、目領域Ａｅ及び差分領域Ａｓを示している。目領域設定部１９により目が検出された場合には、この差分領域Ａｓにおける高輝度の画像部分に対して補正が行われる。なお、図２に示す眼鏡において、図示しない眼鏡フレームの部品も含めて眼鏡領域及び差分領域としても良い。
【００２６】
＜画像処理装置の動作＞
次に、本実施形態に係る画像処理装置の動作について説明する。
図３は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。
【００２７】
先ず、画像処理装置１は、画像取得部１７により、記憶部１５に記憶されている画像ファイル１５ａを読み込み、処理対象の画像を取得する（ステップＳ１１０）。ここでは、撮影部１６により撮影された人物画像を取得する例について説明する。
【００２８】
次に、画像処理装置１は、顔検出部１８により、ステップＳ１１０において取得した画像に含まれる人物の顔を検出する（ステップＳ１２０）。なお、取得した画像に複数の人物の顔が含まれる場合には、それぞれの顔を検出して各顔に対して以降の処理を繰り返す。
【００２９】
次に、画像処理装置１は、眼鏡領域設定部２０により、ステップＳ１２０において検出された顔の画像から眼鏡を検出して眼鏡領域Ａｇを設定する（ステップＳ１３０）。
【００３０】
次に、画像処理装置１は、ステップＳ１３０において眼鏡が検出されたか否かを判定する（ステップＳ１４０）。眼鏡が検出された場合（ステップＳ１４０：Ｙｅｓ）は、次のステップＳ１５０へ進む。
他方、眼鏡が検出されなかった場合（ステップＳ１４０：Ｎｏ）、即ち眼鏡を掛けていない顔の場合は補正処理が必要でないことから、図３のフローチャートの動作を終了する。
【００３１】
ステップＳ１５０では、画像処理装置１は、目領域設定部１９により、ステップＳ１２０において検出された顔の画像から目の輪郭を検出して目領域Ａｅを設定する。
【００３２】
次に、画像処理装置１は、ステップＳ１５０において目が検出されたか否かを判定する（ステップＳ１６０）。目が検出された場合（ステップＳ１６０：Ｙｅｓ）は、眼鏡領域Ａｇから目領域Ａｅを除く差分領域Ａｓを補正対象にして（ステップＳ１７０）、ステップＳ１９０へ進む。
他方、目の輪郭が検出されなかった場合（ステップＳ１６０：Ｎｏ）は、眼鏡領域Ａｇ全体を補正対象にして（ステップＳ１８０）、ステップＳ１９０へ進む。
【００３３】
ステップＳ１９０では、画像処理装置１は、高輝度検出部２１により、ステップＳ１７０において補正対象にした差分領域Ａｓ、又はステップＳ１８０において補正対象にした眼鏡領域Ａｇ全体から高輝度の画像部分を検出する（ステップＳ１９０）。
【００３４】
次に、画像処理装置１は、画像補正部２２により、ステップＳ１９０において検出された高輝度の画像部分に対して周辺画素を用いて補正を行う（ステップＳ２００）。なお、高輝度の画像部分が検出されなかった場合は、補正を行わない。
【００３５】
次に、画像処理装置１は、高輝度の画像部分を全て補正したか否かを判定する（ステップＳ２１０）。補正していない高輝度の画像部分が残っている場合（ステップＳ２１０：Ｎｏ）は、高輝度の画像部分を全て補正するまでステップＳ２００の補正処理を繰り返す。
他方、高輝度の画像部分を全て補正した場合（ステップＳ２１０：Ｙｅｓ）は、図３のフローチャートの動作を終了する。
【００３６】
図４は、差分領域に対して補正を行った例を示す図である。同図（ａ）に示すように、上記のステップＳ１９０において、差分領域Ａｓから高輝度の画像部分ｈｂが３箇所検出される。これらの画像部分ｈｂに対して、上記のステップＳ２００において補正処理を行うと、（ｂ）に示すように、高輝度の画像部分ｈｂが全て除去されることになる。
なお、ステップＳ１６０において目が検出されなかった場合、図４においては、眼鏡領域Ａｇ内に目領域Ａｅが存在しない状態（例えばサングラスなど）であり、この場合、眼鏡領域Ａｇ全体から高輝度の画像部分が検出されて補正されることになる。
【００３７】
なお、画像取得工程は、上記のステップＳ１１０に相当する。また、顔検出工程は、上記のステップＳ１２０に相当する。また、目領域設定工程は、上記のステップＳ１５０に相当する。また、眼鏡領域設定工程は、上記のステップＳ１３０に相当する。また、画像補正工程は、上記のステップＳ２００に相当する。
【００３８】
上述した実施形態では、顔の画像から眼鏡及び目の輪郭を検出し、眼鏡領域Ａｇ及び目領域Ａｅを設定している。そして、眼鏡領域Ａｇから目領域Ａｅを除いた差分領域Ａｓに対して、光反射に伴う白とび部分を除去するように補正を行っている。このため、目領域Ａｅに対しては補正が行われないことになり、誤って白目の部分を補正してしまい、不自然な画像にしてしまうのを防止できる。
【００３９】
（第２実施形態）
以下、第２実施形態に係る画像処理装置について、図面を参照して説明する。
【００４０】
第２実施形態に係る画像処理装置１の機能構成は、図１に示す第１実施形態に係る画像処理装置１の機能構成と同様である。また、第２実施形態に係る画像処理装置１の動作は、図３に示す第１実施形態に係る画像処理装置１の動作を示すフローチャートに対して、一部の処理の追加を行っている。
【００４１】
図５は、第２実施形態に係る画像処理装置１の動作を示すフローチャートである。同図に示すステップＳ１１０では、図３に示す第１実施形態のステップＳ１１０と同様に、記憶部１５に記憶されている画像ファイル１５ａを読み込み、加えて当該画像が撮影された際の撮影情報も取得する。
【００４２】
図６は、第２実施形態における画像ファイルの構成を示す図である。同図に示すように、画像ファイル１５ａは、撮影情報１５ａ１と画像データ１５ａ２とで構成されるＥｘｉｆ規格のファイルとなっている。また、撮影情報１５ａ１は、ここでは、画像データ１５ａ２の画像が撮影された際の撮影日時、絞り値、シャッタースピード、ＩＳＯ感度、フラッシュ有無等の情報を示している。
【００４３】
図５に示すステップＳ３１０では、画像処理装置１は、ステップＳ１１０において取得した撮影情報１５ａ１のフラッシュ有無ｆｓを参照し、取得した画像がフラッシュ有りで撮影された画像であるか、フラッシュ無しで撮影された画像であるかを判定する。
【００４４】
フラッシュ有りで撮影された画像の場合（ステップＳ３１０：Ｙｅｓ）は、ステップＳ３２０において眼鏡領域に対しての一連の補正処理を行い、図５のフローチャートの動作を終了する。ここで、ステップＳ３２０における眼鏡領域に対しての一連の補正処理は、図３に示す第１実施形態のステップＳ１２０〜Ｓ２１０と同様の処理内容であり、取得した画像から顔を検出して、高輝度の画像部分を補正するまでの処理を行う。
【００４５】
他方、フラッシュ無しで撮影された画像の場合（ステップＳ３１０：Ｎｏ）は、眼鏡領域に対して補正処理を行う必要のないことから、図５のフローチャートの動作を終了する。
【００４６】
上述した実施形態では、フラッシュ有りで撮影された画像に対してのみ、上述した第１実施形態における一連の補正処理を行っている。このため、高輝度検出部２１では、フラッシュ光の反射に特化して、画像に白とび部分が生じると判定される閾値を設定することができる。これにより、フラッシュ光の反射に伴う画像の白とび部分を確実に検出することができ、補正により白とび部分を除去することができる。また、フラッシュ無しで撮影された画像については一連の補正処理を行わないことにより、効率的に画像処理を行い、全体の処理速度を向上させることができる。
【符号の説明】
【００４７】
１…画像処理装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…記憶部、１５ａ…画像ファイル、１５ａ１…撮影情報、１５ａ２…画像データ、１６…撮影部、１７…画像取得部、１８…顔検出部、１９…目領域設定部、２０…眼鏡領域設定部、２１…高輝度検出部、２２…画像補正部、Ａｅ…目領域、Ａｇ…眼鏡領域、Ａｓ…差分領域、ｆｓ…フラッシュ有無、ｈｂ…高輝度の画像部分。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影した画像において、太陽光やフラッシュ光などによって眼鏡が反射した場合に、眼鏡の画像を補正する技術が提供されている。
例えば、特許文献１に記載されている画像処理方法では、顔画像中で高輝度画素を検出し、検出された高輝度画素に対して最近接画素の平均値で置き換える処理を繰り返すことにより、反射光を除去した画像に補正するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２６９５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているような画像処理の場合、眼鏡の画像において、光の反射に伴って白とびする部分と、目の白目部分とを区別することが難しい。そのため、眼鏡の画像に対して、反射光を除去した画像に補正するときに、誤って目の白目部分も補正してしまい、目の白目部分が不正な画像となってしまう可能性がある。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］画像を取得する画像取得部と、前記取得した画像から顔を検出する顔検出部と、前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定部と、前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定部と、前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正部と、を有し、前記画像補正部は、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理装置。
【０００７】
上記した画像処理装置によれば、目領域設定部が、目の輪郭で囲まれた目領域を設定し、眼鏡領域設定部が、眼鏡を検出してその眼鏡領域を設定する。そして、画像補正部が、眼鏡領域内における目領域を除く領域となる差分領域について、所定の閾値を超える輝度を有する画像部分に対して補正を行う。
補正を行う画像部分が、眼鏡領域内における目領域を除く領域であることから、眼鏡の反射に伴う白とび部分を補正するときに、誤って目の白目部分を補正してしまうことがない。これにより、眼鏡が反射している画像を正しく補正することができる。
【０００８】
［適用例２］前記画像取得部は、画像を取得するとともに、当該画像が撮影された際のＥｘｉｆ規格の撮影情報を取得し、前記画像補正部は、前記撮影情報がフラッシュ有りで撮影された画像であることを示すときに、前記眼鏡領域内の画像を補正することを特徴とする上記画像処理装置。
【０００９】
上記した画像処理装置によれば、画像補正部は、撮影情報がフラッシュ有りで撮影された画像であることを示すときに、眼鏡領域内の画像を補正する。これにより、眼鏡の反射が起こり易いフラッシュ光で撮影された画像について、眼鏡の反射に伴う白とび部分を確実に検出して補正を行うことができる。また、フラッシュ有りで撮影された画像に特定することで、様々な環境下で撮影された多数の画像を対象にする場合に、処理速度を向上させることができる。
【００１０】
［適用例３］画像を取得する画像取得工程と、前記取得した画像から顔を検出する顔検出工程と、前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定工程と、前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定工程と、前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正工程と、を有し、前記画像補正工程において、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理方法。
【００１１】
上記した画像処理方法によれば、目領域設定工程において、目の輪郭で囲まれた目領域を設定し、眼鏡領域設定工程において、眼鏡を検出してその眼鏡領域を設定する。そして、画像補正工程において、眼鏡領域内における目領域を除く領域となる差分領域について、所定の閾値を超える輝度を有する画像部分に対して補正を行う。
補正を行う画像部分が、眼鏡領域内における目領域を除く領域であることから、眼鏡の反射に伴う白とび部分を補正するときに、誤って目の白目部分を補正してしまうことがない。これにより、眼鏡が反射している画像を正しく補正することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の機能構成を示すブロック図。
【図２】取得画像から差分領域を設定するまでの流れを示す説明図。
【図３】画像処理装置の動作を示すフローチャート。
【図４】差分領域に対して補正を行った例を示す図。
【図５】第２実施形態に係る画像処理装置の動作を示すフローチャート。
【図６】第２実施形態における画像ファイルの構成を示す図。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、第１実施形態に係る画像処理装置について、図面を参照して説明する。
【００１４】
＜画像処理装置の構成＞
最初に、本実施形態に係る画像処理装置の構成について説明する。
図１は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。この画像処理装置は、例えば、被写体を撮影するために用いるデジタルカメラ等の情報処理機器の一機能として適用することができる。
【００１５】
画像処理装置１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、記憶部１５、撮影部１６、画像取得部１７、顔検出部１８、目領域設定部１９、眼鏡領域設定部２０、高輝度検出部２１、画像補正部２２等を備えている。
【００１６】
ＣＰＵ（Central Processing Unit）１１は、上記の各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理を実行する。内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納するＲＯＭ（Read Only Memory）、及びＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）により構成されている。
【００１７】
操作部１３は、ボタンやタッチパネル等により構成され、ユーザーからの操作内容をＣＰＵ１１に通知する。表示部１４は、例えば液晶ディスプレイ等により構成され、画像、各種設定情報及びユーザーへのメッセージ等を表示する。
【００１８】
記憶部１５は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュメモリーのような不揮発性メモリーにより構成される。記憶部１５には、画像ファイル１５ａ等が記憶されている。この画像ファイル１５ａには、後述する撮影部１６において撮影された画像の画像データが保存されている。
【００１９】
撮影部１６は、撮影を行う機構部分であり、図示しないシャッター、レンズ、光学素子等からなり、風景画像や人物画像等を撮影して撮影した画像の画像データを生成する。画像取得部１７は、記憶部１５に記憶されている画像ファイル１５ａを読み込み、画像データに基づく画像を取得する。
【００２０】
顔検出部１８は、画像取得部１７により取得した画像に含まれる人物の顔を検出する。ここで、顔の検出方法は、例えば、顔テンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０号公報参照）等の公知の検出方法を用いる。
【００２１】
目領域設定部１９は、顔検出部１８により検出された顔の画像から目の輪郭を検出する。そして、目の輪郭で囲まれた領域を目領域として設定する。ここで、目の輪郭の検出方法は、例えば、目テンプレートを利用したパターンマッチングによる方法（特開２００９−２３７６２４号公報参照）等の公知の検出方法を用いる。なお、スネークの手法やＡＡＭ等を用いて目の輪郭の検出を行っても良い。
【００２２】
眼鏡領域設定部２０は、顔検出部１８により検出された顔の画像から眼鏡を検出する。そして、検出された眼鏡の領域を眼鏡領域として設定する。眼鏡領域は、眼鏡の輪郭で囲まれた領域であっても良いし、眼鏡の輪郭の周辺領域を含めた領域であっても良い。ここで、眼鏡の検出方法は、例えば、複数の眼鏡の画像を平均化することにより求めた眼鏡テンプレートを利用したパターンマッチングによる方法（特開２００６−３１８３７５号公報参照）等の公知の検出方法を用いる。
【００２３】
高輝度検出部２１は、眼鏡領域設定部２０により設定された眼鏡領域の画像から、所定の閾値を超える輝度を有する高輝度の画像部分を検出する。ここで、所定の閾値とは、人物画像の撮影時において、太陽光やフラッシュ光などにより眼鏡に光反射が生じ、画像に白とび部分が生じると判定される閾値とする。
【００２４】
画像補正部２２は、高輝度検出部２１により検出された眼鏡領域における高輝度の画像部分に対して、当該画像部分の周辺画素を用いて補正を行う。ここで、目領域設定部１９により目が検出された場合は、眼鏡領域内の目領域を除く領域を差分領域として設定する。そして、この差分領域における高輝度の画像部分に対してのみ補正を行う。即ち、目領域に対しては補正が行われないことになる。
【００２５】
図２は、取得画像から差分領域を設定するまでの流れを示す説明図である。同図（ａ）は、画像取得部１７により取得する画像を示している。（ｂ）は、顔検出部１８により検出される顔を示しており、矩形状の検出窓Ｗｆと顔テンプレートとをパターンマッチングすることにより顔が検出される。（ｃ）は、眼鏡領域設定部２０により検出される眼鏡を示しており、矩形状の検出窓Ｗｇと眼鏡テンプレートとをパターンマッチングすることにより眼鏡が検出される。（ｄ）は、眼鏡領域Ａｇ、目領域Ａｅ及び差分領域Ａｓを示している。目領域設定部１９により目が検出された場合には、この差分領域Ａｓにおける高輝度の画像部分に対して補正が行われる。なお、図２に示す眼鏡において、図示しない眼鏡フレームの部品も含めて眼鏡領域及び差分領域としても良い。
【００２６】
＜画像処理装置の動作＞
次に、本実施形態に係る画像処理装置の動作について説明する。
図３は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。
【００２７】
先ず、画像処理装置１は、画像取得部１７により、記憶部１５に記憶されている画像ファイル１５ａを読み込み、処理対象の画像を取得する（ステップＳ１１０）。ここでは、撮影部１６により撮影された人物画像を取得する例について説明する。
【００２８】
次に、画像処理装置１は、顔検出部１８により、ステップＳ１１０において取得した画像に含まれる人物の顔を検出する（ステップＳ１２０）。なお、取得した画像に複数の人物の顔が含まれる場合には、それぞれの顔を検出して各顔に対して以降の処理を繰り返す。
【００２９】
次に、画像処理装置１は、眼鏡領域設定部２０により、ステップＳ１２０において検出された顔の画像から眼鏡を検出して眼鏡領域Ａｇを設定する（ステップＳ１３０）。
【００３０】
次に、画像処理装置１は、ステップＳ１３０において眼鏡が検出されたか否かを判定する（ステップＳ１４０）。眼鏡が検出された場合（ステップＳ１４０：Ｙｅｓ）は、次のステップＳ１５０へ進む。
他方、眼鏡が検出されなかった場合（ステップＳ１４０：Ｎｏ）、即ち眼鏡を掛けていない顔の場合は補正処理が必要でないことから、図３のフローチャートの動作を終了する。
【００３１】
ステップＳ１５０では、画像処理装置１は、目領域設定部１９により、ステップＳ１２０において検出された顔の画像から目の輪郭を検出して目領域Ａｅを設定する。
【００３２】
次に、画像処理装置１は、ステップＳ１５０において目が検出されたか否かを判定する（ステップＳ１６０）。目が検出された場合（ステップＳ１６０：Ｙｅｓ）は、眼鏡領域Ａｇから目領域Ａｅを除く差分領域Ａｓを補正対象にして（ステップＳ１７０）、ステップＳ１９０へ進む。
他方、目の輪郭が検出されなかった場合（ステップＳ１６０：Ｎｏ）は、眼鏡領域Ａｇ全体を補正対象にして（ステップＳ１８０）、ステップＳ１９０へ進む。
【００３３】
ステップＳ１９０では、画像処理装置１は、高輝度検出部２１により、ステップＳ１７０において補正対象にした差分領域Ａｓ、又はステップＳ１８０において補正対象にした眼鏡領域Ａｇ全体から高輝度の画像部分を検出する（ステップＳ１９０）。
【００３４】
次に、画像処理装置１は、画像補正部２２により、ステップＳ１９０において検出された高輝度の画像部分に対して周辺画素を用いて補正を行う（ステップＳ２００）。なお、高輝度の画像部分が検出されなかった場合は、補正を行わない。
【００３５】
次に、画像処理装置１は、高輝度の画像部分を全て補正したか否かを判定する（ステップＳ２１０）。補正していない高輝度の画像部分が残っている場合（ステップＳ２１０：Ｎｏ）は、高輝度の画像部分を全て補正するまでステップＳ２００の補正処理を繰り返す。
他方、高輝度の画像部分を全て補正した場合（ステップＳ２１０：Ｙｅｓ）は、図３のフローチャートの動作を終了する。
【００３６】
図４は、差分領域に対して補正を行った例を示す図である。同図（ａ）に示すように、上記のステップＳ１９０において、差分領域Ａｓから高輝度の画像部分ｈｂが３箇所検出される。これらの画像部分ｈｂに対して、上記のステップＳ２００において補正処理を行うと、（ｂ）に示すように、高輝度の画像部分ｈｂが全て除去されることになる。
なお、ステップＳ１６０において目が検出されなかった場合、図４においては、眼鏡領域Ａｇ内に目領域Ａｅが存在しない状態（例えばサングラスなど）であり、この場合、眼鏡領域Ａｇ全体から高輝度の画像部分が検出されて補正されることになる。
【００３７】
なお、画像取得工程は、上記のステップＳ１１０に相当する。また、顔検出工程は、上記のステップＳ１２０に相当する。また、目領域設定工程は、上記のステップＳ１５０に相当する。また、眼鏡領域設定工程は、上記のステップＳ１３０に相当する。また、画像補正工程は、上記のステップＳ２００に相当する。
【００３８】
上述した実施形態では、顔の画像から眼鏡及び目の輪郭を検出し、眼鏡領域Ａｇ及び目領域Ａｅを設定している。そして、眼鏡領域Ａｇから目領域Ａｅを除いた差分領域Ａｓに対して、光反射に伴う白とび部分を除去するように補正を行っている。このため、目領域Ａｅに対しては補正が行われないことになり、誤って白目の部分を補正してしまい、不自然な画像にしてしまうのを防止できる。
【００３９】
（第２実施形態）
以下、第２実施形態に係る画像処理装置について、図面を参照して説明する。
【００４０】
第２実施形態に係る画像処理装置１の機能構成は、図１に示す第１実施形態に係る画像処理装置１の機能構成と同様である。また、第２実施形態に係る画像処理装置１の動作は、図３に示す第１実施形態に係る画像処理装置１の動作を示すフローチャートに対して、一部の処理の追加を行っている。
【００４１】
図５は、第２実施形態に係る画像処理装置１の動作を示すフローチャートである。同図に示すステップＳ１１０では、図３に示す第１実施形態のステップＳ１１０と同様に、記憶部１５に記憶されている画像ファイル１５ａを読み込み、加えて当該画像が撮影された際の撮影情報も取得する。
【００４２】
図６は、第２実施形態における画像ファイルの構成を示す図である。同図に示すように、画像ファイル１５ａは、撮影情報１５ａ１と画像データ１５ａ２とで構成されるＥｘｉｆ規格のファイルとなっている。また、撮影情報１５ａ１は、ここでは、画像データ１５ａ２の画像が撮影された際の撮影日時、絞り値、シャッタースピード、ＩＳＯ感度、フラッシュ有無等の情報を示している。
【００４３】
図５に示すステップＳ３１０では、画像処理装置１は、ステップＳ１１０において取得した撮影情報１５ａ１のフラッシュ有無ｆｓを参照し、取得した画像がフラッシュ有りで撮影された画像であるか、フラッシュ無しで撮影された画像であるかを判定する。
【００４４】
フラッシュ有りで撮影された画像の場合（ステップＳ３１０：Ｙｅｓ）は、ステップＳ３２０において眼鏡領域に対しての一連の補正処理を行い、図５のフローチャートの動作を終了する。ここで、ステップＳ３２０における眼鏡領域に対しての一連の補正処理は、図３に示す第１実施形態のステップＳ１２０〜Ｓ２１０と同様の処理内容であり、取得した画像から顔を検出して、高輝度の画像部分を補正するまでの処理を行う。
【００４５】
他方、フラッシュ無しで撮影された画像の場合（ステップＳ３１０：Ｎｏ）は、眼鏡領域に対して補正処理を行う必要のないことから、図５のフローチャートの動作を終了する。
【００４６】
上述した実施形態では、フラッシュ有りで撮影された画像に対してのみ、上述した第１実施形態における一連の補正処理を行っている。このため、高輝度検出部２１では、フラッシュ光の反射に特化して、画像に白とび部分が生じると判定される閾値を設定することができる。これにより、フラッシュ光の反射に伴う画像の白とび部分を確実に検出することができ、補正により白とび部分を除去することができる。また、フラッシュ無しで撮影された画像については一連の補正処理を行わないことにより、効率的に画像処理を行い、全体の処理速度を向上させることができる。
【符号の説明】
【００４７】
１…画像処理装置、１１…ＣＰＵ、１２…内部メモリー、１３…操作部、１４…表示部、１５…記憶部、１５ａ…画像ファイル、１５ａ１…撮影情報、１５ａ２…画像データ、１６…撮影部、１７…画像取得部、１８…顔検出部、１９…目領域設定部、２０…眼鏡領域設定部、２１…高輝度検出部、２２…画像補正部、Ａｅ…目領域、Ａｇ…眼鏡領域、Ａｓ…差分領域、ｆｓ…フラッシュ有無、ｈｂ…高輝度の画像部分。
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記取得した画像から顔を検出する顔検出部と、
前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定部と、
前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定部と、
前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正部と、を有し、
前記画像補正部は、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理装置。
【請求項２】
前記画像取得部は、画像を取得するとともに、当該画像が撮影された際のＥｘｉｆ規格の撮影情報を取得し、
前記画像補正部は、前記撮影情報がフラッシュ有りで撮影された画像であることを示すときに、前記眼鏡領域内の画像を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を取得する画像取得工程と、
前記取得した画像から顔を検出する顔検出工程と、
前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定工程と、
前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定工程と、
前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正工程と、を有し、
前記画像補正工程において、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理方法。
【請求項１】
画像を取得する画像取得部と、
前記取得した画像から顔を検出する顔検出部と、
前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定部と、
前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定部と、
前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正部と、を有し、
前記画像補正部は、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理装置。
【請求項２】
前記画像取得部は、画像を取得するとともに、当該画像が撮影された際のＥｘｉｆ規格の撮影情報を取得し、
前記画像補正部は、前記撮影情報がフラッシュ有りで撮影された画像であることを示すときに、前記眼鏡領域内の画像を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像を取得する画像取得工程と、
前記取得した画像から顔を検出する顔検出工程と、
前記検出された顔の画像から目の輪郭を検出して当該輪郭で囲まれた目領域を設定する目領域設定工程と、
前記検出された顔の画像から眼鏡を検出して眼鏡領域を設定する眼鏡領域設定工程と、
前記眼鏡が検出されたときに、前記眼鏡領域内の画像を補正する画像補正工程と、を有し、
前記画像補正工程において、前記眼鏡領域内における前記目領域を除く領域となる差分領域について、当該差分領域における所定の閾値を超える輝度を有する画像部分に対して、当該画像部分の周辺画素に基づいて補正を行うことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１６５０３１（Ｐ２０１１−１６５０３１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２８６０７（Ｐ２０１０−２８６０７）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]