画像処理装置および画像処理方法
【課題】予め背景のみの画像データを取得するという手間をかけることなく、容易かつ確実に画像データから被写体領域を含む物体領域を抽出し、かつ不適切な画像処理が行われてしまうことを防止する。
【解決手段】画像の一外縁から、対向縁側に隣接する両画素の画素値を順次比較し、この画素値の差の絶対値が、画像の中央部分程小さくなるように設定された各閾値のうち比較している両画素の画像の位置に対応する閾値を越えた場合、両画素のうち対向縁側の画素を物体領域のエッジであると判断してエッジ画素を検出し、他の外縁からも、順次両画素の画素値を比較してエッジ画素を検出し、各エッジ画素に囲まれた部分を物体領域であると判断して、画像データにおける物体領域と、物体領域を除いた他の部分である背景領域とを区分けする。
【解決手段】画像の一外縁から、対向縁側に隣接する両画素の画素値を順次比較し、この画素値の差の絶対値が、画像の中央部分程小さくなるように設定された各閾値のうち比較している両画素の画像の位置に対応する閾値を越えた場合、両画素のうち対向縁側の画素を物体領域のエッジであると判断してエッジ画素を検出し、他の外縁からも、順次両画素の画素値を比較してエッジ画素を検出し、各エッジ画素に囲まれた部分を物体領域であると判断して、画像データにおける物体領域と、物体領域を除いた他の部分である背景領域とを区分けする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から背景領域と物体領域とを区分けする画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等のデジタル機器を用いて写真を撮影することにより、デジタルの画像データによって写真画像を扱うことが多くなっている。また、従来より、このような画像のうち、逆光状態や夜間での撮影等、撮影条件によっては暗すぎたり、明るすぎて写ってしまった人物の部分の各画素について、適切な明度、彩度、色相に自動露出補正する画像処理が行われている。
【０００３】
ここで、前述のような画像のうち人物が写っている被写体部分の画素を補正する画像処理を行うには、取得された画像から被写体領域を抽出する必要があり、このように画像から被写体領域を抽出する方法としては、例えば、画像を構成する各画素のうち被写体としての人物の肌色の画素を特定することにより、画像から被写体領域を抽出する方法が用いられている。
【０００４】
また、画像から被写体領域を抽出する他の方法としては、画像の物体領域と背景領域との明るさの差異に基づいて、物体領域を検出する方法が知られている。
【０００５】
さらに、画像から被写体領域を含む物体領域を抽出するさらに他の方法としては、例えば、特許文献１に示すように、予め取得した背景のみの画像の各画素の平均色相および平均輝度を検出し、この背景に被写体を含めた画像中の各画素の輝度および色相と前記平均輝度および平均色相とを比較する画像処理方法が行われている。この画像処理方法によれば、被写体を含めて撮影された画像中の各画素の輝度および色相が前記平均輝度および平均色相と比較して所定の閾値以上の差がある場合には、その画素が被写体を含む物体領域であると判断することにより、画像からそれ以外の背景領域を除去することが行われている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−２３６３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、画像から被写体領域を抽出する方法として、前述のような画像の各画素のうち肌色の画素を特定する方法を用いた場合、背景に木やレンガ等の人物ではない肌色に近い色が存在するような場合であっても、その部分を人物が写っている被写体領域であると判断してしまうこととなる。このため、前述の画像処理では、人物でない部分の画素について人物であると判断して人物に適した輝度、明度、彩度等に補正してしまうことがあり、不適切な画像処理が行われてしまうおそれがあるという問題を有していた。
【０００８】
また、物体領域と背景領域との明るさの差異に基づいて画像から被写体領域を含む物体領域を抽出する方法を用いる場合、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像については、物体領域と背景領域とを明瞭に区分けして物体領域を抽出することができる。しかし、全体的にあまり明るさに差がない写真画像については、物体領域を明瞭に抽出することは困難であった。
【０００９】
さらに、画像から被写体領域を含む物体領域を抽出する方法として、前述のような特許文献１に記載する方法を用いる場合には、予め背景のみの画像を取得する必要があり、手間がかかるという問題を有していた。
【００１０】
本発明はこれらの点に鑑みてなされたものであり、予め背景のみの画像を取得するという手間をかけることなく、容易かつ確実に画像から被写体領域を含む物体領域を抽出し、かつ不適切な画像処理が行われてしまうことを防止することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するため、本発明に係る画像処理装置の特徴は、画像を表す各画素のうち隣接する両画素の画素値を比較するために用いられる閾値が、前記画像の中央部分に位置する画素を比較する閾値程小さくなるように設定された閾値テーブルを記憶する閾値テーブルメモリと、前記画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、前記両画素の画素値の差の絶対値が、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除する制御を行う背景・物体領域設定手段とを有する点にある。
【００１２】
本発明において、画素値とは、輝度または色相等、各画素の成分を示す数値をいう。
【００１３】
この本発明に係る画像処理装置によれば、背景・物体領域設定手段は、画像の中央部分に位置する画素を比較する場合程小さく設定された閾値を用いて、注目画素および比較画素の両画素の画素値を比較し、物体領域のエッジ画素を検出することにより、物体領域を抽出するので、背景のみの画像を予め用意する必要がない。また、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像の他、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができる。
【００１４】
本発明に係る画像処理方法の特徴は、各画素によって表した画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、前記両画素の画素値の差の絶対値が、前記画像の中央部分に位置する画素の閾値ほど小さくなるように設定された各閾値のうち、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除する点にある。
【００１５】
本発明において、画素値とは、輝度または色相等、各画素の成分を示す数値をいう。
【００１６】
この本発明に係る画像処理方法によれば、画像の中央部分に位置する画素を比較する場合程小さく設定された閾値を用いて、注目画素および比較画素の両画素の画素値を比較し、物体領域のエッジ画素を検出することができる。このため、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像の他、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができる。
【００１７】
前記本発明に係る画像処理方法の他の特徴は、矩形状の前記画像について外縁の４方向からそれぞれ前記対向縁に向かって、前記両画素の画素値を順次比較する点にある。これにより、本発明に係る画像処理方法は、矩形状の画像について、画像の各外縁の４方向から順次両画素の画素値を比較してエッジ画素をそれぞれ検出するので、確実に物体領域を抽出することができる。
【００１８】
また、前記本発明に係る画像処理方法の他の特徴は、前記画像の外周縁部分を無効領域とし、前記無効領域のうち幅方向の両端縁の寸法を、それぞれ画像の幅寸法の１０％とし、かつ、長さ方向の両側縁の寸法を、それぞれ画像の長さ寸法の１０％とし、前記画像における前記無効領域を除いた有効領域について、前記画像データにおける前記物体領域と前記背景領域とを区分けする点にある。これにより、前記本発明に係る画像処理方法は、被写体でない部分を被写体領域としてしまう誤検出を防止することができ、さらに、比較する画素数が減少するので、背景領域と物体領域とを区分けする工程にかかる時間を短縮することが可能となる。
【発明の効果】
【００１９】
以上述べたように、本発明に係る画像処理装置および画像処理方法によれば、予め背景のみの画像を取得するという手間をかけることなく、容易かつ確実に画像データから被写体領域を含む物体領域を抽出することができる。また、画像処理装置および画像処理方法は、物体領域と背景領域とを区分けして背景領域を排除することにより、例えば、背景領域に被写体ではない肌色部分が存在する場合でも、誤って被写体であると認識してしまうことを防止することができ、これにより、被写体領域ではない部分についての不適切な画像処理を確実に防止することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る画像処理装置の一実施形態を示すブロック図
【図２】図１に示す画像処理装置において扱われる画像を示す説明図
【図３】図１に示す画像処理装置の背景・物体領域設定手段において用いられる画像における各画素の位置に対応して設定される各閾値を示すグラフ
【図４】本発明に係る画像処理方法の一実施形態を示すフローチャート
【図５】図４に示す画像処理方法において画像について背景領域と物体領域とを区分けする工程を示すフローチャート
【図６】図２に示す画像の各画素を示す説明図
【図７】図５に示す背景領域と物体領域とを区分けする工程においてエッジ画素を検出する工程を示すフローチャート
【図８】図２に示す画像の有効領域内において背景領域と物体領域とを区分けした場合を示す説明図
【発明を実施するための形態】
【００２１】
以下、本発明に係る画像処理装置の一実施形態を図１から図８を参照して説明する。
【００２２】
図１は、本実施形態に係る画像処理装置を示すブロック図であり、図２は、図１に示す画像処理装置において扱われる画像を示す説明図である。
【００２３】
図１に示すように、本実施形態に係る画像処理装置１は、メモリカードやカメラ等の画像入力デバイスＩから画像データを入力するとともに、液晶表示装置やプリンタ等の画像出力デバイスＯに画像データを出力する画像データバッファ２を有している。
【００２４】
また、画像処理装置１は、画像データバッファ２から入力した画像データを所定の大きさに縮小する画像縮小手段３を有している。
【００２５】
さらに、画像処理装置１は、画像縮小手段３により縮小された画像データを用いてこの画像データの背景領域と物体領域とを設定し、物体領域から人体である被写体領域を抽出する背景・物体領域設定手段５を有している。この背景・物体領域設定手段５は、画像データの各画素を表した画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、各画素のうち注目画素および注目画素の対向縁側に隣接する比較画素との両画素を順次比較するようになっている。そして、背景・物体領域設定手段５は、両画素の画素値の差の絶対値が閾値を越えた場合には、比較画素を物体領域のエッジであると判断して物体領域のエッジ画素を検出するようになっている。
【００２６】
また、画像処理装置１は、抽出された被写体領域から補正値算出基準物体を決定する補正値算出基準物体決定手段１０と、補正値算出基準物体の画素値のヒストグラムを作成し、補正曲線を決定する補正曲線決定手段１１と、決定された補正曲線に基づいて画像全体の各画素について画像補正処理を行う画像補正手段９とを有している。
【００２７】
さらに、画像処理装置１は、画像縮小手段３により縮小された画像データを記憶する画像メモリ６と、画像でデータから背景領域と物体領域とを区分けするにあたり、各画素のうち隣接する両画素の画素値を比較するために用いる閾値を記憶する閾値テーブルメモリ７と、エッジ画素メモリ８とを有している。
【００２８】
図３は、画像データによってあらわされる画像における各画素の位置に対応して設定される各閾値を示すグラフであり、図３に示すように、この閾値テーブルに記憶された閾値は、画像の中央部分に位置する画素を比較するための閾値程、小さくなるように設定されている。例えば、画素値として輝度を用い、一外縁から対向縁に向かってエッジ画素を検出する場合、画像の最外縁部分の両画素を輝度によって比較する場合には、閾値を２５とし、画像の中央部分の両画素を輝度によって比較する場合には、閾値を２とする。これは、矩形状の画像について幅方向および長さ方向の一外縁から対向縁に向かってエッジ画素を検出する場合に共通である。ここで、画像の中央部分に位置する画素を比較するための閾値程小さくなるように設定するのは、被写体は画像の中央部分に位置することが多く、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができるようにするためである。
【００２９】
次に、本実施形態に係る画像処理装置１を用いた画像処理方法について、図４〜図８を用いて説明する。
【００３０】
図４に示すように、画像処理装置１は、画像入力デバイスＩから画像データバッファ２に原画像の画像データを入力すると（ＳＴ１）、画像縮小手段３は、画像データバッファ２から画像データを取り出して、原画像の画像データを所定の大きさの画像の画像データに縮小し（ＳＴ２）、縮小した画像の画像データを画像メモリ６において記憶する。画像縮小手段３による画像を縮小する方法としては、例えば、平均画素法、バイリニア、バイキュービック等、画像を縮小するための種々の方法を適用することができる。
【００３１】
続いて、背景・物体領域設定手段５は、画像メモリ６に記憶された画像データについて、背景領域と物体領域とを区分けし、背景領域の画素の画素値をクリアにして背景領域の画素を無効化することにより、背景領域を排除する（ＳＴ３）。これにより、背景・物体領域設定手段５は、画像データから物体領域を抽出する。
【００３２】
図２および図５に示すように、背景領域と物体領域とを区分けするため、背景・物体領域設定手段５は、まず、画像の外周縁部分を無効領域とし、その内側を有効領域とする（ＳＴ３１）。本実施形態においては、矩形状の画像の４辺の外周縁部分を無効領域とし、無効領域は、幅方向の両端縁の寸法を、それぞれ画像の幅寸法の１０％とし、長さ方向の両側縁の寸法を、それぞれ画像の長さ寸法の１０％とする。これは、被写体は画像の中央部分に配置されることが多いためであり、これにより、被写体でない部分を被写体領域としてしまう誤検出を防止することができ、さらに、比較する画素数が減少するので、背景領域と物体領域とを区分けする工程にかかる時間を短縮することが可能となる。
【００３３】
続いて、背景・物体領域設定手段５は、図６に示すように、有効領域において、画像の一外縁である左端の各画素Ｐ（０，０）〜Ｐ（０，ｎ）から対向する対向縁である右方向に向かって、注目画素およびこの注目画素の対向縁側に隣接する比較画素の両画素の画素値を順次比較して、物体領域の縁であるエッジ画素を検出する（ＳＴ３２）。
【００３４】
図７に示すように、エッジ画素を検出するため、背景・物体領域設定手段５は、まず、注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ＋１，ｊ）の両画素の画素値を比較し（ＳＴ３２１）、閾値テーブルメモリ７から両画素Ｐ（ｉ，ｊ）・Ｐ（ｉ＋１，ｊ）のうち、注目画素Ｐ（ｉ，ｊ）または比較画素Ｐ（ｉ＋１，ｊ）の位置に対応した閾値を取り出して、両画素の画素値の差の絶対値が、この閾値以上であるか否か判断する（ＳＴ３２２）。
【００３５】
ここで、背景・物体領域設定手段５は、両画素の画素値の差の絶対値が、この閾値以上でないと判断した場合には（ＳＴ３２２においてＮｏ）、比較画素Ｐ（ｉ＋１，ｊ）が対向縁側の最外縁の画素であるか否かを判断する（ＳＴ３２３）。そして、背景・物体領域設定手段５は、比較画素が対向側の最外縁の画素でないと判断した場合には（ＳＴ３２３においてＮｏ）、ｉをインクリメントして（ＳＴ３２４）、再度、注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ＋１，ｊ）の両画素の画素値を比較する（ＳＴ３２１）。
【００３６】
一方、背景・物体領域設定手段５は、両画素の画素値の差の絶対値が、この閾値以上であると判断した場合には（ＳＴ３２２Ｙｅｓ）、比較画素を物体領域のエッジであると判断し、その画素をエッジ画素としてエッジ画素メモリ８に記憶する（ＳＴ３２５）。
【００３７】
さらに、背景・物体領域設定手段５は、エッジ画素をエッジ画素メモリ８に記憶した後（ＳＴ３２５）、または、比較画素が対向側の最外縁の画素であると判断した場合には（ＳＴ３２３においてＹｅｓ）、比較した両画素Ｐ（＊，ｊ）・Ｐ（＊＋１，ｊ）が一外縁の最後端の画素であるか否かを判断する（ＳＴ３２６）。
【００３８】
そして、比較した両画素が一外縁の最後端の画素ではないと判断した場合には（ＳＴ３２６においてＮｏ）、ｊをインクリメントするとともにｉを初期化して（ＳＴ３２７）、再度、注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ＋１，ｊ）の両画素の画素値を比較する（ＳＴ３２１）。一方、背景・物体領域設定手段５は、比較した両画素が一外縁の最後端の画素であると判断した場合には（ＳＴ３２６においてＹｅｓ）、画像の左端の各画素Ｐ（０，０）〜Ｐ（０，ｎ）から右方向に向かってエッジ画素を検出する工程（ＳＴ３２）を終了する。
【００３９】
続いて、背景・物体領域設定手段５は、有効領域において、画像の一外縁である右端の各画素Ｐ（ｍ，０）〜Ｐ（ｍ，ｎ）から対向する対向縁である左方向に向かって、注目画素および比較画素の両画素の画素値を順次比較して、物体領域のエッジ画素を検出する（ＳＴ３３）。エッジ画素を検出する工程については、ＳＴ３２１〜ＳＴ３２７とほぼ同様であり、ＳＴ３３においては、ＳＴ３２１の工程で注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ−１，ｊ）の画素値を比較する。また、ＳＴ３２３の工程で比較画素Ｐ（ｉ−１，ｊ）が対向縁側の最外縁か否かを判断し、最外縁の画素ではないと判断した場合には、ＳＴ３２４の工程でｉをデクリメントする。
【００４０】
次に、画像の右端の各画素Ｐ（ｍ，０）〜Ｐ（ｍ，ｎ）から左方向に向かってエッジ画素を検出する工程（ＳＴ３３）を終了した後、背景・物体領域設定手段５は、有効領域において、画像の一外縁である上端の各画素Ｐ（０，０）〜Ｐ（ｍ，０）から対向する対向縁である下方向に向かって、注目画素および比較画素の両画素の画素値を順次比較して、物体領域のエッジ画素を検出する（ＳＴ３４）。エッジ画素を検出する工程については、ＳＴ３２１〜ＳＴ３２７とほぼ同様であり、ＳＴ３４においては、ＳＴ３２１の工程で注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ，ｊ＋１）の画素値を比較する。また、ＳＴ３２３の工程で比較画素Ｐ（ｉ，ｊ＋１）が対向縁側の最外縁か否かを判断し、最外縁でないと判断した場合には、ＳＴ３２４の工程でｊをインクリメントする。さらに、ＳＴ３２６の工程で比較した両画素Ｐ（ｉ，＊）・Ｐ（ｉ，＊＋１）が一外縁の最後端の画素であるか否かを判断し、最後端の画素でないと判断した場合には、ＳＴ３２７においてｉをインクリメントしｊを初期化する。
【００４１】
続いて、画像の上端の各画素Ｐ（０，０）〜Ｐ（ｍ，０）から下方向に向かってエッジ画素を検出する工程（ＳＴ３３）を終了した後、背景・物体領域設定手段５は、有効領域において、画像の一外縁である下端の各画素Ｐ（０，ｎ）〜Ｐ（ｍ，ｎ）から対向する対向縁である上方向に向かって、注目画素および比較画素の両画素の画素値を順次比較して、物体領域のエッジ画素を検出する（ＳＴ３５）。エッジ画素を検出する工程については、ＳＴ３２１〜ＳＴ３２７と同様であり、ＳＴ３５においては、ＳＴ３２１の工程で注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ，ｊ−１）の画素値を比較し、ＳＴ３２３の工程で比較画素Ｐ（ｉ，ｊ−１）が対向縁側の最外縁か否かを判断し、最外縁でないと判断した場合には、ＳＴ３２４の工程でｊをデクリメントする。さらに、ＳＴ３２６の工程で比較した両画素Ｐ（ｉ，＊）・Ｐ（ｉ，＊−１）が一外縁の最後端の画素であるか否かを判断し、最後端の画素でないと判断した場合には、ＳＴ３２７においてｉをインクリメントしｊを初期化する。
【００４２】
さらに、画像の下端の各画素Ｐ（０，ｎ）〜Ｐ（ｍ，ｎ）から上方向に向かってエッジ画素を検出する工程（ＳＴ３５）が終了すると、背景・物体領域設定手段５は、図８に示すように、エッジ画素メモリ８に記憶された各エッジ画素に基づいて、各エッジ画素に囲まれた部分を物体領域であると判断し、それ以外の領域を背景領域と判断する（ＳＴ３６）。本実施形態においては、背景・物体領域設定手段５は、図８に示すように、太陽と、雲と、人物の顔が物体領域として判断し、太陽と、雲と、人物の顔を除く部分は、背景領域であると判断する。
【００４３】
そして、背景・物体領域設定手段５は、画像メモリ６に記憶された画像データのうち背景領域であると判断された部分の各画素の画素値を０とすることにより、背景領域の画素を無効化して、背景領域を排除する（ＳＴ３７）。これにより、背景・物体領域設定手段５は、画像データから物体領域を抽出する。
【００４４】
続いて、背景・物体領域設定手段５は、物体領域にあると判断された各画素について、肌色であるか否かを判断し、画像メモリ６に記憶された画像データのうち肌色でないと判断された部分の各画素の画素値を０とし、肌色でないと判断された部分の各画素を無効化することにより、肌色である被写体領域を抽出する（ＳＴ４）。
【００４５】
肌色の被写体領域を抽出する方法としては、種々の方法を用いることができ、例えば、色相、彩度、明度の３つの成分からなるＨＳＶ色空間、および輝度、青の色差、赤の色差の成分からなるＹＣｂＣｒ色空間の２つの色空間を併用して、肌色か否かを判断し、被写体領域を抽出する方法を用いることができる。この方法は、Ｙ（輝度）とＣｂ（青の色差）、Ｙ（輝度）とＣｒ（赤の色差）、およびＨ（色相）とＳ（彩度）の３つの関係が、全て肌色条件を満足した場合に、肌色であると判断する。これにより、本実施形態においては、背景・物体領域設定手段５は、物体領域として判断された太陽と、雲と、人物の顔のうち、人物の顔の部分が被写体領域であると判断する。
【００４６】
なお、被写体領域を抽出するための色彩として、肌色ではなく被写体領域として抽出したい対象物の色彩を用いることにより、人物だけではなく、他の対象物も被写体領域として抽出することができる。
【００４７】
次に、画像補正手段９は、画像メモリ６に記憶された画像データの被写体領域についてノイズを除去する（ＳＴ５）。ノイズ除去方法としては、例えば、メディアンフィルタや、膨張・縮小処理（クロージング処理）等、種々の方法を用いることができる。
【００４８】
さらに、補正値算出基準物体決定手段１０は、画像メモリ６に記憶された画像データにおける被写体領域の部分について、人物らしさを判定して補正値算出基準物体を決定し（ＳＴ６）、補正曲線決定手段１１は、補正値算出基準物体の各画素の画素値のヒストグラムを作成して補正曲線を決定する（ＳＴ７）。そして、前記補正曲線に基づいて画像全体に対して各画素の輝度および色差成分を補正することにより（ＳＴ８）、自動露出補正を行う。ここで、人物らしさを判定して補正値算出基準物体を決定する方法としては、種々の方法を用いることができる。例えば、画像における各被写体領域のうち同程度の輝度の肌色画素によって構成されている領域を抽出し、その被写体領域の部分の特徴を解析して人物らしさのポイントを付け、抽出した各被写体領域を、平均輝度別にグループ分けし、グループ毎に人物らしさのポイントの合計値を求め、合計値が最も多いグループの被写体領域を補正値算出基準物体とする方法を用いることができる。
【００４９】
本実施形態によれば、画像の中央部分に位置する画素を比較する場合程小さく設定された閾値を用いて、隣接する両画素の画素値を比較し、物体領域のエッジ画素を検出することができるので、予め背景のみの画像を用意することなく、画像から物体領域を抽出することができる。また、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像の他、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができる。
【００５０】
したがって、本実施形態に係る画像処理装置１は、予め背景のみの画像を用意するという手間をかけることなく、容易かつ確実に画像データから被写体領域を含む物体領域を抽出することができる。また、画像処理装置１は、物体領域と背景領域とを区分けして背景領域を排除し、物体領域から被写体領域を抽出することにより、例えば、背景領域に被写体ではない肌色部分が存在する場合でも、誤って被写体であると認識してしまうことを防止することができ、これにより、被写体領域ではない部分についての不適切な画像処理を確実に防止することができる。
【００５１】
また、画像処理装置１によれば、矩形状の画像について、画像の各外縁の４方向から順次両画素の画素値を比較してエッジ画素をそれぞれ検出することにより、確実に物体領域を抽出することができる。
【００５２】
さらに、画像処理装置１によれば、画像の外周縁部分を無効領域とすることにより、 被写体でない部分を被写体領域としてしまう誤検出を防止することができ、さらに、比較する画素数が減少するので、背景領域と物体領域とを区分けする工程にかかる時間を短縮することが可能となる。
【００５３】
なお、本発明は前記実施形態に限定されるものではなく、必要に応じて種々変更することが可能である。
【符号の説明】
【００５４】
１ 画像処理装置
２ 画像データバッファ
３ 画像縮小手段
５ 背景・物体領域設定手段
６ 画像メモリ
７ 閾値テーブルメモリ
８ エッジ画素メモリ
９ 画像補正手段
Ｉ 入力デバイス
Ｏ 出力デバイス
【技術分野】
【０００１】
本発明は、画像から背景領域と物体領域とを区分けする画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等のデジタル機器を用いて写真を撮影することにより、デジタルの画像データによって写真画像を扱うことが多くなっている。また、従来より、このような画像のうち、逆光状態や夜間での撮影等、撮影条件によっては暗すぎたり、明るすぎて写ってしまった人物の部分の各画素について、適切な明度、彩度、色相に自動露出補正する画像処理が行われている。
【０００３】
ここで、前述のような画像のうち人物が写っている被写体部分の画素を補正する画像処理を行うには、取得された画像から被写体領域を抽出する必要があり、このように画像から被写体領域を抽出する方法としては、例えば、画像を構成する各画素のうち被写体としての人物の肌色の画素を特定することにより、画像から被写体領域を抽出する方法が用いられている。
【０００４】
また、画像から被写体領域を抽出する他の方法としては、画像の物体領域と背景領域との明るさの差異に基づいて、物体領域を検出する方法が知られている。
【０００５】
さらに、画像から被写体領域を含む物体領域を抽出するさらに他の方法としては、例えば、特許文献１に示すように、予め取得した背景のみの画像の各画素の平均色相および平均輝度を検出し、この背景に被写体を含めた画像中の各画素の輝度および色相と前記平均輝度および平均色相とを比較する画像処理方法が行われている。この画像処理方法によれば、被写体を含めて撮影された画像中の各画素の輝度および色相が前記平均輝度および平均色相と比較して所定の閾値以上の差がある場合には、その画素が被写体を含む物体領域であると判断することにより、画像からそれ以外の背景領域を除去することが行われている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−２３６３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、画像から被写体領域を抽出する方法として、前述のような画像の各画素のうち肌色の画素を特定する方法を用いた場合、背景に木やレンガ等の人物ではない肌色に近い色が存在するような場合であっても、その部分を人物が写っている被写体領域であると判断してしまうこととなる。このため、前述の画像処理では、人物でない部分の画素について人物であると判断して人物に適した輝度、明度、彩度等に補正してしまうことがあり、不適切な画像処理が行われてしまうおそれがあるという問題を有していた。
【０００８】
また、物体領域と背景領域との明るさの差異に基づいて画像から被写体領域を含む物体領域を抽出する方法を用いる場合、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像については、物体領域と背景領域とを明瞭に区分けして物体領域を抽出することができる。しかし、全体的にあまり明るさに差がない写真画像については、物体領域を明瞭に抽出することは困難であった。
【０００９】
さらに、画像から被写体領域を含む物体領域を抽出する方法として、前述のような特許文献１に記載する方法を用いる場合には、予め背景のみの画像を取得する必要があり、手間がかかるという問題を有していた。
【００１０】
本発明はこれらの点に鑑みてなされたものであり、予め背景のみの画像を取得するという手間をかけることなく、容易かつ確実に画像から被写体領域を含む物体領域を抽出し、かつ不適切な画像処理が行われてしまうことを防止することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するため、本発明に係る画像処理装置の特徴は、画像を表す各画素のうち隣接する両画素の画素値を比較するために用いられる閾値が、前記画像の中央部分に位置する画素を比較する閾値程小さくなるように設定された閾値テーブルを記憶する閾値テーブルメモリと、前記画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、前記両画素の画素値の差の絶対値が、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除する制御を行う背景・物体領域設定手段とを有する点にある。
【００１２】
本発明において、画素値とは、輝度または色相等、各画素の成分を示す数値をいう。
【００１３】
この本発明に係る画像処理装置によれば、背景・物体領域設定手段は、画像の中央部分に位置する画素を比較する場合程小さく設定された閾値を用いて、注目画素および比較画素の両画素の画素値を比較し、物体領域のエッジ画素を検出することにより、物体領域を抽出するので、背景のみの画像を予め用意する必要がない。また、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像の他、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができる。
【００１４】
本発明に係る画像処理方法の特徴は、各画素によって表した画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、前記両画素の画素値の差の絶対値が、前記画像の中央部分に位置する画素の閾値ほど小さくなるように設定された各閾値のうち、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除する点にある。
【００１５】
本発明において、画素値とは、輝度または色相等、各画素の成分を示す数値をいう。
【００１６】
この本発明に係る画像処理方法によれば、画像の中央部分に位置する画素を比較する場合程小さく設定された閾値を用いて、注目画素および比較画素の両画素の画素値を比較し、物体領域のエッジ画素を検出することができる。このため、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像の他、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができる。
【００１７】
前記本発明に係る画像処理方法の他の特徴は、矩形状の前記画像について外縁の４方向からそれぞれ前記対向縁に向かって、前記両画素の画素値を順次比較する点にある。これにより、本発明に係る画像処理方法は、矩形状の画像について、画像の各外縁の４方向から順次両画素の画素値を比較してエッジ画素をそれぞれ検出するので、確実に物体領域を抽出することができる。
【００１８】
また、前記本発明に係る画像処理方法の他の特徴は、前記画像の外周縁部分を無効領域とし、前記無効領域のうち幅方向の両端縁の寸法を、それぞれ画像の幅寸法の１０％とし、かつ、長さ方向の両側縁の寸法を、それぞれ画像の長さ寸法の１０％とし、前記画像における前記無効領域を除いた有効領域について、前記画像データにおける前記物体領域と前記背景領域とを区分けする点にある。これにより、前記本発明に係る画像処理方法は、被写体でない部分を被写体領域としてしまう誤検出を防止することができ、さらに、比較する画素数が減少するので、背景領域と物体領域とを区分けする工程にかかる時間を短縮することが可能となる。
【発明の効果】
【００１９】
以上述べたように、本発明に係る画像処理装置および画像処理方法によれば、予め背景のみの画像を取得するという手間をかけることなく、容易かつ確実に画像データから被写体領域を含む物体領域を抽出することができる。また、画像処理装置および画像処理方法は、物体領域と背景領域とを区分けして背景領域を排除することにより、例えば、背景領域に被写体ではない肌色部分が存在する場合でも、誤って被写体であると認識してしまうことを防止することができ、これにより、被写体領域ではない部分についての不適切な画像処理を確実に防止することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る画像処理装置の一実施形態を示すブロック図
【図２】図１に示す画像処理装置において扱われる画像を示す説明図
【図３】図１に示す画像処理装置の背景・物体領域設定手段において用いられる画像における各画素の位置に対応して設定される各閾値を示すグラフ
【図４】本発明に係る画像処理方法の一実施形態を示すフローチャート
【図５】図４に示す画像処理方法において画像について背景領域と物体領域とを区分けする工程を示すフローチャート
【図６】図２に示す画像の各画素を示す説明図
【図７】図５に示す背景領域と物体領域とを区分けする工程においてエッジ画素を検出する工程を示すフローチャート
【図８】図２に示す画像の有効領域内において背景領域と物体領域とを区分けした場合を示す説明図
【発明を実施するための形態】
【００２１】
以下、本発明に係る画像処理装置の一実施形態を図１から図８を参照して説明する。
【００２２】
図１は、本実施形態に係る画像処理装置を示すブロック図であり、図２は、図１に示す画像処理装置において扱われる画像を示す説明図である。
【００２３】
図１に示すように、本実施形態に係る画像処理装置１は、メモリカードやカメラ等の画像入力デバイスＩから画像データを入力するとともに、液晶表示装置やプリンタ等の画像出力デバイスＯに画像データを出力する画像データバッファ２を有している。
【００２４】
また、画像処理装置１は、画像データバッファ２から入力した画像データを所定の大きさに縮小する画像縮小手段３を有している。
【００２５】
さらに、画像処理装置１は、画像縮小手段３により縮小された画像データを用いてこの画像データの背景領域と物体領域とを設定し、物体領域から人体である被写体領域を抽出する背景・物体領域設定手段５を有している。この背景・物体領域設定手段５は、画像データの各画素を表した画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、各画素のうち注目画素および注目画素の対向縁側に隣接する比較画素との両画素を順次比較するようになっている。そして、背景・物体領域設定手段５は、両画素の画素値の差の絶対値が閾値を越えた場合には、比較画素を物体領域のエッジであると判断して物体領域のエッジ画素を検出するようになっている。
【００２６】
また、画像処理装置１は、抽出された被写体領域から補正値算出基準物体を決定する補正値算出基準物体決定手段１０と、補正値算出基準物体の画素値のヒストグラムを作成し、補正曲線を決定する補正曲線決定手段１１と、決定された補正曲線に基づいて画像全体の各画素について画像補正処理を行う画像補正手段９とを有している。
【００２７】
さらに、画像処理装置１は、画像縮小手段３により縮小された画像データを記憶する画像メモリ６と、画像でデータから背景領域と物体領域とを区分けするにあたり、各画素のうち隣接する両画素の画素値を比較するために用いる閾値を記憶する閾値テーブルメモリ７と、エッジ画素メモリ８とを有している。
【００２８】
図３は、画像データによってあらわされる画像における各画素の位置に対応して設定される各閾値を示すグラフであり、図３に示すように、この閾値テーブルに記憶された閾値は、画像の中央部分に位置する画素を比較するための閾値程、小さくなるように設定されている。例えば、画素値として輝度を用い、一外縁から対向縁に向かってエッジ画素を検出する場合、画像の最外縁部分の両画素を輝度によって比較する場合には、閾値を２５とし、画像の中央部分の両画素を輝度によって比較する場合には、閾値を２とする。これは、矩形状の画像について幅方向および長さ方向の一外縁から対向縁に向かってエッジ画素を検出する場合に共通である。ここで、画像の中央部分に位置する画素を比較するための閾値程小さくなるように設定するのは、被写体は画像の中央部分に位置することが多く、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができるようにするためである。
【００２９】
次に、本実施形態に係る画像処理装置１を用いた画像処理方法について、図４〜図８を用いて説明する。
【００３０】
図４に示すように、画像処理装置１は、画像入力デバイスＩから画像データバッファ２に原画像の画像データを入力すると（ＳＴ１）、画像縮小手段３は、画像データバッファ２から画像データを取り出して、原画像の画像データを所定の大きさの画像の画像データに縮小し（ＳＴ２）、縮小した画像の画像データを画像メモリ６において記憶する。画像縮小手段３による画像を縮小する方法としては、例えば、平均画素法、バイリニア、バイキュービック等、画像を縮小するための種々の方法を適用することができる。
【００３１】
続いて、背景・物体領域設定手段５は、画像メモリ６に記憶された画像データについて、背景領域と物体領域とを区分けし、背景領域の画素の画素値をクリアにして背景領域の画素を無効化することにより、背景領域を排除する（ＳＴ３）。これにより、背景・物体領域設定手段５は、画像データから物体領域を抽出する。
【００３２】
図２および図５に示すように、背景領域と物体領域とを区分けするため、背景・物体領域設定手段５は、まず、画像の外周縁部分を無効領域とし、その内側を有効領域とする（ＳＴ３１）。本実施形態においては、矩形状の画像の４辺の外周縁部分を無効領域とし、無効領域は、幅方向の両端縁の寸法を、それぞれ画像の幅寸法の１０％とし、長さ方向の両側縁の寸法を、それぞれ画像の長さ寸法の１０％とする。これは、被写体は画像の中央部分に配置されることが多いためであり、これにより、被写体でない部分を被写体領域としてしまう誤検出を防止することができ、さらに、比較する画素数が減少するので、背景領域と物体領域とを区分けする工程にかかる時間を短縮することが可能となる。
【００３３】
続いて、背景・物体領域設定手段５は、図６に示すように、有効領域において、画像の一外縁である左端の各画素Ｐ（０，０）〜Ｐ（０，ｎ）から対向する対向縁である右方向に向かって、注目画素およびこの注目画素の対向縁側に隣接する比較画素の両画素の画素値を順次比較して、物体領域の縁であるエッジ画素を検出する（ＳＴ３２）。
【００３４】
図７に示すように、エッジ画素を検出するため、背景・物体領域設定手段５は、まず、注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ＋１，ｊ）の両画素の画素値を比較し（ＳＴ３２１）、閾値テーブルメモリ７から両画素Ｐ（ｉ，ｊ）・Ｐ（ｉ＋１，ｊ）のうち、注目画素Ｐ（ｉ，ｊ）または比較画素Ｐ（ｉ＋１，ｊ）の位置に対応した閾値を取り出して、両画素の画素値の差の絶対値が、この閾値以上であるか否か判断する（ＳＴ３２２）。
【００３５】
ここで、背景・物体領域設定手段５は、両画素の画素値の差の絶対値が、この閾値以上でないと判断した場合には（ＳＴ３２２においてＮｏ）、比較画素Ｐ（ｉ＋１，ｊ）が対向縁側の最外縁の画素であるか否かを判断する（ＳＴ３２３）。そして、背景・物体領域設定手段５は、比較画素が対向側の最外縁の画素でないと判断した場合には（ＳＴ３２３においてＮｏ）、ｉをインクリメントして（ＳＴ３２４）、再度、注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ＋１，ｊ）の両画素の画素値を比較する（ＳＴ３２１）。
【００３６】
一方、背景・物体領域設定手段５は、両画素の画素値の差の絶対値が、この閾値以上であると判断した場合には（ＳＴ３２２Ｙｅｓ）、比較画素を物体領域のエッジであると判断し、その画素をエッジ画素としてエッジ画素メモリ８に記憶する（ＳＴ３２５）。
【００３７】
さらに、背景・物体領域設定手段５は、エッジ画素をエッジ画素メモリ８に記憶した後（ＳＴ３２５）、または、比較画素が対向側の最外縁の画素であると判断した場合には（ＳＴ３２３においてＹｅｓ）、比較した両画素Ｐ（＊，ｊ）・Ｐ（＊＋１，ｊ）が一外縁の最後端の画素であるか否かを判断する（ＳＴ３２６）。
【００３８】
そして、比較した両画素が一外縁の最後端の画素ではないと判断した場合には（ＳＴ３２６においてＮｏ）、ｊをインクリメントするとともにｉを初期化して（ＳＴ３２７）、再度、注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ＋１，ｊ）の両画素の画素値を比較する（ＳＴ３２１）。一方、背景・物体領域設定手段５は、比較した両画素が一外縁の最後端の画素であると判断した場合には（ＳＴ３２６においてＹｅｓ）、画像の左端の各画素Ｐ（０，０）〜Ｐ（０，ｎ）から右方向に向かってエッジ画素を検出する工程（ＳＴ３２）を終了する。
【００３９】
続いて、背景・物体領域設定手段５は、有効領域において、画像の一外縁である右端の各画素Ｐ（ｍ，０）〜Ｐ（ｍ，ｎ）から対向する対向縁である左方向に向かって、注目画素および比較画素の両画素の画素値を順次比較して、物体領域のエッジ画素を検出する（ＳＴ３３）。エッジ画素を検出する工程については、ＳＴ３２１〜ＳＴ３２７とほぼ同様であり、ＳＴ３３においては、ＳＴ３２１の工程で注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ−１，ｊ）の画素値を比較する。また、ＳＴ３２３の工程で比較画素Ｐ（ｉ−１，ｊ）が対向縁側の最外縁か否かを判断し、最外縁の画素ではないと判断した場合には、ＳＴ３２４の工程でｉをデクリメントする。
【００４０】
次に、画像の右端の各画素Ｐ（ｍ，０）〜Ｐ（ｍ，ｎ）から左方向に向かってエッジ画素を検出する工程（ＳＴ３３）を終了した後、背景・物体領域設定手段５は、有効領域において、画像の一外縁である上端の各画素Ｐ（０，０）〜Ｐ（ｍ，０）から対向する対向縁である下方向に向かって、注目画素および比較画素の両画素の画素値を順次比較して、物体領域のエッジ画素を検出する（ＳＴ３４）。エッジ画素を検出する工程については、ＳＴ３２１〜ＳＴ３２７とほぼ同様であり、ＳＴ３４においては、ＳＴ３２１の工程で注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ，ｊ＋１）の画素値を比較する。また、ＳＴ３２３の工程で比較画素Ｐ（ｉ，ｊ＋１）が対向縁側の最外縁か否かを判断し、最外縁でないと判断した場合には、ＳＴ３２４の工程でｊをインクリメントする。さらに、ＳＴ３２６の工程で比較した両画素Ｐ（ｉ，＊）・Ｐ（ｉ，＊＋１）が一外縁の最後端の画素であるか否かを判断し、最後端の画素でないと判断した場合には、ＳＴ３２７においてｉをインクリメントしｊを初期化する。
【００４１】
続いて、画像の上端の各画素Ｐ（０，０）〜Ｐ（ｍ，０）から下方向に向かってエッジ画素を検出する工程（ＳＴ３３）を終了した後、背景・物体領域設定手段５は、有効領域において、画像の一外縁である下端の各画素Ｐ（０，ｎ）〜Ｐ（ｍ，ｎ）から対向する対向縁である上方向に向かって、注目画素および比較画素の両画素の画素値を順次比較して、物体領域のエッジ画素を検出する（ＳＴ３５）。エッジ画素を検出する工程については、ＳＴ３２１〜ＳＴ３２７と同様であり、ＳＴ３５においては、ＳＴ３２１の工程で注目画素Ｐ（ｉ，ｊ）および比較画素Ｐ（ｉ，ｊ−１）の画素値を比較し、ＳＴ３２３の工程で比較画素Ｐ（ｉ，ｊ−１）が対向縁側の最外縁か否かを判断し、最外縁でないと判断した場合には、ＳＴ３２４の工程でｊをデクリメントする。さらに、ＳＴ３２６の工程で比較した両画素Ｐ（ｉ，＊）・Ｐ（ｉ，＊−１）が一外縁の最後端の画素であるか否かを判断し、最後端の画素でないと判断した場合には、ＳＴ３２７においてｉをインクリメントしｊを初期化する。
【００４２】
さらに、画像の下端の各画素Ｐ（０，ｎ）〜Ｐ（ｍ，ｎ）から上方向に向かってエッジ画素を検出する工程（ＳＴ３５）が終了すると、背景・物体領域設定手段５は、図８に示すように、エッジ画素メモリ８に記憶された各エッジ画素に基づいて、各エッジ画素に囲まれた部分を物体領域であると判断し、それ以外の領域を背景領域と判断する（ＳＴ３６）。本実施形態においては、背景・物体領域設定手段５は、図８に示すように、太陽と、雲と、人物の顔が物体領域として判断し、太陽と、雲と、人物の顔を除く部分は、背景領域であると判断する。
【００４３】
そして、背景・物体領域設定手段５は、画像メモリ６に記憶された画像データのうち背景領域であると判断された部分の各画素の画素値を０とすることにより、背景領域の画素を無効化して、背景領域を排除する（ＳＴ３７）。これにより、背景・物体領域設定手段５は、画像データから物体領域を抽出する。
【００４４】
続いて、背景・物体領域設定手段５は、物体領域にあると判断された各画素について、肌色であるか否かを判断し、画像メモリ６に記憶された画像データのうち肌色でないと判断された部分の各画素の画素値を０とし、肌色でないと判断された部分の各画素を無効化することにより、肌色である被写体領域を抽出する（ＳＴ４）。
【００４５】
肌色の被写体領域を抽出する方法としては、種々の方法を用いることができ、例えば、色相、彩度、明度の３つの成分からなるＨＳＶ色空間、および輝度、青の色差、赤の色差の成分からなるＹＣｂＣｒ色空間の２つの色空間を併用して、肌色か否かを判断し、被写体領域を抽出する方法を用いることができる。この方法は、Ｙ（輝度）とＣｂ（青の色差）、Ｙ（輝度）とＣｒ（赤の色差）、およびＨ（色相）とＳ（彩度）の３つの関係が、全て肌色条件を満足した場合に、肌色であると判断する。これにより、本実施形態においては、背景・物体領域設定手段５は、物体領域として判断された太陽と、雲と、人物の顔のうち、人物の顔の部分が被写体領域であると判断する。
【００４６】
なお、被写体領域を抽出するための色彩として、肌色ではなく被写体領域として抽出したい対象物の色彩を用いることにより、人物だけではなく、他の対象物も被写体領域として抽出することができる。
【００４７】
次に、画像補正手段９は、画像メモリ６に記憶された画像データの被写体領域についてノイズを除去する（ＳＴ５）。ノイズ除去方法としては、例えば、メディアンフィルタや、膨張・縮小処理（クロージング処理）等、種々の方法を用いることができる。
【００４８】
さらに、補正値算出基準物体決定手段１０は、画像メモリ６に記憶された画像データにおける被写体領域の部分について、人物らしさを判定して補正値算出基準物体を決定し（ＳＴ６）、補正曲線決定手段１１は、補正値算出基準物体の各画素の画素値のヒストグラムを作成して補正曲線を決定する（ＳＴ７）。そして、前記補正曲線に基づいて画像全体に対して各画素の輝度および色差成分を補正することにより（ＳＴ８）、自動露出補正を行う。ここで、人物らしさを判定して補正値算出基準物体を決定する方法としては、種々の方法を用いることができる。例えば、画像における各被写体領域のうち同程度の輝度の肌色画素によって構成されている領域を抽出し、その被写体領域の部分の特徴を解析して人物らしさのポイントを付け、抽出した各被写体領域を、平均輝度別にグループ分けし、グループ毎に人物らしさのポイントの合計値を求め、合計値が最も多いグループの被写体領域を補正値算出基準物体とする方法を用いることができる。
【００４９】
本実施形態によれば、画像の中央部分に位置する画素を比較する場合程小さく設定された閾値を用いて、隣接する両画素の画素値を比較し、物体領域のエッジ画素を検出することができるので、予め背景のみの画像を用意することなく、画像から物体領域を抽出することができる。また、逆光状態や夜間にストロボを発光した状態で撮影した場合のような背景領域と物体領域との各画素の画素値に大きな差がある写真画像の他、全体的にあまり各画素の画素値に差がない写真画像であっても、確実に被写体領域を含む物体領域を抽出することができる。
【００５０】
したがって、本実施形態に係る画像処理装置１は、予め背景のみの画像を用意するという手間をかけることなく、容易かつ確実に画像データから被写体領域を含む物体領域を抽出することができる。また、画像処理装置１は、物体領域と背景領域とを区分けして背景領域を排除し、物体領域から被写体領域を抽出することにより、例えば、背景領域に被写体ではない肌色部分が存在する場合でも、誤って被写体であると認識してしまうことを防止することができ、これにより、被写体領域ではない部分についての不適切な画像処理を確実に防止することができる。
【００５１】
また、画像処理装置１によれば、矩形状の画像について、画像の各外縁の４方向から順次両画素の画素値を比較してエッジ画素をそれぞれ検出することにより、確実に物体領域を抽出することができる。
【００５２】
さらに、画像処理装置１によれば、画像の外周縁部分を無効領域とすることにより、 被写体でない部分を被写体領域としてしまう誤検出を防止することができ、さらに、比較する画素数が減少するので、背景領域と物体領域とを区分けする工程にかかる時間を短縮することが可能となる。
【００５３】
なお、本発明は前記実施形態に限定されるものではなく、必要に応じて種々変更することが可能である。
【符号の説明】
【００５４】
１ 画像処理装置
２ 画像データバッファ
３ 画像縮小手段
５ 背景・物体領域設定手段
６ 画像メモリ
７ 閾値テーブルメモリ
８ エッジ画素メモリ
９ 画像補正手段
Ｉ 入力デバイス
Ｏ 出力デバイス
【特許請求の範囲】
【請求項１】
画像を表す各画素のうち隣接する両画素の画素値を比較するために用いられる閾値が、前記画像の中央部分に位置する画素を比較する閾値程小さくなるように設定された閾値テーブルを記憶する閾値テーブルメモリと、
前記画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、前記両画素の画素値の差の絶対値が、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除する制御を行う背景・物体領域設定手段とを有することを特徴とする画像処理装置。
【請求項２】
各画素によって表した画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、
前記両画素の画素値の差の絶対値が、前記画像の中央部分に位置する画素の閾値ほど小さくなるように設定された各閾値のうち、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、
全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除することを特徴とする画像処理方法。
【請求項３】
矩形状の前記画像について外縁の４方向からそれぞれ前記対向縁に向かって、前記両画素の画素値を順次比較することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記画像の外周縁部分を無効領域とし、
前記無効領域のうち幅方向の両端縁の寸法を、それぞれ画像の幅寸法の１０％とし、かつ、長さ方向の両側縁の寸法を、それぞれ画像の長さ寸法の１０％とし、
前記画像における前記無効領域を除いた有効領域について、前記画像データにおける前記物体領域と前記背景領域とを区分けすることを特徴とする請求項２または請求項３に記載の画像処理方法。
【請求項１】
画像を表す各画素のうち隣接する両画素の画素値を比較するために用いられる閾値が、前記画像の中央部分に位置する画素を比較する閾値程小さくなるように設定された閾値テーブルを記憶する閾値テーブルメモリと、
前記画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、前記両画素の画素値の差の絶対値が、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除する制御を行う背景・物体領域設定手段とを有することを特徴とする画像処理装置。
【請求項２】
各画素によって表した画像の外縁の少なくとも３方向からそれぞれ対向する対向縁に向かって、前記各画素のうち注目画素および前記注目画素の対向縁側に隣接する比較画素との各画素値を順次比較し、
前記両画素の画素値の差の絶対値が、前記画像の中央部分に位置する画素の閾値ほど小さくなるように設定された各閾値のうち、前記注目画素または前記比較画素の前記画像における位置に対応する閾値を越えた場合には、前記比較画素を物体領域のエッジであると判断してエッジ画素を検出し、
全外縁からのエッジ画素の検出が終了した後、前記各エッジ画素に囲まれた部分を前記物体領域であると判断して、前記画像における物体領域と、前記物体領域を除いた他の部分である背景領域とを区分けし、前記背景領域を排除することを特徴とする画像処理方法。
【請求項３】
矩形状の前記画像について外縁の４方向からそれぞれ前記対向縁に向かって、前記両画素の画素値を順次比較することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記画像の外周縁部分を無効領域とし、
前記無効領域のうち幅方向の両端縁の寸法を、それぞれ画像の幅寸法の１０％とし、かつ、長さ方向の両側縁の寸法を、それぞれ画像の長さ寸法の１０％とし、
前記画像における前記無効領域を除いた有効領域について、前記画像データにおける前記物体領域と前記背景領域とを区分けすることを特徴とする請求項２または請求項３に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２１９８７０（Ｐ２０１０−２１９８７０Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６４１２０（Ｐ２００９−６４１２０）
【出願日】平成２１年３月１７日（２００９．３．１７）
【出願人】（００００１００９８）アルプス電気株式会社 (4,263)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１７日（２００９．３．１７）
【出願人】（００００１００９８）アルプス電気株式会社 (4,263)
【Ｆターム（参考）】
[ Back to top ]