画像処理装置、画像処理プログラム、および画像処理方法
【課題】被写体の検出精度を向上させる画像処理装置を提供する。
【解決手段】可動する耳を有する被写体の画像から、顔候補検出部１０４によって、被写体の顔候補を検出し、さらに付属部位検出部１０６によって被写体の耳を検出する。そして、頭部決定部１０７によって、検出した顔候補と耳とによって画像中から、被写体を検出する。
【解決手段】可動する耳を有する被写体の画像から、顔候補検出部１０４によって、被写体の顔候補を検出し、さらに付属部位検出部１０６によって被写体の耳を検出する。そして、頭部決定部１０７によって、検出した顔候補と耳とによって画像中から、被写体を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関するものである。
【背景技術】
【０００２】
従来、画像から被写体の顔領域を抽出する画像処理装置としては、特許文献１に記載されたものがある。特許文献１では、画像から顔領域を抽出し、顔領域から顔の形および位置を検出した後、顔領域から目、鼻、口、および耳の各特徴領域を抽出し、特徴領域の特徴点を演算することで、顔の方向を検出している。
【特許文献１】特開２０００−１３０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の発明では、可動部を有する被写体から、可動部を含んだ領域を抽出すると、可動部の動きによって、可動部を含んだ領域の検出精度が低下する、という問題点がある。例えば、猫の顔を特定部位、耳をその特定部位に結合する付属部位として想定した場合、その付属部位である耳を含んだ領域を抽出すると、耳の向きや、形状の変化によって、特定部位である猫の顔を検出する精度が低下する、という問題点がある。
【０００４】
本発明はこのような問題点を解決するために発明されたもので、特定部位に結合する付属部位を有する被写体を正確に検出することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のある態様は、画像から被写体を検出する画像処理装置であって、画像から被写体の特定部位候補を検出する第１の検出部と、画像から被写体の特定部位に結合する付属部位を検出する第２の検出部と、第１の検出部の検出結果と第２の検出部の検出結果とに基づいて、画像から被写体を検出する被写体検出部と、を備えたことを特徴とする。
【０００６】
本発明の別の態様は、画像から被写体を検出する画像処理プログラムであって、画像から被写体の特定部位候補を検出する第１の検出手順と、画像から被写体の特定部位に結合する付属部位を検出する第２の検出手順と、第１の検出手順の検出結果と第２の検出手順の検出結果とに基づいて、画像から被写体を検出する被写体検出手順と、をコンピュータに発揮させることを特徴とする。
【０００７】
本発明のさらに別の態様は、画像から被写体を検出する画像処理方法であって、画像から被写体の特定部位候補を検出し、画像から被写体の特定部位に結合する付属部位を検出し、特定部位候補に関する情報と付属部位に関する情報とに基づいて、画像から被写体を検出することを特徴とする。
【０００８】
これら態様によれば、可動する付属部位を有する被写体、例えば猫を被写体とする画像に対して、例えば猫の顔である特定部位と、例えば猫の耳である付属部位と、をそれぞれ検出し、検出した結果により、被写体を判定する。そのため、特定部位に結合する付属部位を有する被写体を画像から正確に検出することが可能となる。
【発明の効果】
【０００９】
本発明によると、特定部位に結合する付属部位を有する被写体を正確に検出できる。
【発明を実施するための最良の形態】
【００１０】
本発明の第１実施形態の構成について、図１を用いて説明する。図１は本実施形態の画像処理装置の概略図である。以下の説明では「被写体」は、飼い犬、飼い猫といったペットである。また、「顔」はペットの頭部のうち耳を含まない目、鼻、口からなる頭部の中央領域を指すものする（本明細書中では、顔は、例えば、特定部位に対応する）。「頭部」は顔と付属部位とを合わせた首から上の部分全体を指すものである。また、「付属部位」は、可動するペットの耳を指すものである。なお、被写体としてはペットに限られることはなく、例えば、犬、猫などの動物や、漫画またはアニメのキャラクターであってもよい。また、付属部位は、耳に限られることはなく、角や鶏冠などの顔から突き出た突出部であればよい。
【００１１】
本実施形態の画像処理装置は、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、Ａ／Ｄ変換器１０３と、顔候補検出部（本明細書中では、例えば、第１の検出部に対応する）１０４と、メモリ１０５と、付属部位検出部（本明細書中では、例えば、第２の検出部に対応する）１０６と、頭部決定部（本明細書中では、例えば、被写体検出部に対応する）１０７と、出力部１０８と、ＣＰＵ１０９と、を備える。
【００１２】
レンズ系１００は、複数のレンズによって構成する。レンズ系１００は、被写体の像を所定の位置に結像する。絞り１０１は、ＣＣＤ１０２に到達する時間あたりの光量を調整する。ＣＣＤ１０２は、レンズ系１００および絞り１０１を介して結像される光学像を光電変換し、アナログの画像信号として出力する。なお、ＣＣＤ１０２に代えて、例えばＣＭＯＳなどの他の撮像素子を使用してもよい。Ａ／Ｄ変換器１０３は、ＣＣＤ１０２から出力されたアナログの画像信号をデジタルの画像信号に変換する。
【００１３】
顔候補検出部１０４は、Ａ／Ｄ変換器１０３から出力される画像信号から、被写体の顔候補（本明細書中では、例えば、特定部位候補に対応する）を含んだ顔候補領域を設定する。顔候補検出部１０４は、例えばViola-Jonesの方法によって、顔候補を検出する。Viola-Jonesの方法は、予め機械学習させておいた複数の識別器を画像に対して適用する。これにより画像から顔候補を高速に検出することが可能である。Viola-Jonesの方法は、例えば、P. Viola and M. Jones. "Rapid Object Detection Using a Boosted Cascade of Simple Features," in Proc. of CVPR, vol.1, ppp.511-518, December, 2001に記載されている。
【００１４】
また、顔候補検出部１０４は、ガボールフィルタとグラフマッチングとを用いる方法によって顔候補を検出してもよい。ガボールフィルタとグラフマッチングを用いる方法は、Gabor Waveletと顔特徴点の近傍領域を畳み込むことで特徴量を算出し、入力画像に対するFace Graphを抽出する。そして、予め登録されているFace Graphと、入力画像から得られたFace Graphの特徴量の類似度を検出する。ガボールフィルタとグラフマッチングを用いる方法としては、例えば、Laurenz Wiskott, Jean-Marc Fellous, Norbert Kruger, and Christoph von der Malsburg. "Face Recognition by Elastic Bunch Graph Matching" in Intelligent Biometric Techniques in Fingerprint and Face Recognition, eds. L.C. Jain et al., pub1. CRC Provv, ISBN 0-8493-2055-0, Chapter 11, pp. 355-396, (1999).に記載されている。
【００１５】
メモリ１０５は、顔候補検出部１０４によって検出した顔候補領域を写した画像信号を記憶する。
【００１６】
付属部位検出部１０６は、顔候補検出部１０４によって検出した顔候補領域の位置情報および大きさ情報に基づいて、顔に結合する付属部位を検出するための検出範囲を設定する。また、付属部位検出部１０６は、設定した検出範囲から付属部位を検出する。付属部位検出部１０６で設定する検出範囲および付属部位について、詳しくは後述する。本実施形態において、付属部位は耳であるため、２箇所存在する。以下においては、一方の付属部位を第１付属部位とし、もう一方の第１付属部位とペアとなる付属部位を第２付属部位とする。
【００１７】
頭部決定部１０７は、顔候補が顔であるかどうか決定する。また、頭部決定部１０７は、メモリ１０５に記憶された顔候補領域を写した画像信号と、付属部位検出部１０６によって検出された第１付属部位および第２付属部位を写した画像信号と、に基づいて、頭部を決定する。決定した頭部の情報は、出力部１０８へ出力される。
【００１８】
出力部１０８は、頭部決定部１０７で検出された頭部の情報を出力する。例えば、ディスプレイを有する画像処理装置においては、ディスプレイに表示された画像の中で、被写体の頭部を四角形状の枠で囲んで表示する。
【００１９】
ＣＰＵ１０９は、Ａ／Ｄ変換器１０３、顔候補検出部１０４、付属部位検出部１０６、頭部決定部１０７、出力部１０８に接続し、Ａ／Ｄ変換器１０３、各部における処理を制御する。
【００２０】
ここで、付属部位検出部１０６で設定する検出範囲について、図２を用いて詳しく説明する。図２は、画像中の被写体における顔候補領域A31、付属部位を検出する範囲A32、A33を示す図である。図２中、顔候補領域A31の左上頂点の座標を(x31,y31)、幅をW31、高さをh31とする。なお、図２においては、画像の左上頂点を原点（図示せず）として、原点から画像の上辺に沿ってｘ軸の正方向、原点から画像の左辺に沿ってｙ軸の正方向とする。
【００２１】
付属部位検出部１０６は、顔候補検出部１０４によって、検出された顔候補を含んだ顔候補領域A31に対して、次の式（１）〜（３）を用いて、第１付属部位を含んでいると推定され、第１付属部位を検出する検出範囲（本明細書中では、例えば、第１検出範囲に対応する）A32を算出する。この検出範囲A32を、第１付属部位検出範囲とする。図２中、第１付属部位検出範囲A32の左上頂点の座標を(x32,y32)、幅をW32、高さをh32とする。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
【数３】
【００２５】
また、付属部位検出部１０６は、顔候補領域A31に対して、次の式（４）〜（６）を用いて、第２付属部位を含んでいると推定され、第２付属部位を検出する検出範囲（本明細書中では、例えば、第２検出範囲に対応する）A33を算出する。この検出範囲A33を、第２付属部位検出範囲とする。図２中、第２付属部位検出範囲A33の左上頂点の座標を(x33,y33)、幅をW33、高さをh33とする。
【００２６】
【数４】
【００２７】
【数５】
【００２８】
【数６】
【００２９】
なお、顔候補領域A31、第１付属部位検出範囲A32、第２付属部位検出範囲A33についての座標などの設定はこれに限られることはない。また、第１付属部位検出範囲A32、第２付属部位検出範囲A33は、上記大きさに限られることはなく、被写体のあらゆる種類の付属部位が入る、最小の大きさとなる範囲としてもよい。つまり、第１付属部位検出範囲A32、第２付属部位検出範囲A33の大きさは、被写体に応じて設定される。
【００３０】
第１付属部位または第２付属部位を検出する範囲を、顔候補領域A31に基づいて、設定することで、顔候補に結合する付属部位が存在しない範囲で、第１付属部位および第２付属部位の検出が行われることを防止することができる。
【００３１】
次に、付属部位検出部１０６の付属部位の検出方法について詳しく説明する。
【００３２】
付属部位検出部１０６は、本実施形態では検出範囲内で、SIFT(Scale-Invariant Feature Transform)による特徴抽出法を用いて、付属部位を検出する。
【００３３】
付属部位検出部１０６は、まず、第１付属部位検出範囲A32の画像L(x,y)の輝度勾配の大きさm(x,y)および勾配方向θ(x,y)を次の式（７）、（８）を用いて算出する。
【００３４】
【数７】
【００３５】
【数８】
【００３６】
ただし、座標(x,y)における輝度値をL(x,y)とした場合に、fx（x,y）、fy(x,y)は、次の式（９）である。
【００３７】
【数９】
【００３８】
輝度勾配の方向は輝度が変化する方向であり、輝度勾配の大きさはその変化の強さを表す値である。付属部位とその背景で輝度が異なる場合、付属部位の縁で輝度勾配の大きさが大きくなり、輝度勾配の方向は付属部位の縁の法線方向となる。
【００３９】
次に、付属部位検出部１０６は、輝度勾配の大きさm(x,y)に対して、ガウス分布G(x,y,σ)を掛けることで、重み付けされた輝度勾配の大きさW(x,y)を次の式（１０）によって算出する。σは標準偏差である。
【００４０】
【数１０】
【００４１】
そして、付属部位検出部１０６は、各勾配方向(θ=０〜３６０°)について重み付けされた輝度勾配の大きさW(x,y)と、デルタ関数δと、勾配方向θ(x,y)と、を用いて、全方向を３６方向に量子化したヒストグラムhθ’を次の式（１１）によって算出する。θ’は、勾配方向θ(x,y)を量子化した方向である。３６方向は、３６０°を１０分割して設定する方向である。
【００４２】
【数１１】
【００４３】
第１付属部位検出範囲A32の画像L(x,y)対して、第１付属部位がない場合には、勾配方向θ(x,y)と勾配の大きさm(x,y)は例えば図３に示すようなものとなる。そして、この場合のヒストグラムは図４のようになる。ヒストグラムの最大値を１００％として、ヒストグラムが８０％以上となる箇所の中で、最も大きなピークとなる位置を第１の代表輝度の勾配方向（以下、第１勾配方向とする）θ１とする。第１付属部位がない場合には、第１勾配方向の他に、ヒストグラムが８０％以上となる箇所が現れない。
【００４４】
一方、第１付属部位検出範囲A32の画像L(x,y)対して、第１付属部位を含んでいる場合には、画像L(x,y)は、図３と同様に、ある特性を示す勾配方向θ(x,y)と勾配の大きさm(x,y)を有している。そして、この場合のヒストグラムは、図５のようになる。第１対象部位を含んだ画像L(x,y)のヒストグラムでは、図５に示すように、第１勾配方向θ１に加えて、もう一つのピークが得られる。このもう１つのピークを第２の代表輝度の勾配方向（以下、第２勾配方向とする）θ２とする。
【００４５】
付属部位検出部１０６は、式（１１）によって算出したヒストグラムから、第１勾配方向θ１と第２勾配方向θ２と算出する。そして、第１勾配方向θ１と第２勾配方向θ２とに基づいて、第１付属部位を検出する。本実施形態では、付属部位検出部１０６は、第１勾配方向θ１と第２勾配方向θ２の間の角度が所定角度以内であれば、第１付属部位であると判定する。所定角度としては、例えば、２０°〜８０°である。しかし、所定角度としては、これに限られることはなく、第１付属部位の特性によって設定することが可能である。
【００４６】
付属部位検出部１０６は、第２付属部位検出範囲A33についても、同様の計算を行い、第２付属部位を検出する。
【００４７】
次に、本実施形態の頭部を決定する方法について、図６のフローチャートを用いて説明する。
【００４８】
ステップＳ２００では、目、鼻、口を含む顔の特徴を用いて、Viola-Jonesの方法によって、顔候補を検出し、顔候補を含んだ顔候補領域A31を設定する。画像中に被写体が複数ある場合には、全ての被写体に対して、それぞれ顔候補領域A31が設定される。
【００４９】
ステップＳ２０１では、画像中に顔候補があるかどうか判定する。そして、顔候補がある場合には、ステップＳ２０２へ進み、顔候補がない場合には、本制御を終了する。
【００５０】
ステップＳ２０２では、付属部位検出範囲を設定する。付属部位検出範囲の設定方法について図７のフローチャートを用いて説明する。
【００５１】
ステップＳ３００では、顔候補領域A31の位置情報(x31,y31)および大きさ情報(W31,h31)を読み出す。
【００５２】
ステップＳ３０１では、顔候補領域A31に対する第１付属部位検出範囲A32を式（１）〜（３）に基づいて、設定する（本明細書中では、例えば、第１検出範囲決定部に対応する）。
【００５３】
ステップＳ３０２では、顔候補領域A31に対する第２付属部位検出範囲A33を式（４）〜（６）に基づいて、設定する（本明細書中では、例えば、第２検出範囲決定部に対応する）。
【００５４】
ステップＳ３０３では、全ての顔候補領域A31に対して、第１付属部位検出範囲A32、第２付属部位検出範囲A33を設定したかどうか判定する。そして全ての顔候補領域A31に対して、第１付属部位検出範囲A32および第２付属部位検出範囲A33を設定した場合には、本制御を終了する。いずれかの顔候補領域A31に対して、第１付属部位検出範囲A32および第２付属部位検出範囲A33を設定していない場合には、ステップＳ３００へ戻り、上記制御を繰り返す。
【００５５】
以上の制御によって、顔候補領域A31に対して、第１付属部位検出範囲A32、第２付属部位検出範囲A33を設定する。
【００５６】
図６に戻り、ステップＳ２０３では、顔候補領域A31に対して設定した第１付属部位検出範囲A32から第１付属部位を検出する。また、顔候補領域A31に対して設定した第２付属部位検出範囲A33から第２付属部位を検出する。本実施形態では、第１付属部位検出範囲A32に対して、SIFTによる特徴抽出法を用いることにより、第１付属部位を検出する。また、第２付属部位検出範囲A33に対して、SIFTによる特徴抽出法を用いることにより、第２付属部位を検出する。
【００５７】
ステップＳ２０４では、第１付属部位検出範囲A32で第１付属部位が検出され、第２付属部位検出範囲A33で第２付属部位が検出されたかどうか判定する。そして、第１付属部位と第２付属部位とが検出された場合には、ステップＳ２０５へ進み、第１付属部位または第２付属部位が検出されなかった場合には、ステップＳ２０７へ進む。
【００５８】
ステップＳ２０５では、顔候補領域A31に対して第１付属部位と第２付属部位とが検出されると、顔候補領域A31の顔候補を顔であると決定する（本明細書中では、例えば、特定部位決定部に対応する）。第１付属部位と第２付属部位とが検出された顔候補領域A31のみを顔であると決定することで、顔の検出を正確に行うことができる。
【００５９】
ステップＳ２０６では、顔と第１付属部位と第２付属部位とにより頭部を決定する。これにより、画像に被写体があることが決定される。
【００６０】
本実施形態では、顔候補領域A31に対して、第１付属部位検出範囲A32と第２付属部位検出範囲A33とを設定し、その中に第１付属部位または第２付属部位があるかどうか、判定することで、付属部位の動きにかかわらず、頭部の検出を正確に行うことができる。
【００６１】
ステップＳ２０７では、設定された全ての顔候補領域A31に対する第１付属部位、第２付属部位の検出を行ったかどうか判定する。そして、全ての顔候補領域A31に対する第１付属部位、第２付属部位の検出を行った場合には、本制御を終了する。また、いずれかの顔候補領域A31に対する第１付属部位、第２付属部位の検出を行っていない場合には、ステップＳ２０３へ戻り、第１付属部位、第２付属部位を検出していない顔候補領域A31に対して、上記制御を繰り返す。
【００６２】
本発明の第１実施形態の効果について説明する。
【００６３】
本実施形態では、画像の中から、被写体の顔候補を検出し、顔候補を含んだ顔候補領域A31の情報に基づいて、第１付属部位検出範囲A32と第２付属部位検出範囲A33とを設定し、第１付属部位と第２付属部位とを検出する。被写体の顔候補と、付属部位と、を別々に検出することで、画像の中から被写体の頭部を正確に検出することができる。そのため、例えば可動する耳を有する猫などが被写体である場合でも、被写体の頭部を正確に検出することができる。これによって、撮影時のＡＦ、ｗｅｂ上の画像からの例えば猫や犬などの被写体画像検索、などを素早く、かつ正確に行うことができる。
【００６４】
また、顔候補に対して、第１付属部位と第２付属部位とが検出された場合に、顔候補を顔であると決定する。これにより、被写体の顔を正確に検出することができ、被写体の頭部を正確に検出することができる。
【００６５】
顔候補領域A31の位置情報および大きさ情報に基づいて、第１付属部位または第２付属部位が存在すると推定される第１付属部位検出範囲A32と第２付属部位検出範囲A33とを設定する。そして、その中に第１付属部位または第２付属部位があるかどうか判定する。顔候補領域A31に対して、距離が遠い箇所については、付属部位の検出を行わないので、付属部位の検出時間を短くすることができ、さらに被写体の頭部を正確に検出することができる。
【００６６】
次に本発明の第２実施形態について図８を用いて説明する。なお、第１実施形態と同じ構成については、図１と同じ符号を付し、ここでの説明は省略する。本実施形態では、付属部位検出部４０４と、メモリ４０５と、顔候補検出部４０６と、頭部決定部４０７と、が第１実施形態とは異なる。
【００６７】
付属部位検出部４０４は、Ａ／Ｄ変換器１０３から出力される画像信号に基づき、第１付属部位候補を含んだ領域（以下、第１付属部位領域（本明細書中では、例えば、第１領域に対応する）とする）を設定する。また、第２付属部位を探索する範囲（以下、第２付属部位探索範囲（本明細書中では、例えば、第２領域に対応する）とする）を設定し、第２付属部位探索範囲内で第２付属部位を検出する範囲（以下、第２付属部位検出範囲とする）を設定する。そして、第２付属部位検出範囲から第２付属部位を検出する。第１付属部位領域と、第２付属部位探索範囲と、第２付属部位検出範囲と、について、詳しくは後述する。
【００６８】
メモリ４０５は、付属部位検出部４０４によって検出した第１付属部位と第２付属部位とを写した画像信号を記憶する。
【００６９】
顔候補検出部４０６は、付属部位検出部４０４によって検出した第１付属部位および第２付属部位の位置情報および大きさ情報に基づいて、顔候補を検出する顔候補検出範囲（本明細書中では、例えば、第３検出範囲に対応する）を設定する。顔候補検出範囲について、詳しくは後述する。また、顔候補検出部４０６は、顔候補検出範囲から顔候補を検出する。
【００７０】
頭部決定部４０７は、メモリ４０５に記憶された第１付属部位と第２付属部位を写した画像信号と、顔候補検出部４０６によって検出された顔候補を写した画像信号と、に基づいて、頭部を決定する。決定した頭部の情報は、出力部１０８へ出力される。
【００７１】
ここで、付属部位検出部４０４において設定する、第１付属部位領域と、第２付属部位探索範囲と、第２付属部位検出範囲と、について図９を用いて説明する。図９は、第１付属部位領域、第２付属部位探索範囲、第２付属部位検出範囲を示す図である。図９中、第１付属部位領域A71の左上頂点の座標を(x71,y71)、幅をW71、高さをh71とする。
【００７２】
付属部位検出部４０４は、SIFTによる特徴抽出法によってコーナーを検出し、第１付属部位候補を含む第１付属部位領域A71を設定する。SIFTによる特徴抽出法では、特徴点を検出する際に得られる特徴点のスケールサイズに応じて、特徴量を記述するウィンドウサイズが定まる。これによって定まった所定サイズの領域を第１付属部位領域A71として設定する。
【００７３】
付属部位検出部４０４は、第１付属部位領域A71を設定すると、第１付属部位領域A71の近傍に、次の式（１２）〜（１４）を用いて、第２付属部位探索範囲A72を算出し、設定する。図９中、第２付属部位探索範囲A72の左上頂点の座標を(x72,y72)、幅をW72、高さをh72とする。
【００７４】
【数１２】
【００７５】
【数１３】
【００７６】
【数１４】
【００７７】
第２付属部位探索範囲A72は、第１付属部位領域A71よりも大きいサイズであり、被写体のあらゆる種類に対する付属部位を検出することができるように設定される。また、第２付属部位探索範囲A72は、第１付属部位領域A71の近傍に設けられる。第２付属部位探索範囲A72を第１付属部位領域A71の近傍に設けることで、第１付属部位と距離が離れた、第１付属部位とペアにならない付属部位が検出されることを防ぐことができる。これによって、第１付属部位とペアとなる第２付属部位を正確に検出することができる。なお、第２付属部位探索範囲A72は、本実施形態においては、第１付属部位領域A71と隣接しているが、第１付属部位領域A71と隣接させずに設けてもよい。また、第２付属部位探索範囲A72の一部が第１付属部位領域A71と重なるように設けてもよい。また、第２付属部位探索範囲A72のサイズは、上記サイズに限られず、第１付属部位とペアとなる第２付属部位を正確に検出できるサイズであればよい。
【００７８】
付属部位検出部４０４は、第２付属部位探索範囲A72を設定すると、第２付属部位探索範囲A72内で、第２付属部位検出範囲A73を次の式（１５）、（１６）を満たすように設定する。図９中、第２付属部位検出範囲A73の左上頂点の座標を(x73,y73)、幅をW73、高さをh73とする。なお、第２付属部位検出範囲A73は、例えば図１０に示すように、第２付属部位探索範囲A72の左上から順次設定される。
【００７９】
【数１５】
【００８０】
【数１６】
【００８１】
第２付属部位検出範囲A73は、第１付属部位領域A71と上記の関係を有するように設定されることで、第１付属部位と略同一の大きさの第２付属部位のみを検出することが可能となる。これによって、第１付属部位とペアとなる第２付属部位を正確に検出することができる。
【００８２】
ここで、顔候補検出部４０６における、顔候補領域について、図１１を用いて説明する。図１１は、第１付属部位領域A71、第２付属部位検出範囲A73、顔候補領域A74を示す図である。図１１中、顔候補領域A74の左上頂点の座標を(x74,y74)、幅をW74、高さをh74とする。
【００８３】
顔候補検出部４０６は、第１付属部位領域A71または第２付属部位検出範囲A73の周辺の領域に、次の式（１７）〜（１９）に基づいて、顔候補領域A74を設定する。
【００８４】
【数１７】
【００８５】
【数１８】
【００８６】
【数１９】
【００８７】
次に、本実施形態の頭部を決定する方法について、図１２のフローチャートを用いて説明する。
【００８８】
ステップＳ５００では、第１付属部位と第２付属部位とを検出する。ここで付属部位の検出方法について図１３のフローチャートを用いて説明する。
【００８９】
ステップＳ６００では、第１実施形態と同様に、SIFTによる特徴抽出法によって、探索範囲に第１付属部位候補を含む第１付属部位領域A71を設定する。探索範囲は、予め設定されるサイズの領域であり、被写体のあらゆる種類に対する第１付属部位領域A71の最大のサイズよりも大きいサイズの領域である（本明細書中では、例えば、第１領域設定部に対応する）。
【００９０】
ステップＳ６０１では、探索範囲内に第１付属部位候補があり、第１付属部位領域A71が設定されたかどうか判定する。そして、探索範囲内に、第１付属部位領域A71が設定された場合には、ステップＳ６０２へ進む。また、探索範囲内で、第１付属部位領域A71が設定されなかった場合には、ステップＳ６０８へ進む。
【００９１】
ステップＳ６０２では、第２付属部位探索範囲A72を式（１２）〜（１４）に基づいて設定する（本明細書中では、例えば、第２領域設定部に対応する）。
【００９２】
ステップＳ６０３では、第２付属部位探索範囲A72に、式（１５）、（１６）に基づいた第２付属部位検出範囲A73を設定する。
【００９３】
ステップＳ６０４では、第２付属部位検出範囲A73から第２付属部位を検出する。本実施形態では、第２付属部位検出範囲A73に対して、第１実施形態と同様に、SIFTによる特徴抽出法によって、第２付属部位を検出する。
【００９４】
ステップＳ６０５では、第２付属部位検出範囲A73に第２付属部位があるかどうか判定する。そして、第２付属部位検出範囲A73に第２付属部位がある場合には、ステップＳ６０６へ進む。また、第２付属部位検出範囲A73に第２付属部位がない場合には、ステップＳ６０９へ進む。
【００９５】
ステップＳ６０６では、第１付属部位候補とペアとなる第２付属部位が検出されたので、第１付属部位候補を第１付属部位と決定する。
【００９６】
ステップＳ６０７では、第１付属部位と第２付属部位とを写した画像信号をメモリ４０５に記憶する。
【００９７】
ステップＳ６０８では、探索範囲を画像の全範囲に対して設定したかどうか判定する。そして、探索範囲を画像の全範囲に対して設定した場合には、この制御を終了する。また、探索範囲を画像のいずれかの領域に対して設定していない場合には、新たな探索範囲を設定し、ステップＳ６００へ戻り、上記制御を繰り返す。
【００９８】
一方、ステップＳ６０５によって、第２付属部位検出範囲A73に第２付属部位がないと判定されると、ステップＳ６０９によって、第２付属部位探索範囲A72の全ての領域に第２付属部位検出範囲A73を設定したかどうか判定する。そして、全ての第２付属部位探索範囲A72に第２付属部位検出範囲A73を設定した場合には、ステップＳ６０８へ進む。また、第２付属部位探索範囲A72のいずれかの領域に第２付属部位検出範囲A73を設定していない場合には、ステップＳ６０３へ戻り、新たな第２付属部位検出範囲A73を設定し、上記制御を繰り返す。
【００９９】
以上の制御により、第１付属部位と第２付属部位とを検出する。
【０１００】
図１２に戻り、ステップＳ５０１では、第１付属部位と、第１付属部位とペアとなる第２付属部位と、があるかどうか判定する。そして、第１付属部位と、第１付属部位とペアとなる第２付属部位と、がある場合には、ステップＳ５０２へ進み、第１付属部位、または第１付属部位とペアとなる第２付属部位がない場合には、本制御を終了する。
【０１０１】
ステップＳ５０２では、第１付属部位と、第１付属部位とペアとなる第２付属部位と、がある場合には、第１付属部位と第２の付属部位との位置情報および大きさ情報により、第１付属部位または第２付属部位の周辺の領域に顔候補検出範囲を式（１７）〜（１９）に基づいて設定する。
【０１０２】
ステップＳ５０３では、顔候補検出範囲内で顔候補の検出を行う。顔候補を検出する方法としては、例えばViola-Jonesの方法によって顔候補の検出を行う。
【０１０３】
ステップＳ５０４では、顔候補検出範囲内に顔候補があるかどうか判定する。そして、顔候補検出範囲内に顔候補領域がある場合にはステップＳ５０５へ進む。また、顔候補検出範囲内に顔候補がない場合にはステップＳ５０７へ進む。
【０１０４】
ステップＳ５０５では、第１付属部位と、第１付属部位とペアとなる第２付属部位と、顔候補と、が検出されると、顔候補を被写体の顔であると決定する。
【０１０５】
ステップＳ５０６では、第１付属部位と、第２付属部位と、被写体の顔と、よって、被写体の頭部を決定する。
【０１０６】
ステップＳ５０７では、全ての第１付属部位および第２付属部位に対して、顔候補を検出したかどうか判定する。そして、全ての第１付属部位および第２付属部位に対して、顔候補を検出した場合には、本制御を終了する。また、いずれかの第１付属部位および第２付属部位に対して、顔候補を検出していない場合には、ステップＳ５０２へ戻り、上記制御を繰り返す。
【０１０７】
なお、第１付属部位領域A71を設定する方法しては、以下の方法を用いてもよい。
【０１０８】
まず、探索範囲の中からコーナーとなる箇所を検出する。コーナー検出は、SIFTによる特徴抽出法によって検出する。そして、ヒストグラムを作成し、第１勾配方向θ1、第２勾配方向θ2を算出し、第１勾配方向θ1と第２勾配方向θ2の間の角度を算出する。この角度が例えば２０°〜８０°の場合には、検出したコーナーが第１付属部位である耳の先端であると判定することができる。
【０１０９】
次に、第１付属部位の先端から、公知のエッジ検出方法、例えば、輝度値を一次微分し、その変化量が大きなところをエッジとして検出する。これにより、第１付属部位の縁を検出する。
【０１１０】
第１付属部位の先端、および第１付属部位の縁を検出すると、第１付属部位の先端から伸びる第１付属部位の縁に沿って、別のコーナーを、例えばSIFTのような特徴抽出法によって検出する。これによって、第１付属部位の末端を検出することができる。なお、コーナーを検出する方法としては、Harrisの方法、SUSANの方法などを用いてもよい。
【０１１１】
第１付属部位の先端と第１付属部位の末端とを検出すると、これらの端を含む領域を第１付属部位領域A71として設定する。これによると、第１付属部位の大きさを正確に算出することができる。
【０１１２】
本発明の第２実施形態の効果について説明する。
【０１１３】
第１付属部位を含む第１付属部位領域A71を設定した後に、第１付属部位領域A71よりも大きいサイズの第２付属部位探索範囲A72を第１付属部位領域A71の近傍に設定する。そして、第２付属部位探索範囲A72内で第２付属部位を検出する。第２付属部位探索範囲A72のサイズを制限することで、例えば、第２付属部位探索範囲A72を被写体のあらゆる種類に対する第２付属部位が入るサイズとした場合に、第１付属部位とペアとならない付属部位が検出されることを防ぐことができる。そのため、第１付属部位とペアとなる第２付属部位を正確に検出することができる。また、第１付属部位とペアとなる第２付属部位を検出するための、処理時間を短くすることができ、顔検出の処理で必要となる時間を短くすることができる。また、被写体の頭部を正確に検出することができる。
【０１１４】
また、第１付属部位と第２付属部位との位置情報、大きさに応じて、顔候補領域A74を設定し、その顔候補領域A74で顔候補を検出する。これよって、第１付属部位および第２付属部位と結合しない顔候補が検出されることを防ぐことができ、被写体の頭部を正確に検出することができる。
【０１１５】
なお、上記実施形態においては、顔候補と、第１付属部位と、第２付属部位と、が検出された場合に顔を決定しているが、第１付属部位と第２付属部位のどちらかが検出された場合に、顔を決定してもよい。この場合には、顔候補領域における顔の確からしさなどを算出し、顔の確からしさが高く、第１付属部位または第２付属部位が検出された場合に、顔を決定し、被写体の頭部を決定してもよい。
【０１１６】
また、上記画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。
【０１１７】
また、上述した実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
【０１１８】
この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記画像処理装置と同様の処理を実現させる。
【０１１９】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【図面の簡単な説明】
【０１２０】
【図１】本発明の第１実施形態の画像処理装置を示す概略ブロック図である。
【図２】本発明の第１実施形態の顔候補領域などを示す図である。
【図３】画像に対する勾配方向と勾配の大きさを示す図である。
【図４】図３における特徴を有する場合のヒストグラムを示す図である。
【図５】代表輝度の勾配方向が２つある場合のヒストグラムを示す図である。
【図６】本発明の第１実施形態の頭部を決定するためのフローチャートである。
【図７】本発明の第１実施形態の付属部位検出範囲の設定方法を説明するフローチャートである。
【図８】本発明の第２実施形態の画像処理装置を示す概略ブロック図である。
【図９】本発明の第２実施形態の第１付属部位領域などを示す図である。
【図１０】本発明の第２実施形態の第２付属部位検出範囲の設定順位を説明する図である。
【図１１】本発明の第２実施形態の顔候補領域などを示す図である。
【図１２】本発明の第２実施形態の頭部を決定するためのフローチャートである。
【図１３】本発明の第２実施形態の付属部位の検出制御についてのフローチャートである。
【符号の説明】
【０１２１】
１０２ ＣＣＤ
１０４、４０６ 顔候補検出部（第１の検出部）
１０６、４０４ 付属部位検出部（第２の検出部）
１０７、４０７ 頭部決定部（被写体検出部）
【技術分野】
【０００１】
本発明は画像処理に関するものである。
【背景技術】
【０００２】
従来、画像から被写体の顔領域を抽出する画像処理装置としては、特許文献１に記載されたものがある。特許文献１では、画像から顔領域を抽出し、顔領域から顔の形および位置を検出した後、顔領域から目、鼻、口、および耳の各特徴領域を抽出し、特徴領域の特徴点を演算することで、顔の方向を検出している。
【特許文献１】特開２０００−１３０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の発明では、可動部を有する被写体から、可動部を含んだ領域を抽出すると、可動部の動きによって、可動部を含んだ領域の検出精度が低下する、という問題点がある。例えば、猫の顔を特定部位、耳をその特定部位に結合する付属部位として想定した場合、その付属部位である耳を含んだ領域を抽出すると、耳の向きや、形状の変化によって、特定部位である猫の顔を検出する精度が低下する、という問題点がある。
【０００４】
本発明はこのような問題点を解決するために発明されたもので、特定部位に結合する付属部位を有する被写体を正確に検出することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のある態様は、画像から被写体を検出する画像処理装置であって、画像から被写体の特定部位候補を検出する第１の検出部と、画像から被写体の特定部位に結合する付属部位を検出する第２の検出部と、第１の検出部の検出結果と第２の検出部の検出結果とに基づいて、画像から被写体を検出する被写体検出部と、を備えたことを特徴とする。
【０００６】
本発明の別の態様は、画像から被写体を検出する画像処理プログラムであって、画像から被写体の特定部位候補を検出する第１の検出手順と、画像から被写体の特定部位に結合する付属部位を検出する第２の検出手順と、第１の検出手順の検出結果と第２の検出手順の検出結果とに基づいて、画像から被写体を検出する被写体検出手順と、をコンピュータに発揮させることを特徴とする。
【０００７】
本発明のさらに別の態様は、画像から被写体を検出する画像処理方法であって、画像から被写体の特定部位候補を検出し、画像から被写体の特定部位に結合する付属部位を検出し、特定部位候補に関する情報と付属部位に関する情報とに基づいて、画像から被写体を検出することを特徴とする。
【０００８】
これら態様によれば、可動する付属部位を有する被写体、例えば猫を被写体とする画像に対して、例えば猫の顔である特定部位と、例えば猫の耳である付属部位と、をそれぞれ検出し、検出した結果により、被写体を判定する。そのため、特定部位に結合する付属部位を有する被写体を画像から正確に検出することが可能となる。
【発明の効果】
【０００９】
本発明によると、特定部位に結合する付属部位を有する被写体を正確に検出できる。
【発明を実施するための最良の形態】
【００１０】
本発明の第１実施形態の構成について、図１を用いて説明する。図１は本実施形態の画像処理装置の概略図である。以下の説明では「被写体」は、飼い犬、飼い猫といったペットである。また、「顔」はペットの頭部のうち耳を含まない目、鼻、口からなる頭部の中央領域を指すものする（本明細書中では、顔は、例えば、特定部位に対応する）。「頭部」は顔と付属部位とを合わせた首から上の部分全体を指すものである。また、「付属部位」は、可動するペットの耳を指すものである。なお、被写体としてはペットに限られることはなく、例えば、犬、猫などの動物や、漫画またはアニメのキャラクターであってもよい。また、付属部位は、耳に限られることはなく、角や鶏冠などの顔から突き出た突出部であればよい。
【００１１】
本実施形態の画像処理装置は、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、Ａ／Ｄ変換器１０３と、顔候補検出部（本明細書中では、例えば、第１の検出部に対応する）１０４と、メモリ１０５と、付属部位検出部（本明細書中では、例えば、第２の検出部に対応する）１０６と、頭部決定部（本明細書中では、例えば、被写体検出部に対応する）１０７と、出力部１０８と、ＣＰＵ１０９と、を備える。
【００１２】
レンズ系１００は、複数のレンズによって構成する。レンズ系１００は、被写体の像を所定の位置に結像する。絞り１０１は、ＣＣＤ１０２に到達する時間あたりの光量を調整する。ＣＣＤ１０２は、レンズ系１００および絞り１０１を介して結像される光学像を光電変換し、アナログの画像信号として出力する。なお、ＣＣＤ１０２に代えて、例えばＣＭＯＳなどの他の撮像素子を使用してもよい。Ａ／Ｄ変換器１０３は、ＣＣＤ１０２から出力されたアナログの画像信号をデジタルの画像信号に変換する。
【００１３】
顔候補検出部１０４は、Ａ／Ｄ変換器１０３から出力される画像信号から、被写体の顔候補（本明細書中では、例えば、特定部位候補に対応する）を含んだ顔候補領域を設定する。顔候補検出部１０４は、例えばViola-Jonesの方法によって、顔候補を検出する。Viola-Jonesの方法は、予め機械学習させておいた複数の識別器を画像に対して適用する。これにより画像から顔候補を高速に検出することが可能である。Viola-Jonesの方法は、例えば、P. Viola and M. Jones. "Rapid Object Detection Using a Boosted Cascade of Simple Features," in Proc. of CVPR, vol.1, ppp.511-518, December, 2001に記載されている。
【００１４】
また、顔候補検出部１０４は、ガボールフィルタとグラフマッチングとを用いる方法によって顔候補を検出してもよい。ガボールフィルタとグラフマッチングを用いる方法は、Gabor Waveletと顔特徴点の近傍領域を畳み込むことで特徴量を算出し、入力画像に対するFace Graphを抽出する。そして、予め登録されているFace Graphと、入力画像から得られたFace Graphの特徴量の類似度を検出する。ガボールフィルタとグラフマッチングを用いる方法としては、例えば、Laurenz Wiskott, Jean-Marc Fellous, Norbert Kruger, and Christoph von der Malsburg. "Face Recognition by Elastic Bunch Graph Matching" in Intelligent Biometric Techniques in Fingerprint and Face Recognition, eds. L.C. Jain et al., pub1. CRC Provv, ISBN 0-8493-2055-0, Chapter 11, pp. 355-396, (1999).に記載されている。
【００１５】
メモリ１０５は、顔候補検出部１０４によって検出した顔候補領域を写した画像信号を記憶する。
【００１６】
付属部位検出部１０６は、顔候補検出部１０４によって検出した顔候補領域の位置情報および大きさ情報に基づいて、顔に結合する付属部位を検出するための検出範囲を設定する。また、付属部位検出部１０６は、設定した検出範囲から付属部位を検出する。付属部位検出部１０６で設定する検出範囲および付属部位について、詳しくは後述する。本実施形態において、付属部位は耳であるため、２箇所存在する。以下においては、一方の付属部位を第１付属部位とし、もう一方の第１付属部位とペアとなる付属部位を第２付属部位とする。
【００１７】
頭部決定部１０７は、顔候補が顔であるかどうか決定する。また、頭部決定部１０７は、メモリ１０５に記憶された顔候補領域を写した画像信号と、付属部位検出部１０６によって検出された第１付属部位および第２付属部位を写した画像信号と、に基づいて、頭部を決定する。決定した頭部の情報は、出力部１０８へ出力される。
【００１８】
出力部１０８は、頭部決定部１０７で検出された頭部の情報を出力する。例えば、ディスプレイを有する画像処理装置においては、ディスプレイに表示された画像の中で、被写体の頭部を四角形状の枠で囲んで表示する。
【００１９】
ＣＰＵ１０９は、Ａ／Ｄ変換器１０３、顔候補検出部１０４、付属部位検出部１０６、頭部決定部１０７、出力部１０８に接続し、Ａ／Ｄ変換器１０３、各部における処理を制御する。
【００２０】
ここで、付属部位検出部１０６で設定する検出範囲について、図２を用いて詳しく説明する。図２は、画像中の被写体における顔候補領域A31、付属部位を検出する範囲A32、A33を示す図である。図２中、顔候補領域A31の左上頂点の座標を(x31,y31)、幅をW31、高さをh31とする。なお、図２においては、画像の左上頂点を原点（図示せず）として、原点から画像の上辺に沿ってｘ軸の正方向、原点から画像の左辺に沿ってｙ軸の正方向とする。
【００２１】
付属部位検出部１０６は、顔候補検出部１０４によって、検出された顔候補を含んだ顔候補領域A31に対して、次の式（１）〜（３）を用いて、第１付属部位を含んでいると推定され、第１付属部位を検出する検出範囲（本明細書中では、例えば、第１検出範囲に対応する）A32を算出する。この検出範囲A32を、第１付属部位検出範囲とする。図２中、第１付属部位検出範囲A32の左上頂点の座標を(x32,y32)、幅をW32、高さをh32とする。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
【数３】
【００２５】
また、付属部位検出部１０６は、顔候補領域A31に対して、次の式（４）〜（６）を用いて、第２付属部位を含んでいると推定され、第２付属部位を検出する検出範囲（本明細書中では、例えば、第２検出範囲に対応する）A33を算出する。この検出範囲A33を、第２付属部位検出範囲とする。図２中、第２付属部位検出範囲A33の左上頂点の座標を(x33,y33)、幅をW33、高さをh33とする。
【００２６】
【数４】
【００２７】
【数５】
【００２８】
【数６】
【００２９】
なお、顔候補領域A31、第１付属部位検出範囲A32、第２付属部位検出範囲A33についての座標などの設定はこれに限られることはない。また、第１付属部位検出範囲A32、第２付属部位検出範囲A33は、上記大きさに限られることはなく、被写体のあらゆる種類の付属部位が入る、最小の大きさとなる範囲としてもよい。つまり、第１付属部位検出範囲A32、第２付属部位検出範囲A33の大きさは、被写体に応じて設定される。
【００３０】
第１付属部位または第２付属部位を検出する範囲を、顔候補領域A31に基づいて、設定することで、顔候補に結合する付属部位が存在しない範囲で、第１付属部位および第２付属部位の検出が行われることを防止することができる。
【００３１】
次に、付属部位検出部１０６の付属部位の検出方法について詳しく説明する。
【００３２】
付属部位検出部１０６は、本実施形態では検出範囲内で、SIFT(Scale-Invariant Feature Transform)による特徴抽出法を用いて、付属部位を検出する。
【００３３】
付属部位検出部１０６は、まず、第１付属部位検出範囲A32の画像L(x,y)の輝度勾配の大きさm(x,y)および勾配方向θ(x,y)を次の式（７）、（８）を用いて算出する。
【００３４】
【数７】
【００３５】
【数８】
【００３６】
ただし、座標(x,y)における輝度値をL(x,y)とした場合に、fx（x,y）、fy(x,y)は、次の式（９）である。
【００３７】
【数９】
【００３８】
輝度勾配の方向は輝度が変化する方向であり、輝度勾配の大きさはその変化の強さを表す値である。付属部位とその背景で輝度が異なる場合、付属部位の縁で輝度勾配の大きさが大きくなり、輝度勾配の方向は付属部位の縁の法線方向となる。
【００３９】
次に、付属部位検出部１０６は、輝度勾配の大きさm(x,y)に対して、ガウス分布G(x,y,σ)を掛けることで、重み付けされた輝度勾配の大きさW(x,y)を次の式（１０）によって算出する。σは標準偏差である。
【００４０】
【数１０】
【００４１】
そして、付属部位検出部１０６は、各勾配方向(θ=０〜３６０°)について重み付けされた輝度勾配の大きさW(x,y)と、デルタ関数δと、勾配方向θ(x,y)と、を用いて、全方向を３６方向に量子化したヒストグラムhθ’を次の式（１１）によって算出する。θ’は、勾配方向θ(x,y)を量子化した方向である。３６方向は、３６０°を１０分割して設定する方向である。
【００４２】
【数１１】
【００４３】
第１付属部位検出範囲A32の画像L(x,y)対して、第１付属部位がない場合には、勾配方向θ(x,y)と勾配の大きさm(x,y)は例えば図３に示すようなものとなる。そして、この場合のヒストグラムは図４のようになる。ヒストグラムの最大値を１００％として、ヒストグラムが８０％以上となる箇所の中で、最も大きなピークとなる位置を第１の代表輝度の勾配方向（以下、第１勾配方向とする）θ１とする。第１付属部位がない場合には、第１勾配方向の他に、ヒストグラムが８０％以上となる箇所が現れない。
【００４４】
一方、第１付属部位検出範囲A32の画像L(x,y)対して、第１付属部位を含んでいる場合には、画像L(x,y)は、図３と同様に、ある特性を示す勾配方向θ(x,y)と勾配の大きさm(x,y)を有している。そして、この場合のヒストグラムは、図５のようになる。第１対象部位を含んだ画像L(x,y)のヒストグラムでは、図５に示すように、第１勾配方向θ１に加えて、もう一つのピークが得られる。このもう１つのピークを第２の代表輝度の勾配方向（以下、第２勾配方向とする）θ２とする。
【００４５】
付属部位検出部１０６は、式（１１）によって算出したヒストグラムから、第１勾配方向θ１と第２勾配方向θ２と算出する。そして、第１勾配方向θ１と第２勾配方向θ２とに基づいて、第１付属部位を検出する。本実施形態では、付属部位検出部１０６は、第１勾配方向θ１と第２勾配方向θ２の間の角度が所定角度以内であれば、第１付属部位であると判定する。所定角度としては、例えば、２０°〜８０°である。しかし、所定角度としては、これに限られることはなく、第１付属部位の特性によって設定することが可能である。
【００４６】
付属部位検出部１０６は、第２付属部位検出範囲A33についても、同様の計算を行い、第２付属部位を検出する。
【００４７】
次に、本実施形態の頭部を決定する方法について、図６のフローチャートを用いて説明する。
【００４８】
ステップＳ２００では、目、鼻、口を含む顔の特徴を用いて、Viola-Jonesの方法によって、顔候補を検出し、顔候補を含んだ顔候補領域A31を設定する。画像中に被写体が複数ある場合には、全ての被写体に対して、それぞれ顔候補領域A31が設定される。
【００４９】
ステップＳ２０１では、画像中に顔候補があるかどうか判定する。そして、顔候補がある場合には、ステップＳ２０２へ進み、顔候補がない場合には、本制御を終了する。
【００５０】
ステップＳ２０２では、付属部位検出範囲を設定する。付属部位検出範囲の設定方法について図７のフローチャートを用いて説明する。
【００５１】
ステップＳ３００では、顔候補領域A31の位置情報(x31,y31)および大きさ情報(W31,h31)を読み出す。
【００５２】
ステップＳ３０１では、顔候補領域A31に対する第１付属部位検出範囲A32を式（１）〜（３）に基づいて、設定する（本明細書中では、例えば、第１検出範囲決定部に対応する）。
【００５３】
ステップＳ３０２では、顔候補領域A31に対する第２付属部位検出範囲A33を式（４）〜（６）に基づいて、設定する（本明細書中では、例えば、第２検出範囲決定部に対応する）。
【００５４】
ステップＳ３０３では、全ての顔候補領域A31に対して、第１付属部位検出範囲A32、第２付属部位検出範囲A33を設定したかどうか判定する。そして全ての顔候補領域A31に対して、第１付属部位検出範囲A32および第２付属部位検出範囲A33を設定した場合には、本制御を終了する。いずれかの顔候補領域A31に対して、第１付属部位検出範囲A32および第２付属部位検出範囲A33を設定していない場合には、ステップＳ３００へ戻り、上記制御を繰り返す。
【００５５】
以上の制御によって、顔候補領域A31に対して、第１付属部位検出範囲A32、第２付属部位検出範囲A33を設定する。
【００５６】
図６に戻り、ステップＳ２０３では、顔候補領域A31に対して設定した第１付属部位検出範囲A32から第１付属部位を検出する。また、顔候補領域A31に対して設定した第２付属部位検出範囲A33から第２付属部位を検出する。本実施形態では、第１付属部位検出範囲A32に対して、SIFTによる特徴抽出法を用いることにより、第１付属部位を検出する。また、第２付属部位検出範囲A33に対して、SIFTによる特徴抽出法を用いることにより、第２付属部位を検出する。
【００５７】
ステップＳ２０４では、第１付属部位検出範囲A32で第１付属部位が検出され、第２付属部位検出範囲A33で第２付属部位が検出されたかどうか判定する。そして、第１付属部位と第２付属部位とが検出された場合には、ステップＳ２０５へ進み、第１付属部位または第２付属部位が検出されなかった場合には、ステップＳ２０７へ進む。
【００５８】
ステップＳ２０５では、顔候補領域A31に対して第１付属部位と第２付属部位とが検出されると、顔候補領域A31の顔候補を顔であると決定する（本明細書中では、例えば、特定部位決定部に対応する）。第１付属部位と第２付属部位とが検出された顔候補領域A31のみを顔であると決定することで、顔の検出を正確に行うことができる。
【００５９】
ステップＳ２０６では、顔と第１付属部位と第２付属部位とにより頭部を決定する。これにより、画像に被写体があることが決定される。
【００６０】
本実施形態では、顔候補領域A31に対して、第１付属部位検出範囲A32と第２付属部位検出範囲A33とを設定し、その中に第１付属部位または第２付属部位があるかどうか、判定することで、付属部位の動きにかかわらず、頭部の検出を正確に行うことができる。
【００６１】
ステップＳ２０７では、設定された全ての顔候補領域A31に対する第１付属部位、第２付属部位の検出を行ったかどうか判定する。そして、全ての顔候補領域A31に対する第１付属部位、第２付属部位の検出を行った場合には、本制御を終了する。また、いずれかの顔候補領域A31に対する第１付属部位、第２付属部位の検出を行っていない場合には、ステップＳ２０３へ戻り、第１付属部位、第２付属部位を検出していない顔候補領域A31に対して、上記制御を繰り返す。
【００６２】
本発明の第１実施形態の効果について説明する。
【００６３】
本実施形態では、画像の中から、被写体の顔候補を検出し、顔候補を含んだ顔候補領域A31の情報に基づいて、第１付属部位検出範囲A32と第２付属部位検出範囲A33とを設定し、第１付属部位と第２付属部位とを検出する。被写体の顔候補と、付属部位と、を別々に検出することで、画像の中から被写体の頭部を正確に検出することができる。そのため、例えば可動する耳を有する猫などが被写体である場合でも、被写体の頭部を正確に検出することができる。これによって、撮影時のＡＦ、ｗｅｂ上の画像からの例えば猫や犬などの被写体画像検索、などを素早く、かつ正確に行うことができる。
【００６４】
また、顔候補に対して、第１付属部位と第２付属部位とが検出された場合に、顔候補を顔であると決定する。これにより、被写体の顔を正確に検出することができ、被写体の頭部を正確に検出することができる。
【００６５】
顔候補領域A31の位置情報および大きさ情報に基づいて、第１付属部位または第２付属部位が存在すると推定される第１付属部位検出範囲A32と第２付属部位検出範囲A33とを設定する。そして、その中に第１付属部位または第２付属部位があるかどうか判定する。顔候補領域A31に対して、距離が遠い箇所については、付属部位の検出を行わないので、付属部位の検出時間を短くすることができ、さらに被写体の頭部を正確に検出することができる。
【００６６】
次に本発明の第２実施形態について図８を用いて説明する。なお、第１実施形態と同じ構成については、図１と同じ符号を付し、ここでの説明は省略する。本実施形態では、付属部位検出部４０４と、メモリ４０５と、顔候補検出部４０６と、頭部決定部４０７と、が第１実施形態とは異なる。
【００６７】
付属部位検出部４０４は、Ａ／Ｄ変換器１０３から出力される画像信号に基づき、第１付属部位候補を含んだ領域（以下、第１付属部位領域（本明細書中では、例えば、第１領域に対応する）とする）を設定する。また、第２付属部位を探索する範囲（以下、第２付属部位探索範囲（本明細書中では、例えば、第２領域に対応する）とする）を設定し、第２付属部位探索範囲内で第２付属部位を検出する範囲（以下、第２付属部位検出範囲とする）を設定する。そして、第２付属部位検出範囲から第２付属部位を検出する。第１付属部位領域と、第２付属部位探索範囲と、第２付属部位検出範囲と、について、詳しくは後述する。
【００６８】
メモリ４０５は、付属部位検出部４０４によって検出した第１付属部位と第２付属部位とを写した画像信号を記憶する。
【００６９】
顔候補検出部４０６は、付属部位検出部４０４によって検出した第１付属部位および第２付属部位の位置情報および大きさ情報に基づいて、顔候補を検出する顔候補検出範囲（本明細書中では、例えば、第３検出範囲に対応する）を設定する。顔候補検出範囲について、詳しくは後述する。また、顔候補検出部４０６は、顔候補検出範囲から顔候補を検出する。
【００７０】
頭部決定部４０７は、メモリ４０５に記憶された第１付属部位と第２付属部位を写した画像信号と、顔候補検出部４０６によって検出された顔候補を写した画像信号と、に基づいて、頭部を決定する。決定した頭部の情報は、出力部１０８へ出力される。
【００７１】
ここで、付属部位検出部４０４において設定する、第１付属部位領域と、第２付属部位探索範囲と、第２付属部位検出範囲と、について図９を用いて説明する。図９は、第１付属部位領域、第２付属部位探索範囲、第２付属部位検出範囲を示す図である。図９中、第１付属部位領域A71の左上頂点の座標を(x71,y71)、幅をW71、高さをh71とする。
【００７２】
付属部位検出部４０４は、SIFTによる特徴抽出法によってコーナーを検出し、第１付属部位候補を含む第１付属部位領域A71を設定する。SIFTによる特徴抽出法では、特徴点を検出する際に得られる特徴点のスケールサイズに応じて、特徴量を記述するウィンドウサイズが定まる。これによって定まった所定サイズの領域を第１付属部位領域A71として設定する。
【００７３】
付属部位検出部４０４は、第１付属部位領域A71を設定すると、第１付属部位領域A71の近傍に、次の式（１２）〜（１４）を用いて、第２付属部位探索範囲A72を算出し、設定する。図９中、第２付属部位探索範囲A72の左上頂点の座標を(x72,y72)、幅をW72、高さをh72とする。
【００７４】
【数１２】
【００７５】
【数１３】
【００７６】
【数１４】
【００７７】
第２付属部位探索範囲A72は、第１付属部位領域A71よりも大きいサイズであり、被写体のあらゆる種類に対する付属部位を検出することができるように設定される。また、第２付属部位探索範囲A72は、第１付属部位領域A71の近傍に設けられる。第２付属部位探索範囲A72を第１付属部位領域A71の近傍に設けることで、第１付属部位と距離が離れた、第１付属部位とペアにならない付属部位が検出されることを防ぐことができる。これによって、第１付属部位とペアとなる第２付属部位を正確に検出することができる。なお、第２付属部位探索範囲A72は、本実施形態においては、第１付属部位領域A71と隣接しているが、第１付属部位領域A71と隣接させずに設けてもよい。また、第２付属部位探索範囲A72の一部が第１付属部位領域A71と重なるように設けてもよい。また、第２付属部位探索範囲A72のサイズは、上記サイズに限られず、第１付属部位とペアとなる第２付属部位を正確に検出できるサイズであればよい。
【００７８】
付属部位検出部４０４は、第２付属部位探索範囲A72を設定すると、第２付属部位探索範囲A72内で、第２付属部位検出範囲A73を次の式（１５）、（１６）を満たすように設定する。図９中、第２付属部位検出範囲A73の左上頂点の座標を(x73,y73)、幅をW73、高さをh73とする。なお、第２付属部位検出範囲A73は、例えば図１０に示すように、第２付属部位探索範囲A72の左上から順次設定される。
【００７９】
【数１５】
【００８０】
【数１６】
【００８１】
第２付属部位検出範囲A73は、第１付属部位領域A71と上記の関係を有するように設定されることで、第１付属部位と略同一の大きさの第２付属部位のみを検出することが可能となる。これによって、第１付属部位とペアとなる第２付属部位を正確に検出することができる。
【００８２】
ここで、顔候補検出部４０６における、顔候補領域について、図１１を用いて説明する。図１１は、第１付属部位領域A71、第２付属部位検出範囲A73、顔候補領域A74を示す図である。図１１中、顔候補領域A74の左上頂点の座標を(x74,y74)、幅をW74、高さをh74とする。
【００８３】
顔候補検出部４０６は、第１付属部位領域A71または第２付属部位検出範囲A73の周辺の領域に、次の式（１７）〜（１９）に基づいて、顔候補領域A74を設定する。
【００８４】
【数１７】
【００８５】
【数１８】
【００８６】
【数１９】
【００８７】
次に、本実施形態の頭部を決定する方法について、図１２のフローチャートを用いて説明する。
【００８８】
ステップＳ５００では、第１付属部位と第２付属部位とを検出する。ここで付属部位の検出方法について図１３のフローチャートを用いて説明する。
【００８９】
ステップＳ６００では、第１実施形態と同様に、SIFTによる特徴抽出法によって、探索範囲に第１付属部位候補を含む第１付属部位領域A71を設定する。探索範囲は、予め設定されるサイズの領域であり、被写体のあらゆる種類に対する第１付属部位領域A71の最大のサイズよりも大きいサイズの領域である（本明細書中では、例えば、第１領域設定部に対応する）。
【００９０】
ステップＳ６０１では、探索範囲内に第１付属部位候補があり、第１付属部位領域A71が設定されたかどうか判定する。そして、探索範囲内に、第１付属部位領域A71が設定された場合には、ステップＳ６０２へ進む。また、探索範囲内で、第１付属部位領域A71が設定されなかった場合には、ステップＳ６０８へ進む。
【００９１】
ステップＳ６０２では、第２付属部位探索範囲A72を式（１２）〜（１４）に基づいて設定する（本明細書中では、例えば、第２領域設定部に対応する）。
【００９２】
ステップＳ６０３では、第２付属部位探索範囲A72に、式（１５）、（１６）に基づいた第２付属部位検出範囲A73を設定する。
【００９３】
ステップＳ６０４では、第２付属部位検出範囲A73から第２付属部位を検出する。本実施形態では、第２付属部位検出範囲A73に対して、第１実施形態と同様に、SIFTによる特徴抽出法によって、第２付属部位を検出する。
【００９４】
ステップＳ６０５では、第２付属部位検出範囲A73に第２付属部位があるかどうか判定する。そして、第２付属部位検出範囲A73に第２付属部位がある場合には、ステップＳ６０６へ進む。また、第２付属部位検出範囲A73に第２付属部位がない場合には、ステップＳ６０９へ進む。
【００９５】
ステップＳ６０６では、第１付属部位候補とペアとなる第２付属部位が検出されたので、第１付属部位候補を第１付属部位と決定する。
【００９６】
ステップＳ６０７では、第１付属部位と第２付属部位とを写した画像信号をメモリ４０５に記憶する。
【００９７】
ステップＳ６０８では、探索範囲を画像の全範囲に対して設定したかどうか判定する。そして、探索範囲を画像の全範囲に対して設定した場合には、この制御を終了する。また、探索範囲を画像のいずれかの領域に対して設定していない場合には、新たな探索範囲を設定し、ステップＳ６００へ戻り、上記制御を繰り返す。
【００９８】
一方、ステップＳ６０５によって、第２付属部位検出範囲A73に第２付属部位がないと判定されると、ステップＳ６０９によって、第２付属部位探索範囲A72の全ての領域に第２付属部位検出範囲A73を設定したかどうか判定する。そして、全ての第２付属部位探索範囲A72に第２付属部位検出範囲A73を設定した場合には、ステップＳ６０８へ進む。また、第２付属部位探索範囲A72のいずれかの領域に第２付属部位検出範囲A73を設定していない場合には、ステップＳ６０３へ戻り、新たな第２付属部位検出範囲A73を設定し、上記制御を繰り返す。
【００９９】
以上の制御により、第１付属部位と第２付属部位とを検出する。
【０１００】
図１２に戻り、ステップＳ５０１では、第１付属部位と、第１付属部位とペアとなる第２付属部位と、があるかどうか判定する。そして、第１付属部位と、第１付属部位とペアとなる第２付属部位と、がある場合には、ステップＳ５０２へ進み、第１付属部位、または第１付属部位とペアとなる第２付属部位がない場合には、本制御を終了する。
【０１０１】
ステップＳ５０２では、第１付属部位と、第１付属部位とペアとなる第２付属部位と、がある場合には、第１付属部位と第２の付属部位との位置情報および大きさ情報により、第１付属部位または第２付属部位の周辺の領域に顔候補検出範囲を式（１７）〜（１９）に基づいて設定する。
【０１０２】
ステップＳ５０３では、顔候補検出範囲内で顔候補の検出を行う。顔候補を検出する方法としては、例えばViola-Jonesの方法によって顔候補の検出を行う。
【０１０３】
ステップＳ５０４では、顔候補検出範囲内に顔候補があるかどうか判定する。そして、顔候補検出範囲内に顔候補領域がある場合にはステップＳ５０５へ進む。また、顔候補検出範囲内に顔候補がない場合にはステップＳ５０７へ進む。
【０１０４】
ステップＳ５０５では、第１付属部位と、第１付属部位とペアとなる第２付属部位と、顔候補と、が検出されると、顔候補を被写体の顔であると決定する。
【０１０５】
ステップＳ５０６では、第１付属部位と、第２付属部位と、被写体の顔と、よって、被写体の頭部を決定する。
【０１０６】
ステップＳ５０７では、全ての第１付属部位および第２付属部位に対して、顔候補を検出したかどうか判定する。そして、全ての第１付属部位および第２付属部位に対して、顔候補を検出した場合には、本制御を終了する。また、いずれかの第１付属部位および第２付属部位に対して、顔候補を検出していない場合には、ステップＳ５０２へ戻り、上記制御を繰り返す。
【０１０７】
なお、第１付属部位領域A71を設定する方法しては、以下の方法を用いてもよい。
【０１０８】
まず、探索範囲の中からコーナーとなる箇所を検出する。コーナー検出は、SIFTによる特徴抽出法によって検出する。そして、ヒストグラムを作成し、第１勾配方向θ1、第２勾配方向θ2を算出し、第１勾配方向θ1と第２勾配方向θ2の間の角度を算出する。この角度が例えば２０°〜８０°の場合には、検出したコーナーが第１付属部位である耳の先端であると判定することができる。
【０１０９】
次に、第１付属部位の先端から、公知のエッジ検出方法、例えば、輝度値を一次微分し、その変化量が大きなところをエッジとして検出する。これにより、第１付属部位の縁を検出する。
【０１１０】
第１付属部位の先端、および第１付属部位の縁を検出すると、第１付属部位の先端から伸びる第１付属部位の縁に沿って、別のコーナーを、例えばSIFTのような特徴抽出法によって検出する。これによって、第１付属部位の末端を検出することができる。なお、コーナーを検出する方法としては、Harrisの方法、SUSANの方法などを用いてもよい。
【０１１１】
第１付属部位の先端と第１付属部位の末端とを検出すると、これらの端を含む領域を第１付属部位領域A71として設定する。これによると、第１付属部位の大きさを正確に算出することができる。
【０１１２】
本発明の第２実施形態の効果について説明する。
【０１１３】
第１付属部位を含む第１付属部位領域A71を設定した後に、第１付属部位領域A71よりも大きいサイズの第２付属部位探索範囲A72を第１付属部位領域A71の近傍に設定する。そして、第２付属部位探索範囲A72内で第２付属部位を検出する。第２付属部位探索範囲A72のサイズを制限することで、例えば、第２付属部位探索範囲A72を被写体のあらゆる種類に対する第２付属部位が入るサイズとした場合に、第１付属部位とペアとならない付属部位が検出されることを防ぐことができる。そのため、第１付属部位とペアとなる第２付属部位を正確に検出することができる。また、第１付属部位とペアとなる第２付属部位を検出するための、処理時間を短くすることができ、顔検出の処理で必要となる時間を短くすることができる。また、被写体の頭部を正確に検出することができる。
【０１１４】
また、第１付属部位と第２付属部位との位置情報、大きさに応じて、顔候補領域A74を設定し、その顔候補領域A74で顔候補を検出する。これよって、第１付属部位および第２付属部位と結合しない顔候補が検出されることを防ぐことができ、被写体の頭部を正確に検出することができる。
【０１１５】
なお、上記実施形態においては、顔候補と、第１付属部位と、第２付属部位と、が検出された場合に顔を決定しているが、第１付属部位と第２付属部位のどちらかが検出された場合に、顔を決定してもよい。この場合には、顔候補領域における顔の確からしさなどを算出し、顔の確からしさが高く、第１付属部位または第２付属部位が検出された場合に、顔を決定し、被写体の頭部を決定してもよい。
【０１１６】
また、上記画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。
【０１１７】
また、上述した実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
【０１１８】
この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記画像処理装置と同様の処理を実現させる。
【０１１９】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【図面の簡単な説明】
【０１２０】
【図１】本発明の第１実施形態の画像処理装置を示す概略ブロック図である。
【図２】本発明の第１実施形態の顔候補領域などを示す図である。
【図３】画像に対する勾配方向と勾配の大きさを示す図である。
【図４】図３における特徴を有する場合のヒストグラムを示す図である。
【図５】代表輝度の勾配方向が２つある場合のヒストグラムを示す図である。
【図６】本発明の第１実施形態の頭部を決定するためのフローチャートである。
【図７】本発明の第１実施形態の付属部位検出範囲の設定方法を説明するフローチャートである。
【図８】本発明の第２実施形態の画像処理装置を示す概略ブロック図である。
【図９】本発明の第２実施形態の第１付属部位領域などを示す図である。
【図１０】本発明の第２実施形態の第２付属部位検出範囲の設定順位を説明する図である。
【図１１】本発明の第２実施形態の顔候補領域などを示す図である。
【図１２】本発明の第２実施形態の頭部を決定するためのフローチャートである。
【図１３】本発明の第２実施形態の付属部位の検出制御についてのフローチャートである。
【符号の説明】
【０１２１】
１０２ ＣＣＤ
１０４、４０６ 顔候補検出部（第１の検出部）
１０６、４０４ 付属部位検出部（第２の検出部）
１０７、４０７ 頭部決定部（被写体検出部）
【特許請求の範囲】
【請求項１】
画像から被写体を検出する画像処理装置であって、
前記画像から前記被写体の特定部位候補を検出する第１の検出部と、
前記画像から前記被写体の特定部位に結合する付属部位を検出する第２の検出部と、
前記第１の検出部の検出結果と前記第２の検出部の検出結果とに基づいて、前記画像から前記被写体を検出する被写体検出部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２の検出部は、
前記第１の検出部の検出結果に基づいて、前記特定部位に結合する第１付属部位と、前記特定部位に結合し、かつ前記第１付属部位とペアとなる第２付属部位と、を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定部位候補に対して、前記第１付属部位および前記第２付属部位が検出された場合に、前記特定部位候補を前記特定部位と決定する特定部位決定部を備え、
前記被写体検出部は、前記特定部位決定部によって決定された前記特定部位と、前記付属部位と、に基づいて、前記画像から前記被写体を検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の検出部は、
前記第１の検出部によって検出された前記特定部位候補の位置情報および大きさ情報に基づいて、前記第１付属部位を検出するための第１検出範囲を設定する第１検出範囲決定部と、
前記第１の検出部によって検出された前記特定部位候補の位置情報および大きさ情報に基づいて、前記第２付属部位を検出するための第２検出範囲を設定する第２検出範囲決定部と、を備え、
前記第１検出範囲から前記第１付属部位を検出し、前記第２検出範囲から前記第２付属部位を検出することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第１の検出部は、前記第２の検出部の検出結果に基づいて、前記特定部位候補を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の検出部は、前記第２の検出部によって検出された前記付属部位の位置情報および大きさ情報に基づいて、前記特定部位候補を検出するための第３検出範囲を設定し、前記第３検出範囲から前記特定部位候補を検出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の検出部は、
前記特定部位に結合する第１付属部位に関する情報に基づいて、第１領域を設定する第１領域設定部と、
前記第１領域よりも大きいサイズの第２領域を、前記被写体に関する情報に基づいて前記第１領域の近傍に設定する第２領域設定部と、を備え、
前記特定部位に結合し、かつ前記第１付属部位とペアとなる第２付属部位を、前記第２領域から検出することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記付属部位は、可動することを特徴とする請求項１から７のいずれか一つに記載の画像処理装置。
【請求項９】
前記付属部位は、前記特定部位から突き出た突出部であることを特徴とする請求項１から８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記特定部位は、動物の顔であり、
前記付属部位は、前記動物の耳であることを特徴とする請求項１から９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記第１の検出部は、機械学習させておいた複数の識別器から前記特定部位候補を検出することを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記第１の検出部は、ガボールフィルタおよびグラフマッチングにより、前記特定部位候補を検出することを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１３】
請求項１から１２のいずれか一つに記載の画像処理装置を備えたことを特徴とする電子機器。
【請求項１４】
画像から被写体を検出する画像処理プログラムであって、
前記画像から前記被写体の特定部位候補を検出する第１の検出手順と、
前記画像から前記被写体の特定部位に結合する付属部位を検出する第２の検出手順と、
前記第１の検出手順の検出結果と前記第２の検出手順の検出結果とに基づいて、前記画像から前記被写体を検出する被写体検出手順と、をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１５】
画像から被写体を検出する画像処理方法であって、
前記画像から前記被写体の特定部位候補を検出し、
前記画像から前記被写体の特定部位に結合する付属部位を検出し、
検出した前記特定部位候補と前記付属部位とに基づいて、前記画像から前記被写体を検出することを特徴とする画像処理方法。
【請求項１】
画像から被写体を検出する画像処理装置であって、
前記画像から前記被写体の特定部位候補を検出する第１の検出部と、
前記画像から前記被写体の特定部位に結合する付属部位を検出する第２の検出部と、
前記第１の検出部の検出結果と前記第２の検出部の検出結果とに基づいて、前記画像から前記被写体を検出する被写体検出部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２の検出部は、
前記第１の検出部の検出結果に基づいて、前記特定部位に結合する第１付属部位と、前記特定部位に結合し、かつ前記第１付属部位とペアとなる第２付属部位と、を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定部位候補に対して、前記第１付属部位および前記第２付属部位が検出された場合に、前記特定部位候補を前記特定部位と決定する特定部位決定部を備え、
前記被写体検出部は、前記特定部位決定部によって決定された前記特定部位と、前記付属部位と、に基づいて、前記画像から前記被写体を検出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の検出部は、
前記第１の検出部によって検出された前記特定部位候補の位置情報および大きさ情報に基づいて、前記第１付属部位を検出するための第１検出範囲を設定する第１検出範囲決定部と、
前記第１の検出部によって検出された前記特定部位候補の位置情報および大きさ情報に基づいて、前記第２付属部位を検出するための第２検出範囲を設定する第２検出範囲決定部と、を備え、
前記第１検出範囲から前記第１付属部位を検出し、前記第２検出範囲から前記第２付属部位を検出することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第１の検出部は、前記第２の検出部の検出結果に基づいて、前記特定部位候補を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の検出部は、前記第２の検出部によって検出された前記付属部位の位置情報および大きさ情報に基づいて、前記特定部位候補を検出するための第３検出範囲を設定し、前記第３検出範囲から前記特定部位候補を検出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の検出部は、
前記特定部位に結合する第１付属部位に関する情報に基づいて、第１領域を設定する第１領域設定部と、
前記第１領域よりも大きいサイズの第２領域を、前記被写体に関する情報に基づいて前記第１領域の近傍に設定する第２領域設定部と、を備え、
前記特定部位に結合し、かつ前記第１付属部位とペアとなる第２付属部位を、前記第２領域から検出することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記付属部位は、可動することを特徴とする請求項１から７のいずれか一つに記載の画像処理装置。
【請求項９】
前記付属部位は、前記特定部位から突き出た突出部であることを特徴とする請求項１から８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記特定部位は、動物の顔であり、
前記付属部位は、前記動物の耳であることを特徴とする請求項１から９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記第１の検出部は、機械学習させておいた複数の識別器から前記特定部位候補を検出することを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記第１の検出部は、ガボールフィルタおよびグラフマッチングにより、前記特定部位候補を検出することを特徴とする請求項１から１０のいずれか一つに記載の画像処理装置。
【請求項１３】
請求項１から１２のいずれか一つに記載の画像処理装置を備えたことを特徴とする電子機器。
【請求項１４】
画像から被写体を検出する画像処理プログラムであって、
前記画像から前記被写体の特定部位候補を検出する第１の検出手順と、
前記画像から前記被写体の特定部位に結合する付属部位を検出する第２の検出手順と、
前記第１の検出手順の検出結果と前記第２の検出手順の検出結果とに基づいて、前記画像から前記被写体を検出する被写体検出手順と、をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１５】
画像から被写体を検出する画像処理方法であって、
前記画像から前記被写体の特定部位候補を検出し、
前記画像から前記被写体の特定部位に結合する付属部位を検出し、
検出した前記特定部位候補と前記付属部位とに基づいて、前記画像から前記被写体を検出することを特徴とする画像処理方法。
【図３】
【図６】
【図７】
【図１０】
【図１２】
【図１３】
【図１】
【図２】
【図４】
【図５】
【図８】
【図９】
【図１１】
【図６】
【図７】
【図１０】
【図１２】
【図１３】
【図１】
【図２】
【図４】
【図５】
【図８】
【図９】
【図１１】
【公開番号】特開２０１０−２６８０４（Ｐ２０１０−２６８０４Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８７５７２（Ｐ２００８−１８７５７２）
【出願日】平成２０年７月１８日（２００８．７．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月１８日（２００８．７．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]