被写体検出装置、被写体検出方法及びプログラム
【課題】背景を含む画像から被写体の頭部領域を高精度に検出できるようにする。
【解決手段】検出したエッジ画素に基づいて、ハフ変換を用いて直線を表すパラメータρ、θを検出し、直線パラメータρ、θに基づいて、検出された複数のエッジ画素を含むように所定の幅ｗの直線領域を検出する。次に、全ての直線領域以外におけるエッジ画素の中から、直線領域と連結する連結エッジ画素を抽出し、注目する直線領域と連結する連結エッジ画素との交点の間の注目する直線領域内のエッジ画素を関連エッジ画素とする。そして、関連エッジ画素以外の直線領域上のエッジ画素を削除する。
【解決手段】検出したエッジ画素に基づいて、ハフ変換を用いて直線を表すパラメータρ、θを検出し、直線パラメータρ、θに基づいて、検出された複数のエッジ画素を含むように所定の幅ｗの直線領域を検出する。次に、全ての直線領域以外におけるエッジ画素の中から、直線領域と連結する連結エッジ画素を抽出し、注目する直線領域と連結する連結エッジ画素との交点の間の注目する直線領域内のエッジ画素を関連エッジ画素とする。そして、関連エッジ画素以外の直線領域上のエッジ画素を削除する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、背景を含む画像から被写体を検出するために用いて好適な被写体検出装置、被写体検出方法及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラなどの撮影装置から撮影された映像に指定された人物の位置を特定して追尾することにより、カメラのフォーカス、露出及びカメラのパン、チルト、ズームなどの姿勢を自動的に制御する機能が注目されている。
【０００３】
人物の位置を特定するためには、人物の顔パターンを検出してその動きを追尾することが一般的である。このように画像から顔を検出する技術としては、非特許文献１に各種方式が挙げられている。特に、非特許文献２に記載された手法は、実行速度及び検出率の高さから、顔検出研究において広く使用されている。
【０００４】
一方、人物の位置を特定する場合、人物の顔パターンを検出して追尾するだけでは十分ではない。例えば、人物顔の横回転や後ろ反転などにより、顔パターンを検出できない場合がある。そこで、顔の代わりに頭部領域を検出して追尾することは有力な代替手段でもある。
【０００５】
頭部領域を検出する手法としては、非特許文献３に開示されているＨｏｕｇｈ変換を用い楕円形状を検出する手法が古くから知られている。そして、非特許文献４には、ランダンムの３点エッジ座標データから楕円のパラメータを推定して投票する方法も開示されている。さらに、非特許文献５には、楕円円周上の勾配情報と、事前に取った頭部カラーヒストグラムモデルと楕円内部のカラーヒストグラムとのマッチングにより頭部の楕円形状を検出する方法も開示されている。なお、頭部領域は楕円で近似することを前提とし、頭部領域は頭部楕円領域または頭部楕円の外接矩形領域とする。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】M.H.Yang, D.J.Kriegman and N.Ahuja. "Detecting Faces in Images : A Survey," IEEE Trans. on PAMI, vol.24, no.1, pp.34-58, January, 2002.
【非特許文献２】P.Viola and M.Jones. "Robust Real-time Object Detection," in Proc. of IEEE Workshop SCTV, July, 2001.
【非特許文献３】Duda, R.O. and P.E.Hart, "Use of the Hough Transformation to Detect Lines and Curves in Pictures," Comm. ACM, Vol. 15, pp.11-15 (January, 1972).
【非特許文献４】R.A.McLaughlin, "Randomized Hough Transform : Better Ellipse. Detection," IEEE TENCON Digital Signal Processing Applications. 1996. pp.409-414.
【非特許文献５】Stan Birchfield, "Elliptical Head Tracking Using Intensity Gradients and Color Histogram," Proc. IEEE International Conference On Computer Vision and Pattern Recognition(CVPR '98), Santa Barbara, California, pp.232-237, June 1998.
【非特許文献６】J.Matas, C.Galambos, and J.Kittler, "Progressive Probabilistic Hough Transform," Computer Vision and Pattern Recognition, pages 554-560, Los Alamitos, Calfornia, June 1999. IEEE Computer Society.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように、人物の顔を検出できない場合に、人物の位置を特定するために人物の頭部を代わりに検出して追尾する方法が考えられる。しかしながら、人物の頭部領域の周辺の背景に、ドア、机、大型テレビ、部屋パーティションなどの被写体があって、これらの被写体の境界線がエッジ画素として検出されることがある。頭部領域とこれらのエッジ画素とが近接すると、背景のエッジ画素によって頭部領域の検出を妨げることがある。
【０００８】
そこで、複雑な背景から人物の頭部領域の楕円エッジを検出するために、さまざまな対策を考えられる。非特許文献５には、エッジ勾配の強度のみ利用することではなく、エッジ勾配の方向も利用し、楕円内部のカラーアピアランスも併用し、最も頭部領域らしい楕円形状のエッジを検出している。
【０００９】
しかしながら、このような方法でも、背景のエッジを誤って頭部領域の楕円エッジとして検出することがある。例えば、頭部領域のエッジと背景領域のエッジとを検出し、前フレームの頭部領域の楕円形状と少し外れることがあっても、頭部領域の楕円として検出することがある。このように、少しずつ、頭部領域は、頭部領域のエッジと背景領域のエッジとを両方検出し、真の頭部領域のエッジから段々外れることがある。
【００１０】
本発明は前述の問題点に鑑み、背景を含む画像から被写体の頭部領域を高精度に検出できるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明の被写体検出装置は、入力画像からエッジ画素を検出するエッジ画素検出手段と、前記エッジ画素検出手段によって検出されたエッジ画素から直線領域を検出する直線領域検出手段と、前記直線領域検出手段によって検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出手段と、前記連結エッジ画素抽出手段によって抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出手段と、前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写体エッジを維持しながら、直線エッジを削除することができ、被写体の検出精度を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る被写体検出装置の機能構成例を示すブロック図である。
【図２】実施形態に係る被写体検出装置のハードウェア構成例を示すブロック図である。
【図３】第１の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図４】エッジ画素を削除する手順を説明する図である。
【図５】第１の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【図６】ハフ変換のパラメータを説明する図である。
【図７】第１の実施形態において、エッジ画素を削除する手順を説明する図である。
【図８】関連エッジ画素を抽出する手順を説明する図である。
【図９】第２の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図１０】被写体の候補領域を含む被写体検出領域を説明する図である。
【図１１】第２の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【図１２】第３の実施形態において、エッジ画素を削除する手順を説明する図である。
【図１３】第３の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図１４】被写体の候補領域を含む第１の被写体検出領域及び第２の被写体検出領域を説明する図である。
【図１５】第３の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【図１６】第４の実施形態において、エッジ画素を削除する手順を説明する図である。
【図１７】第４の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図１８】第４の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。本発明の特徴となる機能を実現するものも本発明の範囲に含まれる。
【００１５】
（第１の実施形態）
図１は、本実施形態に係る被写体検出装置１００の機能構成例を示すブロック図である。
図１に示すように、まず、入力画像１１０が被写体検出装置１００の直線エッジ削除部１０１に入力され、直線エッジ削除部１０１は、入力画像１１０から、被写体エッジ以外の直線エッジ画素を検出して削除する。被写体領域検出部１０２は、前記直線エッジ画素を削除後の情報を用いて被写体領域を検出し、被写体情報１３０を出力する。
【００１６】
なお、被写体領域検出部１０２は、ハフ変換を用いて被写体領域として頭部の楕円形状を検出する以外に、以下の手法により被写体領域を検出することができる。すなわち、削除した直線エッジ画素以外の画素のエッジ強度や方向情報などを用いて、機械学習で事前に抽出した被写体の特徴と照合することにより被写体領域を検出することも可能である。
【００１７】
図２は、本実施形態に係る被写体検出装置１００のハードウェア構成例を示すブロック図である。
図２において、ＣＰＵ２０１は、本実施形態の被写体検出装置１００における各種制御を実行する。ＲＯＭ２０２は、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。ＲＡＭ２０３は、ＣＰＵ２０１が処理するための制御プログラムを格納するとともに、ＣＰＵ２０１が各種制御を実行する際の作業領域を提供する。キーボード２０４及びマウス２０５は、ユーザが情報を入力するためのものである。
【００１８】
外部記憶装置２０６は、例えば、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等である。なお、外部記憶装置２０６は、制御プログラムや各種データを全てＲＯＭ２０２に記憶するような構成とする場合には、必ずしも必要な構成要素ではない。
【００１９】
表示器２０７は、ディスプレイなどで構成され、処理結果等の情報を表示する。ネットワークインターフェース２０８は、外部装置と情報をやり取りするためのインターフェースである。ビデオインターフェース２０９は、撮像装置などと同軸ケーブルを介して接続することが可能なインターフェースであり、フレーム画像を取り込むことができる。また、バス２１０は、上記の各構成を接続するためのバスである。
【００２０】
図３は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。以下の説明では、検出しようとする被写体を人物の頭部とする。
図３において、エッジ画素検出部３０１は、静止画像などの入力画像１１０から、Sobel、Prewitt、Morpholgyなどのエッジ検出方法を用いて、エッジ画素を検出する。
【００２１】
直線領域検出部３０２は、エッジ画素検出部３０１で検出したエッジ画素に基づいて、ハフ変換を用いて直線を表すパラメータρ、θを検出する。なお、パラメータρ、θの詳細については後述する。そして、入力画像１１０において、検出した直線パラメータρ、θに基づいて、検出された複数のエッジ画素を含むように所定の幅ｗで直線を入力画像に描画する。直線を描画する際には、最も離れた２点のエッジ画素間で直線を描画する。本実施形態においては、描画した幅ｗの直線そのものの領域を直線領域とする。このように直線状に形成される直線領域に含まれるエッジ画素は、主に背景により形成されるものであり、被写体を検出するために、以降の処理でこれらのエッジ画素を削除する。
【００２２】
連結エッジ画素抽出部３０３は、全ての直線領域以外におけるエッジ画素の中から、直線領域と連結するエッジ画素を連結エッジ画素として抽出する。関連エッジ画素抽出部３０４は、注目する直線領域と連結する連結エッジ画素との交点の間の注目する直線領域内のエッジ画素を関連エッジ画素とする。
【００２３】
図４（ａ）は、入力画像で検出されたエッジ画素の一例を示す図である。ここで、図４（ｂ）に示す例では、直線領域４０１と、直線領域以外のエッジ画素とが連結していないため、直線領域４０１上には関連エッジ画素が存在しない。これに対して直線領域４０２、４０３は、直線領域以外のエッジ画素と連結する。図４（ｂ）では、関連エッジ画素が黒色に示されている。
【００２４】
エッジ画素削除部３０５は、関連エッジ画素以外の直線領域に属するエッジ画素を削除する。図４（ｃ）には、直線領域上のエッジ画素を削除した後のエッジ画像を示している。
【００２５】
次に、本実施形態における処理の流れについて、図５のフローチャートを参照しながら説明する。図５は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、直線エッジ削除部１０１は、入力画像１１０を入力する。入力画像１１０は、静止画像でもよいし、動画像におけるフレーム画像でもよい。本実施形態においては、動画像のフレーム画像を例として説明する。
【００２６】
次に、ステップＳ５０２において、エッジ画素検出部３０１は、入力画像１１０から、Sobel、Prewitt、Morphologyなどのエッジ検出方法を用いて、エッジ画素を検出する。
【００２７】
次に、ステップＳ５０３において、直線領域検出部３０２は、ステップＳ５０２で検出したエッジ画素から、ハフ変換を用いて直線領域を検出するために、ハフ変換のパラメータを設定する。ハフ変換には種々なものがあるが、非特許文献６に開示されているＰＰＨＴは、高速的で、太い直線エッジの場合でも、高精度で直線の始点と終点と角度を確定できる。このため、ステップＳ５０３ではこの方法を用いるものとする。本実施形態では、図６に示すように、原点と直線距離ρの解像度、原点から直線への垂線の角度θの解像度、直線検出の長さの閾値、直線セグメントの閾値、セグメントを連結する長さの閾値などのパラメータを設定する。
【００２８】
次に、ステップＳ５０４において、直線領域検出部３０２は、ステップＳ５０３で設定したハフ変換のパラメータを用いて、各エッジ画素から直線のパラメータ空間に変換して直線を検出する。そして、ステップＳ５０５において、直線領域検出部３０２は、ステップＳ５０４に検出した直線のパラメータ（直線距離ρ及び角度θ）に基づいて、所定の幅ｗで直線を入力画像に描画する。図７（ａ）には、エッジ画素を含む入力画像の一例を示し、図７（ｂ）には、直線が描画された入力画像の一例を示す。
【００２９】
ステップＳ５０６において、被写体検出装置１００の直線エッジ削除部１０１は、ステップＳ５０５で描画した全ての直線領域のそれぞれにについて、以下に説明するステップＳ５０７からステップＳ５０９までの処理を繰り返す。
【００３０】
ステップＳ５０７においては、連結エッジ画素抽出部３０３は、注目する直線領域Ｌを両側に所定の幅ｄｗだけ膨張する。図７（ｃ）には、注目する直線領域Ｌが所定の幅ｄｗだけ膨張した入力画像の一例を示している。そして、他の直線領域以外で、膨張した直線領域Ｌと重なるエッジ画素を抽出する。次に、抽出したエッジ画素のそれぞれについて、幅（ｗ＋ｄｗ）で膨張し、ラベリングを行う。そして、同じラベルのエッジ画素の中心を連結エッジ画素とする。図７（ｄ）には、抽出された連結エッジ画素Ａ、Ｂの一例を示している。
【００３１】
次に、ステップＳ５０８において、関連エッジ画素抽出部３０４は、ステップＳ５０７で抽出された連結エッジ画素Ａ、Ｂ間で、描画した直線領域Ｌと同じ幅ｗからなる直線領域ＡＢを作成する。そして、直線領域ＡＢ上のエッジ画素を関連エッジ画素として抽出する。図７（ｅ）には、抽出した関連エッジ画素７０１の一例を示している。
【００３２】
次に、ステップＳ５０９において、エッジ画素削除部３０５は、関連エッジ画素を除いた直線領域Ｌ上のエッジ画素を削除する。図７（ｆ）には、直線領域上のエッジ画素が削除されたエッジ画像の一例を示している。なお、直線領域に属するエッジ画素を削除した後に、関連エッジ画素を修復するようにしてもよい。そして、全ての直線領域についてエッジ画素を削除すると、ステップＳ５１０においては、エッジ画素削除部３０５は、エッジ画素を削除した入力画像（エッジ画像）を出力する。このとき、削除されたエッジ画素の画像も出力情報として出力してもよい。
【００３３】
ここで、図８（ａ）に示す例のように、１点の連結エッジ画素Ａしか存在しない場合は、関連エッジ画素がないものとするか、以下の手順で関連エッジ画素を抽出する。例えば、連結エッジ画素Ａの位置から、直線領域Ｌと入力画像の境界線との交点Ｃ、Ｄ間で直線領域ＡＣまたは直線領域ＡＤを作成し、直線領域ＡＣまたは直線領域ＡＤ上のエッジ画素を関連エッジ画素として抽出してもよい。
【００３４】
また、図８（ｂ）に示す例のように、連結エッジ画素が２点以上存在する場合は、最も離れた２点の連結エッジ画素Ａ、Ｂ間で直線領域ＡＢを作成し、直線領域ＡＢ上のエッジ画素を関連エッジ画素として抽出する。もしくは、任意の２点の間に所定の幅ｗで直線領域を作成し、直線領域内のエッジ画素を関連エッジ画素として抽出してもよい。
【００３５】
また、本実施形態において、検出した直線のパラメータ（直線距離ρ及び角度θ）に基づいて、直線上最も離れた２点のエッジ画素間を結ぶように所定の幅ｗの直線領域を描画した。この他に、直線領域そのものではなく、作成された直線上の最も離れた２点のエッジ画素間のエッジ画素の集合のみを直線領域と定義してもよい。
【００３６】
なお、本実施形態において、全ての直線領域以外のエッジ画素の中から、注目する直線領域と連結するエッジ画素を連結エッジ画素として抽出した。一方、全ての直線領域ではなく、注目する直線領域以外のエッジ画素の中から、注目する直線領域と連結するエッジ画素を連結エッジ画素として抽出してもよい。
【００３７】
以上のように本実施形態によれば、被写体エッジを維持しながら、直線エッジを削除することができ、被写体の検出精度を向上することができる。
【００３８】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態では、第１の実施形態とは異なり、後述する被写体検出領域を設けるようにしている。入力画像にノイズを含むエッジ画素が存在すると、連結エッジ画素の抽出に悪い影響を与える。そこで本実施形態では、このような影響を低減するために、被写体の候補領域の周辺に、被写体の候補領域を含む被写体検出領域を設定してエッジ画像を生成する。そのため、本実施形態に係る被写体検出装置の構成は図１と同様であるが、直線エッジ削除部１０１の詳細な構成が第１の実施形態と異なる。以下、第１の実施形態と異なる部分についてのみ説明する。
【００３９】
図９は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。
図９において、領域設定部９０１は、過去のフレームで検出した被写体の位置及び画像データに基づいて、現在のフレームに相当する入力画像から被写体の候補領域を求める。そして、図１０に示すように、現在のフレームにおける被写体の候補領域１００１を含むように、被写体検出領域１００２を設定する。なお、入力画像１１０が静止画像の場合は、被写体の候補領域の情報を、外部装置から直接入力するようにしてもよい。エッジ画素検出部３０１〜エッジ画素削除部３０５の処理は、第１の実施形態と同様であるが、入力画像１１０に対してではなく、設定された被写体検出領域１００２に対して処理を行う。
【００４０】
図１１は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。図１１に示すフローチャートは、図５のフローチャートと比べ、ステップＳ１１０１の処理が含まれている。ステップＳ１１０１では、領域設定部９０１は、前述したように被写体検出領域１００２を検出する。以降のステップＳ５０２からステップＳ５１０の処理は、設定された被写体検出領域に対して処理を行うようにする。
【００４１】
以上のように本実施形態によれば、被写体エッジを維持しながら、直線エッジを削除することができ、被写体の検出精度を向上することができる。
【００４２】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、第２の実施形態で説明した被写体検出領域を２段階に設定し、第１の被写体検出領域と、さらによりサイズの大きい第２の被写体検出領域とを設定する。例えば、図１２（ａ）に示すように、被写体検出領域１２０４では２つの直線１２０１、１２０２が断続した直線となり、よりサイズの小さい被写体検出領域１２０３では直線のエッジ画素と被写体のエッジ画素とを分離しにくい場合がある。そこで本実施形態では、このような場合にエッジ画素を削除する手順について説明する。なお、本実施形態に係る被写体検出装置の構成は図１と同様であるが、直線エッジ削除部１０１の詳細な構成が第１の実施形態と異なる。以下、第１の実施形態と異なる部分についてのみ説明する。
【００４３】
図１３は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。
図１３において、第１の領域設定部１３０１は、過去のフレームで検出した被写体の位置情報に基づいて、現在のフレームである入力画像から被写体の候補位置を求める。例えば図１４に示すように、現在のフレームにおいて被写体の候補位置１４０１を含むように所定パラメータでサイズの小さい第１の被写体検出領域１４０２を設定する。
【００４４】
第２の領域設定部１３０２は、第１の領域設定部１３０１と同様に被写体の候補位置を求める。そして、図１４に示すように、現在のフレームにおいて被写体の候補位置１４０１を含むように所定パラメータでサイズの大きい第２の被写体検出領域１４０３を設定する。
【００４５】
第１のエッジ画素検出部１３０３は、第１の領域設定部１３０１で設定された第１の被写体検出領域において、Sobel、Prewitt、Morpholgyなどのエッジ検出方法を用いてエッジ画素を検出する。なお、第１の被写体検出領域が完全に第２の被写体検出領域に包含される場合は、第２のエッジ画素検出部１３０４の検出結果を利用することにより、本処理は省略することができる。
【００４６】
第２のエッジ画素検出部１３０４は、第２の領域設定部１３０２で設定した第２の被写体検出領域において、Sobel、Prewitt、Morphologyなどのエッジ検出方法を用いてエッジ画素を検出する。直線領域検出部１３０５は、第２のエッジ画素検出部１３０４で検出したエッジ画素に基づいて、ハフ変換を利用して第２の被写体検出領域内の直線エッジを検出し、直線領域を作成する。図１２（ｂ）には、直線領域が描画された入力画像の一例を示している。
【００４７】
連結エッジ画素抽出部１３０６は、直線領域検出部１３０５が第２の被写体検出領域において検出した直線領域のうち、第１の被写体検出領域の範囲内において、直線領域と連結するエッジ画素を連結エッジ画素として抽出する。関連エッジ画素抽出部１３０７は、第２の実施形態と同様に、第１の被写体検出領域内の直線領域のそれぞれについて、関連エッジ画素を抽出する。エッジ画素削除部１３０８は、注目する直線領域において、関連エッジ画素以外の直線領域内のエッジ画素を削除する。図１２（ｃ）及び図１２（ｄ）は、関連エッジ画素以外のエッジ画素の削除を説明する図である。
【００４８】
図１５は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１５０１において、直線エッジ削除部１０１は、入力画像１１０を入力する。入力画像１１０は、静止画像でもよいし、動画像のフレーム画像でもよい。本実施形態においては、動画像のフレーム画像を例として説明する。
【００４９】
次に、ステップＳ１５０２において、第１の領域設定部１３０１及び第２の領域設定部１３０２はそれぞれ、過去のフレームに検出した被写体の位置および画像データに基づいて、現在のフレームの入力画像に、被写体の候補位置を求める。そして、図１４に示すように、現在フレームに被写体候補位置を含め、それぞれサイズの異なる被写体検出領域を設定する。なお、入力画像１１０が静止画像の場合は、被写体の候補位置の情報を外部入力装置から直接入力してもよい。
【００５０】
次に、ステップＳ１５０３において、第１の領域設定部１３０１及び第２の領域設定部１３０２はそれぞれ、第１及び第２の被写体検出領域において、Sobel、Prewitt、Morphologyなどのエッジ検出方法を用いてエッジ画素を検出する。なお、第１の被写体検出領域が完全に第２の被写体検出領域に含まない場合は、少なくともどちらかに属する領域についてエッジ画素を検出する。
【００５１】
次に、ステップＳ１５０４において、直線領域検出部１３０５は、ステップＳ１５０３で検出した第２の被写体検出領域のエッジ画素について、非特許文献６に開示されたＰＰＨＴに用いた各パラメータを設定する。設定するパラメータは、第１実施形態と同様に、原点と直線距離ρの解像度、原点から直線への垂線の角度θの解像度、直線検出の長さの閾値、直線セグメントの閾値、セグメントを連結する長さの閾値などがある。
【００５２】
次に、ステップＳ１５０５において、直線領域検出部１３０５は、ステップＳ１５０４で設定したハフ変換のパラメータを利用して、第２の被写体検出領域において各エッジ画素から直線のパラメータ空間に変換して直線を検出する。そして、ステップＳ１５０６において、直線領域検出部１３０５は、ステップＳ１５０５に検出した直線のパラメータρ、θに基づいて、第２の被写体検出領域内に、所定の幅ｗで直線を作成する。そして、作成した所定の幅ｗの直線上最も離れた２点のエッジ画素間の領域を直線領域と設定する。
【００５３】
以降のステップＳ５０６からステップＳ５１０の処理は図５と同様であり、設定された第１の被写体検出領域に対して処理を行うようにする。
【００５４】
以上のように本実施形態においては、第１の被写体検出領域は、第２の被写体検出領域に完全に含まれるように設定される。第２の被写体検出領域を設定することにより、第１の被写体検出領域内の被写体のエッジ画素の一部を間違って直線として誤検出することを防ぎ、全局的に直線を検出することができる。したがって、以上の目的を達成できれば、第１の被写体検出領域を第２の被写体検出領域に完全に含まないように設定してもよい。
【００５５】
また、本実施形態において、ステップＳ１５０３のエッジ検出処理は、第１の被写体検出領域と第２の被写体検出領域とで同じ方法で検出してもよいし、異なる方法で検出してもよい。例えば、Ｓｏｂｅｌエッジ検出器で検出してもよく、１つはＳｏｂｅｌエッジ検出器を用いて検出し、もう１つはＭｏｒｐｈｏｌｏｇｙエッジ検出器を用いて検出してもよい。
【００５６】
また、本実施形態において、直線領域は第２の被写体検出領域において作成するが、第１の被写体検出領域において作成して、関連エッジ以外の直線領域内のエッジ画素を削除してもよい。
【００５７】
（第４の実施形態）
以下、本発明の第４の実施形態について説明する。本実施形態は、図１６に示すように、第１の被写体検出領域１６０１では被写体のエッジ画素１６０２が直線として検出される可能性が高いような場合に好適な例である。本実施形態では、第１の被写体検出領域１６０１で検出されたエッジ画素を、第２の被写体検出領域１６０３の直線の検出に利用しない例について説明する。なお、本実施形態に係る被写体検出装置の構成は図１と同様であるが、直線エッジ削除部１０１の詳細な構成が第１の実施形態と異なる。以下、第１の実施形態と異なる部分についてのみ説明する。
【００５８】
図１７は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。本実施形態では、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２を備えている。そして、第１の直線領域検出部１７０１で検出した直線領域と、第２の直線領域検出部１７０２で検出した直線領域とが重なる直線領域のみについて、関連エッジ画素以外のエッジ画素の削除処理を行う。
【００５９】
図１８は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
ステップＳ１８０１からステップＳ１８０３までの処理は、図１５のステップＳ１５０１からステップＳ１５０３までの処理と同じなので、詳細な説明を省略する。ただし、第２の被写体検出領域のエッジ画素を検出する際に、第１の被写体検出領域を除いてもよい。
【００６０】
ステップＳ１８０４においては、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２はそれぞれ、第１及び第２の被写体検出領域のエッジ画素について、非特許文献６に開示されたＰＰＨＴに用いた各パラメータを設定する。設定するパラメータは、第１の実施形態と同様に、原点と直線距離ρの解像度、原点から直線への垂線の角度θの解像度、直線検出の長さの閾値、直線セグメントの閾値、セグメントを連結する長さの閾値などがある。
【００６１】
次に、ステップＳ１８０５において、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２はそれぞれ、ハフ変換のパラメータを利用して、第１及び第２の被写体検出領域において各エッジ画素から直線のパラメータ空間に変換して直線を検出する。なお、第１及び第２の被写体検出領域のエッジ画素について、同じハフ変換を用いてもよいし、異なるハフ変換を用いてもよい。また、同じハフ変換を用いても、異なるパラメータを設定してもよい。
【００６２】
次に、ステップＳ１８０６において、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２はそれぞれ、直ステップＳ１８０５に検出した直線のパラメータρ、θに基づいて、第１及び第２の被写体検出領域内に、所定の幅ｗで直線を作成する。そして、作成した所定の幅ｗの直線上最も離れた２点のエッジ画素間の領域を直線領域と設定する。
【００６３】
次に、ステップＳ１８０７において、第１の直線領域検出部１７０１は、第１の被写体検出領域で検出した全ての直線領域のそれぞれについて、第２の被写体検出領域に検出した直線領域のいずれか１つと重なるかどうかを判断する。そして、重なると判断した第１の被写体検出領域の直線領域のみについて、後続の処理を行う。
【００６４】
ここで、直線領域が重なるかどうかについては、第１の被写体検出領域の直線におけるハフ変換の投票空間におけるビンと、第２の被写体検出領域の直線における投票空間におけるビンとが等価であるかどうかにより判断する。等価のビンとは、第１の被写体検出領域及び第２の被写体検出領域の直線の座標を同じ座標系で表すとき、その２つのビンが同じ直線を表すことである。また、第１の被写体検出領域の直線領域と第２の被写体検出領域の直線領域とをメモリ上でマッピングし、重なるかどうかを判断してもよい。
【００６５】
以降のステップＳ５０６からステップＳ５１０の処理は図５と同様であり、重なると判断した第１の被写体検出領域の直線領域のみに対して処理を行うようにする。
【００６６】
以上のように本実施形態によれば、被写体のエッジ画素が直線として検出される可能性が高いような場合にも、被写体の検出精度を向上させることができる。
【００６７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６８】
３０１ エッジ画素検出部
３０２ 直線領域検出部
３０３ 連結エッジ画素抽出部
３０４ 関連エッジ画素抽出部
３０５ エッジ画素削除部
【技術分野】
【０００１】
本発明は、特に、背景を含む画像から被写体を検出するために用いて好適な被写体検出装置、被写体検出方法及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラなどの撮影装置から撮影された映像に指定された人物の位置を特定して追尾することにより、カメラのフォーカス、露出及びカメラのパン、チルト、ズームなどの姿勢を自動的に制御する機能が注目されている。
【０００３】
人物の位置を特定するためには、人物の顔パターンを検出してその動きを追尾することが一般的である。このように画像から顔を検出する技術としては、非特許文献１に各種方式が挙げられている。特に、非特許文献２に記載された手法は、実行速度及び検出率の高さから、顔検出研究において広く使用されている。
【０００４】
一方、人物の位置を特定する場合、人物の顔パターンを検出して追尾するだけでは十分ではない。例えば、人物顔の横回転や後ろ反転などにより、顔パターンを検出できない場合がある。そこで、顔の代わりに頭部領域を検出して追尾することは有力な代替手段でもある。
【０００５】
頭部領域を検出する手法としては、非特許文献３に開示されているＨｏｕｇｈ変換を用い楕円形状を検出する手法が古くから知られている。そして、非特許文献４には、ランダンムの３点エッジ座標データから楕円のパラメータを推定して投票する方法も開示されている。さらに、非特許文献５には、楕円円周上の勾配情報と、事前に取った頭部カラーヒストグラムモデルと楕円内部のカラーヒストグラムとのマッチングにより頭部の楕円形状を検出する方法も開示されている。なお、頭部領域は楕円で近似することを前提とし、頭部領域は頭部楕円領域または頭部楕円の外接矩形領域とする。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】M.H.Yang, D.J.Kriegman and N.Ahuja. "Detecting Faces in Images : A Survey," IEEE Trans. on PAMI, vol.24, no.1, pp.34-58, January, 2002.
【非特許文献２】P.Viola and M.Jones. "Robust Real-time Object Detection," in Proc. of IEEE Workshop SCTV, July, 2001.
【非特許文献３】Duda, R.O. and P.E.Hart, "Use of the Hough Transformation to Detect Lines and Curves in Pictures," Comm. ACM, Vol. 15, pp.11-15 (January, 1972).
【非特許文献４】R.A.McLaughlin, "Randomized Hough Transform : Better Ellipse. Detection," IEEE TENCON Digital Signal Processing Applications. 1996. pp.409-414.
【非特許文献５】Stan Birchfield, "Elliptical Head Tracking Using Intensity Gradients and Color Histogram," Proc. IEEE International Conference On Computer Vision and Pattern Recognition(CVPR '98), Santa Barbara, California, pp.232-237, June 1998.
【非特許文献６】J.Matas, C.Galambos, and J.Kittler, "Progressive Probabilistic Hough Transform," Computer Vision and Pattern Recognition, pages 554-560, Los Alamitos, Calfornia, June 1999. IEEE Computer Society.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように、人物の顔を検出できない場合に、人物の位置を特定するために人物の頭部を代わりに検出して追尾する方法が考えられる。しかしながら、人物の頭部領域の周辺の背景に、ドア、机、大型テレビ、部屋パーティションなどの被写体があって、これらの被写体の境界線がエッジ画素として検出されることがある。頭部領域とこれらのエッジ画素とが近接すると、背景のエッジ画素によって頭部領域の検出を妨げることがある。
【０００８】
そこで、複雑な背景から人物の頭部領域の楕円エッジを検出するために、さまざまな対策を考えられる。非特許文献５には、エッジ勾配の強度のみ利用することではなく、エッジ勾配の方向も利用し、楕円内部のカラーアピアランスも併用し、最も頭部領域らしい楕円形状のエッジを検出している。
【０００９】
しかしながら、このような方法でも、背景のエッジを誤って頭部領域の楕円エッジとして検出することがある。例えば、頭部領域のエッジと背景領域のエッジとを検出し、前フレームの頭部領域の楕円形状と少し外れることがあっても、頭部領域の楕円として検出することがある。このように、少しずつ、頭部領域は、頭部領域のエッジと背景領域のエッジとを両方検出し、真の頭部領域のエッジから段々外れることがある。
【００１０】
本発明は前述の問題点に鑑み、背景を含む画像から被写体の頭部領域を高精度に検出できるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明の被写体検出装置は、入力画像からエッジ画素を検出するエッジ画素検出手段と、前記エッジ画素検出手段によって検出されたエッジ画素から直線領域を検出する直線領域検出手段と、前記直線領域検出手段によって検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出手段と、前記連結エッジ画素抽出手段によって抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出手段と、前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写体エッジを維持しながら、直線エッジを削除することができ、被写体の検出精度を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る被写体検出装置の機能構成例を示すブロック図である。
【図２】実施形態に係る被写体検出装置のハードウェア構成例を示すブロック図である。
【図３】第１の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図４】エッジ画素を削除する手順を説明する図である。
【図５】第１の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【図６】ハフ変換のパラメータを説明する図である。
【図７】第１の実施形態において、エッジ画素を削除する手順を説明する図である。
【図８】関連エッジ画素を抽出する手順を説明する図である。
【図９】第２の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図１０】被写体の候補領域を含む被写体検出領域を説明する図である。
【図１１】第２の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【図１２】第３の実施形態において、エッジ画素を削除する手順を説明する図である。
【図１３】第３の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図１４】被写体の候補領域を含む第１の被写体検出領域及び第２の被写体検出領域を説明する図である。
【図１５】第３の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【図１６】第４の実施形態において、エッジ画素を削除する手順を説明する図である。
【図１７】第４の実施形態に係る被写体検出装置の直線エッジ削除部の詳細な構成例を示すブロック図である。
【図１８】第４の実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。本発明の特徴となる機能を実現するものも本発明の範囲に含まれる。
【００１５】
（第１の実施形態）
図１は、本実施形態に係る被写体検出装置１００の機能構成例を示すブロック図である。
図１に示すように、まず、入力画像１１０が被写体検出装置１００の直線エッジ削除部１０１に入力され、直線エッジ削除部１０１は、入力画像１１０から、被写体エッジ以外の直線エッジ画素を検出して削除する。被写体領域検出部１０２は、前記直線エッジ画素を削除後の情報を用いて被写体領域を検出し、被写体情報１３０を出力する。
【００１６】
なお、被写体領域検出部１０２は、ハフ変換を用いて被写体領域として頭部の楕円形状を検出する以外に、以下の手法により被写体領域を検出することができる。すなわち、削除した直線エッジ画素以外の画素のエッジ強度や方向情報などを用いて、機械学習で事前に抽出した被写体の特徴と照合することにより被写体領域を検出することも可能である。
【００１７】
図２は、本実施形態に係る被写体検出装置１００のハードウェア構成例を示すブロック図である。
図２において、ＣＰＵ２０１は、本実施形態の被写体検出装置１００における各種制御を実行する。ＲＯＭ２０２は、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。ＲＡＭ２０３は、ＣＰＵ２０１が処理するための制御プログラムを格納するとともに、ＣＰＵ２０１が各種制御を実行する際の作業領域を提供する。キーボード２０４及びマウス２０５は、ユーザが情報を入力するためのものである。
【００１８】
外部記憶装置２０６は、例えば、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等である。なお、外部記憶装置２０６は、制御プログラムや各種データを全てＲＯＭ２０２に記憶するような構成とする場合には、必ずしも必要な構成要素ではない。
【００１９】
表示器２０７は、ディスプレイなどで構成され、処理結果等の情報を表示する。ネットワークインターフェース２０８は、外部装置と情報をやり取りするためのインターフェースである。ビデオインターフェース２０９は、撮像装置などと同軸ケーブルを介して接続することが可能なインターフェースであり、フレーム画像を取り込むことができる。また、バス２１０は、上記の各構成を接続するためのバスである。
【００２０】
図３は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。以下の説明では、検出しようとする被写体を人物の頭部とする。
図３において、エッジ画素検出部３０１は、静止画像などの入力画像１１０から、Sobel、Prewitt、Morpholgyなどのエッジ検出方法を用いて、エッジ画素を検出する。
【００２１】
直線領域検出部３０２は、エッジ画素検出部３０１で検出したエッジ画素に基づいて、ハフ変換を用いて直線を表すパラメータρ、θを検出する。なお、パラメータρ、θの詳細については後述する。そして、入力画像１１０において、検出した直線パラメータρ、θに基づいて、検出された複数のエッジ画素を含むように所定の幅ｗで直線を入力画像に描画する。直線を描画する際には、最も離れた２点のエッジ画素間で直線を描画する。本実施形態においては、描画した幅ｗの直線そのものの領域を直線領域とする。このように直線状に形成される直線領域に含まれるエッジ画素は、主に背景により形成されるものであり、被写体を検出するために、以降の処理でこれらのエッジ画素を削除する。
【００２２】
連結エッジ画素抽出部３０３は、全ての直線領域以外におけるエッジ画素の中から、直線領域と連結するエッジ画素を連結エッジ画素として抽出する。関連エッジ画素抽出部３０４は、注目する直線領域と連結する連結エッジ画素との交点の間の注目する直線領域内のエッジ画素を関連エッジ画素とする。
【００２３】
図４（ａ）は、入力画像で検出されたエッジ画素の一例を示す図である。ここで、図４（ｂ）に示す例では、直線領域４０１と、直線領域以外のエッジ画素とが連結していないため、直線領域４０１上には関連エッジ画素が存在しない。これに対して直線領域４０２、４０３は、直線領域以外のエッジ画素と連結する。図４（ｂ）では、関連エッジ画素が黒色に示されている。
【００２４】
エッジ画素削除部３０５は、関連エッジ画素以外の直線領域に属するエッジ画素を削除する。図４（ｃ）には、直線領域上のエッジ画素を削除した後のエッジ画像を示している。
【００２５】
次に、本実施形態における処理の流れについて、図５のフローチャートを参照しながら説明する。図５は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、直線エッジ削除部１０１は、入力画像１１０を入力する。入力画像１１０は、静止画像でもよいし、動画像におけるフレーム画像でもよい。本実施形態においては、動画像のフレーム画像を例として説明する。
【００２６】
次に、ステップＳ５０２において、エッジ画素検出部３０１は、入力画像１１０から、Sobel、Prewitt、Morphologyなどのエッジ検出方法を用いて、エッジ画素を検出する。
【００２７】
次に、ステップＳ５０３において、直線領域検出部３０２は、ステップＳ５０２で検出したエッジ画素から、ハフ変換を用いて直線領域を検出するために、ハフ変換のパラメータを設定する。ハフ変換には種々なものがあるが、非特許文献６に開示されているＰＰＨＴは、高速的で、太い直線エッジの場合でも、高精度で直線の始点と終点と角度を確定できる。このため、ステップＳ５０３ではこの方法を用いるものとする。本実施形態では、図６に示すように、原点と直線距離ρの解像度、原点から直線への垂線の角度θの解像度、直線検出の長さの閾値、直線セグメントの閾値、セグメントを連結する長さの閾値などのパラメータを設定する。
【００２８】
次に、ステップＳ５０４において、直線領域検出部３０２は、ステップＳ５０３で設定したハフ変換のパラメータを用いて、各エッジ画素から直線のパラメータ空間に変換して直線を検出する。そして、ステップＳ５０５において、直線領域検出部３０２は、ステップＳ５０４に検出した直線のパラメータ（直線距離ρ及び角度θ）に基づいて、所定の幅ｗで直線を入力画像に描画する。図７（ａ）には、エッジ画素を含む入力画像の一例を示し、図７（ｂ）には、直線が描画された入力画像の一例を示す。
【００２９】
ステップＳ５０６において、被写体検出装置１００の直線エッジ削除部１０１は、ステップＳ５０５で描画した全ての直線領域のそれぞれにについて、以下に説明するステップＳ５０７からステップＳ５０９までの処理を繰り返す。
【００３０】
ステップＳ５０７においては、連結エッジ画素抽出部３０３は、注目する直線領域Ｌを両側に所定の幅ｄｗだけ膨張する。図７（ｃ）には、注目する直線領域Ｌが所定の幅ｄｗだけ膨張した入力画像の一例を示している。そして、他の直線領域以外で、膨張した直線領域Ｌと重なるエッジ画素を抽出する。次に、抽出したエッジ画素のそれぞれについて、幅（ｗ＋ｄｗ）で膨張し、ラベリングを行う。そして、同じラベルのエッジ画素の中心を連結エッジ画素とする。図７（ｄ）には、抽出された連結エッジ画素Ａ、Ｂの一例を示している。
【００３１】
次に、ステップＳ５０８において、関連エッジ画素抽出部３０４は、ステップＳ５０７で抽出された連結エッジ画素Ａ、Ｂ間で、描画した直線領域Ｌと同じ幅ｗからなる直線領域ＡＢを作成する。そして、直線領域ＡＢ上のエッジ画素を関連エッジ画素として抽出する。図７（ｅ）には、抽出した関連エッジ画素７０１の一例を示している。
【００３２】
次に、ステップＳ５０９において、エッジ画素削除部３０５は、関連エッジ画素を除いた直線領域Ｌ上のエッジ画素を削除する。図７（ｆ）には、直線領域上のエッジ画素が削除されたエッジ画像の一例を示している。なお、直線領域に属するエッジ画素を削除した後に、関連エッジ画素を修復するようにしてもよい。そして、全ての直線領域についてエッジ画素を削除すると、ステップＳ５１０においては、エッジ画素削除部３０５は、エッジ画素を削除した入力画像（エッジ画像）を出力する。このとき、削除されたエッジ画素の画像も出力情報として出力してもよい。
【００３３】
ここで、図８（ａ）に示す例のように、１点の連結エッジ画素Ａしか存在しない場合は、関連エッジ画素がないものとするか、以下の手順で関連エッジ画素を抽出する。例えば、連結エッジ画素Ａの位置から、直線領域Ｌと入力画像の境界線との交点Ｃ、Ｄ間で直線領域ＡＣまたは直線領域ＡＤを作成し、直線領域ＡＣまたは直線領域ＡＤ上のエッジ画素を関連エッジ画素として抽出してもよい。
【００３４】
また、図８（ｂ）に示す例のように、連結エッジ画素が２点以上存在する場合は、最も離れた２点の連結エッジ画素Ａ、Ｂ間で直線領域ＡＢを作成し、直線領域ＡＢ上のエッジ画素を関連エッジ画素として抽出する。もしくは、任意の２点の間に所定の幅ｗで直線領域を作成し、直線領域内のエッジ画素を関連エッジ画素として抽出してもよい。
【００３５】
また、本実施形態において、検出した直線のパラメータ（直線距離ρ及び角度θ）に基づいて、直線上最も離れた２点のエッジ画素間を結ぶように所定の幅ｗの直線領域を描画した。この他に、直線領域そのものではなく、作成された直線上の最も離れた２点のエッジ画素間のエッジ画素の集合のみを直線領域と定義してもよい。
【００３６】
なお、本実施形態において、全ての直線領域以外のエッジ画素の中から、注目する直線領域と連結するエッジ画素を連結エッジ画素として抽出した。一方、全ての直線領域ではなく、注目する直線領域以外のエッジ画素の中から、注目する直線領域と連結するエッジ画素を連結エッジ画素として抽出してもよい。
【００３７】
以上のように本実施形態によれば、被写体エッジを維持しながら、直線エッジを削除することができ、被写体の検出精度を向上することができる。
【００３８】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態では、第１の実施形態とは異なり、後述する被写体検出領域を設けるようにしている。入力画像にノイズを含むエッジ画素が存在すると、連結エッジ画素の抽出に悪い影響を与える。そこで本実施形態では、このような影響を低減するために、被写体の候補領域の周辺に、被写体の候補領域を含む被写体検出領域を設定してエッジ画像を生成する。そのため、本実施形態に係る被写体検出装置の構成は図１と同様であるが、直線エッジ削除部１０１の詳細な構成が第１の実施形態と異なる。以下、第１の実施形態と異なる部分についてのみ説明する。
【００３９】
図９は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。
図９において、領域設定部９０１は、過去のフレームで検出した被写体の位置及び画像データに基づいて、現在のフレームに相当する入力画像から被写体の候補領域を求める。そして、図１０に示すように、現在のフレームにおける被写体の候補領域１００１を含むように、被写体検出領域１００２を設定する。なお、入力画像１１０が静止画像の場合は、被写体の候補領域の情報を、外部装置から直接入力するようにしてもよい。エッジ画素検出部３０１〜エッジ画素削除部３０５の処理は、第１の実施形態と同様であるが、入力画像１１０に対してではなく、設定された被写体検出領域１００２に対して処理を行う。
【００４０】
図１１は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。図１１に示すフローチャートは、図５のフローチャートと比べ、ステップＳ１１０１の処理が含まれている。ステップＳ１１０１では、領域設定部９０１は、前述したように被写体検出領域１００２を検出する。以降のステップＳ５０２からステップＳ５１０の処理は、設定された被写体検出領域に対して処理を行うようにする。
【００４１】
以上のように本実施形態によれば、被写体エッジを維持しながら、直線エッジを削除することができ、被写体の検出精度を向上することができる。
【００４２】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、第２の実施形態で説明した被写体検出領域を２段階に設定し、第１の被写体検出領域と、さらによりサイズの大きい第２の被写体検出領域とを設定する。例えば、図１２（ａ）に示すように、被写体検出領域１２０４では２つの直線１２０１、１２０２が断続した直線となり、よりサイズの小さい被写体検出領域１２０３では直線のエッジ画素と被写体のエッジ画素とを分離しにくい場合がある。そこで本実施形態では、このような場合にエッジ画素を削除する手順について説明する。なお、本実施形態に係る被写体検出装置の構成は図１と同様であるが、直線エッジ削除部１０１の詳細な構成が第１の実施形態と異なる。以下、第１の実施形態と異なる部分についてのみ説明する。
【００４３】
図１３は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。
図１３において、第１の領域設定部１３０１は、過去のフレームで検出した被写体の位置情報に基づいて、現在のフレームである入力画像から被写体の候補位置を求める。例えば図１４に示すように、現在のフレームにおいて被写体の候補位置１４０１を含むように所定パラメータでサイズの小さい第１の被写体検出領域１４０２を設定する。
【００４４】
第２の領域設定部１３０２は、第１の領域設定部１３０１と同様に被写体の候補位置を求める。そして、図１４に示すように、現在のフレームにおいて被写体の候補位置１４０１を含むように所定パラメータでサイズの大きい第２の被写体検出領域１４０３を設定する。
【００４５】
第１のエッジ画素検出部１３０３は、第１の領域設定部１３０１で設定された第１の被写体検出領域において、Sobel、Prewitt、Morpholgyなどのエッジ検出方法を用いてエッジ画素を検出する。なお、第１の被写体検出領域が完全に第２の被写体検出領域に包含される場合は、第２のエッジ画素検出部１３０４の検出結果を利用することにより、本処理は省略することができる。
【００４６】
第２のエッジ画素検出部１３０４は、第２の領域設定部１３０２で設定した第２の被写体検出領域において、Sobel、Prewitt、Morphologyなどのエッジ検出方法を用いてエッジ画素を検出する。直線領域検出部１３０５は、第２のエッジ画素検出部１３０４で検出したエッジ画素に基づいて、ハフ変換を利用して第２の被写体検出領域内の直線エッジを検出し、直線領域を作成する。図１２（ｂ）には、直線領域が描画された入力画像の一例を示している。
【００４７】
連結エッジ画素抽出部１３０６は、直線領域検出部１３０５が第２の被写体検出領域において検出した直線領域のうち、第１の被写体検出領域の範囲内において、直線領域と連結するエッジ画素を連結エッジ画素として抽出する。関連エッジ画素抽出部１３０７は、第２の実施形態と同様に、第１の被写体検出領域内の直線領域のそれぞれについて、関連エッジ画素を抽出する。エッジ画素削除部１３０８は、注目する直線領域において、関連エッジ画素以外の直線領域内のエッジ画素を削除する。図１２（ｃ）及び図１２（ｄ）は、関連エッジ画素以外のエッジ画素の削除を説明する図である。
【００４８】
図１５は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１５０１において、直線エッジ削除部１０１は、入力画像１１０を入力する。入力画像１１０は、静止画像でもよいし、動画像のフレーム画像でもよい。本実施形態においては、動画像のフレーム画像を例として説明する。
【００４９】
次に、ステップＳ１５０２において、第１の領域設定部１３０１及び第２の領域設定部１３０２はそれぞれ、過去のフレームに検出した被写体の位置および画像データに基づいて、現在のフレームの入力画像に、被写体の候補位置を求める。そして、図１４に示すように、現在フレームに被写体候補位置を含め、それぞれサイズの異なる被写体検出領域を設定する。なお、入力画像１１０が静止画像の場合は、被写体の候補位置の情報を外部入力装置から直接入力してもよい。
【００５０】
次に、ステップＳ１５０３において、第１の領域設定部１３０１及び第２の領域設定部１３０２はそれぞれ、第１及び第２の被写体検出領域において、Sobel、Prewitt、Morphologyなどのエッジ検出方法を用いてエッジ画素を検出する。なお、第１の被写体検出領域が完全に第２の被写体検出領域に含まない場合は、少なくともどちらかに属する領域についてエッジ画素を検出する。
【００５１】
次に、ステップＳ１５０４において、直線領域検出部１３０５は、ステップＳ１５０３で検出した第２の被写体検出領域のエッジ画素について、非特許文献６に開示されたＰＰＨＴに用いた各パラメータを設定する。設定するパラメータは、第１実施形態と同様に、原点と直線距離ρの解像度、原点から直線への垂線の角度θの解像度、直線検出の長さの閾値、直線セグメントの閾値、セグメントを連結する長さの閾値などがある。
【００５２】
次に、ステップＳ１５０５において、直線領域検出部１３０５は、ステップＳ１５０４で設定したハフ変換のパラメータを利用して、第２の被写体検出領域において各エッジ画素から直線のパラメータ空間に変換して直線を検出する。そして、ステップＳ１５０６において、直線領域検出部１３０５は、ステップＳ１５０５に検出した直線のパラメータρ、θに基づいて、第２の被写体検出領域内に、所定の幅ｗで直線を作成する。そして、作成した所定の幅ｗの直線上最も離れた２点のエッジ画素間の領域を直線領域と設定する。
【００５３】
以降のステップＳ５０６からステップＳ５１０の処理は図５と同様であり、設定された第１の被写体検出領域に対して処理を行うようにする。
【００５４】
以上のように本実施形態においては、第１の被写体検出領域は、第２の被写体検出領域に完全に含まれるように設定される。第２の被写体検出領域を設定することにより、第１の被写体検出領域内の被写体のエッジ画素の一部を間違って直線として誤検出することを防ぎ、全局的に直線を検出することができる。したがって、以上の目的を達成できれば、第１の被写体検出領域を第２の被写体検出領域に完全に含まないように設定してもよい。
【００５５】
また、本実施形態において、ステップＳ１５０３のエッジ検出処理は、第１の被写体検出領域と第２の被写体検出領域とで同じ方法で検出してもよいし、異なる方法で検出してもよい。例えば、Ｓｏｂｅｌエッジ検出器で検出してもよく、１つはＳｏｂｅｌエッジ検出器を用いて検出し、もう１つはＭｏｒｐｈｏｌｏｇｙエッジ検出器を用いて検出してもよい。
【００５６】
また、本実施形態において、直線領域は第２の被写体検出領域において作成するが、第１の被写体検出領域において作成して、関連エッジ以外の直線領域内のエッジ画素を削除してもよい。
【００５７】
（第４の実施形態）
以下、本発明の第４の実施形態について説明する。本実施形態は、図１６に示すように、第１の被写体検出領域１６０１では被写体のエッジ画素１６０２が直線として検出される可能性が高いような場合に好適な例である。本実施形態では、第１の被写体検出領域１６０１で検出されたエッジ画素を、第２の被写体検出領域１６０３の直線の検出に利用しない例について説明する。なお、本実施形態に係る被写体検出装置の構成は図１と同様であるが、直線エッジ削除部１０１の詳細な構成が第１の実施形態と異なる。以下、第１の実施形態と異なる部分についてのみ説明する。
【００５８】
図１７は、本実施形態に係る被写体検出装置１００の直線エッジ削除部１０１の詳細な構成例を示すブロック図である。本実施形態では、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２を備えている。そして、第１の直線領域検出部１７０１で検出した直線領域と、第２の直線領域検出部１７０２で検出した直線領域とが重なる直線領域のみについて、関連エッジ画素以外のエッジ画素の削除処理を行う。
【００５９】
図１８は、本実施形態において、エッジ画像を生成する処理手順の一例を示すフローチャートである。
ステップＳ１８０１からステップＳ１８０３までの処理は、図１５のステップＳ１５０１からステップＳ１５０３までの処理と同じなので、詳細な説明を省略する。ただし、第２の被写体検出領域のエッジ画素を検出する際に、第１の被写体検出領域を除いてもよい。
【００６０】
ステップＳ１８０４においては、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２はそれぞれ、第１及び第２の被写体検出領域のエッジ画素について、非特許文献６に開示されたＰＰＨＴに用いた各パラメータを設定する。設定するパラメータは、第１の実施形態と同様に、原点と直線距離ρの解像度、原点から直線への垂線の角度θの解像度、直線検出の長さの閾値、直線セグメントの閾値、セグメントを連結する長さの閾値などがある。
【００６１】
次に、ステップＳ１８０５において、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２はそれぞれ、ハフ変換のパラメータを利用して、第１及び第２の被写体検出領域において各エッジ画素から直線のパラメータ空間に変換して直線を検出する。なお、第１及び第２の被写体検出領域のエッジ画素について、同じハフ変換を用いてもよいし、異なるハフ変換を用いてもよい。また、同じハフ変換を用いても、異なるパラメータを設定してもよい。
【００６２】
次に、ステップＳ１８０６において、第１の直線領域検出部１７０１及び第２の直線領域検出部１７０２はそれぞれ、直ステップＳ１８０５に検出した直線のパラメータρ、θに基づいて、第１及び第２の被写体検出領域内に、所定の幅ｗで直線を作成する。そして、作成した所定の幅ｗの直線上最も離れた２点のエッジ画素間の領域を直線領域と設定する。
【００６３】
次に、ステップＳ１８０７において、第１の直線領域検出部１７０１は、第１の被写体検出領域で検出した全ての直線領域のそれぞれについて、第２の被写体検出領域に検出した直線領域のいずれか１つと重なるかどうかを判断する。そして、重なると判断した第１の被写体検出領域の直線領域のみについて、後続の処理を行う。
【００６４】
ここで、直線領域が重なるかどうかについては、第１の被写体検出領域の直線におけるハフ変換の投票空間におけるビンと、第２の被写体検出領域の直線における投票空間におけるビンとが等価であるかどうかにより判断する。等価のビンとは、第１の被写体検出領域及び第２の被写体検出領域の直線の座標を同じ座標系で表すとき、その２つのビンが同じ直線を表すことである。また、第１の被写体検出領域の直線領域と第２の被写体検出領域の直線領域とをメモリ上でマッピングし、重なるかどうかを判断してもよい。
【００６５】
以降のステップＳ５０６からステップＳ５１０の処理は図５と同様であり、重なると判断した第１の被写体検出領域の直線領域のみに対して処理を行うようにする。
【００６６】
以上のように本実施形態によれば、被写体のエッジ画素が直線として検出される可能性が高いような場合にも、被写体の検出精度を向上させることができる。
【００６７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６８】
３０１ エッジ画素検出部
３０２ 直線領域検出部
３０３ 連結エッジ画素抽出部
３０４ 関連エッジ画素抽出部
３０５ エッジ画素削除部
【特許請求の範囲】
【請求項１】
入力画像からエッジ画素を検出するエッジ画素検出手段と、
前記エッジ画素検出手段によって検出されたエッジ画素から直線領域を検出する直線領域検出手段と、
前記直線領域検出手段によって検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出手段と、
前記連結エッジ画素抽出手段によって抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出手段と、
前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除手段とを備えることを特徴とする被写体検出装置。
【請求項２】
前記直線領域検出手段は、ハフ変換を用いて直線領域を検出することを特徴とする請求項１に記載の被写体検出装置。
【請求項３】
前記エッジ画素削除手段は、前記直線領域に属するエッジ画素を削除した後に、前記関連エッジ画素を修復することを特徴とする請求項１又は２に記載の被写体検出装置。
【請求項４】
前記入力画像から被写体の候補位置を含む被写体検出領域を設定する設定手段を有し、
前記エッジ画素検出手段は、前記設定手段によって設定された被写体検出領域においてエッジ画素を検出することを特徴とする請求項１〜３の何れか１項に記載の被写体検出装置。
【請求項５】
前記入力画像から被写体の候補位置を含む第１の被写体検出領域と、前記第１の被写体検出領域を包含する第２の被写体検出領域とを設定する設定手段を有し、
前記直線領域検出手段は、前記第２の被写体検出領域において直線領域を検出し、
前記連結エッジ画素抽出手段は、前記第１の被写体検出領域において連結エッジ画素を抽出することを特徴とする請求項１〜３の何れか１項に記載の被写体検出装置。
【請求項６】
前記入力画像から被写体の候補位置を含む第１の被写体検出領域と、前記第１の被写体検出領域を包含する第２の被写体検出領域とを設定する設定手段を有し、
前記直線領域検出手段は、前記第１の被写体検出領域及び前記第２の被写体検出領域において直線領域を検出するとともに、前記第１の被写体検出領域と前記第２の被写体検出領域とで重なる直線領域を検出し、
前記連結エッジ画素抽出手段は、前記第１の被写体検出領域において連結エッジ画素を抽出することを特徴とする請求項１〜３の何れか１項に記載の被写体検出装置。
【請求項７】
前記エッジ画素削除手段によってエッジ画素が削除された入力画像から被写体を検出する手段をさらに備えることを特徴とする請求項１〜６の何れか１項に記載の被写体検出装置。
【請求項８】
入力画像からエッジ画素を検出するエッジ画素検出工程と、
前記エッジ画素検出工程において検出されたエッジ画素から直線領域を検出する直線領域検出工程と、
前記直線領域検出工程において検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出工程と、
前記連結エッジ画素抽出工程において抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出工程と、
前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除工程とを備えることを特徴とする被写体検出方法。
【請求項９】
入力画像からエッジ画素を検出するエッジ画素検出工程と、
前記エッジ画素検出工程において検出されたエッジ画素から直線領域を検出する直線領域検出工程と、
前記直線領域検出工程において検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出工程と、
前記連結エッジ画素抽出工程において抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出工程と、
前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
入力画像からエッジ画素を検出するエッジ画素検出手段と、
前記エッジ画素検出手段によって検出されたエッジ画素から直線領域を検出する直線領域検出手段と、
前記直線領域検出手段によって検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出手段と、
前記連結エッジ画素抽出手段によって抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出手段と、
前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除手段とを備えることを特徴とする被写体検出装置。
【請求項２】
前記直線領域検出手段は、ハフ変換を用いて直線領域を検出することを特徴とする請求項１に記載の被写体検出装置。
【請求項３】
前記エッジ画素削除手段は、前記直線領域に属するエッジ画素を削除した後に、前記関連エッジ画素を修復することを特徴とする請求項１又は２に記載の被写体検出装置。
【請求項４】
前記入力画像から被写体の候補位置を含む被写体検出領域を設定する設定手段を有し、
前記エッジ画素検出手段は、前記設定手段によって設定された被写体検出領域においてエッジ画素を検出することを特徴とする請求項１〜３の何れか１項に記載の被写体検出装置。
【請求項５】
前記入力画像から被写体の候補位置を含む第１の被写体検出領域と、前記第１の被写体検出領域を包含する第２の被写体検出領域とを設定する設定手段を有し、
前記直線領域検出手段は、前記第２の被写体検出領域において直線領域を検出し、
前記連結エッジ画素抽出手段は、前記第１の被写体検出領域において連結エッジ画素を抽出することを特徴とする請求項１〜３の何れか１項に記載の被写体検出装置。
【請求項６】
前記入力画像から被写体の候補位置を含む第１の被写体検出領域と、前記第１の被写体検出領域を包含する第２の被写体検出領域とを設定する設定手段を有し、
前記直線領域検出手段は、前記第１の被写体検出領域及び前記第２の被写体検出領域において直線領域を検出するとともに、前記第１の被写体検出領域と前記第２の被写体検出領域とで重なる直線領域を検出し、
前記連結エッジ画素抽出手段は、前記第１の被写体検出領域において連結エッジ画素を抽出することを特徴とする請求項１〜３の何れか１項に記載の被写体検出装置。
【請求項７】
前記エッジ画素削除手段によってエッジ画素が削除された入力画像から被写体を検出する手段をさらに備えることを特徴とする請求項１〜６の何れか１項に記載の被写体検出装置。
【請求項８】
入力画像からエッジ画素を検出するエッジ画素検出工程と、
前記エッジ画素検出工程において検出されたエッジ画素から直線領域を検出する直線領域検出工程と、
前記直線領域検出工程において検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出工程と、
前記連結エッジ画素抽出工程において抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出工程と、
前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除工程とを備えることを特徴とする被写体検出方法。
【請求項９】
入力画像からエッジ画素を検出するエッジ画素検出工程と、
前記エッジ画素検出工程において検出されたエッジ画素から直線領域を検出する直線領域検出工程と、
前記直線領域検出工程において検出された直線領域と連結する連結エッジ画素を前記直線領域以外のエッジ画素から抽出する連結エッジ画素抽出工程と、
前記連結エッジ画素抽出工程において抽出された連結エッジ画素と関連する関連エッジ画素を前記直線領域から抽出する関連エッジ画素抽出工程と、
前記直線領域の中から前記関連エッジ画素を除いた領域に属するエッジ画素を前記入力画像から削除するエッジ画素削除工程とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−１１４６１１（Ｐ２０１３−１１４６１１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２７７７（Ｐ２０１１−２６２７７７）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]