探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置
【課題】オブジェクト探索の効率化を図ることが可能な探索省略領域設定関数生成方法を提供すること。
【解決手段】探索省略領域設定関数生成方法は、サイズ比の異なる各モデル縮小画像上の指定探索点に対して、オブジェクトを探索するためのテンプレートを対応付けて、各モデル縮小画像上の前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、各モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき各モデル縮小画像上に前記オブジェクトの探索省略領域を設定するための関数を生成する。
【解決手段】探索省略領域設定関数生成方法は、サイズ比の異なる各モデル縮小画像上の指定探索点に対して、オブジェクトを探索するためのテンプレートを対応付けて、各モデル縮小画像上の前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、各モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき各モデル縮小画像上に前記オブジェクトの探索省略領域を設定するための関数を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置に関する。
【背景技術】
【０００２】
近年、画像中から人物の顔などのオブジェクトを検出するための各種技術が提案されている。例えば、次のようなオブジェクト検出技術が提案されている。まず、オブジェクト探索対象画像に対して、参照画像から作成したテンプレートを重ね合わせて走査する。続いて、各重なり位置において、オブジェクト探索対象画像とテンプレートの間（或いはオブジェクト探索対象画像の特徴量とテンプレートの特徴量の間）の距離（或いは類似値、類似度など）を計算する。続いて、最小距離が得られる重なり位置（或いはオブジェクト探索対象画像とテンプレートの類似度が最大になる重なり位置）をオブジェクト検出位置として出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−９４６８９号公報
【特許文献２】特開２００３−２２４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
正確にオブジェクトを探索するためには、例えば、オブジェクト探索対象画像に対して、テンプレートを１画素ずつずらし、各ずらし位置に対応して、オブジェクト探索対象画像とテンプレートの類似度を計算する。
【０００５】
また、オブジェクトのサイズは不明であることが多い。このため、サイズの異なる複数の縮小画像を用意して、オブジェクトを仮定して、テンプレートを利用し、仮定した複数の縮小画像に対してオブジェクトを探索する。
【０００６】
しかしながら、上記オブジェクト探索手法では、オブジェクト探索のための計算負荷が大きく、計算コストが高くなってしまう。つまり、オブジェクト探索負荷が大きい。そこで、オブジェクト探索の効率化技術が要望されている。
【０００７】
本発明の目的は、オブジェクト探索の効率化を図ることが可能な探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置を提供することにある。
【課題を解決するための手段】
【０００８】
実施形態の探索省略領域設定関数生成方法は、サイズ比の異なる複数のモデル縮小画像のうちの第１のモデル縮小画像上の指定探索点に対して、前記第１のモデル縮小画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する。さらに、この方法は、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する。
【図面の簡単な説明】
【０００９】
【図１】探索省略領域設定関数の作成の一例を示すフローチャートである。
【図２】オブジェクト検出の類似度分布の計測の一例を示すフローチャートである。
【図３】図１中の検出位置近傍の類似度度数の計測の一例を示すフローチャートである。
【図４】図１中の類似度分布の作成の一例を示すフローチャートである。
【図５】図１中の探索省略領域設定関数の作成の一例を示すフローチャートである。。
【図６】オブジェクト探索システムの一例を示すブロック図である。
【図７】オブジェクト探索の概念の一例を示す図である。
【図８】オブジェクト（顔）検出の概念の一例を示す図である。
【図９】複数の縮小画像（サイズ比の異なる複数の縮小画像）に対するオブジェクト（顔）検出の概念の一例を示す図である。
【図１０】相対座標（ｘＲ，ｙＲ，ｒＲ）における類似度分布（密度）ｐ（ｓ｜ｘＲ，ｙＲ，ｒＲ）を示す概念の一例を示す図である。
【図１１】オブジェクト検出位置から離れた位置における類似度分布（密度）ｐ（ｓ｜ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１２】オブジェクト検出位置に近い位置における類似度分布（密度）ｐ（ｓ｜ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１３】探索省略領域設定関数ｓＰ（ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１４】探索省略領域設定関数ｓＰ（ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１５】探索省略領域設定関数ｓＰ（ｘＲ，ｙＲ，ｒＲ）と探索省略領域との関係の概念の一例を示す図である。
【図１６】探索点と探索省略領域との関係の一例を示す図である。
【図１７】複数の縮小画像（サイズ比の異なる複数の縮小画像）に対する探索処理と探索省略領域との関係の一例を示す図である。
【図１８】オブジェクト探索対象縮小画像上に対する探索省略領域の設定順序の一例を示す図である。
【図１９】オブジェクト探索対象縮小画像上に対する探索省略領域の設定順序の一例を示す図である。
【図２０】本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置を適用したデジタルテレビジョン放送受信装置の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、実施形態について図面を参照して説明する。
【００１１】
本実施形態のオブジェクト探索省略領域設定関数生成方法又はオブジェクト探索省略領域設定関数生成装置（以下、関数生成方法又は関数生成装置と略記）は、例えば、オブジェクト探索前に、予めサイズ比の異なる各学習用縮小画像（モデル縮小画像）とテンプレート（例えば１サイズのテンプレート）とを用いて、各学習用縮小画像の類似度分布を計測し、計測された類似度に基づいて全学習用縮小画像のオブジェクトの近傍における類似度分布を計算し（学習結果）、計算された類似度分布に基づき探索省略領域設定関数を作成する。後に、図１〜図５等を参照し、関数生成方法又は関数生成装置による関数の生成について詳細に説明する。
【００１２】
オブジェクト検出における「学習」とは、通例では、収集したオブジェクト画像を用いて探索に使用する為のテンプレートや最適特徴量や辞書と呼ばれるものなどを作成することを言う場合が多いが、本明細書においては、作成済みのテンプレートや辞書などを用いて、縮小画像上の類似度分布を計測したり探索省略領域設定関数を求めることを指すものとする。
【００１３】
また、本実施形態のオブジェクト探索方法又はオブジェクト探索装置（以下、探索方法又は探索装置と略記）は、上記探索省略領域設定関数に基づき、サイズ比の情報等を利用し、サイズ比の異なる各オブジェクト探索対象縮小画像に対して、効率よく探索省略領域を設定する。例えば、探索方法又は探索装置は、上記探索省略領域設定関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像（例えば複数のオブジェクト探索対象縮小画像のうちの最小のオブジェクト探索対象縮小画像）に対して、第１の探索省略領域を設定する（第１の探索省略領域の設定手法については後に詳しく説明する）。続いて、探索方法又は探索装置は、第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像とのサイズ比の情報等を利用し、第２のオブジェクト探索対象縮小画像に対して、第２の探索省略領域を設定する。
【００１４】
さらに詳しく説明すると、探索方法又は探索装置は、第１のオブジェクト探索対象縮小画像上の第１の基準点（又は探索点）と、第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像とのサイズ比の情報とに基づき、第１の基準点に対応する第２の基準点を前記第２のオブジェクト探索対象縮小画像上に設定し、第１のオブジェクト探索対象縮小画像上の第１の基準点とテンプレートとの類似度に基づき、第２の基準点を基準として設定される前記第２のオブジェクト探索対象縮小画像上に設定し探索省略領域のサイズを設定する。後に、探索方法又は探索装置による探索省略領域の設定について詳細に説明する。
【００１５】
また、本実施形態のオブジェクト探索方法又はオブジェクト探索装置（以下、探索方法又は探索装置と略記）は、サイズ比の異なる各オブジェクト探索対象縮小画像上に設定された探索省略領域を除外して、テンプレート（例えば１サイズのテンプレート）を用いて各オブジェクト探索対象縮小画像からオブジェクトを探索する。つまり、探索方法又は探索装置は、第１のオブジェクト探索対象縮小画像に設定された探索省略領域を除外して、テンプレートを用いて第１のオブジェクト探索対象縮小画像からオブジェクトを探索し、第２のオブジェクト探索対象縮小画像に設定された探索省略領域を除外して、テンプレートを用いて第２のオブジェクト探索対象縮小画像からオブジェクトを探索する。後に、探索方法又は探索装置による探索省略領域の設定について詳細に説明する。
【００１６】
テレビ放送などの映像からオブジェクトを検出する場合、多くは、オブジェクトのサイズは事前に判らない。このため、サイズ比の異なる複数の縮小画像を作成し、テンプレート（例えば１サイズのテンプレート）を利用し、作成した複数の縮小画像に対して探索（或いはスキャン、又は走査）を行う（図７、８参照）。
【００１７】
実際の処理においては、オブジェクト探索対象画像を異なる縮小率で縮小した複数の縮小画像（サイズ比の異なる複数のオブジェクト探索対象縮小画像）を作成し、一定サイズのテンプレートを利用し、複数の縮小画像の夫々からオブジェクトを探索する（図９参照）。本実施形態で生成されるオブジェクト探索省略領域設定関数は、このような場合に効果的に探索省略領域を設定することができる。
【００１８】
例えば、図６に示すオブジェクト探索システム１が、上記関数生成装置に相当し、探索省略領域設定関数を作成する。また、オブジェクト探索システム１は、上記領域設定装置にも相当し、探索省略領域設定関数に基づき、各オブジェクト探索対象縮小画像に対して探索省略領域を設定する。また、オブジェクト探索システム１は、上記探索装置にも相当し、探索省略領域を除外して、テンプレートを用いて各オブジェクト探索対象画像からオブジェクトを探索する。
【００１９】
なお、探索省略領域設定関数の作成、探索省略領域の設定、及びオブジェクト探索の全てを１つの機器で実現しなくてもよい。例えば、コンピュータ等で探索省略領域設定関数を作成し、デジタルＴＶ等の画像処理機器に探索省略領域設定関数に基づくオブジェクト探索機能を搭載し、この画像処理機器がオブジェクト探索機能によりオブジェクトを探索する。つまり、画像処理機器が、番組映像（基準サイズのオブジェクト探索対象画像）から、サイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、各オブジェクト探索対象縮小画像に対して探索省略領域を設定し、各オブジェクト探索対象縮小画像の探索省略領域を除外し、テンプレートを用いて各オブジェクト探索対象縮小画像からオブジェクトを探索する。
【００２０】
以下、図６に示すオブジェクト探索システム１による探索省略領域設定関数の作成、探索省略領域の設定、及びオブジェクト探索の一例について説明する。図６に示すように、例えば、オブジェクト探索システム１は、画像入力モジュール２、類似度分布作成モジュール３、探索省略領域設定モジュール４、探索モジュール５、記憶部６を備える。
【００２１】
図１は、探索省略領域設定関数の作成の一例を示すフローチャートである。
【００２２】
最初に、図２に示すフローチャートを参照し、図１中のオブジェクト検出の類似度分布の計測(ＳＴ１００)の一例について説明する。
【００２３】
例えば、オブジェクト探索システム１の画像入力モジュール２は、画像番号ｉを初期化し(ＳＴ１０１)、複数の学習用画像（モデル画像）を順次入力して各学習用画像に画像番号ｉを指定し、学習用画像ｉに縮小処理のスケールｒを設定し、縮小していない入力画像である学習用画像ｉに対するサイズ比であるスケールｒを設定して、学習用縮小画像（モデル縮小画像）を作成し、スケールｒが最小の学習用縮小画像（画像番号ｉの縮小画像）を第１の学習用縮小画像（画像番号ｉの縮小画像）とし(ＳＴ１０３)、類似度分布作成モジュール３は、スケールｒを設定し(ＳＴ１０３)、探索点（ｘ，ｙ）を設定して(ＳＴ１０４)、探索点における類似度ｓを計算して(ＳＴ１０５)、類似度ｓを記録する(ＳＴ１０６)。
【００２４】
つまり、類似度分布作成モジュール３は、第１の学習用縮小画像に対して、オブジェクトを探索するためにテンプレートを用いて走査する。例えば、類似度分布作成モジュール３は、上記走査において、第１の学習用縮小画像上の第１の指定探索点に対して、この第１の学習用縮小画像からオブジェクトを探索するためのテンプレートを第１の位置関係に対応付けて、第１の学習用縮小画像上の第１の指定探索点とテンプレートとの間の第１の指定探索点類似度（類似度ｓ）を検出する。
【００２５】
上記類似度検出処理を全学習用縮小画像と全探索点について行う(ＳＴ１０７、ＳＴ１０８、ＳＴ１０９、ＳＴ１１０)。
【００２６】
次に、図３に示すフローチャートを参照し、図１中の検出位置近傍の類似度度数の計測(ＳＴ２００)の一例について説明する。
【００２７】
例えば、オブジェクト探索システム１の類似度分布作成モジュール３は、画像番号ｉ、検出個数ｎ、度数ｆ（ｓ｜ｘＲ，ｙＲ，ｒＲ）を初期化し(ＳＴ２０１)、画像番号ｉ、スケールｒ、探索点（ｘ，ｙ）を設定して(ＳＴ２０２)(ＳＴ２０３)(ＳＴ２０４)、探索点における類似度ｓと検出閾値θとを比較する。ここで、スケールｒの値は縮小画像のサイズと対応が付けられる。スケールｒをｎ通りにして処理することは、ｎ個のサイズの異なる縮小画像を処理することを意味する。
【００２８】
第１の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えない場合(ＳＴ２０５、ＮＯ)、類似度分布作成モジュール３は、第１の指定探索点を変更し(ＳＴ２０４)、第１の学習用縮小画像上の第２の指定探索点に対して、この第１の学習用縮小画像からオブジェクトを探索するためのテンプレートを第２の位置関係に対応付けて、第１の学習用縮小画像上の第２の指定探索点とテンプレートとの間の第２の指定探索点類似度（類似度ｓ）を検出する。
【００２９】
第２の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えなければ、さらに、類似度分布作成モジュール３は、第２の指定探索点を変更し、類似度検出を継続し、第２の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えれば、類似度分布作成モジュール３は、第２の位置関係で、オブジェクトが検出されたと判定する。
【００３０】
上記したように、類似度分布作成モジュール３は、類似度ｓが検出閾値θ（オブジェクト検出判定閾値θ）を超えたとき(ＳＴ２０５、ＹＥＳ)、オブジェクトが検出されたと判定し、その近傍の類似度を計算する。類似度分布作成モジュール３は、オブジェクト検出位置からの相対座標（ｘR,ｙR）と相対スケールｒＲと類似度ｓに関する度数ｆ（）を加算する処理を全相対スケールと全相対座標について行う(ＳＴ２０６〜ＳＴ２１２)。スケールｒは、縮小していない元の学習用画像と学習用縮小画像（例えば第１の学習用画像）との大きさの比であり、学習用縮小画像のサイズが小さくなるほどｒは大きくなる。相対スケールｒＲとは、２つの学習用縮小画像のスケールｒの比を表すものとする。
【００３１】
例えば、上記第１の位置関係で、第１の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えた場合、類似度分布作成モジュール３は、第１の位置関係の第１の学習用縮小画像上の第１の指定探索点の周辺の複数の第１の周辺探索点の夫々と、テンプレートとの周辺探索点類似度を検出する。
【００３２】
以上により、第１の学習用縮小画像について類似度度数の計測が完了すると、続いて、類似度分布作成モジュール３は、スケールｒの異なる第２の学習用縮小画像について上記した類似度度数を計測する(ＳＴ２０３〜ＳＴ２１３)。以後、同様に、類似度分布作成モジュール３は、全てのスケールｒの学習用縮小画像について上記した類似度度数を計測すし(ＳＴ２０３〜ＳＴ２１３)、さらに、全ての学習用画像ｉについて上記した類似度度数を計測する(ＳＴ２０２〜ＳＴ２１４)。
【００３３】
また、複数種類のテンプレートを用意し、類似度分布作成モジュール３は、各テンプレートを用いて、類似度度数を計測することもできる。複数種類のテンプレートは、例えば、異なるオブジェクトを検出するためのテンプレートである。
【００３４】
ここでテンプレートについて補足する。顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００３−３４６１５８号公報に記載されているように、顔と目と鼻それぞれに対応した部分空間法の辞書パターンのことである。また、顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００７−２４９３９４号公報に記載されているように、登録顔画像の個々の顔の静的な特徴を予め設定された特徴点の配置と、それらの近傍の画像特徴量との組で表したモデルである。また、顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００５−２０８８５０号公報に記載されているように、登録顔画像にプロットされた特徴点の近傍の画像の情報（例えば、ガボールウェーブレット係数）ＣＡ（ｘ−）、特徴点配置情報ｘ−、及び人物ＩＤｎから構成されるモデルデータＨの集合である。なお、テンプレートは、上記したような辞書パターン、モデルデータであってもよいし、画像（テンプレート画像）であってもよい。
【００３５】
続いて、図４に示すフローチャートを参照し、図１中の類似度分布の作成(ＳＴ３００)の一例について説明する。
【００３６】
類似度分布作成モジュール３は、ＳＴ２００により求められた度数ｆ（）を検出個数ｎで割り、P()を算出する処理を全相対スケールと全相対座標と全類似度についてについて行う(ＳＴ３０１〜ＳＴ３０７)。図１０、１１、１２は、 P(s|ｘR,yR,rR)の概念の一例を示す図である。オブジェクト位置に近いと、図１２のように類似度ｓが大きい領域が高頻度（度数が大きい）となり、オブジェクト位置から遠いときは、図１１のように類似度ｓが小さい領域が高頻度となる。
【００３７】
続いて、図５に示すフローチャートを参照し、図１中の探索省略領域設定関数の作成(ＳＴ４００)の一例について説明する。
【００３８】
類似度分布作成モジュール３は、ｓ＝０から P(s|ｘＲ,yＲ，ｒＲ)を累積加算し、検出もれ率Ｐ（許容検出もれ率Ｐ）を超える直前のｓを SP(ｘＲ，ｙＲ，ｒＲ)とする処理を全相対スケールｒＲと全相対座標（ｘＲ，ｙＲ）について行い(ＳＴ４０１〜ＳＴ４０８)、類似度分布作成モジュール３は、探索省略領域設定関数SP(ｘＲ，ｙＲ，ｒＲ)を生成する。
【００３９】
つまり、類似度分布作成モジュール３は、上記した周辺探索点類似度の分布に基づきオブジェクトとテンプレートとの距離を推定し、推定距離に基づきオブジェクトの探索省略領域を設定するための探索省略領域設定関数を生成する。ここでいう距離とは、相対位置のことであり、方向によって、距離の基準は変化する。即ち、類似度分布作成モジュール３は、推定距離（推定相対位置）に基づき、上記した第１の周辺探索点におけるオブジェクトの検出もれ率を推定し、推定検出もれ率に基づき探索省略領域設定関数を生成する。より具体的には、類似度分布作成モジュール３は、オブジェクトの検出もれを許容する許容検出もれ率と推定検出もれ率とを比較し、許容検出もれ率未満の領域を探索省略領域として設定するための探索省略領域設定関数を生成する。
【００４０】
探索省略領域を設定できる理論的根拠を補足説明する。仮に位置(ｘＦ，ｙＦ)，スケールｒＦで非常に小さい類似度が観測されたとき、そのごく近傍にもオブジェクトが無いと推定される。この考え方を論理学における命題と捉えたとき、命題が真ならば、その対偶も真であることを本実施形態では利用している。「ＡならばＢである」の対偶は「ＢでなければＡでない」で定義され、真の命題の対偶は真であることが判っている。これを利用すると、「オブジェクトが(ｘＦ，ｙＦ)，スケールｒＦで検出されるとき、(ｘ，ｙ)，スケールｒにおける類似度は ｓ＞ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）となる」が真ならば、その対偶である「(ｘ，ｙ)，スケールｒにおける類似度が ｓ≦ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）ならば、(ｘＦ，ｙＦ)，スケールｒＦのところでオブジェクトは検出されない」も真であることが結論付けられる。さて、一般には類似度の分布は幅広い分布の形をしており、類似度を用いてその近傍のオブジェクトの有無を確定的に推定することは困難であるため、検出もれ率Ｐを指定して上記の命題を修正する。「オブジェクトが(ｘＦ，ｙＦ)，スケールｒＦで検出されるとき、(ｘ，ｙ)，スケールｒにおける類似度は１−Ｐの確率で ｓ＞ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）となる」、およびその対偶は「(ｘ，ｙ)，スケールｒにおける類似度が ｓ≦ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）ならば、１−Ｐの確率で(ｘＦ，ｙＦ)，スケールｒＦのところでオブジェクトは検出されない」となる。類似度分布作成モジュール３は、検出もれ率Ｐと、相対座標と、サイズ比を指定したときの、前記ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）に対応するSP(ｘＲ，ｙＲ，ｒＲ)を求めていることになる。
【００４１】
図１３は、SP(ｘＲ，ｙＲ，ｒＲ)の概念の一例を示す図である。検出もれ率Ｐ（許容検出もれ率Ｐ）が小さいと、曲線が中心に近づき、探索省略領域が狭まる。逆に、検出もれ率Ｐ（許容検出もれ率Ｐ）が大きいと、曲線が中心から離れ、探索省略領域が広がる。例えば、オブジェクトの検出もれの可能性を十分に低くしたい場合には、許容検出もれ率Ｐを非常に小さい値（例えば０％＜Ｐ＜５％）に設定することにより、探索省略領域が狭くなり、オブジェクトの検出もれの可能性を低くすることができる。また、オブジェクトの検出もれの可能性を低くすることよりも、オブジェクトの検索負荷を低くすることに重点を置きたい場合には、許容検出もれ率Ｐをやや低い値（例えば５％≦Ｐ＜１０％）に設定することにより、探索省略領域が広くなり、オブジェクトの検索もれを防ぎつつ、オブジェクトの検索負荷をより低くすることができる。
【００４２】
図１４は、探索省略領域設定関数SP(ｘＲ，ｙＲ，ｒＲ)を説明する概念の一例を示す図である。図１４は、オブジェクト検出位置（０，０）からの相対座標における（検出もれ率Ｐとしたときの）類似度の下限の一例を示している。中心が頂上となる丘の形状をしている。スケールｒ，座標（ｘ，ｙ）でオブジェクトが検出された場合に、スケールｒ・ｒＲ，座標（ｘ＋ｘＲ，ｙ＋ｙＲ）における類似度は１−Ｐの確率でＳＰ（ｘＲ，ｙＲ，ｒＲ）以上になる。
【００４３】
図１５は、図１４のｘとｙに関して反転したグラフの一例を示す図である。あるスケールｒ０、ある位置（ｘ０，ｙ０）において類似度ｓが得られた場合、その位置からの相対スケールｒＲ，相対座標（ｘＲ，ｙＲ）として、ＳＰ（−ｘＲ，−ｙＲ，１／ｒＲ）＞ｓの領域でオブジェクトが検出される確率は検出もれ率Ｐ（許容検出もれ率Ｐ）以下となる。したがって、検出もれ率Ｐ（許容検出もれ率Ｐ）を十分に小さい値に設定することにより、この領域において探索を省略して探索の計算量を削減することができる。
【００４４】
以下、上記の数式定義をまとめる。
【数１】
【００４５】
【数２】
【００４６】
図１６は、探索の概念の一例を示す図である。図１６中の「＋印」は探索点を示す。探索省略領域設定モジュール４は、探索の類似度計算後に、その近傍に探索省略領域（図１６中の斜線領域）を設定する。
【００４７】
例えば、画像入力モジュール２は、基準となるオブジェクト探索対象画像（例えば番組画像）を入力し、探索モジュール５は、サイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、第１のオブジェクト探索対象縮小画像とテンプレートとを所定位置関係に対応付けて（第１のオブジェクト探索対象縮小画像の第１の指定探索点とテンプレートとを対応付けて）、第１のオブジェクト探索対象縮小画像上の第１の指定探索点と、テンプレートとの間の指定探索点類似度を検出する。探索省略領域設定モジュール４は、必要に応じて、探索モジュール５から類似度、位置、スケールの情報を受け取り、探索省略領域設定関数に基づきオブジェクト探索対象縮小画像上の第１の指定探索点の近傍に探索省略領域を設定する。
【００４８】
１個の探索点に対応する探索省略領域は、類似度に依存するため、探索点の配置は動的に設定する必要がある。
【００４９】
次に、図１７を参照し、複数のオブジェクト探索対象縮小画像に対して効率よく探索省略領域を設定する方法について説明する。探索省略領域設定モジュール４は、探索省略領域設定関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の第１の基準点（＋）とテンプレートとを対応付け、第１のオブジェクト探索対象縮小画像の第１の基準点を含む所定領域とテンプレートとの類似度が閾値より低い場合に（第１の基準点の近傍にオブジェクトが無い場合に）、第１の基準点及び類似度に基づき第１のオブジェクト探索対象縮小画像上に第１の探索省略領域を設定する。
【００５０】
さらに、探索省略領域設定モジュール４は、第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像とのサイズ比（以下、第１のサイズ比）に基づき、第２のオブジェクト探索対象縮小画像上に第２の探索省略領域を設定する。より具体的には、探索省略領域設定モジュール４は、第１の基準点の座標値と第１のサイズ比とに基づき、前記第１の基準点に対応する第２の基準点の座標値を算出し、前記第２のオブジェクト探索対象縮小画像上に第２の基準点を設定し、第１の基準点とテンプレートとの類似度に基づき、第２の探索省略領域のサイズを算出し、前記第２のオブジェクト探索対象縮小画像上に第２の基準点を基準として第２の探索省略領域を設定する。
【００５１】
上記したように、探索省略領域設定モジュール４は、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の探索点（第１の基準点）の類似度計算後に、探索点の近傍に探索省略領域（斜線領域）を設定し、さらに、第１のオブジェクト探索対象縮小画像と異なるスケールの第２のオブジェクト探索対象縮小画像上に、スケールの情報を参照し、探索省略領域（斜線領域）を設定する。
【００５２】
また、効率よくオブジェクトを探索するために、探索省略領域設定モジュール４は、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの最小サイズの第１のオブジェクト探索対象縮小画像から処理を開始する。テンプレートのサイズを一定とすると、第１のオブジェクト探索対象縮小画像に対するテンプレートの相対サイズは大きく、逆に、最大サイズの第ｎのオブジェクト探索対象縮小画像に対するテンプレートの相対サイズは小さい。つまり、第１のオブジェクト探索対象縮小画像に対してテンプレートを走査することは、サイズの大きいオブジェクトを探索することであり、第ｎのオブジェクト探索対象縮小画像に対してテンプレートを走査することは、サイズの小さいオブジェクトを探索することである。
【００５３】
サイズの大きいオブジェクトは重要であることが多く、また、第１のオブジェクト探索対象縮小画像に対してテンプレートを走査する作業負荷は、第ｎのオブジェクト探索対象縮小画像に対してテンプレートを走査する作業負荷より軽い。このような事情から、複数のオブジェクト探索対象縮小画像のうちの最小サイズの第１のオブジェクト探索対象縮小画像から処理を開始することにより、効率化を図ることができる。つまり、第１のオブジェクト探索対象縮小画像に対しては、基本的にテンプレート走査により探索省略領域を設定するが、第１のオブジェクト探索対象縮小画像以外のオブジェクト探索対象縮小画像に対しては、テンプレート走査を一部省略して、サイズ比の情報を利用して、第１のオブジェクト探索対象縮小画像に対する類似度計算結果を用いた探索省略領域設定処理を適用することができるからである。
【００５４】
次に、１サイズのオブジェクト探索対象縮小画像上に複数の探索省略領域を設定する手順について説明する。例えば、図１８に示すように、オブジェクト探索対象縮小画像の第１の指定探索点Ａ１０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定関数に基づき、第１の探索省略領域Ａ１１を設定する。次に、第１の探索省略領域Ａ１１の外であって、第１の探索省略領域Ａ１１に近接する第２の指定探索点Ａ２０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第２の指定探索点Ａ２０を基準として、探索省略領域設定関数に基づき、第２の探索省略領域Ａ２１を設定する。次に、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１の外であって、第１の探索省略領域Ａ１１から最も遠く且つ第２の探索省略領域Ａ２１に近接する第３の指定探索点Ａ３０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第３の指定探索点Ａ３０を基準として、探索省略領域設定関数に基づき、第３の探索省略領域Ａ３１を設定する。このようにして、探索省略領域設定モジュール４は、オブジェクト探索対象縮小画像上に、１以上の探索省略領域を設定することができる。
【００５５】
或いは、図１９に示すように、第１のオブジェクト探索対象縮小画像の第１の指定探索点Ａ１０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第１の指定探索点Ａ１０を基準として、探索省略領域設定関数に基づき、第１の探索省略領域Ａ１１を設定する。次に、第１の探索省略領域Ａ１１の外であって、第１の探索省略領域Ａ１１から所定距離以上離れた第２の指定探索点Ａ２０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第２の指定探索点Ａ２０を基準として、探索省略領域設定関数に基づき、第２の探索省略領域Ａ２１を設定する。次に、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１の外であって、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１から所定距離以上離れた第３の指定探索点Ａ３０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第３の指定探索点Ａ３０を基準として、探索省略領域設定関数に基づき、第３の探索省略領域Ａ３１を設定する。このようにして、探索省略領域設定モジュール４は、第１段階として、オブジェクト探索対象縮小画像上に、１以上の探索省略領域を設定することができる。さらに、第１の探索省略領域Ａ１１、第２の探索省略領域Ａ２１、及び第３の探索省略領域Ａ３１の各領域外、例えば、各領域から最も遠い第４の指定探索点Ａ４０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第４の指定探索点Ａ４０を基準として、探索省略領域設定関数に基づき、第４の探索省略領域Ａ４１を設定する。このようにして、探索省略領域設定モジュール４は、第２段階として、オブジェクト探索対象縮小画像上に、１以上の探索省略領域を設定することができる。以上を繰り返し、探索省略領域設定モジュール４は、オブジェクト探索対象縮小画像上に、効率よく、複数の探索省略領域を設定することができる。
【００５６】
上記したように、探索省略領域設定モジュール４は、オブジェクト探索対象縮小画像を覆うように複数の探索省略領域を設定する。続いて、探索モジュール５は、オブジェクト探索対象縮小画像領域のうち、探索省略領域を除外した除外領域に対して、オブジェクト探索を実行する。つまり、探索モジュール５は、オブジェクト探索対象縮小画像領域のうち、探索省略領域を除外した除外領域に対して、テンプレートを重ね合わせて走査し、オブジェクトを探索する。さらに、探索時に検出された類似度に基づき、類似度、位置、スケールの情報を探索省略領域設定モジュール４に送り、随時、探索省略領域を複数のオブジェクト探索対象縮小画像に追加設定する。これにより、オブジェクト探索対象縮小画像の全領域に対してテンプレートを１画素ずつずらしながらオブジェクト探索を実行する場合に比べて、効率良くオブジェクト探索を実行することができる。
【００５７】
本実施形態のオブジェクト探索省略領域設定方法によれば、オブジェクトの検出もれを抑えつつ、オブジェクト探索処理を高速化することができる。
【００５８】
ここで、オブジェクト探索処理の高速化の概念についてまとめる。
【００５９】
オブジェクト探索対象画像からオブジェクト（人物の顔）を検出するためには、オブジェクト探索対象画像の全ての位置の探索点とテンプレートとの類似度を計算する。オブジェクトのサイズは、事前に判らないため、複数サイズの複数のテンプレートを利用し類似度を計算する。或いは、サイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、これら複数のオブジェクト探索対象縮小画像に対してテンプレートを利用し類似度を計算する。このような計算処理は膨大な処理となり負担が大きい。
【００６０】
そこで、まず、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像に対して、探索省略領域を設定する。第１のオブジェクト探索対象縮小画像上のある探索点における類似度が低ければ、この探索点の近傍にはオブジェクトが存在しない可能性が高い。このことを利用し、第１のオブジェクト探索対象縮小画像上に、探索省略領域を設定する。さらに、サイズ比の情報を利用し、第２、第３、…、第ｎのオブジェクト探索対象縮小画像上に、探索省略領域を設定する。
【００６１】
その上で、第１、第２、第３、…、第ｎのオブジェクト探索対象縮小画像上の探索省略領域を除いて、第１、第２、第３、…、第ｎのオブジェクト探索対象縮小画像からオブジェクトを探索する。或いは、探索省略領域が設定された第１、第２、第３、…、第ｎのオブジェクト探索対象縮小画像に基づき、探索省略領域が反映された１サイズのオブジェクト探索縮小画像を生成し、この１サイズのオブジェクト探索縮小画像の探索省略領域を除いて、この１サイズのオブジェクト探索対象縮小画像からオブジェクトを探索する。
【００６２】
以上により、オブジェクト探索処理を高速化することができる。
【００６３】
次に、本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置の適用例について説明する。図２０は、本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置を適用したデジタルテレビジョン放送受信装置の概略構成の一例を示す図である。
【００６４】
ここで、デジタルテレビジョン放送受信装置１００の基本構成について簡単に説明する。図２０に示すように、デジタルテレビジョン放送受信装置１は、入力端子１０２、チューナー部１０３、外部入力端子１０４〜１０７、信号処理モジュール１０８、コントローラ１１０、ＯＳＤ信号生成モジュール１１１、グラフィック処理モジュール１１２、映像処理モジュール１１３、音声処理モジュール１１４を備えている。
【００６５】
地上波放送受信用のアンテナ１０１で受信した地上デジタルテレビジョン放送信号は、入力端子１０２を介してチューナー部１０３に供給され、チューナー部１０３は、放送信号から、指定チャンネルの信号を選択し、信号処理モジュール１０８に出力する。信号処理モジュール１０８は、選択された指定チャンネルの信号から映像信号及び音声信号を分離し、映像信号をグラフィック処理モジュール１１２へ出力し、また音声信号を音声処理モジュール１１４へ出力する。
【００６６】
グラフィック処理モジュール１１２は、必要に応じて、映像信号に、ＯＳＤ（on screen display）信号生成モジュール１１１で生成されるＯＳＤ信号を重畳して出力する。グラフィック処理モジュール１１２は、信号処理モジュール１０８からの映像信号と、ＯＳＤ信号生成モジュール１１１からのＯＳＤ信号とを選択的に出力することもできる。
【００６７】
グラフィック処理モジュール１１２から出力された映像信号は、映像処理モジュール１１３に供給される。映像処理モジュール１１３により処理された映像信号は、映像表示部１４１に供給される。映像表示部１４１は、映像信号に基づく映像を表示する。また、音声処理モジュール１１４は、音声信号をスピーカ１４２から出力可能なアナログ音声信号に変換し、スピーカ１４２に出力する。
【００６８】
上記デジタルテレビジョン放送受信装置１は、コントローラ１１０によって統括的に制御されている。コントローラ１１０は、ＣＰＵ（central processing unit）等により構成され、リモートコントローラ等からの信号（各種指示）を受けて、各モジュール等の動作を制御する。また、コントローラ１１０は、ＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）１１０１と、ＣＰＵに作業エリアを提供するＲＡＭ（random access memory）１１０２と、各種の設定情報及び制御情報等が格納される不揮発性メモリ１１０３とを備えている。
【００６９】
例えば、上記した映像処理モジュール１１３は、図６に示す類似度分布作成モジュール３、探索省略領域設定モジュール４、及び探索モジュール５を備え、探索モジュール５が、入力画像（番組画像）からサイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、各オブジェクト探索対象縮小画像に対して類似度計算による探索処理を行い、必要に応じて検出された類似度、位置、スケールの情報を探索省略領域設定モジュール４におくり、探索省略領域設定モジュール４が、複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像に対して、探索省略領域設定関数に基づき探索省略領域を設定し、さらにオブジェクト探索対象縮小画像のサイズ比の情報等を利用し、その他のオブジェクト探索対象縮小画像に対しても、探索省略領域を設定し、探索モジュール５は、各オブジェクト探索対象縮小画像のうち探索省略領域を除外した除外領域に対してオブジェクト探索を実行し、オブジェクト探索対象縮小画像からオブジェクトを検出することができる。
【００７０】
各オブジェクト探索対象画像、即ち入力画像からオブジェクトを検出する意義について簡単に説明する。映像処理モジュール１１３は、例えば、２Ｄ映像（2-dimensional image）を３Ｄ映像（3-dimensional image）に変換（２Ｄ／３Ｄ変換）する機能を備えている。例えば、２Ｄ／３Ｄ変換処理では、２Ｄ映像を解析し、２Ｄ映像中の人物等の各オブジェクトを検出し、各オブジェクトの前後関係（奥行）を検出し、必要に応じてオブジェクトを変形し、３Ｄ映像を生成する。このような、２Ｄ／３Ｄ変換処理に上記説明したオブジェクト検出を適用することができる。
【００７１】
また、映像処理モジュール１１３は、入力画像を高画質化する高画質化処理機能を備えている。例えば、高画質化処理として、超解像処理が挙げられる。超解像処理は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する処理である。この超解像処理の際に、例えば、オブジェクトを検出し、オブジェクトの種類に応じて超解像処理効果を強めたり、弱めたりすることができる。このような高画質化処理に上記説明したオブジェクト検出を適用することができる。
【００７２】
なお、オブジェクト検出は、上記説明した２Ｄ／３Ｄ変換処理及び高画質化処理への適用だけに限定されるものではなく、オブジェクト検出が必要とされる各種画像処理に適用することができる。つまり、上記説明したオブジェクト探索省略領域設定方法は、上記説明した２Ｄ／３Ｄ変換処理及び高画質化処理へ適用することもできるし、様々な画像処理に適用することもできる。
【００７３】
以下、本実施形態についてまとめる。
【００７４】
実施形態の探索省略領域設定関数生成方法は、サイズ比の異なる複数のモデル縮小画像のうちの第１のモデル縮小画像上の指定探索点に対して、前記第１のモデル縮小画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する。さらに、この方法は、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する。
【００７５】
さらにこの方法は、前記周辺探索点類似度の分布に基づき前記第１のモデル縮小画像上における類似度の度数（頻度、或いは、個数）を計測し、度数に基づいて第１のモデル縮小画像上における類似度分布を作成する。さらに、前記第１のモデル縮小画像と第２のモデル縮小画像との比率に基づき位置の対応付けを求め前記第２のモデル縮小画像上における対応付けされた位置を基準とした相対位置の各位置において、類似度の度数を計測し、度数に基づいて第２のモデル縮小画像上における類似度分布を作成する。なお、「相対位置の推定」或いは、「推定相対位置」とは、ある一箇所に位置を決定するということではなく、存在範囲を予測するということを意味する。
【００７６】
さらにこの方法は、指定した探索漏れ率と前記各モデル縮小画像上の相対位置における類似度分布に基づいて、サイズ比と相対位置と類似度の関数である探索省略領域設定関数を生成する。
【００７７】
実施形態のオブジェクト探索方法は、オブジェクト探索対象画像からスケールを指定した複数のオブジェクト探索対象縮小画像を作成し、第１のオブジェクト探索対象縮小画像上において位置を変えながらテンプレートを対応させて類似度を計算し、検出された類似度と前記探索省略領域設定関数に基づいて各オブジェクト探索対象縮小画像上における探索省略領域を設定し、設定された探索省略領域の類似度計算処理を省いたオブジェクト探索を行う。
【００７８】
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。
【００７９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８０】
１…オブジェクト探索システム、２…画像入力モジュール、３…類似度分布作成モジュール、４…探索省略領域設定モジュール、５…探索モジュール、６…記憶部
【技術分野】
【０００１】
本発明の実施形態は、探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置に関する。
【背景技術】
【０００２】
近年、画像中から人物の顔などのオブジェクトを検出するための各種技術が提案されている。例えば、次のようなオブジェクト検出技術が提案されている。まず、オブジェクト探索対象画像に対して、参照画像から作成したテンプレートを重ね合わせて走査する。続いて、各重なり位置において、オブジェクト探索対象画像とテンプレートの間（或いはオブジェクト探索対象画像の特徴量とテンプレートの特徴量の間）の距離（或いは類似値、類似度など）を計算する。続いて、最小距離が得られる重なり位置（或いはオブジェクト探索対象画像とテンプレートの類似度が最大になる重なり位置）をオブジェクト検出位置として出力する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−９４６８９号公報
【特許文献２】特開２００３−２２４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
正確にオブジェクトを探索するためには、例えば、オブジェクト探索対象画像に対して、テンプレートを１画素ずつずらし、各ずらし位置に対応して、オブジェクト探索対象画像とテンプレートの類似度を計算する。
【０００５】
また、オブジェクトのサイズは不明であることが多い。このため、サイズの異なる複数の縮小画像を用意して、オブジェクトを仮定して、テンプレートを利用し、仮定した複数の縮小画像に対してオブジェクトを探索する。
【０００６】
しかしながら、上記オブジェクト探索手法では、オブジェクト探索のための計算負荷が大きく、計算コストが高くなってしまう。つまり、オブジェクト探索負荷が大きい。そこで、オブジェクト探索の効率化技術が要望されている。
【０００７】
本発明の目的は、オブジェクト探索の効率化を図ることが可能な探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置を提供することにある。
【課題を解決するための手段】
【０００８】
実施形態の探索省略領域設定関数生成方法は、サイズ比の異なる複数のモデル縮小画像のうちの第１のモデル縮小画像上の指定探索点に対して、前記第１のモデル縮小画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する。さらに、この方法は、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する。
【図面の簡単な説明】
【０００９】
【図１】探索省略領域設定関数の作成の一例を示すフローチャートである。
【図２】オブジェクト検出の類似度分布の計測の一例を示すフローチャートである。
【図３】図１中の検出位置近傍の類似度度数の計測の一例を示すフローチャートである。
【図４】図１中の類似度分布の作成の一例を示すフローチャートである。
【図５】図１中の探索省略領域設定関数の作成の一例を示すフローチャートである。。
【図６】オブジェクト探索システムの一例を示すブロック図である。
【図７】オブジェクト探索の概念の一例を示す図である。
【図８】オブジェクト（顔）検出の概念の一例を示す図である。
【図９】複数の縮小画像（サイズ比の異なる複数の縮小画像）に対するオブジェクト（顔）検出の概念の一例を示す図である。
【図１０】相対座標（ｘＲ，ｙＲ，ｒＲ）における類似度分布（密度）ｐ（ｓ｜ｘＲ，ｙＲ，ｒＲ）を示す概念の一例を示す図である。
【図１１】オブジェクト検出位置から離れた位置における類似度分布（密度）ｐ（ｓ｜ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１２】オブジェクト検出位置に近い位置における類似度分布（密度）ｐ（ｓ｜ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１３】探索省略領域設定関数ｓＰ（ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１４】探索省略領域設定関数ｓＰ（ｘＲ，ｙＲ，ｒＲ）の概念の一例を示す図である。
【図１５】探索省略領域設定関数ｓＰ（ｘＲ，ｙＲ，ｒＲ）と探索省略領域との関係の概念の一例を示す図である。
【図１６】探索点と探索省略領域との関係の一例を示す図である。
【図１７】複数の縮小画像（サイズ比の異なる複数の縮小画像）に対する探索処理と探索省略領域との関係の一例を示す図である。
【図１８】オブジェクト探索対象縮小画像上に対する探索省略領域の設定順序の一例を示す図である。
【図１９】オブジェクト探索対象縮小画像上に対する探索省略領域の設定順序の一例を示す図である。
【図２０】本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置を適用したデジタルテレビジョン放送受信装置の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、実施形態について図面を参照して説明する。
【００１１】
本実施形態のオブジェクト探索省略領域設定関数生成方法又はオブジェクト探索省略領域設定関数生成装置（以下、関数生成方法又は関数生成装置と略記）は、例えば、オブジェクト探索前に、予めサイズ比の異なる各学習用縮小画像（モデル縮小画像）とテンプレート（例えば１サイズのテンプレート）とを用いて、各学習用縮小画像の類似度分布を計測し、計測された類似度に基づいて全学習用縮小画像のオブジェクトの近傍における類似度分布を計算し（学習結果）、計算された類似度分布に基づき探索省略領域設定関数を作成する。後に、図１〜図５等を参照し、関数生成方法又は関数生成装置による関数の生成について詳細に説明する。
【００１２】
オブジェクト検出における「学習」とは、通例では、収集したオブジェクト画像を用いて探索に使用する為のテンプレートや最適特徴量や辞書と呼ばれるものなどを作成することを言う場合が多いが、本明細書においては、作成済みのテンプレートや辞書などを用いて、縮小画像上の類似度分布を計測したり探索省略領域設定関数を求めることを指すものとする。
【００１３】
また、本実施形態のオブジェクト探索方法又はオブジェクト探索装置（以下、探索方法又は探索装置と略記）は、上記探索省略領域設定関数に基づき、サイズ比の情報等を利用し、サイズ比の異なる各オブジェクト探索対象縮小画像に対して、効率よく探索省略領域を設定する。例えば、探索方法又は探索装置は、上記探索省略領域設定関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像（例えば複数のオブジェクト探索対象縮小画像のうちの最小のオブジェクト探索対象縮小画像）に対して、第１の探索省略領域を設定する（第１の探索省略領域の設定手法については後に詳しく説明する）。続いて、探索方法又は探索装置は、第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像とのサイズ比の情報等を利用し、第２のオブジェクト探索対象縮小画像に対して、第２の探索省略領域を設定する。
【００１４】
さらに詳しく説明すると、探索方法又は探索装置は、第１のオブジェクト探索対象縮小画像上の第１の基準点（又は探索点）と、第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像とのサイズ比の情報とに基づき、第１の基準点に対応する第２の基準点を前記第２のオブジェクト探索対象縮小画像上に設定し、第１のオブジェクト探索対象縮小画像上の第１の基準点とテンプレートとの類似度に基づき、第２の基準点を基準として設定される前記第２のオブジェクト探索対象縮小画像上に設定し探索省略領域のサイズを設定する。後に、探索方法又は探索装置による探索省略領域の設定について詳細に説明する。
【００１５】
また、本実施形態のオブジェクト探索方法又はオブジェクト探索装置（以下、探索方法又は探索装置と略記）は、サイズ比の異なる各オブジェクト探索対象縮小画像上に設定された探索省略領域を除外して、テンプレート（例えば１サイズのテンプレート）を用いて各オブジェクト探索対象縮小画像からオブジェクトを探索する。つまり、探索方法又は探索装置は、第１のオブジェクト探索対象縮小画像に設定された探索省略領域を除外して、テンプレートを用いて第１のオブジェクト探索対象縮小画像からオブジェクトを探索し、第２のオブジェクト探索対象縮小画像に設定された探索省略領域を除外して、テンプレートを用いて第２のオブジェクト探索対象縮小画像からオブジェクトを探索する。後に、探索方法又は探索装置による探索省略領域の設定について詳細に説明する。
【００１６】
テレビ放送などの映像からオブジェクトを検出する場合、多くは、オブジェクトのサイズは事前に判らない。このため、サイズ比の異なる複数の縮小画像を作成し、テンプレート（例えば１サイズのテンプレート）を利用し、作成した複数の縮小画像に対して探索（或いはスキャン、又は走査）を行う（図７、８参照）。
【００１７】
実際の処理においては、オブジェクト探索対象画像を異なる縮小率で縮小した複数の縮小画像（サイズ比の異なる複数のオブジェクト探索対象縮小画像）を作成し、一定サイズのテンプレートを利用し、複数の縮小画像の夫々からオブジェクトを探索する（図９参照）。本実施形態で生成されるオブジェクト探索省略領域設定関数は、このような場合に効果的に探索省略領域を設定することができる。
【００１８】
例えば、図６に示すオブジェクト探索システム１が、上記関数生成装置に相当し、探索省略領域設定関数を作成する。また、オブジェクト探索システム１は、上記領域設定装置にも相当し、探索省略領域設定関数に基づき、各オブジェクト探索対象縮小画像に対して探索省略領域を設定する。また、オブジェクト探索システム１は、上記探索装置にも相当し、探索省略領域を除外して、テンプレートを用いて各オブジェクト探索対象画像からオブジェクトを探索する。
【００１９】
なお、探索省略領域設定関数の作成、探索省略領域の設定、及びオブジェクト探索の全てを１つの機器で実現しなくてもよい。例えば、コンピュータ等で探索省略領域設定関数を作成し、デジタルＴＶ等の画像処理機器に探索省略領域設定関数に基づくオブジェクト探索機能を搭載し、この画像処理機器がオブジェクト探索機能によりオブジェクトを探索する。つまり、画像処理機器が、番組映像（基準サイズのオブジェクト探索対象画像）から、サイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、各オブジェクト探索対象縮小画像に対して探索省略領域を設定し、各オブジェクト探索対象縮小画像の探索省略領域を除外し、テンプレートを用いて各オブジェクト探索対象縮小画像からオブジェクトを探索する。
【００２０】
以下、図６に示すオブジェクト探索システム１による探索省略領域設定関数の作成、探索省略領域の設定、及びオブジェクト探索の一例について説明する。図６に示すように、例えば、オブジェクト探索システム１は、画像入力モジュール２、類似度分布作成モジュール３、探索省略領域設定モジュール４、探索モジュール５、記憶部６を備える。
【００２１】
図１は、探索省略領域設定関数の作成の一例を示すフローチャートである。
【００２２】
最初に、図２に示すフローチャートを参照し、図１中のオブジェクト検出の類似度分布の計測(ＳＴ１００)の一例について説明する。
【００２３】
例えば、オブジェクト探索システム１の画像入力モジュール２は、画像番号ｉを初期化し(ＳＴ１０１)、複数の学習用画像（モデル画像）を順次入力して各学習用画像に画像番号ｉを指定し、学習用画像ｉに縮小処理のスケールｒを設定し、縮小していない入力画像である学習用画像ｉに対するサイズ比であるスケールｒを設定して、学習用縮小画像（モデル縮小画像）を作成し、スケールｒが最小の学習用縮小画像（画像番号ｉの縮小画像）を第１の学習用縮小画像（画像番号ｉの縮小画像）とし(ＳＴ１０３)、類似度分布作成モジュール３は、スケールｒを設定し(ＳＴ１０３)、探索点（ｘ，ｙ）を設定して(ＳＴ１０４)、探索点における類似度ｓを計算して(ＳＴ１０５)、類似度ｓを記録する(ＳＴ１０６)。
【００２４】
つまり、類似度分布作成モジュール３は、第１の学習用縮小画像に対して、オブジェクトを探索するためにテンプレートを用いて走査する。例えば、類似度分布作成モジュール３は、上記走査において、第１の学習用縮小画像上の第１の指定探索点に対して、この第１の学習用縮小画像からオブジェクトを探索するためのテンプレートを第１の位置関係に対応付けて、第１の学習用縮小画像上の第１の指定探索点とテンプレートとの間の第１の指定探索点類似度（類似度ｓ）を検出する。
【００２５】
上記類似度検出処理を全学習用縮小画像と全探索点について行う(ＳＴ１０７、ＳＴ１０８、ＳＴ１０９、ＳＴ１１０)。
【００２６】
次に、図３に示すフローチャートを参照し、図１中の検出位置近傍の類似度度数の計測(ＳＴ２００)の一例について説明する。
【００２７】
例えば、オブジェクト探索システム１の類似度分布作成モジュール３は、画像番号ｉ、検出個数ｎ、度数ｆ（ｓ｜ｘＲ，ｙＲ，ｒＲ）を初期化し(ＳＴ２０１)、画像番号ｉ、スケールｒ、探索点（ｘ，ｙ）を設定して(ＳＴ２０２)(ＳＴ２０３)(ＳＴ２０４)、探索点における類似度ｓと検出閾値θとを比較する。ここで、スケールｒの値は縮小画像のサイズと対応が付けられる。スケールｒをｎ通りにして処理することは、ｎ個のサイズの異なる縮小画像を処理することを意味する。
【００２８】
第１の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えない場合(ＳＴ２０５、ＮＯ)、類似度分布作成モジュール３は、第１の指定探索点を変更し(ＳＴ２０４)、第１の学習用縮小画像上の第２の指定探索点に対して、この第１の学習用縮小画像からオブジェクトを探索するためのテンプレートを第２の位置関係に対応付けて、第１の学習用縮小画像上の第２の指定探索点とテンプレートとの間の第２の指定探索点類似度（類似度ｓ）を検出する。
【００２９】
第２の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えなければ、さらに、類似度分布作成モジュール３は、第２の指定探索点を変更し、類似度検出を継続し、第２の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えれば、類似度分布作成モジュール３は、第２の位置関係で、オブジェクトが検出されたと判定する。
【００３０】
上記したように、類似度分布作成モジュール３は、類似度ｓが検出閾値θ（オブジェクト検出判定閾値θ）を超えたとき(ＳＴ２０５、ＹＥＳ)、オブジェクトが検出されたと判定し、その近傍の類似度を計算する。類似度分布作成モジュール３は、オブジェクト検出位置からの相対座標（ｘR,ｙR）と相対スケールｒＲと類似度ｓに関する度数ｆ（）を加算する処理を全相対スケールと全相対座標について行う(ＳＴ２０６〜ＳＴ２１２)。スケールｒは、縮小していない元の学習用画像と学習用縮小画像（例えば第１の学習用画像）との大きさの比であり、学習用縮小画像のサイズが小さくなるほどｒは大きくなる。相対スケールｒＲとは、２つの学習用縮小画像のスケールｒの比を表すものとする。
【００３１】
例えば、上記第１の位置関係で、第１の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えた場合、類似度分布作成モジュール３は、第１の位置関係の第１の学習用縮小画像上の第１の指定探索点の周辺の複数の第１の周辺探索点の夫々と、テンプレートとの周辺探索点類似度を検出する。
【００３２】
以上により、第１の学習用縮小画像について類似度度数の計測が完了すると、続いて、類似度分布作成モジュール３は、スケールｒの異なる第２の学習用縮小画像について上記した類似度度数を計測する(ＳＴ２０３〜ＳＴ２１３)。以後、同様に、類似度分布作成モジュール３は、全てのスケールｒの学習用縮小画像について上記した類似度度数を計測すし(ＳＴ２０３〜ＳＴ２１３)、さらに、全ての学習用画像ｉについて上記した類似度度数を計測する(ＳＴ２０２〜ＳＴ２１４)。
【００３３】
また、複数種類のテンプレートを用意し、類似度分布作成モジュール３は、各テンプレートを用いて、類似度度数を計測することもできる。複数種類のテンプレートは、例えば、異なるオブジェクトを検出するためのテンプレートである。
【００３４】
ここでテンプレートについて補足する。顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００３−３４６１５８号公報に記載されているように、顔と目と鼻それぞれに対応した部分空間法の辞書パターンのことである。また、顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００７−２４９３９４号公報に記載されているように、登録顔画像の個々の顔の静的な特徴を予め設定された特徴点の配置と、それらの近傍の画像特徴量との組で表したモデルである。また、顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００５−２０８８５０号公報に記載されているように、登録顔画像にプロットされた特徴点の近傍の画像の情報（例えば、ガボールウェーブレット係数）ＣＡ（ｘ−）、特徴点配置情報ｘ−、及び人物ＩＤｎから構成されるモデルデータＨの集合である。なお、テンプレートは、上記したような辞書パターン、モデルデータであってもよいし、画像（テンプレート画像）であってもよい。
【００３５】
続いて、図４に示すフローチャートを参照し、図１中の類似度分布の作成(ＳＴ３００)の一例について説明する。
【００３６】
類似度分布作成モジュール３は、ＳＴ２００により求められた度数ｆ（）を検出個数ｎで割り、P()を算出する処理を全相対スケールと全相対座標と全類似度についてについて行う(ＳＴ３０１〜ＳＴ３０７)。図１０、１１、１２は、 P(s|ｘR,yR,rR)の概念の一例を示す図である。オブジェクト位置に近いと、図１２のように類似度ｓが大きい領域が高頻度（度数が大きい）となり、オブジェクト位置から遠いときは、図１１のように類似度ｓが小さい領域が高頻度となる。
【００３７】
続いて、図５に示すフローチャートを参照し、図１中の探索省略領域設定関数の作成(ＳＴ４００)の一例について説明する。
【００３８】
類似度分布作成モジュール３は、ｓ＝０から P(s|ｘＲ,yＲ，ｒＲ)を累積加算し、検出もれ率Ｐ（許容検出もれ率Ｐ）を超える直前のｓを SP(ｘＲ，ｙＲ，ｒＲ)とする処理を全相対スケールｒＲと全相対座標（ｘＲ，ｙＲ）について行い(ＳＴ４０１〜ＳＴ４０８)、類似度分布作成モジュール３は、探索省略領域設定関数SP(ｘＲ，ｙＲ，ｒＲ)を生成する。
【００３９】
つまり、類似度分布作成モジュール３は、上記した周辺探索点類似度の分布に基づきオブジェクトとテンプレートとの距離を推定し、推定距離に基づきオブジェクトの探索省略領域を設定するための探索省略領域設定関数を生成する。ここでいう距離とは、相対位置のことであり、方向によって、距離の基準は変化する。即ち、類似度分布作成モジュール３は、推定距離（推定相対位置）に基づき、上記した第１の周辺探索点におけるオブジェクトの検出もれ率を推定し、推定検出もれ率に基づき探索省略領域設定関数を生成する。より具体的には、類似度分布作成モジュール３は、オブジェクトの検出もれを許容する許容検出もれ率と推定検出もれ率とを比較し、許容検出もれ率未満の領域を探索省略領域として設定するための探索省略領域設定関数を生成する。
【００４０】
探索省略領域を設定できる理論的根拠を補足説明する。仮に位置(ｘＦ，ｙＦ)，スケールｒＦで非常に小さい類似度が観測されたとき、そのごく近傍にもオブジェクトが無いと推定される。この考え方を論理学における命題と捉えたとき、命題が真ならば、その対偶も真であることを本実施形態では利用している。「ＡならばＢである」の対偶は「ＢでなければＡでない」で定義され、真の命題の対偶は真であることが判っている。これを利用すると、「オブジェクトが(ｘＦ，ｙＦ)，スケールｒＦで検出されるとき、(ｘ，ｙ)，スケールｒにおける類似度は ｓ＞ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）となる」が真ならば、その対偶である「(ｘ，ｙ)，スケールｒにおける類似度が ｓ≦ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）ならば、(ｘＦ，ｙＦ)，スケールｒＦのところでオブジェクトは検出されない」も真であることが結論付けられる。さて、一般には類似度の分布は幅広い分布の形をしており、類似度を用いてその近傍のオブジェクトの有無を確定的に推定することは困難であるため、検出もれ率Ｐを指定して上記の命題を修正する。「オブジェクトが(ｘＦ，ｙＦ)，スケールｒＦで検出されるとき、(ｘ，ｙ)，スケールｒにおける類似度は１−Ｐの確率で ｓ＞ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）となる」、およびその対偶は「(ｘ，ｙ)，スケールｒにおける類似度が ｓ≦ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）ならば、１−Ｐの確率で(ｘＦ，ｙＦ)，スケールｒＦのところでオブジェクトは検出されない」となる。類似度分布作成モジュール３は、検出もれ率Ｐと、相対座標と、サイズ比を指定したときの、前記ｓ（ｘ−ｘＦ，ｙ−ｙＦ，ｒＦ／ｒ）に対応するSP(ｘＲ，ｙＲ，ｒＲ)を求めていることになる。
【００４１】
図１３は、SP(ｘＲ，ｙＲ，ｒＲ)の概念の一例を示す図である。検出もれ率Ｐ（許容検出もれ率Ｐ）が小さいと、曲線が中心に近づき、探索省略領域が狭まる。逆に、検出もれ率Ｐ（許容検出もれ率Ｐ）が大きいと、曲線が中心から離れ、探索省略領域が広がる。例えば、オブジェクトの検出もれの可能性を十分に低くしたい場合には、許容検出もれ率Ｐを非常に小さい値（例えば０％＜Ｐ＜５％）に設定することにより、探索省略領域が狭くなり、オブジェクトの検出もれの可能性を低くすることができる。また、オブジェクトの検出もれの可能性を低くすることよりも、オブジェクトの検索負荷を低くすることに重点を置きたい場合には、許容検出もれ率Ｐをやや低い値（例えば５％≦Ｐ＜１０％）に設定することにより、探索省略領域が広くなり、オブジェクトの検索もれを防ぎつつ、オブジェクトの検索負荷をより低くすることができる。
【００４２】
図１４は、探索省略領域設定関数SP(ｘＲ，ｙＲ，ｒＲ)を説明する概念の一例を示す図である。図１４は、オブジェクト検出位置（０，０）からの相対座標における（検出もれ率Ｐとしたときの）類似度の下限の一例を示している。中心が頂上となる丘の形状をしている。スケールｒ，座標（ｘ，ｙ）でオブジェクトが検出された場合に、スケールｒ・ｒＲ，座標（ｘ＋ｘＲ，ｙ＋ｙＲ）における類似度は１−Ｐの確率でＳＰ（ｘＲ，ｙＲ，ｒＲ）以上になる。
【００４３】
図１５は、図１４のｘとｙに関して反転したグラフの一例を示す図である。あるスケールｒ０、ある位置（ｘ０，ｙ０）において類似度ｓが得られた場合、その位置からの相対スケールｒＲ，相対座標（ｘＲ，ｙＲ）として、ＳＰ（−ｘＲ，−ｙＲ，１／ｒＲ）＞ｓの領域でオブジェクトが検出される確率は検出もれ率Ｐ（許容検出もれ率Ｐ）以下となる。したがって、検出もれ率Ｐ（許容検出もれ率Ｐ）を十分に小さい値に設定することにより、この領域において探索を省略して探索の計算量を削減することができる。
【００４４】
以下、上記の数式定義をまとめる。
【数１】
【００４５】
【数２】
【００４６】
図１６は、探索の概念の一例を示す図である。図１６中の「＋印」は探索点を示す。探索省略領域設定モジュール４は、探索の類似度計算後に、その近傍に探索省略領域（図１６中の斜線領域）を設定する。
【００４７】
例えば、画像入力モジュール２は、基準となるオブジェクト探索対象画像（例えば番組画像）を入力し、探索モジュール５は、サイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、第１のオブジェクト探索対象縮小画像とテンプレートとを所定位置関係に対応付けて（第１のオブジェクト探索対象縮小画像の第１の指定探索点とテンプレートとを対応付けて）、第１のオブジェクト探索対象縮小画像上の第１の指定探索点と、テンプレートとの間の指定探索点類似度を検出する。探索省略領域設定モジュール４は、必要に応じて、探索モジュール５から類似度、位置、スケールの情報を受け取り、探索省略領域設定関数に基づきオブジェクト探索対象縮小画像上の第１の指定探索点の近傍に探索省略領域を設定する。
【００４８】
１個の探索点に対応する探索省略領域は、類似度に依存するため、探索点の配置は動的に設定する必要がある。
【００４９】
次に、図１７を参照し、複数のオブジェクト探索対象縮小画像に対して効率よく探索省略領域を設定する方法について説明する。探索省略領域設定モジュール４は、探索省略領域設定関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の第１の基準点（＋）とテンプレートとを対応付け、第１のオブジェクト探索対象縮小画像の第１の基準点を含む所定領域とテンプレートとの類似度が閾値より低い場合に（第１の基準点の近傍にオブジェクトが無い場合に）、第１の基準点及び類似度に基づき第１のオブジェクト探索対象縮小画像上に第１の探索省略領域を設定する。
【００５０】
さらに、探索省略領域設定モジュール４は、第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像とのサイズ比（以下、第１のサイズ比）に基づき、第２のオブジェクト探索対象縮小画像上に第２の探索省略領域を設定する。より具体的には、探索省略領域設定モジュール４は、第１の基準点の座標値と第１のサイズ比とに基づき、前記第１の基準点に対応する第２の基準点の座標値を算出し、前記第２のオブジェクト探索対象縮小画像上に第２の基準点を設定し、第１の基準点とテンプレートとの類似度に基づき、第２の探索省略領域のサイズを算出し、前記第２のオブジェクト探索対象縮小画像上に第２の基準点を基準として第２の探索省略領域を設定する。
【００５１】
上記したように、探索省略領域設定モジュール４は、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の探索点（第１の基準点）の類似度計算後に、探索点の近傍に探索省略領域（斜線領域）を設定し、さらに、第１のオブジェクト探索対象縮小画像と異なるスケールの第２のオブジェクト探索対象縮小画像上に、スケールの情報を参照し、探索省略領域（斜線領域）を設定する。
【００５２】
また、効率よくオブジェクトを探索するために、探索省略領域設定モジュール４は、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの最小サイズの第１のオブジェクト探索対象縮小画像から処理を開始する。テンプレートのサイズを一定とすると、第１のオブジェクト探索対象縮小画像に対するテンプレートの相対サイズは大きく、逆に、最大サイズの第ｎのオブジェクト探索対象縮小画像に対するテンプレートの相対サイズは小さい。つまり、第１のオブジェクト探索対象縮小画像に対してテンプレートを走査することは、サイズの大きいオブジェクトを探索することであり、第ｎのオブジェクト探索対象縮小画像に対してテンプレートを走査することは、サイズの小さいオブジェクトを探索することである。
【００５３】
サイズの大きいオブジェクトは重要であることが多く、また、第１のオブジェクト探索対象縮小画像に対してテンプレートを走査する作業負荷は、第ｎのオブジェクト探索対象縮小画像に対してテンプレートを走査する作業負荷より軽い。このような事情から、複数のオブジェクト探索対象縮小画像のうちの最小サイズの第１のオブジェクト探索対象縮小画像から処理を開始することにより、効率化を図ることができる。つまり、第１のオブジェクト探索対象縮小画像に対しては、基本的にテンプレート走査により探索省略領域を設定するが、第１のオブジェクト探索対象縮小画像以外のオブジェクト探索対象縮小画像に対しては、テンプレート走査を一部省略して、サイズ比の情報を利用して、第１のオブジェクト探索対象縮小画像に対する類似度計算結果を用いた探索省略領域設定処理を適用することができるからである。
【００５４】
次に、１サイズのオブジェクト探索対象縮小画像上に複数の探索省略領域を設定する手順について説明する。例えば、図１８に示すように、オブジェクト探索対象縮小画像の第１の指定探索点Ａ１０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定関数に基づき、第１の探索省略領域Ａ１１を設定する。次に、第１の探索省略領域Ａ１１の外であって、第１の探索省略領域Ａ１１に近接する第２の指定探索点Ａ２０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第２の指定探索点Ａ２０を基準として、探索省略領域設定関数に基づき、第２の探索省略領域Ａ２１を設定する。次に、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１の外であって、第１の探索省略領域Ａ１１から最も遠く且つ第２の探索省略領域Ａ２１に近接する第３の指定探索点Ａ３０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第３の指定探索点Ａ３０を基準として、探索省略領域設定関数に基づき、第３の探索省略領域Ａ３１を設定する。このようにして、探索省略領域設定モジュール４は、オブジェクト探索対象縮小画像上に、１以上の探索省略領域を設定することができる。
【００５５】
或いは、図１９に示すように、第１のオブジェクト探索対象縮小画像の第１の指定探索点Ａ１０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第１の指定探索点Ａ１０を基準として、探索省略領域設定関数に基づき、第１の探索省略領域Ａ１１を設定する。次に、第１の探索省略領域Ａ１１の外であって、第１の探索省略領域Ａ１１から所定距離以上離れた第２の指定探索点Ａ２０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第２の指定探索点Ａ２０を基準として、探索省略領域設定関数に基づき、第２の探索省略領域Ａ２１を設定する。次に、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１の外であって、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１から所定距離以上離れた第３の指定探索点Ａ３０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第３の指定探索点Ａ３０を基準として、探索省略領域設定関数に基づき、第３の探索省略領域Ａ３１を設定する。このようにして、探索省略領域設定モジュール４は、第１段階として、オブジェクト探索対象縮小画像上に、１以上の探索省略領域を設定することができる。さらに、第１の探索省略領域Ａ１１、第２の探索省略領域Ａ２１、及び第３の探索省略領域Ａ３１の各領域外、例えば、各領域から最も遠い第４の指定探索点Ａ４０及び複数の周辺探索点と、テンプレートとの類似度を計算し、この類似度に対応して探索省略領域設定モジュール４は、第４の指定探索点Ａ４０を基準として、探索省略領域設定関数に基づき、第４の探索省略領域Ａ４１を設定する。このようにして、探索省略領域設定モジュール４は、第２段階として、オブジェクト探索対象縮小画像上に、１以上の探索省略領域を設定することができる。以上を繰り返し、探索省略領域設定モジュール４は、オブジェクト探索対象縮小画像上に、効率よく、複数の探索省略領域を設定することができる。
【００５６】
上記したように、探索省略領域設定モジュール４は、オブジェクト探索対象縮小画像を覆うように複数の探索省略領域を設定する。続いて、探索モジュール５は、オブジェクト探索対象縮小画像領域のうち、探索省略領域を除外した除外領域に対して、オブジェクト探索を実行する。つまり、探索モジュール５は、オブジェクト探索対象縮小画像領域のうち、探索省略領域を除外した除外領域に対して、テンプレートを重ね合わせて走査し、オブジェクトを探索する。さらに、探索時に検出された類似度に基づき、類似度、位置、スケールの情報を探索省略領域設定モジュール４に送り、随時、探索省略領域を複数のオブジェクト探索対象縮小画像に追加設定する。これにより、オブジェクト探索対象縮小画像の全領域に対してテンプレートを１画素ずつずらしながらオブジェクト探索を実行する場合に比べて、効率良くオブジェクト探索を実行することができる。
【００５７】
本実施形態のオブジェクト探索省略領域設定方法によれば、オブジェクトの検出もれを抑えつつ、オブジェクト探索処理を高速化することができる。
【００５８】
ここで、オブジェクト探索処理の高速化の概念についてまとめる。
【００５９】
オブジェクト探索対象画像からオブジェクト（人物の顔）を検出するためには、オブジェクト探索対象画像の全ての位置の探索点とテンプレートとの類似度を計算する。オブジェクトのサイズは、事前に判らないため、複数サイズの複数のテンプレートを利用し類似度を計算する。或いは、サイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、これら複数のオブジェクト探索対象縮小画像に対してテンプレートを利用し類似度を計算する。このような計算処理は膨大な処理となり負担が大きい。
【００６０】
そこで、まず、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像に対して、探索省略領域を設定する。第１のオブジェクト探索対象縮小画像上のある探索点における類似度が低ければ、この探索点の近傍にはオブジェクトが存在しない可能性が高い。このことを利用し、第１のオブジェクト探索対象縮小画像上に、探索省略領域を設定する。さらに、サイズ比の情報を利用し、第２、第３、…、第ｎのオブジェクト探索対象縮小画像上に、探索省略領域を設定する。
【００６１】
その上で、第１、第２、第３、…、第ｎのオブジェクト探索対象縮小画像上の探索省略領域を除いて、第１、第２、第３、…、第ｎのオブジェクト探索対象縮小画像からオブジェクトを探索する。或いは、探索省略領域が設定された第１、第２、第３、…、第ｎのオブジェクト探索対象縮小画像に基づき、探索省略領域が反映された１サイズのオブジェクト探索縮小画像を生成し、この１サイズのオブジェクト探索縮小画像の探索省略領域を除いて、この１サイズのオブジェクト探索対象縮小画像からオブジェクトを探索する。
【００６２】
以上により、オブジェクト探索処理を高速化することができる。
【００６３】
次に、本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置の適用例について説明する。図２０は、本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置を適用したデジタルテレビジョン放送受信装置の概略構成の一例を示す図である。
【００６４】
ここで、デジタルテレビジョン放送受信装置１００の基本構成について簡単に説明する。図２０に示すように、デジタルテレビジョン放送受信装置１は、入力端子１０２、チューナー部１０３、外部入力端子１０４〜１０７、信号処理モジュール１０８、コントローラ１１０、ＯＳＤ信号生成モジュール１１１、グラフィック処理モジュール１１２、映像処理モジュール１１３、音声処理モジュール１１４を備えている。
【００６５】
地上波放送受信用のアンテナ１０１で受信した地上デジタルテレビジョン放送信号は、入力端子１０２を介してチューナー部１０３に供給され、チューナー部１０３は、放送信号から、指定チャンネルの信号を選択し、信号処理モジュール１０８に出力する。信号処理モジュール１０８は、選択された指定チャンネルの信号から映像信号及び音声信号を分離し、映像信号をグラフィック処理モジュール１１２へ出力し、また音声信号を音声処理モジュール１１４へ出力する。
【００６６】
グラフィック処理モジュール１１２は、必要に応じて、映像信号に、ＯＳＤ（on screen display）信号生成モジュール１１１で生成されるＯＳＤ信号を重畳して出力する。グラフィック処理モジュール１１２は、信号処理モジュール１０８からの映像信号と、ＯＳＤ信号生成モジュール１１１からのＯＳＤ信号とを選択的に出力することもできる。
【００６７】
グラフィック処理モジュール１１２から出力された映像信号は、映像処理モジュール１１３に供給される。映像処理モジュール１１３により処理された映像信号は、映像表示部１４１に供給される。映像表示部１４１は、映像信号に基づく映像を表示する。また、音声処理モジュール１１４は、音声信号をスピーカ１４２から出力可能なアナログ音声信号に変換し、スピーカ１４２に出力する。
【００６８】
上記デジタルテレビジョン放送受信装置１は、コントローラ１１０によって統括的に制御されている。コントローラ１１０は、ＣＰＵ（central processing unit）等により構成され、リモートコントローラ等からの信号（各種指示）を受けて、各モジュール等の動作を制御する。また、コントローラ１１０は、ＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）１１０１と、ＣＰＵに作業エリアを提供するＲＡＭ（random access memory）１１０２と、各種の設定情報及び制御情報等が格納される不揮発性メモリ１１０３とを備えている。
【００６９】
例えば、上記した映像処理モジュール１１３は、図６に示す類似度分布作成モジュール３、探索省略領域設定モジュール４、及び探索モジュール５を備え、探索モジュール５が、入力画像（番組画像）からサイズ比の異なる複数のオブジェクト探索対象縮小画像を生成し、各オブジェクト探索対象縮小画像に対して類似度計算による探索処理を行い、必要に応じて検出された類似度、位置、スケールの情報を探索省略領域設定モジュール４におくり、探索省略領域設定モジュール４が、複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像に対して、探索省略領域設定関数に基づき探索省略領域を設定し、さらにオブジェクト探索対象縮小画像のサイズ比の情報等を利用し、その他のオブジェクト探索対象縮小画像に対しても、探索省略領域を設定し、探索モジュール５は、各オブジェクト探索対象縮小画像のうち探索省略領域を除外した除外領域に対してオブジェクト探索を実行し、オブジェクト探索対象縮小画像からオブジェクトを検出することができる。
【００７０】
各オブジェクト探索対象画像、即ち入力画像からオブジェクトを検出する意義について簡単に説明する。映像処理モジュール１１３は、例えば、２Ｄ映像（2-dimensional image）を３Ｄ映像（3-dimensional image）に変換（２Ｄ／３Ｄ変換）する機能を備えている。例えば、２Ｄ／３Ｄ変換処理では、２Ｄ映像を解析し、２Ｄ映像中の人物等の各オブジェクトを検出し、各オブジェクトの前後関係（奥行）を検出し、必要に応じてオブジェクトを変形し、３Ｄ映像を生成する。このような、２Ｄ／３Ｄ変換処理に上記説明したオブジェクト検出を適用することができる。
【００７１】
また、映像処理モジュール１１３は、入力画像を高画質化する高画質化処理機能を備えている。例えば、高画質化処理として、超解像処理が挙げられる。超解像処理は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する処理である。この超解像処理の際に、例えば、オブジェクトを検出し、オブジェクトの種類に応じて超解像処理効果を強めたり、弱めたりすることができる。このような高画質化処理に上記説明したオブジェクト検出を適用することができる。
【００７２】
なお、オブジェクト検出は、上記説明した２Ｄ／３Ｄ変換処理及び高画質化処理への適用だけに限定されるものではなく、オブジェクト検出が必要とされる各種画像処理に適用することができる。つまり、上記説明したオブジェクト探索省略領域設定方法は、上記説明した２Ｄ／３Ｄ変換処理及び高画質化処理へ適用することもできるし、様々な画像処理に適用することもできる。
【００７３】
以下、本実施形態についてまとめる。
【００７４】
実施形態の探索省略領域設定関数生成方法は、サイズ比の異なる複数のモデル縮小画像のうちの第１のモデル縮小画像上の指定探索点に対して、前記第１のモデル縮小画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する。さらに、この方法は、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する。
【００７５】
さらにこの方法は、前記周辺探索点類似度の分布に基づき前記第１のモデル縮小画像上における類似度の度数（頻度、或いは、個数）を計測し、度数に基づいて第１のモデル縮小画像上における類似度分布を作成する。さらに、前記第１のモデル縮小画像と第２のモデル縮小画像との比率に基づき位置の対応付けを求め前記第２のモデル縮小画像上における対応付けされた位置を基準とした相対位置の各位置において、類似度の度数を計測し、度数に基づいて第２のモデル縮小画像上における類似度分布を作成する。なお、「相対位置の推定」或いは、「推定相対位置」とは、ある一箇所に位置を決定するということではなく、存在範囲を予測するということを意味する。
【００７６】
さらにこの方法は、指定した探索漏れ率と前記各モデル縮小画像上の相対位置における類似度分布に基づいて、サイズ比と相対位置と類似度の関数である探索省略領域設定関数を生成する。
【００７７】
実施形態のオブジェクト探索方法は、オブジェクト探索対象画像からスケールを指定した複数のオブジェクト探索対象縮小画像を作成し、第１のオブジェクト探索対象縮小画像上において位置を変えながらテンプレートを対応させて類似度を計算し、検出された類似度と前記探索省略領域設定関数に基づいて各オブジェクト探索対象縮小画像上における探索省略領域を設定し、設定された探索省略領域の類似度計算処理を省いたオブジェクト探索を行う。
【００７８】
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。
【００７９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８０】
１…オブジェクト探索システム、２…画像入力モジュール、３…類似度分布作成モジュール、４…探索省略領域設定モジュール、５…探索モジュール、６…記憶部
【特許請求の範囲】
【請求項１】
サイズ比の異なる各モデル縮小画像上の指定探索点に対して、オブジェクトを探索するためのテンプレートを対応付けて、各モデル縮小画像上の前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、
前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、各モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、
前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき各モデル縮小画像上に前記オブジェクトの探索を省略するための探索省略領域を設定するための関数を生成する探索省略領域設定関数生成方法。
【請求項２】
請求項１記載の探索省略領域設定関数生成方法により生成された前記関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の第１の基準点と前記テンプレートとを対応付け、前記第１のオブジェクト探索対象縮小画像の前記第１の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記第１の基準点に基づき前記第１のオブジェクト探索対象縮小画像上に第１の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像との第１のサイズ比に基づき、前記第２のオブジェクト探索対象縮小画像上に第２の探索省略領域を設定する探索省略領域設定方法。
【請求項３】
前記第１の基準点の第１の座標値と前記第１のサイズ比とに基づき、前記第２のオブジェクト探索対象縮小画像上に前記第２の探索省略領域を設定するための第２の基準点の第２の座標値を設定する請求項２記載の探索省略領域設定方法。
【請求項４】
前記第１の基準点と前記テンプレートとの第１の類似度に基づき、前記第２の探索省略領域のサイズを設定する請求項３記載の探索省略領域設定方法。
【請求項５】
前記第１の座標値と前記第１のサイズ比とに基づき、前記第１の基準点に対応する第２の基準点を前記第２のオブジェクト探索対象縮小画像上に設定し、前記第１の類似度に基づき、前記第２の基準点を基準として設定される前記第２の探索省略領域のサイズを設定する請求項４記載の探索省略領域設定方法。
【請求項６】
前記複数のオブジェクト探索対象縮小画像のうち最も小さい前記第１のオブジェクト探索対象縮小画像に対する探索省略領域設定処理を他のオブジェクト探索対象縮小画像に対する探索省略領域設定処理より優先する請求項２乃至４の何れか１項記載の探索省略領域設定方法。
【請求項７】
請求項２記載の探索省略領域設定方法により、前記第１のオブジェクト探索対象縮小画像に対して前記第１の探索省略領域を設定し、前記第２のオブジェクト探索対象縮小画像に対して前記第２の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像から前記第１の探索省略領域を除外した除外領域から、前記オブジェクトを探索し、前記第２のオブジェクト探索対象縮小画像から前記第２の探索省略領域を除外した除外領域から、前記オブジェクトを探索するオブジェクト探索方法。
【請求項８】
サイズ比の異なる各モデル縮小画像上の指定探索点に対して、オブジェクトを探索するためのテンプレートを対応付けて、各モデル縮小画像上の前記指定探索点と前記テンプレートとの指定探索点類似度を検出する第１の検出手段と、
前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記所定位置関係の各モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する第２の検出手段と、
前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき各モデル縮小画像上に前記オブジェクトの探索を省略するための探索省略領域を設定するための関数を生成する生成手段と、
を備えた探索省略領域設定関数生成装置。
【請求項９】
請求項８記載の探索省略領域設定関数生成装置により生成された前記関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の第１の基準点と前記テンプレートとを対応付け、前記第１のオブジェクト探索対象縮小画像の前記第１の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記第１の基準点に基づき前記第１のオブジェクト探索対象縮小画像上に第１の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像との第１のサイズ比に基づき、前記第２のオブジェクト探索対象縮小画像上に第２の探索省略領域を設定する設定手段を備えた探索省略領域設定装置。
【請求項１０】
請求項９記載の探索省略領域設定装置により、前記第１のオブジェクト探索対象縮小画像に対して前記第１の探索省略領域を設定し、前記第２のオブジェクト探索対象縮小画像に対して前記第２の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像から前記第１の探索省略領域を除外した除外領域から、前記オブジェクトを探索し、前記第２のオブジェクト探索対象縮小画像から前記第２の探索省略領域を除外した除外領域から、前記オブジェクトを探索する探索手段を備えたオブジェクト探索装置。
【請求項１】
サイズ比の異なる各モデル縮小画像上の指定探索点に対して、オブジェクトを探索するためのテンプレートを対応付けて、各モデル縮小画像上の前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、
前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、各モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、
前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき各モデル縮小画像上に前記オブジェクトの探索を省略するための探索省略領域を設定するための関数を生成する探索省略領域設定関数生成方法。
【請求項２】
請求項１記載の探索省略領域設定関数生成方法により生成された前記関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の第１の基準点と前記テンプレートとを対応付け、前記第１のオブジェクト探索対象縮小画像の前記第１の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記第１の基準点に基づき前記第１のオブジェクト探索対象縮小画像上に第１の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像との第１のサイズ比に基づき、前記第２のオブジェクト探索対象縮小画像上に第２の探索省略領域を設定する探索省略領域設定方法。
【請求項３】
前記第１の基準点の第１の座標値と前記第１のサイズ比とに基づき、前記第２のオブジェクト探索対象縮小画像上に前記第２の探索省略領域を設定するための第２の基準点の第２の座標値を設定する請求項２記載の探索省略領域設定方法。
【請求項４】
前記第１の基準点と前記テンプレートとの第１の類似度に基づき、前記第２の探索省略領域のサイズを設定する請求項３記載の探索省略領域設定方法。
【請求項５】
前記第１の座標値と前記第１のサイズ比とに基づき、前記第１の基準点に対応する第２の基準点を前記第２のオブジェクト探索対象縮小画像上に設定し、前記第１の類似度に基づき、前記第２の基準点を基準として設定される前記第２の探索省略領域のサイズを設定する請求項４記載の探索省略領域設定方法。
【請求項６】
前記複数のオブジェクト探索対象縮小画像のうち最も小さい前記第１のオブジェクト探索対象縮小画像に対する探索省略領域設定処理を他のオブジェクト探索対象縮小画像に対する探索省略領域設定処理より優先する請求項２乃至４の何れか１項記載の探索省略領域設定方法。
【請求項７】
請求項２記載の探索省略領域設定方法により、前記第１のオブジェクト探索対象縮小画像に対して前記第１の探索省略領域を設定し、前記第２のオブジェクト探索対象縮小画像に対して前記第２の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像から前記第１の探索省略領域を除外した除外領域から、前記オブジェクトを探索し、前記第２のオブジェクト探索対象縮小画像から前記第２の探索省略領域を除外した除外領域から、前記オブジェクトを探索するオブジェクト探索方法。
【請求項８】
サイズ比の異なる各モデル縮小画像上の指定探索点に対して、オブジェクトを探索するためのテンプレートを対応付けて、各モデル縮小画像上の前記指定探索点と前記テンプレートとの指定探索点類似度を検出する第１の検出手段と、
前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記所定位置関係の各モデル縮小画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する第２の検出手段と、
前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき各モデル縮小画像上に前記オブジェクトの探索を省略するための探索省略領域を設定するための関数を生成する生成手段と、
を備えた探索省略領域設定関数生成装置。
【請求項９】
請求項８記載の探索省略領域設定関数生成装置により生成された前記関数に基づき、サイズ比の異なる複数のオブジェクト探索対象縮小画像のうちの第１のオブジェクト探索対象縮小画像上の第１の基準点と前記テンプレートとを対応付け、前記第１のオブジェクト探索対象縮小画像の前記第１の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記第１の基準点に基づき前記第１のオブジェクト探索対象縮小画像上に第１の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像と第２のオブジェクト探索対象縮小画像との第１のサイズ比に基づき、前記第２のオブジェクト探索対象縮小画像上に第２の探索省略領域を設定する設定手段を備えた探索省略領域設定装置。
【請求項１０】
請求項９記載の探索省略領域設定装置により、前記第１のオブジェクト探索対象縮小画像に対して前記第１の探索省略領域を設定し、前記第２のオブジェクト探索対象縮小画像に対して前記第２の探索省略領域を設定し、前記第１のオブジェクト探索対象縮小画像から前記第１の探索省略領域を除外した除外領域から、前記オブジェクトを探索し、前記第２のオブジェクト探索対象縮小画像から前記第２の探索省略領域を除外した除外領域から、前記オブジェクトを探索する探索手段を備えたオブジェクト探索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２４２８９０（Ｐ２０１２−２４２８９０Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０９４０５（Ｐ２０１１−１０９４０５）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]