画像処理装置、画像処理方法および画像処理プログラム
【課題】画像内の物体を安定して追尾すること。
【解決手段】画像処理装置１００は、追尾対象となる物体の複数の部分テンプレートと、テンプレート画像とを比較して、領域毎の相関値を算出する。画像処理装置１００は、相関値に基づいて、部分テンプレートに類似する画像領域を仮説領域として抽出する。画像処理装置１００は、複数の仮説領域を重複しないように組み合わせた全体仮説を生成し、相関値や誤差を基にして、全体仮説の評価値を算出する。画像処理装置１００は、評価値を基にして、複数の全体仮説から最適な全体仮説を判定する。
【解決手段】画像処理装置１００は、追尾対象となる物体の複数の部分テンプレートと、テンプレート画像とを比較して、領域毎の相関値を算出する。画像処理装置１００は、相関値に基づいて、部分テンプレートに類似する画像領域を仮説領域として抽出する。画像処理装置１００は、複数の仮説領域を重複しないように組み合わせた全体仮説を生成し、相関値や誤差を基にして、全体仮説の評価値を算出する。画像処理装置１００は、評価値を基にして、複数の全体仮説から最適な全体仮説を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等に関する。
【背景技術】
【０００２】
カメラが撮影した画像を解析し、画像内の所定の物体を追尾する画像処理装置が存在する。例えば、従来の画像処理装置は、追尾対象となる物体の特徴的な部分の画像を部分テンプレートとして用いる。この特徴的な部分は、例えば、物体の端に対応する。画像処理装置は、部分テンプレートと追尾対象の画像との相関演算を行い、相関値が最大となる領域を部分テンプレートに該当する領域と判定する。画像処理装置は、連続する画像に対して、部分テンプレートに該当する領域を順次判定し、判定結果に基づいて、物体の移動量を推定する。
【０００３】
図１４は、従来技術を説明するための図である。図１４の１０は、物体のテンプレート画像である。ここでは、追尾する物体を船とする。テンプレート画像１０には、部分テンプレート１０ａ〜１０ｅが含まれる。例えば、部分テンプレート１０ａは、船の船橋部分の画像である。部分テンプレート１０ｂ、１０ｃは、船首部分の画像である。部分テンプレート１０ｄ、１０ｅは、船尾部分の画像である。
【０００４】
図１４の２０は、追尾対象の画像である。画像処理装置は、部分テンプレート１０ａ〜１０ｅと画像２０とを基にして相関演算を行い、相関値が最大となる領域を判定する。図１４に示す例では、部分テンプレート１０ａ〜１０ｅとの相関値が最大となる領域は、２０ａ〜２０ｅとなる。
【０００５】
画像処理装置は、画像２０の次のフレームとなる画像３０に対しても、部分テンプレート１０ａ〜１０ｅと画像２０とを基にして相関演算を行い、相関値が最大となる領域を判定する。図１４に示す例では、部分テンプレート１０ａ〜１０ｅとの相関値が最大となる位置は、３０ａ〜３０ｅとなる。
【０００６】
画像２０内の領域２０ａ〜２０ｅは、画像３０内の領域３０ａ〜３０ｅにそれぞれ対応している。このため、例えば、画像処理装置は、領域２０ａ〜２０ｅから領域３０ａ〜３０ｅの各移動量を統合することで、船の移動量を推定し、船を追尾する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３４７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、画像内の物体を安定して追尾することができないという問題があった。
【０００９】
図１５は、従来技術の問題を説明するための図である。図１５に示すように、追尾対象となる物体に類似する部分が複数存在し、この類似の部分を部分テンプレートとした場合に、画像内の物体を安定して追尾できなくなる。図１５では、画像４０の船に類似の部分４１、４２が存在している。このため、画像処理装置が、領域４３を部分テンプレートとすると、追尾対象の画像５０内の領域５１、５２において、相関値が高くなり、どちらが部分テンプレート４３に対応する領域なのかを判定できない。同様に、画像処理装置が、領域４４を部分テンプレートとすると、画像５０内の領域５１、５２において、相関値が高くなり、どちらが部分テンプレートに対応する領域なのかを判定できない。
【００１０】
開示の技術は、上記に鑑みてなされたものであって、画像内の物体を安定して追尾することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
開示の画像処理装置は、相関値算出部と、仮説領域抽出部と、全体仮説生成部と、全体仮説評価部を有する。相関値算出部は、追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出する。仮説領域抽出部は、相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出する。全体仮説抽出部は、複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成する。全体仮説評価部は、複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する。
【発明の効果】
【００１２】
開示の画像処理装置によれば、画像内の物体を安定して追尾することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施例にかかる画像処理装置の構成を示す図である。
【図２Ａ】図２Ａは、部分テンプレートの抽出結果の一例を示す図である。
【図２Ｂ】図２Ｂは、部分テンプレート記憶部のデータ構造の一例を示す図である。
【図３】図３は、相関値データのデータ構造の一例を示す図である。
【図４Ａ】図４Ａは、部分テンプレートと仮説領域との対応を示す図（１）である。
【図４Ｂ】図４Ｂは、部分テンプレートと仮説領域との対応を示す図（２）である。
【図４Ｃ】図４Ｃは、部分テンプレートと仮説領域との対応を示す図（３）である。
【図４Ｄ】図４Ｄは、部分テンプレートと仮説領域との対応を示す図（４）である。
【図４Ｅ】図４Ｅは、部分テンプレートと仮説領域との対応を示す図（５）である。
【図４Ｆ】図４Ｆは、部分テンプレートと仮説領域との対応を示す図（６）である。
【図５】図５は、仮説領域データのデータ構造の一例を示す図である。
【図６】図６は、全体仮説の処理を説明するための図である。
【図７】図７は、全体仮説データのデータ構造の一例を示す図である。
【図８】図８は、部分テンプレートの座標と理論的な仮説領域の座標との関係を示す図である。
【図９】図９は、評価基準データの一例を示す図である。
【図１０】図１０は、画像処理装置の処理手順を示すフローチャートである。
【図１１】図１１は、追尾情報生成処理の処理手順を示すフローチャートである。
【図１２】図１２は、評価値算出処理の処理手順を示すフローチャートである。
【図１３】図１３は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。
【図１４】図１４は、従来技術を説明するための図である。
【図１５】図１５は、従来技術の問題を説明するための図である。
【発明を実施するための形態】
【００１４】
以下に、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１５】
本実施例にかかる画像処理装置の構成について説明する。図１は、本実施例にかかる画像処理装置の構成を示す図である。図１に示すように、画像処理装置１００は、入力部１０５ａ、表示部１０５ｂ、カメラ部１１０を有する。また、画像処理装置１００は、入力画像記憶部１２０、部分テンプレート抽出部１３０、部分テンプレート記憶部１４０、相関値算出部１５０、仮説領域抽出部１６０、全体仮説生成部１７０、全体仮説評価部１８０を有する。
【００１６】
入力部１０５ａは、キーボードやマウス等の入力装置に対応する。表示部１０５ｂは、ディスプレイ等の表示装置に対応する。例えば、表示部１０５ｂは、画像処理装置１００の処理結果や、カメラ部１１０が撮影した画像等を表示する装置である。
【００１７】
例えば、利用者は、入力部１０５ａを操作して、追尾対象となる物体を撮影した時刻を、画像処理装置１００に入力する。また、利用者は、入力部１０５ａを操作して、追尾対象となる物体が含まれる領域を指定する。
【００１８】
カメラ部１１０は、撮影範囲の画像を撮影し、撮影した画像データを入力画像記憶部１２０に順次記憶する処理部である。カメラ部１１０は、例えば、カメラ等の撮像装置に対応する。例えば、カメラ部１１０は、画像データと、この画像データが撮影された時刻とを対応づけて入力画像が撮影された時刻とを対応づけて、入力画像記憶部１２０に記憶する。
【００１９】
入力画像記憶部１２０は、画像データと、この画像データが撮影された時刻とを対応づけて記憶する記憶部である。
【００２０】
部分テンプレート抽出部１３０は、追尾対象となる物体の部分領域を、部分テンプレートとして抽出する処理部である。部分テンプレート抽出部１３０は、部分テンプレートのデータを部分テンプレート記憶部１４０に格納する。
【００２１】
ここで、部分テンプレート抽出部１３０の処理について説明する。まず、部分テンプレート抽出部１３０は、入力部１０５ａから時刻を取得し、時刻に対応する画像データを入力画像記憶部１２０から検出する。以下の説明において、この検出した画像データをテンプレート画像と表記する。部分テンプレート抽出部１３０は、テンプレート画像を表示部１０５ｂに表示させ、追尾対象となる物体の領域を、入力部１０５ａから取得する。
【００２２】
部分テンプレート抽出部１３０は、テンプレート画像内の追尾対象となる物体の領域から、部分テンプレートを抽出する。例えば、部分テンプレート抽出部１３０は、Harrisコーナー等のコーナー検出法に基づいて、テンプレート画像から部分テンプレートを抽出する。Harrisコーナーは、文献（C. Harris and M. Stephens,(1988） "A combined corner and edge detector". Proceedings of the 4th Alvey Vision Conference. pp. 147−151.）に開示されている。
【００２３】
コーナー検出法を用いて、部分テンプレートを抽出する処理の一例について説明する。部分テンプレート抽出部１３０は、追尾対象となる物体の領域を、複数の部分領域に分割する。部分テンプレート抽出部１３０は、部分領域がある局所近傍で方向の異なる２つの際立ったエッジが存在するコーナー点を含んでいるか否かを判定する。部分テンプレート抽出部１３０は、コーナー点を含んでいる部分領域の画像を、部分テンプレートとして抽出する。部分テンプレート抽出部１３０は、部分テンプレートを部分テンプレート記憶部１４０に記憶する。
【００２４】
図２Ａは、部分テンプレートの抽出結果の一例を示す図である。図２Ａの画像６０は、テンプレート画像に対応する。図２Ａに示す例では、部分テンプレート１〜６が抽出された場合を示している。
【００２５】
部分テンプレート記憶部１４０は、部分テンプレートのデータを記憶する記憶装置である。図２Ｂは、部分テンプレート記憶部のデータ構造の一例を示す図である。図２Ｂに示すように、部分テンプレート記憶部１４０は、部分テンプレート番号と、部分テンプレート座標と、部分テンプレート画像とを対応づけて記憶している。ここで、部分テンプレート座標は、部分テンプレートの中心座標である。部分テンプレート画像は、部分テンプレートの画像データである。
【００２６】
相関値算出部１５０は、画像データの各領域と部分テンプレートとの相関値を算出する処理部である。相関値算出部１５０は、画像データと、該画像データの各領域と部分テンプレートとの相関値データを、仮説領域抽出部１６０に出力する。
【００２７】
例えば、相関値算出部１５０は、式（１）を利用して、相関値Ｖを算出する。式（１）において、Ｒは、部分テンプレートの各画素の輝度に対応する。Ｓは、部分テンプレートの領域と重なる、画像データの領域の各画素の輝度に対応する。なお、式（１）に含まれるΣ１は、部分テンプレートに含まれる画素の数に対応する。
【００２８】
【数１】
【００２９】
相関値算出部１５０は、画像データの領域上で、部分テンプレートの位置を順次移動させ、式（１）を利用して、領域毎の相関値Ｖを算出する。部分テンプレート記憶部１４０には、複数の部分テンプレートが格納されている。相関値算出部１５０は、部分テンプレートを部分テンプレート記憶部１４０から順次取得し、部分テンプレート毎に相関値を算出する。部分テンプレート毎の相関値の情報を相関値データと表記する。
【００３０】
図３は、相関値データのデータ構造の一例を示す図である。図３に示すように、この相関値データは、部分テンプレート番号と相関値とを対応づけている。部分テンプレート番号は、部分テンプレートを識別する番号である。相関値は、座標毎の部分テンプレートとの画像データとの相関値を示す。ここで、座標は、相関値を算出した領域の中心座標に対応する。
【００３１】
仮説領域抽出部１６０は、相関データを基にして、部分テンプレートに類似する画像データ上の領域を仮説領域として抽出する処理部である。仮説領域抽出部１６０は、仮説領域データを全体仮説生成部１７０に出力する。
【００３２】
仮説領域抽出部１６０が、仮説領域を抽出する処理について説明する。仮説領域抽出部１６０は、部分テンプレート毎に、相関値が極大点をとる座標を判定する。そして、仮説領域抽出部１６０は、相関値が極大となる座標のうち、この極大値が所定の閾値を超える座標を、仮説領域として抽出する。仮説領域抽出部１６０は、単一の部分テンプレートに対して、所定の閾値を超える極大値が複数存在する場合には、各極大値をとる座標を仮説領域とする。
【００３３】
図４Ａ〜図４Ｆは、部分テンプレートと仮説領域との対応を示す図である。図４Ａにおいて、画像６０は、テンプレート画像であり、画像７０は、画像データである。部分テンプレート１と、画像７０の各領域との相関値が、領域１ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域１ａを、部分テンプレート１の仮説領域１ａとして抽出する。
【００３４】
図４Ｂにおいて、部分テンプレート２と、画像７０の各領域との相関値が、領域２ａ、２ｂにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域２ａ、２ｂを、部分テンプレート２の仮説領域２ａ、２ｂとして抽出する。
【００３５】
図４Ｃにおいて、部分テンプレート３と、画像７０の各領域との相関値が、領域３ａ、３ｂにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域３ａ、３ｂを、部分テンプレート３の仮説領域３ａ、３ｂとして抽出する。
【００３６】
図４Ｄにおいて、部分テンプレート４と、画像７０の各領域との相関値が、領域４ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域４ａを、部分テンプレート４の仮説領域４ａとして抽出する。
【００３７】
図４Ｅにおいて、部分テンプレート５と、画像７０の各領域との相関値が、領域５ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域５ａを、部分テンプレート５の仮説領域５ａとして抽出する。
【００３８】
図４Ｆにおいて、部分テンプレート６と、画像７０の各領域との相関値が、領域６ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域６ａを、部分テンプレート６の仮説領域６ａとして抽出する。
【００３９】
仮説領域抽出部１６０は、部分テンプレートと、部分テンプレートに対応する仮説領域の座標とを対応づけた仮説領域データを生成する。図５は、仮説領域データのデータ構造の一例を示す図である。図５に示すように、この仮説領域データは、部分テンプレート番号と、仮説領域番号、仮説領域座標、相関値とを対応づけている。例えば、図５の１段目に示す例では、部分テンプレート番号「１」に対応する仮説領域番号は「１ａ」である。そして、仮説領域座標が「２０、５０」であり、部分テンプレートと仮説領域との相関値が「０．８」である旨が登録されている。なお、仮説領域座標を中心とする所定の大きさの矩形内領域が、仮説領域に対応する。
【００４０】
図５に示す例では、部分テンプレート番号１、４〜６の部分テンプレートには、単一の仮説領域が存在しているため、単一の仮説領域番号と仮説領域座標と相関値との組が存在する。部分テンプレート番号２、３の部分テンプレートには、２つの仮説領域が存在するため、２つの仮説領域番号と仮説領域座標と相関値との組が存在する。
【００４１】
全体仮説生成部１７０は、仮説領域データを基にして、部分テンプレートに対応する各仮説領域を組み合わせることで、全体仮説データを生成する処理部である。ただし、全体仮説生成部１７０は、同一の部分テンプレートに属する仮説領域の組み合わせを除く。また、全体仮説生成部１７０は、仮説領域を組み合わせた場合に、重複する組み合わせを削除する。
【００４２】
ここで、重複する組み合わせとは、実質同一の仮説領域が複数存在する組み合わせを意味する。例えば、図４Ｂおよび図４Ｃにおいて、仮説領域２ａと仮説領域３ａとは、実質同一の仮説領域である。また、仮説領域２ｂと、仮説領域３ｂとは実質同一の仮説領域である。異なる部分テンプレートが、同一の仮説領域に一致することはない。このため、全体仮説生成部１７０は、実質同一の仮説領域が複数存在する組み合わせを削除する。
【００４３】
なお、全体仮説生成部１７０は、各仮説領域の座標を比較して、実質同一の仮説領域であるか否かを判定する。座標が一致する場合には、各仮説領域は、実質同一の仮説領域となる。
【００４４】
全体仮説生成部１７０の処理について説明する。図６は、全体仮説の処理を説明するための図である。部分テンプレート１に対応する仮説領域が１個、部分テンプレート２に対応する仮説領域が２個、部分テンプレート３に対応する仮説領域が２個存在する。また、部分テンプレート４に対応する仮説領域が１個、部分テンプレート５に対応する仮説領域が１個、部分テンプレート６に対応する仮説領域が１個である。このため、重複の有無を条件とせず、各仮説領域を組み合わせると、図６に示すように４種類の組み合わせが生成される。各組み合わせをそれぞれ全体仮説８１〜８４とする。
【００４５】
全体仮説生成部１７０は、全体仮説８１〜８４を参照し、同一の全体仮説に、実質同一の仮説領域が含まれているか否かを判定する。実質同一の仮説領域は、仮説領域２ａおよび仮説領域３ａと、仮説領域２ｂおよび仮説領域３ｂである。全体仮説８１〜８４のうち、全体仮説８１は、仮説領域２ａ、３ａを有しているので、重複する組み合わせである。また、全体仮説８４は、仮説領域２ｂ、３ｂを有しているので、重複する組み合わせである。このため、全体仮説生成部１７０は、全体仮説８１、８４を削除する。
【００４６】
全体仮説生成部１７０は、重複する全体仮説を削除した全体仮説を含む全体仮説データを生成し、全体仮説データを全体仮説評価部１８０に出力する。図７は、全体仮説データのデータ構造の一例を示す図である。図７に示すように、全体仮説番号と、部分テンプレート番号と、仮説領域番号と、仮説領域座標と、相関値とを対応づけている。全体仮説番号は、全体仮説を識別する番号である。部分テンプレート番号、仮説領域番号、仮説領域座標、相関値に関する説明は、上記のものと同様である。
【００４７】
全体仮説評価部１８０は、全体仮説に含まれる各仮説領域の相関値、および、推定パラメータによる理論的な仮説領域の座標と実際の仮説領域の座標との誤差から、各全体仮説を評価し、最適な全体仮説を判定する処理部である。
【００４８】
まず、全体仮説評価部１８０が、理論的な仮説領域の座標を求める処理について説明する。全体仮説評価部１８０は、部分パラメータの座標から全体仮説に含まれる仮説領域の座標への変換式（２）を求める。ここでは、部分パラメータの座標を（ｘ、ｙ）とし、仮説領域の座標を（ｘ’、ｙ’）とする。
【００４９】
【数２】
【００５０】
式（２）において、ａ１、ｂ１、ｃ１、ｄ１、ｅ１、ｆ１は、アフィン変換パラメータである。例えば、全体仮説評価部１８０は、最小２乗法を利用してアフィン変換パラメータを推定する。本実施例では、部分テンプレートの座標（ｘ、ｙ）と仮想領域の座標（ｘ’、ｙ’）との組が、６組存在する。各組をそれぞれ「（ｘ１、ｙ１）、（ｘ’１、ｙ’１）」、「（ｘ２、ｙ２）、（ｘ’２、ｙ’２）」、「（ｘ３、ｙ３）、（ｘ’３、ｙ’３）」、「（ｘ４、ｙ４）、（ｘ’４、ｙ’４）」とする。また、「（ｘ５、ｙ５）、（ｘ’５、ｙ’５）」、「（ｘ６、ｙ６）、（ｘ’６、ｙ’６）」とする。
【００５１】
上記の式（２）に、各組の値を代入することで、以下の１２個の式（３）〜（１４）が得られる。
【００５２】
ｘ’１＝ａ１ｘ１＋ｂ１ｙ１＋ｅ１・・・（３）
【００５３】
ｘ’２＝ａ１ｘ２＋ｂ１ｙ２＋ｅ１・・・（４）
【００５４】
ｘ’３＝ａ１ｘ３＋ｂ１ｙ３＋ｅ１・・・（５）
【００５５】
ｘ’４＝ａ１ｘ４＋ｂ１ｙ４＋ｅ１・・・（６）
【００５６】
ｘ’５＝ａ１ｘ５＋ｂ１ｙ５＋ｅ１・・・（７）
【００５７】
ｘ’６＝ａ１ｘ６＋ｂ１ｙ６＋ｅ１・・・（８）
【００５８】
ｙ’１＝ｃ１ｘ１＋ｄ１ｙ１＋ｆ１・・・（９）
【００５９】
ｙ’２＝ｃ１ｘ２＋ｄ１ｙ２＋ｆ１・・・（１０）
【００６０】
ｙ’３＝ｃ１ｘ３＋ｄ１ｙ３＋ｆ１・・・（１１）
【００６１】
ｙ’４＝ｃ１ｘ４＋ｄ１ｙ４＋ｆ１・・・（１２）
【００６２】
ｙ’５＝ｃ１ｘ５＋ｄ１ｙ５＋ｆ１・・・（１３）
【００６３】
ｙ’６＝ｃ１ｘ６＋ｄ１ｙ６＋ｆ１・・・（１４）
【００６４】
このうち、式（３）〜式（８）は、式（１５）、式（１６）、式（１７）を用いると、式（１８）で表すことができる。
【００６５】
【数３】
【００６６】
【数４】
【００６７】
【数５】
【００６８】
Ｙ１＝Ｘ１β１・・・（１８）
【００６９】
式（１８）のβ１の最小２乗推定値は、式（１９）であることから、アフィン変換パラメータ（ａ１、ｂ１、ｅ１）が求まる。
【００７０】
【数６】
【００７１】
一方、式（９）〜式（１４）は、式（２０）、式（２１）、式（２２）を用いると、式（２３）で表すことができる。
【００７２】
【数７】
【００７３】
【数８】
【００７４】
【数９】
【００７５】
Ｙ２＝Ｘ２β２・・・（２３）
【００７６】
式（２３）のβ２の最小２乗推定値は、式（２４）であることから、アフィン変換パラメータ（ｃ１、ｄ１、ｆ１）が求まる。
【００７７】
【数１０】
【００７８】
全体仮説評価部１８０は、上記アフィン変換パラメータを求めた後に、式（２）に部分テンプレートの座標を代入することで、理論的な仮説領域の座標を算出する。図８は、部分テンプレートの座標と理論的な仮説領域の座標との関係を示す図である。例えば、図８
の１段目では、部分テンプレート座標（１０、３０）を、式（２）に代入することにより、理論的な仮説領域座標（２３、５０）が求められる。その他の理論的な仮説領域座標も、部分テンプレート座標を代入することで求められる。
【００７９】
全体仮説評価部１８０は、部分テンプレートに対応する理論的な仮説領域の座標を求めた後に、この理論的な仮説領域の座標と、実際の仮説領域の座標との誤差を算出する。全体仮説評価部１８０は、同一の部分テンプレート番号に対応する理論的な座標と、実際の仮説領域の座標との誤差を求める。一例として、同一の部分テンプレート番号に対応する理論的な座標と、実際の仮説領域の座標のユーグリッド距離を誤差として採用してもよい。
【００８０】
一例として、全体仮説８２の仮説領域番号１ａの誤差を求める場合について説明する。図７、図８を参照する。仮説領域番号１ａの仮説領域座標は、（２０、５０）である。この仮説領域番号１ａの仮説領域座標が、実際の仮説領域の座標に対応する。また、仮説領域番号１ａに対応する部分テンプレート番号は「１」であり、この部分テンプレートの座標から求められる理論的な仮説領域の座標は（２３、５０）である。例えば、誤差を座標間の距離とすると、理論的な仮説領域の座標（２３、５０）と、実際の仮説領域の座標（２０、５０）との誤差は「３」となる。全体仮説評価部１８０は、他の誤差も算出する。
【００８１】
全体仮説評価部１８０は、各誤差を求めた後に、評価基準データを生成する。図９は、評価基準データの一例を示す図である。図９に示すように、評価基準データは、全体仮説番号、部分テンプレート番号、仮説領域番号、仮説領域座標、相関値、誤差を対応づけている。図９に示すように、全体仮説番号の仮説領域番号毎に、誤差が登録されている。例えば、全体仮説番号８２の各仮説領域番号１ａ、２ｂ、３ａ、４ａ、５ａ、６ａの誤差は３、−１９、１９、−３、２、−２となる。また、全体仮説番号８３の各仮説領域番号１ａ、２ａ、３ｂ、４ａ、５ａ、６ａの誤差は全て０となる。なお、図９の全体仮説番号、部分テンプレート番号、仮説領域番号、仮説領域座標、相関値に関する説明は、図７のものと同様である。
【００８２】
全体仮説評価部１８０は、評価基準データを基にして、各全体仮説の評価値を算出する。全体仮説評価部１８０は、全体仮説に含まれる仮説領域毎に、スコアを算出し、スコアを合計することで、該当する全体仮説の評価値を算出する。全体仮説評価部１８０は、式（２５）に基づいて、スコアを算出する。式（２５）において、αおよびβは、重みに関する係数である。ここでは一例として、αの値を０．１、βの値を１とする。また、誤差の値は絶対値を用いる。
【００８３】
Score＝α×誤差＋β×（１．０−相関値）・・・（２５）
【００８４】
全体仮説評価部１８０は、式（２５）に基づいて、全体仮説番号８２、８３に対応する全体仮説の評価値を算出する。そうすると、全体仮説番号８２に対応する全体仮説の評価値が「５．７３」となる。また、全体仮説番号８３に対応する全体仮説の評価値が「１．１７」となる。
【００８５】
全体仮説評価部１８０は、各全体仮説に対応する評価値のうち、最小となる全体仮説番号を選択する。全体仮説評価部１８０は、各全体仮説の評価値を比較すると、全体仮説番号８３に対応する全体仮説の評価値が最小となる。このため、全体仮説評価部１８０は、全体仮説番号８３の全体仮説を選択する。全体仮説評価部１８０が、選択した全体仮説が、最適な全体仮説となる。
【００８６】
全体仮説評価部１８０は、最適な全体仮説を判定した後に、追尾情報を生成する。例えば、全体仮説評価部１８０は、判定した全体仮説に含まれる各仮説領域の座標の重心を算出し、算出した重心の座標を追尾情報とする。全体仮説評価部１８０は、生成した追尾情報を、各種処理装置に出力する。各種処理装置は、追尾情報を基にして、追尾対象となる物体の画像上での座標を把握し、各種処理を行う。例えば、各種処理装置は、追尾情報を基にして、追尾対象となる物体と枠とを重畳表示し、視認性を高める。
【００８７】
次に、本実施例の画像処理装置１００の処理手順について説明する。図１０は、画像処理装置の処理手順を示すフローチャートである。例えば、図１０に示す処理は、カメラ部１１０によって撮影された画像の画像データが、入力画像記憶部１２０に記憶されたことを契機にして実行される。図１０に示すように、画像処理装置１００は、画像データを格納し（ステップＳ１０１）、部分テンプレートを抽出する（ステップＳ１０２）。画像処理装置１００は、追尾情報生成処理を実行し（ステップＳ１０３）、追尾対象の座標を判定する（ステップＳ１０４）。
【００８８】
次に、図１０のステップＳ１０３に示した追尾情報生成処理について説明する。図１１は、追尾情報生成処理の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００は、部分テンプレート番号Ｔに１を設定し（ステップＳ２０１）、部分テンプレート番号Ｔの部分テンプレートと画像データとを基にして、相関演算し、各領域での相関値を計算する（ステップＳ２０２）。
【００８９】
画像処理装置１００は、相関値が極大かつ閾値を超える領域を、仮説領域に設定し（ステップＳ２０３）、部分テンプレート番号Ｔに１を加算する（ステップＳ２０４）。画像処理装置１００は、全ての部分テンプレートの相関値を求めていない場合には（ステップＳ２０５，Ｎｏ）、ステップＳ２０２に移行する。
【００９０】
画像処理装置１００は、全ての部分テンプレートの相関値を求めた場合には（ステップＳ２０５，Ｙｅｓ）、各仮説領域を組み合わせ、全体仮説を構築する（ステップＳ２０６）。画像処理装置１００は、全体仮説番号Ａを初期値に設定する（ステップＳ２０７）。
【００９１】
画像処理装置１００は、全体仮説の中に、部分テンプレートの移動先同士の距離が閾値Ｄｔｈ以下のものが存在するかを判定する（ステップＳ２０８）。画像処理装置１００は、閾値Ｄｔｈ以下のものが存在しない場合には（ステップＳ２０８，Ｎｏ）、ステップＳ２１０に移行する。
【００９２】
一方、画像処理装置１００は、閾値Ｄｔｈ以下のものが存在する場合には（ステップＳ２０８，Ｙｅｓ）、該当する全体仮説を除去する（ステップＳ２０９）。画像処理装置１００は、次の全体仮説番号Ａを設定し（ステップＳ２１０）、全ての全体仮説番号Ａについて、ステップＳ２０８の処理を行ったか否かを判定する（ステップＳ２１１）。
【００９３】
画像処理装置１００は、全ての全体仮説番号Ａについて処理を行っていない場合には（ステップＳ２１１，Ｎｏ）、ステップＳ２０８に移行する。一方、画像処理装置１００は、全ての全体仮説番号Ａについて処理を行った場合には（ステップＳ２１１，Ｙｅｓ）、全体仮説番号Ａを初期値に設定する（ステップＳ２１２）。
【００９４】
画像処理装置１００は、評価値算出処理を実行し（ステップＳ２１３）、次の全体仮説番号Ａを設定する（ステップＳ２１４）。画像処理装置１００は、全ての全体仮説番号ＡについてステップＳ２１３の処理を行ったか否かを判定する（ステップＳ２１５）。
【００９５】
画像処理装置１００は、全ての全体仮説番号Ａについて処理を行っていない場合には（ステップＳ２１５，Ｎｏ）、ステップＳ２１３に移行する。一方、画像処理装置１００は、全ての全体仮説番号Ａについて処理を行った場合には（ステップＳ２１５，Ｙｅｓ）、全体仮説の評価値が最小となるものを選択して追尾情報を生成する（ステップＳ２１６）。
【００９６】
次に、図１１のステップＳ２１３に示した評価値算出処理の処理手順について説明する。図１２は、評価値算出処理の処理手順を示すフローチャートである。図１２に示すように、画像処理装置１００は、最小２乗法を基にして、アフィン変換パラメータを推定する（ステップＳ３０１）。
【００９７】
画像処理装置１００は、部分テンプレート番号Ｔを１に設定し（ステップＳ３０２）、仮説領域と、アフィン変換パラメータを用いて計算した理論的な仮説領域との誤差を算出する（ステップＳ３０３）。
【００９８】
画像処理装置１００は、誤差と相関値とを基にして、部分テンプレートのスコアを算出し（ステップＳ３０４）、部分テンプレート番号に１を加算する（ステップＳ３０５）。画像処理装置１００は、全ての部分テンプレートのスコアを求めたか否かを判定する（ステップＳ３０６）。
【００９９】
画像処理装置１００は、全ての部分テンプレートのスコアを求めていない場合には（ステップＳ３０６，Ｎｏ）、ステップＳ３０３に移行する。一方、画像処理装置１００は、全ての部分テンプレートのスコアを求めた場合には（ステップＳ３０６，Ｙｅｓ）、全部分テンプレートのスコアの総和を、全体仮説の評価値に設定する（ステップＳ３０７）。
【０１００】
次に、本実施例にかかる画像処理装置１００の効果について説明する。画像処理装置１００は、部分プレートと画像データとマッチングして、追尾対象の各部分の移動先の候補を、仮説領域として抽出する。そして、画像処理装置１００は、各仮説領域を重複しないように組み合わせ、組み合わせの評価値に基づいて、最適な組み合わせを選択する。このため、追跡対象の物体に類似する領域が複数存在し、類似する領域を部分テンプレートとした場合であっても、可能性の低い組み合わせを評価値に基づいて排除でき、安定した追尾処理を行うことができる。
【０１０１】
また、画像処理装置１００は、部分テンプレートの座標と、仮説領域との関係からアフィン変換パラメータを求める。そして、画像処理装置１００は、アフィン変換パラメータから導かれる理論的な座標と、全体仮説に含まれる仮説領域の座標との誤差を基にして、全体仮説の評価値を算出する。このため、理論的に相応しくない仮説領域を多く含む全体仮説を排除できる。
【０１０２】
また、画像処理装置１００は、上記の誤差に加えて、部分テンプレートの相関値を利用して、全体仮説の評価値を算出する。このため、全体仮説の評価値の信頼度をより高めることができ、全体仮説の選択処理の精度が向上する。
【０１０３】
ところで、画像処理装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像処理装置１００は、ネットワークを介して外部のカメラと接続し、画像データを取得してもよい。
【０１０４】
また、部分テンプレート抽出部１３０は、追尾対象となる物体の領域を、入力部１０５ａから取得し、取得した領域内の画像から部分テンプレートを抽出していたがこれに限定されるものではない。例えば、部分テンプレート１３０は、追尾対象となる物体の画像データを保持しておき、この画像データと、テンプレート画像とをマッチングして、追尾対象となる物体の領域を自動的に判定してもよい。また、利用者は、入力部１０５ａを操作して、部分テンプレートを指定してもよい。
【０１０５】
また、画像処理装置１００は、既存のＰＣ（Personal Computer）などの情報処理装置に、画像処理装置１００の各機能を搭載することによって実現することもできる。
【０１０６】
図１３は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。図１３に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他の装置と通信を行うインターフェース装置２０５、画像を撮影するカメラ２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ（Random Access Memory）２０７と、ハードディスク装置２０８とを有する。各装置２０１〜２０８は、バス２０９に接続される。
【０１０７】
ハードディスク装置２０８は、部分テンプレート抽出プログラム２０８ａ、相関値算出プログラム２０８ｂ、仮説領域抽出プログラム２０８ｃ、全体仮説生成プログラム２０８ｄ、全体仮説評価プログラム２０８ｅを記憶する。
【０１０８】
ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラム２０８ａ〜２０８ｅを読み出して、ＲＡＭ２０７に展開する。これにより、部分テンプレート抽出プログラム２０８ａは、部分テンプレート抽出プロセス２０７ａとして機能する。相関値算出プログラム２０８ｂは、相関値算出プロセス２０７ｂとして機能する。仮説領域抽出プログラム２０８ｃは、仮説領域抽出プロセス２０７ｃとして機能する。全体仮説生成プログラム２０８ｄは、全体仮説生成プロセス２０７ｄとして機能する。全体仮説評価プログラム２０８ｅは、全体仮説評価プロセス２０７ｅとして機能する。
【０１０９】
部分テンプレート抽出プロセス２０７ａは、図１の部分テンプレート抽出部１３０に対応する。相関値算出プロセス２０７ｂは、図１の相関値算出部１５０に対応する。仮説領域抽出プロセス２０７ｃは、図１の仮説領域抽出部１６０に対応する。全体仮説生成プロセス２０７ｄは、全体仮説生成部１７０に対応する。全体仮説評価プロセス２０７ｅは、図１の全体仮説評価部１８０に対応する。ＣＰＵ２０１は、各プロセス２０７ａ〜２０７ｅにより、画像データの所定の物体を追従する。
【０１１０】
なお、上記のプログラム２０８ａ〜２０８ｅは、必ずしもハードディスク装置２０８に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２０８ａ〜２０８ｅを、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２０８ａ〜２０８ｂを記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２０８ａ〜２０８ｅを読み出して実行するようにしてもよい。
【０１１１】
なお、図１に示した各記憶装置１２０、１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【０１１２】
また、図１に示した各処理部１３０、１５０〜１８０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部１３０、１５０〜１８０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
【０１１３】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１１４】
（付記１）追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出する相関値算出部と、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出する仮説領域抽出部と、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成する全体仮説生成部と、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する全体仮説評価部と
を有することを特徴とする画像処理装置。
【０１１５】
（付記２）前記全体仮説評価部は、前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする付記１に記載の画像処理装置。
【０１１６】
（付記３）前記全体仮説評価部は、部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする付記２に記載の画像処理装置。
【０１１７】
（付記４）コンピュータが実行する画像処理方法であって、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択することを特徴とする画像処理方法。
【０１１８】
（付記５）前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする付記４に記載の画像処理方法。
【０１１９】
（付記６）部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする付記５に記載の画像処理方法。
【０１２０】
（付記７）コンピュータに、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する処理を実行させる画像処理プログラム。
【０１２１】
（付記８）前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする付記７に記載の画像処理プログラム。
【０１２２】
（付記９）部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする付記８に記載の画像処理プログラム。
【符号の説明】
【０１２３】
１１０ カメラ部
１２０ 入力画像記憶部
１３０ 部分テンプレート抽出部
１４０ 部分テンプレート記憶部
１５０ 相関値算出部
１６０ 仮説領域抽出部
１７０ 全体仮説生成部
１８０ 全体仮説評価部
【技術分野】
【０００１】
本発明は、画像処理装置等に関する。
【背景技術】
【０００２】
カメラが撮影した画像を解析し、画像内の所定の物体を追尾する画像処理装置が存在する。例えば、従来の画像処理装置は、追尾対象となる物体の特徴的な部分の画像を部分テンプレートとして用いる。この特徴的な部分は、例えば、物体の端に対応する。画像処理装置は、部分テンプレートと追尾対象の画像との相関演算を行い、相関値が最大となる領域を部分テンプレートに該当する領域と判定する。画像処理装置は、連続する画像に対して、部分テンプレートに該当する領域を順次判定し、判定結果に基づいて、物体の移動量を推定する。
【０００３】
図１４は、従来技術を説明するための図である。図１４の１０は、物体のテンプレート画像である。ここでは、追尾する物体を船とする。テンプレート画像１０には、部分テンプレート１０ａ〜１０ｅが含まれる。例えば、部分テンプレート１０ａは、船の船橋部分の画像である。部分テンプレート１０ｂ、１０ｃは、船首部分の画像である。部分テンプレート１０ｄ、１０ｅは、船尾部分の画像である。
【０００４】
図１４の２０は、追尾対象の画像である。画像処理装置は、部分テンプレート１０ａ〜１０ｅと画像２０とを基にして相関演算を行い、相関値が最大となる領域を判定する。図１４に示す例では、部分テンプレート１０ａ〜１０ｅとの相関値が最大となる領域は、２０ａ〜２０ｅとなる。
【０００５】
画像処理装置は、画像２０の次のフレームとなる画像３０に対しても、部分テンプレート１０ａ〜１０ｅと画像２０とを基にして相関演算を行い、相関値が最大となる領域を判定する。図１４に示す例では、部分テンプレート１０ａ〜１０ｅとの相関値が最大となる位置は、３０ａ〜３０ｅとなる。
【０００６】
画像２０内の領域２０ａ〜２０ｅは、画像３０内の領域３０ａ〜３０ｅにそれぞれ対応している。このため、例えば、画像処理装置は、領域２０ａ〜２０ｅから領域３０ａ〜３０ｅの各移動量を統合することで、船の移動量を推定し、船を追尾する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３４７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、画像内の物体を安定して追尾することができないという問題があった。
【０００９】
図１５は、従来技術の問題を説明するための図である。図１５に示すように、追尾対象となる物体に類似する部分が複数存在し、この類似の部分を部分テンプレートとした場合に、画像内の物体を安定して追尾できなくなる。図１５では、画像４０の船に類似の部分４１、４２が存在している。このため、画像処理装置が、領域４３を部分テンプレートとすると、追尾対象の画像５０内の領域５１、５２において、相関値が高くなり、どちらが部分テンプレート４３に対応する領域なのかを判定できない。同様に、画像処理装置が、領域４４を部分テンプレートとすると、画像５０内の領域５１、５２において、相関値が高くなり、どちらが部分テンプレートに対応する領域なのかを判定できない。
【００１０】
開示の技術は、上記に鑑みてなされたものであって、画像内の物体を安定して追尾することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
開示の画像処理装置は、相関値算出部と、仮説領域抽出部と、全体仮説生成部と、全体仮説評価部を有する。相関値算出部は、追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出する。仮説領域抽出部は、相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出する。全体仮説抽出部は、複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成する。全体仮説評価部は、複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する。
【発明の効果】
【００１２】
開示の画像処理装置によれば、画像内の物体を安定して追尾することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施例にかかる画像処理装置の構成を示す図である。
【図２Ａ】図２Ａは、部分テンプレートの抽出結果の一例を示す図である。
【図２Ｂ】図２Ｂは、部分テンプレート記憶部のデータ構造の一例を示す図である。
【図３】図３は、相関値データのデータ構造の一例を示す図である。
【図４Ａ】図４Ａは、部分テンプレートと仮説領域との対応を示す図（１）である。
【図４Ｂ】図４Ｂは、部分テンプレートと仮説領域との対応を示す図（２）である。
【図４Ｃ】図４Ｃは、部分テンプレートと仮説領域との対応を示す図（３）である。
【図４Ｄ】図４Ｄは、部分テンプレートと仮説領域との対応を示す図（４）である。
【図４Ｅ】図４Ｅは、部分テンプレートと仮説領域との対応を示す図（５）である。
【図４Ｆ】図４Ｆは、部分テンプレートと仮説領域との対応を示す図（６）である。
【図５】図５は、仮説領域データのデータ構造の一例を示す図である。
【図６】図６は、全体仮説の処理を説明するための図である。
【図７】図７は、全体仮説データのデータ構造の一例を示す図である。
【図８】図８は、部分テンプレートの座標と理論的な仮説領域の座標との関係を示す図である。
【図９】図９は、評価基準データの一例を示す図である。
【図１０】図１０は、画像処理装置の処理手順を示すフローチャートである。
【図１１】図１１は、追尾情報生成処理の処理手順を示すフローチャートである。
【図１２】図１２は、評価値算出処理の処理手順を示すフローチャートである。
【図１３】図１３は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。
【図１４】図１４は、従来技術を説明するための図である。
【図１５】図１５は、従来技術の問題を説明するための図である。
【発明を実施するための形態】
【００１４】
以下に、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１５】
本実施例にかかる画像処理装置の構成について説明する。図１は、本実施例にかかる画像処理装置の構成を示す図である。図１に示すように、画像処理装置１００は、入力部１０５ａ、表示部１０５ｂ、カメラ部１１０を有する。また、画像処理装置１００は、入力画像記憶部１２０、部分テンプレート抽出部１３０、部分テンプレート記憶部１４０、相関値算出部１５０、仮説領域抽出部１６０、全体仮説生成部１７０、全体仮説評価部１８０を有する。
【００１６】
入力部１０５ａは、キーボードやマウス等の入力装置に対応する。表示部１０５ｂは、ディスプレイ等の表示装置に対応する。例えば、表示部１０５ｂは、画像処理装置１００の処理結果や、カメラ部１１０が撮影した画像等を表示する装置である。
【００１７】
例えば、利用者は、入力部１０５ａを操作して、追尾対象となる物体を撮影した時刻を、画像処理装置１００に入力する。また、利用者は、入力部１０５ａを操作して、追尾対象となる物体が含まれる領域を指定する。
【００１８】
カメラ部１１０は、撮影範囲の画像を撮影し、撮影した画像データを入力画像記憶部１２０に順次記憶する処理部である。カメラ部１１０は、例えば、カメラ等の撮像装置に対応する。例えば、カメラ部１１０は、画像データと、この画像データが撮影された時刻とを対応づけて入力画像が撮影された時刻とを対応づけて、入力画像記憶部１２０に記憶する。
【００１９】
入力画像記憶部１２０は、画像データと、この画像データが撮影された時刻とを対応づけて記憶する記憶部である。
【００２０】
部分テンプレート抽出部１３０は、追尾対象となる物体の部分領域を、部分テンプレートとして抽出する処理部である。部分テンプレート抽出部１３０は、部分テンプレートのデータを部分テンプレート記憶部１４０に格納する。
【００２１】
ここで、部分テンプレート抽出部１３０の処理について説明する。まず、部分テンプレート抽出部１３０は、入力部１０５ａから時刻を取得し、時刻に対応する画像データを入力画像記憶部１２０から検出する。以下の説明において、この検出した画像データをテンプレート画像と表記する。部分テンプレート抽出部１３０は、テンプレート画像を表示部１０５ｂに表示させ、追尾対象となる物体の領域を、入力部１０５ａから取得する。
【００２２】
部分テンプレート抽出部１３０は、テンプレート画像内の追尾対象となる物体の領域から、部分テンプレートを抽出する。例えば、部分テンプレート抽出部１３０は、Harrisコーナー等のコーナー検出法に基づいて、テンプレート画像から部分テンプレートを抽出する。Harrisコーナーは、文献（C. Harris and M. Stephens,(1988） "A combined corner and edge detector". Proceedings of the 4th Alvey Vision Conference. pp. 147−151.）に開示されている。
【００２３】
コーナー検出法を用いて、部分テンプレートを抽出する処理の一例について説明する。部分テンプレート抽出部１３０は、追尾対象となる物体の領域を、複数の部分領域に分割する。部分テンプレート抽出部１３０は、部分領域がある局所近傍で方向の異なる２つの際立ったエッジが存在するコーナー点を含んでいるか否かを判定する。部分テンプレート抽出部１３０は、コーナー点を含んでいる部分領域の画像を、部分テンプレートとして抽出する。部分テンプレート抽出部１３０は、部分テンプレートを部分テンプレート記憶部１４０に記憶する。
【００２４】
図２Ａは、部分テンプレートの抽出結果の一例を示す図である。図２Ａの画像６０は、テンプレート画像に対応する。図２Ａに示す例では、部分テンプレート１〜６が抽出された場合を示している。
【００２５】
部分テンプレート記憶部１４０は、部分テンプレートのデータを記憶する記憶装置である。図２Ｂは、部分テンプレート記憶部のデータ構造の一例を示す図である。図２Ｂに示すように、部分テンプレート記憶部１４０は、部分テンプレート番号と、部分テンプレート座標と、部分テンプレート画像とを対応づけて記憶している。ここで、部分テンプレート座標は、部分テンプレートの中心座標である。部分テンプレート画像は、部分テンプレートの画像データである。
【００２６】
相関値算出部１５０は、画像データの各領域と部分テンプレートとの相関値を算出する処理部である。相関値算出部１５０は、画像データと、該画像データの各領域と部分テンプレートとの相関値データを、仮説領域抽出部１６０に出力する。
【００２７】
例えば、相関値算出部１５０は、式（１）を利用して、相関値Ｖを算出する。式（１）において、Ｒは、部分テンプレートの各画素の輝度に対応する。Ｓは、部分テンプレートの領域と重なる、画像データの領域の各画素の輝度に対応する。なお、式（１）に含まれるΣ１は、部分テンプレートに含まれる画素の数に対応する。
【００２８】
【数１】
【００２９】
相関値算出部１５０は、画像データの領域上で、部分テンプレートの位置を順次移動させ、式（１）を利用して、領域毎の相関値Ｖを算出する。部分テンプレート記憶部１４０には、複数の部分テンプレートが格納されている。相関値算出部１５０は、部分テンプレートを部分テンプレート記憶部１４０から順次取得し、部分テンプレート毎に相関値を算出する。部分テンプレート毎の相関値の情報を相関値データと表記する。
【００３０】
図３は、相関値データのデータ構造の一例を示す図である。図３に示すように、この相関値データは、部分テンプレート番号と相関値とを対応づけている。部分テンプレート番号は、部分テンプレートを識別する番号である。相関値は、座標毎の部分テンプレートとの画像データとの相関値を示す。ここで、座標は、相関値を算出した領域の中心座標に対応する。
【００３１】
仮説領域抽出部１６０は、相関データを基にして、部分テンプレートに類似する画像データ上の領域を仮説領域として抽出する処理部である。仮説領域抽出部１６０は、仮説領域データを全体仮説生成部１７０に出力する。
【００３２】
仮説領域抽出部１６０が、仮説領域を抽出する処理について説明する。仮説領域抽出部１６０は、部分テンプレート毎に、相関値が極大点をとる座標を判定する。そして、仮説領域抽出部１６０は、相関値が極大となる座標のうち、この極大値が所定の閾値を超える座標を、仮説領域として抽出する。仮説領域抽出部１６０は、単一の部分テンプレートに対して、所定の閾値を超える極大値が複数存在する場合には、各極大値をとる座標を仮説領域とする。
【００３３】
図４Ａ〜図４Ｆは、部分テンプレートと仮説領域との対応を示す図である。図４Ａにおいて、画像６０は、テンプレート画像であり、画像７０は、画像データである。部分テンプレート１と、画像７０の各領域との相関値が、領域１ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域１ａを、部分テンプレート１の仮説領域１ａとして抽出する。
【００３４】
図４Ｂにおいて、部分テンプレート２と、画像７０の各領域との相関値が、領域２ａ、２ｂにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域２ａ、２ｂを、部分テンプレート２の仮説領域２ａ、２ｂとして抽出する。
【００３５】
図４Ｃにおいて、部分テンプレート３と、画像７０の各領域との相関値が、領域３ａ、３ｂにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域３ａ、３ｂを、部分テンプレート３の仮説領域３ａ、３ｂとして抽出する。
【００３６】
図４Ｄにおいて、部分テンプレート４と、画像７０の各領域との相関値が、領域４ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域４ａを、部分テンプレート４の仮説領域４ａとして抽出する。
【００３７】
図４Ｅにおいて、部分テンプレート５と、画像７０の各領域との相関値が、領域５ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域５ａを、部分テンプレート５の仮説領域５ａとして抽出する。
【００３８】
図４Ｆにおいて、部分テンプレート６と、画像７０の各領域との相関値が、領域６ａにおいて極大となり、極大値が所定の閾値を超えるものとする。この場合には、仮説領域抽出部１６０は、領域６ａを、部分テンプレート６の仮説領域６ａとして抽出する。
【００３９】
仮説領域抽出部１６０は、部分テンプレートと、部分テンプレートに対応する仮説領域の座標とを対応づけた仮説領域データを生成する。図５は、仮説領域データのデータ構造の一例を示す図である。図５に示すように、この仮説領域データは、部分テンプレート番号と、仮説領域番号、仮説領域座標、相関値とを対応づけている。例えば、図５の１段目に示す例では、部分テンプレート番号「１」に対応する仮説領域番号は「１ａ」である。そして、仮説領域座標が「２０、５０」であり、部分テンプレートと仮説領域との相関値が「０．８」である旨が登録されている。なお、仮説領域座標を中心とする所定の大きさの矩形内領域が、仮説領域に対応する。
【００４０】
図５に示す例では、部分テンプレート番号１、４〜６の部分テンプレートには、単一の仮説領域が存在しているため、単一の仮説領域番号と仮説領域座標と相関値との組が存在する。部分テンプレート番号２、３の部分テンプレートには、２つの仮説領域が存在するため、２つの仮説領域番号と仮説領域座標と相関値との組が存在する。
【００４１】
全体仮説生成部１７０は、仮説領域データを基にして、部分テンプレートに対応する各仮説領域を組み合わせることで、全体仮説データを生成する処理部である。ただし、全体仮説生成部１７０は、同一の部分テンプレートに属する仮説領域の組み合わせを除く。また、全体仮説生成部１７０は、仮説領域を組み合わせた場合に、重複する組み合わせを削除する。
【００４２】
ここで、重複する組み合わせとは、実質同一の仮説領域が複数存在する組み合わせを意味する。例えば、図４Ｂおよび図４Ｃにおいて、仮説領域２ａと仮説領域３ａとは、実質同一の仮説領域である。また、仮説領域２ｂと、仮説領域３ｂとは実質同一の仮説領域である。異なる部分テンプレートが、同一の仮説領域に一致することはない。このため、全体仮説生成部１７０は、実質同一の仮説領域が複数存在する組み合わせを削除する。
【００４３】
なお、全体仮説生成部１７０は、各仮説領域の座標を比較して、実質同一の仮説領域であるか否かを判定する。座標が一致する場合には、各仮説領域は、実質同一の仮説領域となる。
【００４４】
全体仮説生成部１７０の処理について説明する。図６は、全体仮説の処理を説明するための図である。部分テンプレート１に対応する仮説領域が１個、部分テンプレート２に対応する仮説領域が２個、部分テンプレート３に対応する仮説領域が２個存在する。また、部分テンプレート４に対応する仮説領域が１個、部分テンプレート５に対応する仮説領域が１個、部分テンプレート６に対応する仮説領域が１個である。このため、重複の有無を条件とせず、各仮説領域を組み合わせると、図６に示すように４種類の組み合わせが生成される。各組み合わせをそれぞれ全体仮説８１〜８４とする。
【００４５】
全体仮説生成部１７０は、全体仮説８１〜８４を参照し、同一の全体仮説に、実質同一の仮説領域が含まれているか否かを判定する。実質同一の仮説領域は、仮説領域２ａおよび仮説領域３ａと、仮説領域２ｂおよび仮説領域３ｂである。全体仮説８１〜８４のうち、全体仮説８１は、仮説領域２ａ、３ａを有しているので、重複する組み合わせである。また、全体仮説８４は、仮説領域２ｂ、３ｂを有しているので、重複する組み合わせである。このため、全体仮説生成部１７０は、全体仮説８１、８４を削除する。
【００４６】
全体仮説生成部１７０は、重複する全体仮説を削除した全体仮説を含む全体仮説データを生成し、全体仮説データを全体仮説評価部１８０に出力する。図７は、全体仮説データのデータ構造の一例を示す図である。図７に示すように、全体仮説番号と、部分テンプレート番号と、仮説領域番号と、仮説領域座標と、相関値とを対応づけている。全体仮説番号は、全体仮説を識別する番号である。部分テンプレート番号、仮説領域番号、仮説領域座標、相関値に関する説明は、上記のものと同様である。
【００４７】
全体仮説評価部１８０は、全体仮説に含まれる各仮説領域の相関値、および、推定パラメータによる理論的な仮説領域の座標と実際の仮説領域の座標との誤差から、各全体仮説を評価し、最適な全体仮説を判定する処理部である。
【００４８】
まず、全体仮説評価部１８０が、理論的な仮説領域の座標を求める処理について説明する。全体仮説評価部１８０は、部分パラメータの座標から全体仮説に含まれる仮説領域の座標への変換式（２）を求める。ここでは、部分パラメータの座標を（ｘ、ｙ）とし、仮説領域の座標を（ｘ’、ｙ’）とする。
【００４９】
【数２】
【００５０】
式（２）において、ａ１、ｂ１、ｃ１、ｄ１、ｅ１、ｆ１は、アフィン変換パラメータである。例えば、全体仮説評価部１８０は、最小２乗法を利用してアフィン変換パラメータを推定する。本実施例では、部分テンプレートの座標（ｘ、ｙ）と仮想領域の座標（ｘ’、ｙ’）との組が、６組存在する。各組をそれぞれ「（ｘ１、ｙ１）、（ｘ’１、ｙ’１）」、「（ｘ２、ｙ２）、（ｘ’２、ｙ’２）」、「（ｘ３、ｙ３）、（ｘ’３、ｙ’３）」、「（ｘ４、ｙ４）、（ｘ’４、ｙ’４）」とする。また、「（ｘ５、ｙ５）、（ｘ’５、ｙ’５）」、「（ｘ６、ｙ６）、（ｘ’６、ｙ’６）」とする。
【００５１】
上記の式（２）に、各組の値を代入することで、以下の１２個の式（３）〜（１４）が得られる。
【００５２】
ｘ’１＝ａ１ｘ１＋ｂ１ｙ１＋ｅ１・・・（３）
【００５３】
ｘ’２＝ａ１ｘ２＋ｂ１ｙ２＋ｅ１・・・（４）
【００５４】
ｘ’３＝ａ１ｘ３＋ｂ１ｙ３＋ｅ１・・・（５）
【００５５】
ｘ’４＝ａ１ｘ４＋ｂ１ｙ４＋ｅ１・・・（６）
【００５６】
ｘ’５＝ａ１ｘ５＋ｂ１ｙ５＋ｅ１・・・（７）
【００５７】
ｘ’６＝ａ１ｘ６＋ｂ１ｙ６＋ｅ１・・・（８）
【００５８】
ｙ’１＝ｃ１ｘ１＋ｄ１ｙ１＋ｆ１・・・（９）
【００５９】
ｙ’２＝ｃ１ｘ２＋ｄ１ｙ２＋ｆ１・・・（１０）
【００６０】
ｙ’３＝ｃ１ｘ３＋ｄ１ｙ３＋ｆ１・・・（１１）
【００６１】
ｙ’４＝ｃ１ｘ４＋ｄ１ｙ４＋ｆ１・・・（１２）
【００６２】
ｙ’５＝ｃ１ｘ５＋ｄ１ｙ５＋ｆ１・・・（１３）
【００６３】
ｙ’６＝ｃ１ｘ６＋ｄ１ｙ６＋ｆ１・・・（１４）
【００６４】
このうち、式（３）〜式（８）は、式（１５）、式（１６）、式（１７）を用いると、式（１８）で表すことができる。
【００６５】
【数３】
【００６６】
【数４】
【００６７】
【数５】
【００６８】
Ｙ１＝Ｘ１β１・・・（１８）
【００６９】
式（１８）のβ１の最小２乗推定値は、式（１９）であることから、アフィン変換パラメータ（ａ１、ｂ１、ｅ１）が求まる。
【００７０】
【数６】
【００７１】
一方、式（９）〜式（１４）は、式（２０）、式（２１）、式（２２）を用いると、式（２３）で表すことができる。
【００７２】
【数７】
【００７３】
【数８】
【００７４】
【数９】
【００７５】
Ｙ２＝Ｘ２β２・・・（２３）
【００７６】
式（２３）のβ２の最小２乗推定値は、式（２４）であることから、アフィン変換パラメータ（ｃ１、ｄ１、ｆ１）が求まる。
【００７７】
【数１０】
【００７８】
全体仮説評価部１８０は、上記アフィン変換パラメータを求めた後に、式（２）に部分テンプレートの座標を代入することで、理論的な仮説領域の座標を算出する。図８は、部分テンプレートの座標と理論的な仮説領域の座標との関係を示す図である。例えば、図８
の１段目では、部分テンプレート座標（１０、３０）を、式（２）に代入することにより、理論的な仮説領域座標（２３、５０）が求められる。その他の理論的な仮説領域座標も、部分テンプレート座標を代入することで求められる。
【００７９】
全体仮説評価部１８０は、部分テンプレートに対応する理論的な仮説領域の座標を求めた後に、この理論的な仮説領域の座標と、実際の仮説領域の座標との誤差を算出する。全体仮説評価部１８０は、同一の部分テンプレート番号に対応する理論的な座標と、実際の仮説領域の座標との誤差を求める。一例として、同一の部分テンプレート番号に対応する理論的な座標と、実際の仮説領域の座標のユーグリッド距離を誤差として採用してもよい。
【００８０】
一例として、全体仮説８２の仮説領域番号１ａの誤差を求める場合について説明する。図７、図８を参照する。仮説領域番号１ａの仮説領域座標は、（２０、５０）である。この仮説領域番号１ａの仮説領域座標が、実際の仮説領域の座標に対応する。また、仮説領域番号１ａに対応する部分テンプレート番号は「１」であり、この部分テンプレートの座標から求められる理論的な仮説領域の座標は（２３、５０）である。例えば、誤差を座標間の距離とすると、理論的な仮説領域の座標（２３、５０）と、実際の仮説領域の座標（２０、５０）との誤差は「３」となる。全体仮説評価部１８０は、他の誤差も算出する。
【００８１】
全体仮説評価部１８０は、各誤差を求めた後に、評価基準データを生成する。図９は、評価基準データの一例を示す図である。図９に示すように、評価基準データは、全体仮説番号、部分テンプレート番号、仮説領域番号、仮説領域座標、相関値、誤差を対応づけている。図９に示すように、全体仮説番号の仮説領域番号毎に、誤差が登録されている。例えば、全体仮説番号８２の各仮説領域番号１ａ、２ｂ、３ａ、４ａ、５ａ、６ａの誤差は３、−１９、１９、−３、２、−２となる。また、全体仮説番号８３の各仮説領域番号１ａ、２ａ、３ｂ、４ａ、５ａ、６ａの誤差は全て０となる。なお、図９の全体仮説番号、部分テンプレート番号、仮説領域番号、仮説領域座標、相関値に関する説明は、図７のものと同様である。
【００８２】
全体仮説評価部１８０は、評価基準データを基にして、各全体仮説の評価値を算出する。全体仮説評価部１８０は、全体仮説に含まれる仮説領域毎に、スコアを算出し、スコアを合計することで、該当する全体仮説の評価値を算出する。全体仮説評価部１８０は、式（２５）に基づいて、スコアを算出する。式（２５）において、αおよびβは、重みに関する係数である。ここでは一例として、αの値を０．１、βの値を１とする。また、誤差の値は絶対値を用いる。
【００８３】
Score＝α×誤差＋β×（１．０−相関値）・・・（２５）
【００８４】
全体仮説評価部１８０は、式（２５）に基づいて、全体仮説番号８２、８３に対応する全体仮説の評価値を算出する。そうすると、全体仮説番号８２に対応する全体仮説の評価値が「５．７３」となる。また、全体仮説番号８３に対応する全体仮説の評価値が「１．１７」となる。
【００８５】
全体仮説評価部１８０は、各全体仮説に対応する評価値のうち、最小となる全体仮説番号を選択する。全体仮説評価部１８０は、各全体仮説の評価値を比較すると、全体仮説番号８３に対応する全体仮説の評価値が最小となる。このため、全体仮説評価部１８０は、全体仮説番号８３の全体仮説を選択する。全体仮説評価部１８０が、選択した全体仮説が、最適な全体仮説となる。
【００８６】
全体仮説評価部１８０は、最適な全体仮説を判定した後に、追尾情報を生成する。例えば、全体仮説評価部１８０は、判定した全体仮説に含まれる各仮説領域の座標の重心を算出し、算出した重心の座標を追尾情報とする。全体仮説評価部１８０は、生成した追尾情報を、各種処理装置に出力する。各種処理装置は、追尾情報を基にして、追尾対象となる物体の画像上での座標を把握し、各種処理を行う。例えば、各種処理装置は、追尾情報を基にして、追尾対象となる物体と枠とを重畳表示し、視認性を高める。
【００８７】
次に、本実施例の画像処理装置１００の処理手順について説明する。図１０は、画像処理装置の処理手順を示すフローチャートである。例えば、図１０に示す処理は、カメラ部１１０によって撮影された画像の画像データが、入力画像記憶部１２０に記憶されたことを契機にして実行される。図１０に示すように、画像処理装置１００は、画像データを格納し（ステップＳ１０１）、部分テンプレートを抽出する（ステップＳ１０２）。画像処理装置１００は、追尾情報生成処理を実行し（ステップＳ１０３）、追尾対象の座標を判定する（ステップＳ１０４）。
【００８８】
次に、図１０のステップＳ１０３に示した追尾情報生成処理について説明する。図１１は、追尾情報生成処理の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００は、部分テンプレート番号Ｔに１を設定し（ステップＳ２０１）、部分テンプレート番号Ｔの部分テンプレートと画像データとを基にして、相関演算し、各領域での相関値を計算する（ステップＳ２０２）。
【００８９】
画像処理装置１００は、相関値が極大かつ閾値を超える領域を、仮説領域に設定し（ステップＳ２０３）、部分テンプレート番号Ｔに１を加算する（ステップＳ２０４）。画像処理装置１００は、全ての部分テンプレートの相関値を求めていない場合には（ステップＳ２０５，Ｎｏ）、ステップＳ２０２に移行する。
【００９０】
画像処理装置１００は、全ての部分テンプレートの相関値を求めた場合には（ステップＳ２０５，Ｙｅｓ）、各仮説領域を組み合わせ、全体仮説を構築する（ステップＳ２０６）。画像処理装置１００は、全体仮説番号Ａを初期値に設定する（ステップＳ２０７）。
【００９１】
画像処理装置１００は、全体仮説の中に、部分テンプレートの移動先同士の距離が閾値Ｄｔｈ以下のものが存在するかを判定する（ステップＳ２０８）。画像処理装置１００は、閾値Ｄｔｈ以下のものが存在しない場合には（ステップＳ２０８，Ｎｏ）、ステップＳ２１０に移行する。
【００９２】
一方、画像処理装置１００は、閾値Ｄｔｈ以下のものが存在する場合には（ステップＳ２０８，Ｙｅｓ）、該当する全体仮説を除去する（ステップＳ２０９）。画像処理装置１００は、次の全体仮説番号Ａを設定し（ステップＳ２１０）、全ての全体仮説番号Ａについて、ステップＳ２０８の処理を行ったか否かを判定する（ステップＳ２１１）。
【００９３】
画像処理装置１００は、全ての全体仮説番号Ａについて処理を行っていない場合には（ステップＳ２１１，Ｎｏ）、ステップＳ２０８に移行する。一方、画像処理装置１００は、全ての全体仮説番号Ａについて処理を行った場合には（ステップＳ２１１，Ｙｅｓ）、全体仮説番号Ａを初期値に設定する（ステップＳ２１２）。
【００９４】
画像処理装置１００は、評価値算出処理を実行し（ステップＳ２１３）、次の全体仮説番号Ａを設定する（ステップＳ２１４）。画像処理装置１００は、全ての全体仮説番号ＡについてステップＳ２１３の処理を行ったか否かを判定する（ステップＳ２１５）。
【００９５】
画像処理装置１００は、全ての全体仮説番号Ａについて処理を行っていない場合には（ステップＳ２１５，Ｎｏ）、ステップＳ２１３に移行する。一方、画像処理装置１００は、全ての全体仮説番号Ａについて処理を行った場合には（ステップＳ２１５，Ｙｅｓ）、全体仮説の評価値が最小となるものを選択して追尾情報を生成する（ステップＳ２１６）。
【００９６】
次に、図１１のステップＳ２１３に示した評価値算出処理の処理手順について説明する。図１２は、評価値算出処理の処理手順を示すフローチャートである。図１２に示すように、画像処理装置１００は、最小２乗法を基にして、アフィン変換パラメータを推定する（ステップＳ３０１）。
【００９７】
画像処理装置１００は、部分テンプレート番号Ｔを１に設定し（ステップＳ３０２）、仮説領域と、アフィン変換パラメータを用いて計算した理論的な仮説領域との誤差を算出する（ステップＳ３０３）。
【００９８】
画像処理装置１００は、誤差と相関値とを基にして、部分テンプレートのスコアを算出し（ステップＳ３０４）、部分テンプレート番号に１を加算する（ステップＳ３０５）。画像処理装置１００は、全ての部分テンプレートのスコアを求めたか否かを判定する（ステップＳ３０６）。
【００９９】
画像処理装置１００は、全ての部分テンプレートのスコアを求めていない場合には（ステップＳ３０６，Ｎｏ）、ステップＳ３０３に移行する。一方、画像処理装置１００は、全ての部分テンプレートのスコアを求めた場合には（ステップＳ３０６，Ｙｅｓ）、全部分テンプレートのスコアの総和を、全体仮説の評価値に設定する（ステップＳ３０７）。
【０１００】
次に、本実施例にかかる画像処理装置１００の効果について説明する。画像処理装置１００は、部分プレートと画像データとマッチングして、追尾対象の各部分の移動先の候補を、仮説領域として抽出する。そして、画像処理装置１００は、各仮説領域を重複しないように組み合わせ、組み合わせの評価値に基づいて、最適な組み合わせを選択する。このため、追跡対象の物体に類似する領域が複数存在し、類似する領域を部分テンプレートとした場合であっても、可能性の低い組み合わせを評価値に基づいて排除でき、安定した追尾処理を行うことができる。
【０１０１】
また、画像処理装置１００は、部分テンプレートの座標と、仮説領域との関係からアフィン変換パラメータを求める。そして、画像処理装置１００は、アフィン変換パラメータから導かれる理論的な座標と、全体仮説に含まれる仮説領域の座標との誤差を基にして、全体仮説の評価値を算出する。このため、理論的に相応しくない仮説領域を多く含む全体仮説を排除できる。
【０１０２】
また、画像処理装置１００は、上記の誤差に加えて、部分テンプレートの相関値を利用して、全体仮説の評価値を算出する。このため、全体仮説の評価値の信頼度をより高めることができ、全体仮説の選択処理の精度が向上する。
【０１０３】
ところで、画像処理装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像処理装置１００は、ネットワークを介して外部のカメラと接続し、画像データを取得してもよい。
【０１０４】
また、部分テンプレート抽出部１３０は、追尾対象となる物体の領域を、入力部１０５ａから取得し、取得した領域内の画像から部分テンプレートを抽出していたがこれに限定されるものではない。例えば、部分テンプレート１３０は、追尾対象となる物体の画像データを保持しておき、この画像データと、テンプレート画像とをマッチングして、追尾対象となる物体の領域を自動的に判定してもよい。また、利用者は、入力部１０５ａを操作して、部分テンプレートを指定してもよい。
【０１０５】
また、画像処理装置１００は、既存のＰＣ（Personal Computer）などの情報処理装置に、画像処理装置１００の各機能を搭載することによって実現することもできる。
【０１０６】
図１３は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。図１３に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他の装置と通信を行うインターフェース装置２０５、画像を撮影するカメラ２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ（Random Access Memory）２０７と、ハードディスク装置２０８とを有する。各装置２０１〜２０８は、バス２０９に接続される。
【０１０７】
ハードディスク装置２０８は、部分テンプレート抽出プログラム２０８ａ、相関値算出プログラム２０８ｂ、仮説領域抽出プログラム２０８ｃ、全体仮説生成プログラム２０８ｄ、全体仮説評価プログラム２０８ｅを記憶する。
【０１０８】
ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラム２０８ａ〜２０８ｅを読み出して、ＲＡＭ２０７に展開する。これにより、部分テンプレート抽出プログラム２０８ａは、部分テンプレート抽出プロセス２０７ａとして機能する。相関値算出プログラム２０８ｂは、相関値算出プロセス２０７ｂとして機能する。仮説領域抽出プログラム２０８ｃは、仮説領域抽出プロセス２０７ｃとして機能する。全体仮説生成プログラム２０８ｄは、全体仮説生成プロセス２０７ｄとして機能する。全体仮説評価プログラム２０８ｅは、全体仮説評価プロセス２０７ｅとして機能する。
【０１０９】
部分テンプレート抽出プロセス２０７ａは、図１の部分テンプレート抽出部１３０に対応する。相関値算出プロセス２０７ｂは、図１の相関値算出部１５０に対応する。仮説領域抽出プロセス２０７ｃは、図１の仮説領域抽出部１６０に対応する。全体仮説生成プロセス２０７ｄは、全体仮説生成部１７０に対応する。全体仮説評価プロセス２０７ｅは、図１の全体仮説評価部１８０に対応する。ＣＰＵ２０１は、各プロセス２０７ａ〜２０７ｅにより、画像データの所定の物体を追従する。
【０１１０】
なお、上記のプログラム２０８ａ〜２０８ｅは、必ずしもハードディスク装置２０８に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２０８ａ〜２０８ｅを、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２０８ａ〜２０８ｂを記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２０８ａ〜２０８ｅを読み出して実行するようにしてもよい。
【０１１１】
なお、図１に示した各記憶装置１２０、１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【０１１２】
また、図１に示した各処理部１３０、１５０〜１８０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部１３０、１５０〜１８０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
【０１１３】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１１４】
（付記１）追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出する相関値算出部と、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出する仮説領域抽出部と、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成する全体仮説生成部と、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する全体仮説評価部と
を有することを特徴とする画像処理装置。
【０１１５】
（付記２）前記全体仮説評価部は、前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする付記１に記載の画像処理装置。
【０１１６】
（付記３）前記全体仮説評価部は、部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする付記２に記載の画像処理装置。
【０１１７】
（付記４）コンピュータが実行する画像処理方法であって、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択することを特徴とする画像処理方法。
【０１１８】
（付記５）前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする付記４に記載の画像処理方法。
【０１１９】
（付記６）部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする付記５に記載の画像処理方法。
【０１２０】
（付記７）コンピュータに、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する処理を実行させる画像処理プログラム。
【０１２１】
（付記８）前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする付記７に記載の画像処理プログラム。
【０１２２】
（付記９）部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする付記８に記載の画像処理プログラム。
【符号の説明】
【０１２３】
１１０ カメラ部
１２０ 入力画像記憶部
１３０ 部分テンプレート抽出部
１４０ 部分テンプレート記憶部
１５０ 相関値算出部
１６０ 仮説領域抽出部
１７０ 全体仮説生成部
１８０ 全体仮説評価部
【特許請求の範囲】
【請求項１】
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出する相関値算出部と、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出する仮説領域抽出部と、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成する全体仮説生成部と、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する全体仮説評価部と
を有することを特徴とする画像処理装置。
【請求項２】
前記全体仮説評価部は、前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記全体仮説評価部は、部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータが実行する画像処理方法であって、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択することを特徴とする画像処理方法。
【請求項５】
コンピュータに、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する処理を実行させる画像処理プログラム。
【請求項１】
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出する相関値算出部と、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出する仮説領域抽出部と、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成する全体仮説生成部と、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する全体仮説評価部と
を有することを特徴とする画像処理装置。
【請求項２】
前記全体仮説評価部は、前記部分テンプレートの座標と前記仮説領域の座標との関係からアフィン変換パラメータを求め、該アフィン変換パラメータから導かれる座標と、前記仮説領域の座標との誤差を基にして、前記全体仮説情報の評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記全体仮説評価部は、部分テンプレートの相関値を更に利用して、前記全体仮説情報の評価値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータが実行する画像処理方法であって、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択することを特徴とする画像処理方法。
【請求項５】
コンピュータに、
追尾対象となる物体の各局所部分の画像を含む複数の部分テンプレートと、カメラが撮影したカメラ画像とを比較して、部分テンプレートとカメラ画像内の各領域との相関値を算出し、
前記相関値に基づいて、前記部分テンプレートに類似する前記カメラ画像内の領域を仮説領域として複数抽出し、
複数の仮説領域を重複しないように組み合わせた複数の全体仮説情報を生成し、
前記複数の全体仮説情報について、それぞれの評価値を算出し、各評価値に基づいて複数の全体仮説情報から単一の全体仮説情報を選択する処理を実行させる画像処理プログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１８５６５５（Ｐ２０１２−１８５６５５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４７９７１（Ｐ２０１１−４７９７１）
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]