画像処理装置及びその方法並びに画像処理プログラム
【課題】ロバストでかつ高速な追跡を可能とする画像処理装置及びその方法並びに画像処理プログラムを提供すること。
【解決手段】画像処理装置１００は、予め生成されたＮ個の特徴抽出部１５１を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部１５２と、前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部１２０と、前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、Ｎ個の特徴抽出部１５１を用いた場合よりも大きくなるように、Ｎ個の特徴抽出部１５１の中からＭ個の特徴抽出部を選択する特徴選択部１３０と、特徴選択部１３０で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部１４０と、を備える。
【解決手段】画像処理装置１００は、予め生成されたＮ個の特徴抽出部１５１を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部１５２と、前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部１２０と、前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、Ｎ個の特徴抽出部１５１を用いた場合よりも大きくなるように、Ｎ個の特徴抽出部１５１の中からＭ個の特徴抽出部を選択する特徴選択部１３０と、特徴選択部１３０で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部１４０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその方法並びに画像処理プログラムに係り、特に、対象物体の追跡の高速化とロバスト性の向上が可能な画像処理装置及びその方法並びに画像処理プログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置は、入力画像における対象物体とその背景とを分離する識別器を更新しながら用いることにより、対象物体やその背景の経時的変化に対応しながら対象物体の追跡を行っている（特許文献１及び非特許文献１を参照）。この場合、識別器の更新時に行う学習において新たに特徴抽出部を生成する。そのため、例えば、人物が一瞬だけ手を挙げた場合などのように、一時的に対象物体が変化した場合などでは、特徴抽出部によって抽出される特徴量が必ずしも対象物体とその背景との分離に有効ではなく、追跡に失敗する恐れがあった。
【特許文献１】特開２００６−２０９７５５号公報（第１１頁、図１）
【非特許文献１】Ｌ．Ｌｕ ａｎｄ Ｇ．Ｄ．Ｈａｇｅｒ，”Ａ Ｎｏｎｐａｒａｍｅｔｒｉｃ Ｔｒｅａｔｍｅｎｔ ｆｏｒ Ｌｏｃａｔｉｏｎ／Ｓｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００７
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように、従来技術では、新たに生成された特徴抽出部によって抽出される特徴量が必ずしも対象物体とその背景との分離に有効ではないため、追跡に失敗する恐れがあるという問題があった。
【０００４】
本発明は、上記従来技術の問題点を解決するためになされたものであって、ロバストでかつ高速な追跡を可能とする画像処理装置及びその方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の画像処理装置は、予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部と、前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部と、前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する特徴選択部と、前記特徴選択部で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ロバストでかつ高速な追跡が可能となる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態について説明する。
【０００８】
（第１の実施形態）
図１は、本発明の第1の実施形態に係る画像処理装置１００を示すブロック図である。画像処理装置１００は、取得部１１０と、対象検出部１２０と、特徴選択部１３０と、対象追跡部１４０と、記憶部１５０と、制御部１６０と、を備える。取得部１１０は、画像を入力する画像入力装置に接続され、画像入力装置から入力画像を取得する。対象検出部１２０は、後述する対象物体らしさを表す信頼度を用いて、入力画像に含まれる対象物体を検出する。特徴選択部１３０は、後述する対象物体とその背景との信頼度の分離度が、Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する。対象追跡部１４０は、選択されたＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部によって抽出されたＭ個の特徴量を用いて、対象物体を追跡する。
【０００９】
図２に示すように、記憶部１５０は、Ｎ個の特徴抽出部１５１と、対象物体を識別するための識別器で構成された識別部１５２と、を記憶している。Ｎ個の特徴抽出部１５１は、識別器の学習によって予め生成されている。識別部１５２は、Ｎ個の特徴抽出部１５１によって抽出されたＮ個の特徴量を用いて、対象物体らしさを表す信頼度を算出する。なお、Ｎ個の特徴抽出部１５１は記憶部１５０に記憶されてもよいし、画像処理装置１００の外部の記憶部に記憶されてもよい。制御部１６０は、画像処理装置１００の各部を制御する。対象物体は、特定の物体に限定されず、人物、動物、物などの様々な物体を含む。
【００１０】
特徴選択部１３０は、対象検出部１２０の検出結果又は対象追跡部１４０の追跡結果に基づいて、抽出されたＮ個の特徴量を１つのグループとして複数のグループの特徴量を生成することができる。特徴選択部１３０は、生成した複数のグループの特徴量に基づいて、Ｎ個の特徴抽出部の中から対象物体とその背景とで信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することができる。
【００１１】
取得部１１０で取得された画像列は、対象検出部１２０又は対象追跡部１４０に入力される。画像処理装置１００は、対象検出部１２０の検出結果又は対象追跡部１４０の追跡結果を、対象検出部１３０又は対象追跡部１４０から出力する。対象検出部１２０、対象追跡部１４０及び特徴選択部１３０は、記憶部１５０とそれぞれ接続されている。対象検出部１２０は、対象物体の検出結果を対象追跡部１４０及び特徴選択部１３０に対しても出力する。対象追跡部１４０は、対象物体の追跡結果を対象検出部１２０及び特徴選択部１３０に対しても出力する。特徴選択部１３０は、特徴選択結果を対象追跡部１４０に出力する。
【００１２】
図３を参照して、本発明の第１の実施形態に係る画像処理装置の動作について説明する。なお、図３は、本発明の第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【００１３】
ステップＳ３１０では、制御部１６０は、取得部１１０で取得した画像列を記憶部１５０に記憶させる。
【００１４】
ステップＳ３２０では、制御部１６０は、現在のモードが追跡モードであるか否かを判定する。例えば、制御部１６０は、前の画像で対象物体の検出又は追跡に成功しており、ステップＳ３５０による特徴選択がなされている場合に、追跡モードであると判定する。制御部１６０は、追跡モードであると判定した場合（ステップＳ３２０で「Ｙｅｓ」）、ステップＳ３４０に進み、追跡モードでないと判定した場合（ステップＳ３２０で「Ｎｏ」）、ステップＳ３３０に進む。
【００１５】
ステップＳ３３０では、対象検出部１２０は、記憶部１５０に記憶されたＮ個の特徴抽出部１５１（ｇ１，ｇ２，…，ｇＮ）によって抽出されるＮ個の特徴量を用いて対象物体の検出を行う。具体的には、入力画像の各位置で対象物体らしさを表す信頼度を計算し、この信頼度がピークをとる位置を対象物体の位置とする。このとき、信頼度ｃDは、抽出されたＮ個の特徴量ｘ１，ｘ２，…，ｘＮから数式１に基づいて算出することができる。ただし、ｘｉは特徴抽出部ｇｉによって抽出された特徴量を表す。
【数１】
【００１６】
関数ｆＤは、例えば、Ｎ個の特徴抽出部を生成するために予め学習した対象物体とその背景とを分離する識別器である。従って、関数ｆＤは非線形なものでもよいが、単純には数式２のように線形関数を用いる。なお、「背景」とは、画像中における対象物体を除く領域をいうものとする。実際には入力画像の各位置に対して、その位置を含んだ領域を設定し、その設定した領域から特徴量を抽出して識別を行うことで、その位置が対象物体であるか否かを識別する。従って、対象物体とその背景との境界付近の位置では、設定した領域が対象物体と背景とを含むことになるが、このような領域では、対象物体の占める割合がある一定以上の場合に、対象物体と識別する。
【数２】
【００１７】
数式２を満たすような識別器は、例えば、よく知られたＡｄａＢｏｏｓｔを用いた学習によって実現できる。このとき、ｇｉはｉ番目の弱識別器、ｘｉはｉ番目の弱識別器の出力、ａｉはｉ番目の弱識別器に対する重みにそれぞれ対応する。
【００１８】
ステップＳ３３１では、制御部１６０は、対象物体の検出が成功したか否かを判定する。例えば、制御部１６０は、信頼度のピーク値がある閾値よりも小さい場合には、検出は失敗したと判定する。制御部１６０は、ステップＳ３３１で、対象物体の検出に失敗したと判定した場合には（ステップＳ３３１で「Ｎｏ」）、ステップＳ３２０に戻り、対象物体の検出に成功したと判定した場合には（ステップＳ３３１で「Ｙｅｓ」）、ステップＳ３５０に進む。
【００１９】
ステップＳ３４０では、対象追跡部１４０は、特徴選択部１３０で選択されているＭ個の特徴抽出部によって抽出されるＭ個の特徴量を用いて対象物体を追跡する。具体的には、入力画像の各位置で対象物体らしさを表す信頼度を計算し、この信頼度がピークをとる位置を追跡すべき対象物体の位置とする。ただし、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとする。信頼度ＣTは、抽出されたＭ個の第１の特徴量ｘσ１，ｘσ２，…，ｘσＭから数式３に基づいて算出することができる。ただし、σ１，σ２，…，σＭ∈｛１，２，…，Ｎ｝かつｉ≠ｊのときσｉ≠σｊである。ｘσｉは特徴抽出部ｇσｉによって抽出された特徴量を表す。
【数３】
【００２０】
関数ｆＴは、例えば、対象物体の検出時に用いた関数ｆＤの入力をＭ個の特徴量に制限したものである。ｆＤが数式２のような線形関数の場合、ｆＴは数式４のように表される。
【数４】
【００２１】
単純には、ｂｉ＝ａσｉ（ｉ＝１，２，…，Ｍ）である。信頼度ｃＴは、Ｍ個の第１の特徴量ｘσ１，ｘσ２，…，ｘσＭと、既に検出又は追跡処理を完了した画像における対象物体から抽出されたＭ個の第２の特徴量ｙσ１，ｙσ２，…，ｙσＭとの類似度により算出される。例えば、数式５のようにＭ個の第１の特徴量で構成される第１のベクトルと、Ｍ個の第２の特徴量で構成される第２のベクトルとの内積によって算出してもよい。ただし、ｙσｉは特徴抽出部ｇσｉによって抽出された特徴量を表す。
【数５】
【００２２】
また、数式５の積の部分が正の値をとるものだけを考慮した数式６を用いてもよい。
【数６】
【００２３】
また、数式５の積の部分の符号にのみ着目した数式７を用いてもよい。
【数７】
【００２４】
ここで、関数ｈ（ｘ）は数式６で用いたものと同じである。数式７は、Ｍ個の特徴抽出部によって抽出される特徴量のうち、前の画像の対象物体位置と入力画像の現在調べている位置とで、符号が一致する特徴量の割合を示している。
【００２５】
ステップＳ３４１では、制御部１６０は、対象物体の追跡に成功したか否かを判定する。制御部１６０は、対象物体の追跡に成功したと判定した場合には（ステップＳ３４１で「Ｙｅｓ」）、ステップＳ３５０に進み、対象物体の追跡に失敗したと判定した場合には（ステップＳ３４１で「Ｎｏ」）、ステップＳ３３０に進む。
【００２６】
ステップＳ３５０では、特徴選択部１３０は、対象物体やその背景の外観の変化に適応するために、対象物体とその背景とで対象物体らしさを表す信頼度ｃＤの分離度が大きくなるように、Ｎ個の特徴抽出部からＭ個の特徴抽出部を選択する。ただし、ｃＤの算出において、選択されていないＮ−Ｍ個の特徴抽出部の出力は０として扱う。特徴選択方法は、ｃＤの算出方法が数式２であるとすると、Ｎ個の特徴抽出部によって対象物体の位置から１つのグループとしての特徴量ｙ１，ｙ２，…，ｙＮ（ただし、ｙｉはｇｉによって抽出された特徴量を表す）を抽出し、ａｉ＊ｙｉが大きい順にＭ個選ぶ。Ｎ個の特徴量をそのまま用いるかわりに、既に処理した複数枚の対象物体を含む画像毎に対象物体位置からそれぞれ抽出された他のグループとしてのＮ個の特徴量も考慮して各特徴抽出部ｇｉによって抽出される特徴量の平均値Ｍｙｉを算出し、ａｉ＊Ｍｙｉが大きい順にＭ個選んでもよいし、分散などの高次統計量を組み込んでもよい。例えば、特徴抽出部ｇｉによって抽出される特徴量の標準偏差をｓｙｉとしたときに、ａｉ＊（ｙｉ−ｓｙｉ）又はａｉ＊（Ｍｙｉ−ｓｙｉ）の大きい順にＭ個選ぶ。また、Ｎ個の特徴抽出部を用いて対象物体の周辺の領域から抽出されたＮ個の特徴量ｚ１，ｚ２，…，ｚＮ（ただし、ｚｉは特徴抽出部ｇｉによって抽出された特徴量を表す）を用いてａｉ＊（ｙｉ−ｚｉ）が大きい順にＭ個選んでもよい。この背景から抽出された特徴量ｚｉに関してもｙｉと同様に、値をそのまま用いるかわりに、対象物体の周辺の領域の複数位置から抽出された特徴量や、既に処理した複数枚の画像における対象物体を含まない背景位置から抽出された特徴量の平均値Ｍｚ１，Ｍｚ２，…，ＭｚＮを用いてａｉ＊（ｙｉ−Ｍｚｉ）又はａｉ＊（Ｍｙｉ−Ｍｚｉ）の大きい順にＭ個選んでもよいし、平均値だけでなく、特徴量の標準偏差ｓｚ１，ｓｚ２，…，ｓｚＮなどの高次統計量を組み込んでもよい。例えば、ａｉ＊（Ｍｙｉ−ｓｙｉ−Ｍｚｉ−ｓｚｉ）の大きい順にＭ個選ぶといった具合である。また、ｚｉを抽出する周辺の領域の選び方は、例えば、対象物体位置の上下左右の４領域を選んでもよいし、さらにｃＤ又はｃＴが大きい領域を選んでもよい。ｃＤの大きい領域は対象物体として誤検出しやすい領域、ｃＴの大きい領域は対象物体として誤追跡しやすい領域であり、この領域を選ぶことによって、この領域におけるｃＴと対象物体位置におけるｃＴとの差が大きくなり、ｃＴのピークが鋭敏になることが期待される。また、例えば、前述したａｉ＊ｙｉにおいて大きい順にＭ個選択するかわりに、設定した閾値を超えたａｉ＊ｙｉに対応する特徴抽出部だけを選択してもよいし、さらに、最低限選択する特徴抽出部の数をＭとすることで、設定した閾値を超えるａｉ＊ｙｉがＭ個に満たない場合には、大きい順にＭ個選択するようにしてもよい。
【００２７】
また、入力画像からダウンサンプリングなどにより低解像画像を作成することで、複数の解像度の画像を入力とすることができる。このとき、対象検出部１２０及び対象追跡部１４０は、複数の解像度の画像に対して検出又は追跡を行う。対象物体の検出は、それぞれの解像度の画像でのｃＤのピークのうち、最大となる解像度の画像における位置を対象物体の位置とする。対象物体の追跡も同様に、それぞれの解像度の画像でのｃＴのピークのうち、最大となる解像度の画像における位置を対象物体の位置とする。特徴選択部１３０におけるサンプルの生成方法は、基本的には上述した通りであるが、対象物体の周辺の領域は、ｃＤ又はｃＴのピークが最大値となった解像度と同じ解像度だけでなく、異なる解像度の画像上にも存在することが異なる。従って、特徴選択に用いるサンプルは複数の解像度の画像から生成される。
【００２８】
このように、本実施形態に係る画像処理装置によれば、予め生成されたＮ個の特徴抽出部から対象物体とその背景とで対象物体らしさを表す信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することで、対象物体やその背景の外観の変化に対応しつつ、高速な追跡が可能となる。
【００２９】
（第２の実施形態）
本実施形態では、対象物体の追跡ステップにおいて、対象物体らしさを表す信頼度ｃＴのピークが複数ある場合、すなわち対象物体の位置の候補が複数ある場合について、対象物体の候補位置の検証処理を導入する。
【００３０】
本発明の第２の実施形態に係る画像処理装置のブロック図は、第1の実施形態に係る画像処理装置のブロック図である図１と同じであるので、説明は省略する。また、本発明の第２の実施形態に係る画像処理装置の動作は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである図３と概略的には同じである。しかしながら、対象物体の追跡ステップＳ３４０、Ｓ３４１が異なるので、この追跡ステップに関するフローチャートを図４を参照しながら説明する。
【００３１】
ステップＳ４０１では、現在のモードが追跡モードかどうかを判定するステップＳ３２０において、追跡モードであると判定された場合（ステップＳ３２０で「Ｙｅｓ」）、対象追跡部１４０は、数式３に示した対象物体らしさを表す信頼度ｃＴを、例えば、数式４、数式５、数式６及び数式７の何れか１つを用いて各画像上の位置で算出する。
【００３２】
ステップＳ４０２では、対象追跡部１４０は、ステップＳ４０１で算出した信頼度ｃＴのピークを取得する。
【００３３】
ステップＳ４０３では、対象追跡部１４０は、ステップＳ４０２で取得したピークの値がある閾値よりも小さい場合には、そのピークを除去する。
【００３４】
ステップＳ４０４では、制御部１６０は、残ったピークの数が０であるか否かを判定する。制御部１６０は、残ったピークの数が０であると判定した場合には（ステップＳ４０４で「Ｙｅｓ」）、追跡失敗となり、対象物体を検出し直すステップＳ３３０へ進む。制御部１６０は、残ったピークの数が０でない、すなわち１以上であると判定した場合には（ステップＳ４０４で「Ｎｏ」）、ステップＳ４０５へ進む。
【００３５】
ステップＳ４０５では、制御部１６０は、残ったピークの位置それぞれに対して、ピークの位置が対象物体の位置である、という仮説の検証を行う。仮説の検証は、ピーク位置における対象物体らしさを表す信頼度ｃＶを算出し、この信頼度がある閾値以上の場合に採択し、閾値以下の場合に棄却とすることで行う。制御部１６０は、全ての仮説が棄却された場合には、追跡失敗となり、対象物体を検出し直すステップＳ３３０へ進む。制御部１６０は、採択された仮説が複数ある場合には、ｃＶが最も大きい仮説のピーク位置を最終的な対象物体の位置として、特徴選択のステップＳ３５０へ進む。
【００３６】
仮説の検証で用いる対象物体らしさを表す信頼度ｃＶは、ｃＴを算出する手段とは別の手段によって算出される。最も単純にはｃＶとしてｃＤを用いることができる。これにより、対象物体らしくない位置の仮説を棄却することが可能となる。また、ｃＶとして、記憶部１５０で保持している特徴抽出部とは異なる、より高次の特徴抽出部を用いた識別器の出力を用いてもよい。一般に、高次の特徴抽出部は計算コストが大きいが、ｃＶの一枚の入力画像あたりの算出回数は、ｃＤ、ｃＴと比べて少ないため、装置全体の処理時間にはそれほど影響しない点に注意する。高次の特徴抽出部としては、例えば、Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５にあるようなエッジに基づく特徴を用いてもよい。また、ｃＶとして、前の入力画像における対象物体位置と現在の入力画像における仮説位置との類似度を用いてもよい。この類似度は、それぞれの位置を囲む２つの領域間の画素値の正規化相関でもよいし、画素値の分布の類似度でもよい。画素値の分布の類似度は、例えば、バタチャリヤ係数に基づくものでもよいし、２つの画素値ヒストグラムの共通部分の和でもよい。
【００３７】
このように、第２の実施形態に係る画像処理装置によれば、対象物体の追跡処理において検証処理を導入することによって、よりロバストな追跡が可能となる。
【００３８】
（第３の実施形態）
ここでは、対象物体が入力画像中に複数個ある場合について説明する。
【００３９】
本発明の第３の実施形態に係る画像処理装置のブロック図及び動作を示すフローチャートは、第１の実施形態に係る画像処理装置のブロック図（図１）及び動作を示すフローチャート（図３）と同様である。以下、図３のフローチャートを参照しながら説明する。
【００４０】
ステップＳ３１０では、制御部１６０は、画像入力部から入力された画像の画像列を記憶部に記憶させる。
【００４１】
ステップＳ３２０では、制御部１６０は、現在のモードが追跡モードであるか否かを判定する。例えば、制御部１６０は、前の画像で対象物体の検出又は追跡に成功しており、ステップＳ３５０によって特徴選択がなされた対象物体が１つ以上存在する場合に、追跡モードであると判定する。ただし、最後に対象物体の検出ステップＳ３３０を行ってから一定の枚数の画像を処理している場合は、現在のモードは追跡モードでないとする。
【００４２】
ステップＳ３３０では、対象検出部１２０は、記憶部１５０のＮ個の特徴抽出部ｇ１，ｇ２，…，ｇＮによって抽出されるＮ個の特徴量を用いて対象物体の検出を行う。具体的には、入力画像の各位置で対象物体らしさを表す信頼度ｃＤを計算し、この信頼度がピークをとる位置を全て取得し、それぞれ対象物体の位置とする。
【００４３】
ステップＳ３３１では、制御部１６０は、対象物体の検出が成功したか否かを判定する。例えば、制御部１６０は、得られた信頼度のピーク値の全てがある閾値よりも小さい場合には、検出は失敗したと判定する。このとき、信頼度ｃDは、例えば、数式２によって算出される。制御部１６０は、ステップＳ３３１で、対象物体の検出に失敗したと判定した場合には（ステップＳ３３１で「Ｎｏ」）、ステップＳ３２０に戻り、次の画像を処理する。制御部１６０は、ステップＳ３３１で、対象物体の検出に成功したと判定した場合には（ステップＳ３３１で「Ｙｅｓ」）、ステップＳ３５０に進む。
【００４４】
ステップＳ３４０では、対象追跡部１４０は、各々の対象物体について、特徴選択部１３０で各々の対象物体毎に選択されているＭ個の特徴抽出部によって抽出されるＭ個の特徴量を用いて追跡を行う。具体的には、各々の対象物体に対して、入力画像の各位置で対象物体らしさを表す信頼度ｃＴを計算し、この信頼度がピークをとる位置を対象物体の位置とする。
【００４５】
ステップＳ３４１では、制御部１６０は、対象物体の追跡に成功したか否かを判定する。制御部１６０は、全ての対象物体について、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとする（ステップＳ３４１で「Ｎｏ」）。また、１つ以上の対象物体について、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとしてもよい（ステップＳ３４１で「Ｎｏ」）。このとき、信頼度ｃＴは、例えば、数式４に基づいて算出することができる。制御部１６０は、対象物体の追跡に成功したと判定した場合には（ステップＳ３４１で「Ｙｅｓ」）、ステップＳ３５０に進み、対象物体の追跡に失敗したと判定した場合には（ステップＳ３４１で「Ｎｏ」）、ステップＳ３３０に進む。
【００４６】
ステップＳ３５０では、特徴選択部１３０は、特徴選択部１３０の各々の対象物体やその背景の外観の変化に適応するために、各々の対象物体とその背景とで対象物体らしさを表す信頼度ｃＤの分離度が大きくなるように、各々の対象物体毎にＮ個の特徴抽出部からＭ個の特徴抽出部を選択する。ｃＤの算出方法については、本発明の第1の実施形態において説明済みであるので省略する。
【００４７】
このように、第３の実施形態に係る画像処理装置によれば、対象物体が複数存在する場合においても、従来よりも高速かつロバストな追跡が可能となる。
【００４８】
（変形例）
対象物体らしさを表す信頼度ｃTの算出手段である数式５、数式６及び数式７を計算する前に、各特徴抽出部ｇσｉの出力から、ある値θσｉを減算してもよい。これは、数式５、数式６及び数式７のｘσｉ、ｙσｉをそれぞれｘσｉ−θσｉ、ｙσｉ−θσｉに置き換えることを意味する。θσｉは、例えば、上述した特徴選択時に用いたｙσｉの平均値Ｍｙσｉでもよいし、又はｚσｉの平均値Ｍｚσｉでもよいし、又はｙσｉとｚσｉの両方を含めた平均値でもよい。また、平均値の代わりに中間値を用いてもよい。又は、各特徴抽出部ｇｉの出力毎に、ｙσｉとｚσｉ（特徴選択時に生成したサンプルが複数個ある場合は、ｙσｉもｚσｉも複数個存在する）を分離する識別器を学習し、その学習結果を用いてもよい。識別器は、例えば、ｌ＝ｕｘ−ｖ（ｌはカテゴリラベル、ｘは学習サンプルのとる値（すなわち、ｙσｉ又はｚσｉ）、ｕ、ｖは学習によって定まる定数）の形で表現される線形識別器を用いる。ｙσｉのカテゴリラベルを１、ｚσｉのカテゴリラベルを−１として学習する。学習結果として得られるｕが０でないときは、ｖ／ｕをθｉとして用い、０であるときはθｉ＝０とする。線形識別器の学習は、線形判別分析を用いてもよいし、線形のサポートベクターマシンを用いてもよいし、線形識別器が学習できるものであれば何でもよい。
【００４９】
なお、本発明は、上記の実施形態に限定されず、その要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記の実施形態に開示されている複数の構成要素の適当な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、本実施形態の画像処理装置の各部の処理ステップは、コンピュータに記憶または伝送されたコンピュータ読み取り可能な画像処理プログラムによって、コンピュータに実行させることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る記憶部の構成を示すブロック図である。
【図３】本発明の第１の実施形態の動作を示すフローチャートを示す図である。
【図４】本発明の第２の実施形態における対象物体の追跡処理の動作を示すフローチャートを示す図である。
【符号の説明】
【００５１】
１００ 画像処理装置
１２０ 対象検出部
１３０ 特徴選択部
１４０ 対象追跡部
１５１ 特徴抽出部
１５２ 識別部
【技術分野】
【０００１】
本発明は、画像処理装置及びその方法並びに画像処理プログラムに係り、特に、対象物体の追跡の高速化とロバスト性の向上が可能な画像処理装置及びその方法並びに画像処理プログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置は、入力画像における対象物体とその背景とを分離する識別器を更新しながら用いることにより、対象物体やその背景の経時的変化に対応しながら対象物体の追跡を行っている（特許文献１及び非特許文献１を参照）。この場合、識別器の更新時に行う学習において新たに特徴抽出部を生成する。そのため、例えば、人物が一瞬だけ手を挙げた場合などのように、一時的に対象物体が変化した場合などでは、特徴抽出部によって抽出される特徴量が必ずしも対象物体とその背景との分離に有効ではなく、追跡に失敗する恐れがあった。
【特許文献１】特開２００６−２０９７５５号公報（第１１頁、図１）
【非特許文献１】Ｌ．Ｌｕ ａｎｄ Ｇ．Ｄ．Ｈａｇｅｒ，”Ａ Ｎｏｎｐａｒａｍｅｔｒｉｃ Ｔｒｅａｔｍｅｎｔ ｆｏｒ Ｌｏｃａｔｉｏｎ／Ｓｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００７
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように、従来技術では、新たに生成された特徴抽出部によって抽出される特徴量が必ずしも対象物体とその背景との分離に有効ではないため、追跡に失敗する恐れがあるという問題があった。
【０００４】
本発明は、上記従来技術の問題点を解決するためになされたものであって、ロバストでかつ高速な追跡を可能とする画像処理装置及びその方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の画像処理装置は、予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部と、前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部と、前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する特徴選択部と、前記特徴選択部で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ロバストでかつ高速な追跡が可能となる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態について説明する。
【０００８】
（第１の実施形態）
図１は、本発明の第1の実施形態に係る画像処理装置１００を示すブロック図である。画像処理装置１００は、取得部１１０と、対象検出部１２０と、特徴選択部１３０と、対象追跡部１４０と、記憶部１５０と、制御部１６０と、を備える。取得部１１０は、画像を入力する画像入力装置に接続され、画像入力装置から入力画像を取得する。対象検出部１２０は、後述する対象物体らしさを表す信頼度を用いて、入力画像に含まれる対象物体を検出する。特徴選択部１３０は、後述する対象物体とその背景との信頼度の分離度が、Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する。対象追跡部１４０は、選択されたＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部によって抽出されたＭ個の特徴量を用いて、対象物体を追跡する。
【０００９】
図２に示すように、記憶部１５０は、Ｎ個の特徴抽出部１５１と、対象物体を識別するための識別器で構成された識別部１５２と、を記憶している。Ｎ個の特徴抽出部１５１は、識別器の学習によって予め生成されている。識別部１５２は、Ｎ個の特徴抽出部１５１によって抽出されたＮ個の特徴量を用いて、対象物体らしさを表す信頼度を算出する。なお、Ｎ個の特徴抽出部１５１は記憶部１５０に記憶されてもよいし、画像処理装置１００の外部の記憶部に記憶されてもよい。制御部１６０は、画像処理装置１００の各部を制御する。対象物体は、特定の物体に限定されず、人物、動物、物などの様々な物体を含む。
【００１０】
特徴選択部１３０は、対象検出部１２０の検出結果又は対象追跡部１４０の追跡結果に基づいて、抽出されたＮ個の特徴量を１つのグループとして複数のグループの特徴量を生成することができる。特徴選択部１３０は、生成した複数のグループの特徴量に基づいて、Ｎ個の特徴抽出部の中から対象物体とその背景とで信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することができる。
【００１１】
取得部１１０で取得された画像列は、対象検出部１２０又は対象追跡部１４０に入力される。画像処理装置１００は、対象検出部１２０の検出結果又は対象追跡部１４０の追跡結果を、対象検出部１３０又は対象追跡部１４０から出力する。対象検出部１２０、対象追跡部１４０及び特徴選択部１３０は、記憶部１５０とそれぞれ接続されている。対象検出部１２０は、対象物体の検出結果を対象追跡部１４０及び特徴選択部１３０に対しても出力する。対象追跡部１４０は、対象物体の追跡結果を対象検出部１２０及び特徴選択部１３０に対しても出力する。特徴選択部１３０は、特徴選択結果を対象追跡部１４０に出力する。
【００１２】
図３を参照して、本発明の第１の実施形態に係る画像処理装置の動作について説明する。なお、図３は、本発明の第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【００１３】
ステップＳ３１０では、制御部１６０は、取得部１１０で取得した画像列を記憶部１５０に記憶させる。
【００１４】
ステップＳ３２０では、制御部１６０は、現在のモードが追跡モードであるか否かを判定する。例えば、制御部１６０は、前の画像で対象物体の検出又は追跡に成功しており、ステップＳ３５０による特徴選択がなされている場合に、追跡モードであると判定する。制御部１６０は、追跡モードであると判定した場合（ステップＳ３２０で「Ｙｅｓ」）、ステップＳ３４０に進み、追跡モードでないと判定した場合（ステップＳ３２０で「Ｎｏ」）、ステップＳ３３０に進む。
【００１５】
ステップＳ３３０では、対象検出部１２０は、記憶部１５０に記憶されたＮ個の特徴抽出部１５１（ｇ１，ｇ２，…，ｇＮ）によって抽出されるＮ個の特徴量を用いて対象物体の検出を行う。具体的には、入力画像の各位置で対象物体らしさを表す信頼度を計算し、この信頼度がピークをとる位置を対象物体の位置とする。このとき、信頼度ｃDは、抽出されたＮ個の特徴量ｘ１，ｘ２，…，ｘＮから数式１に基づいて算出することができる。ただし、ｘｉは特徴抽出部ｇｉによって抽出された特徴量を表す。
【数１】
【００１６】
関数ｆＤは、例えば、Ｎ個の特徴抽出部を生成するために予め学習した対象物体とその背景とを分離する識別器である。従って、関数ｆＤは非線形なものでもよいが、単純には数式２のように線形関数を用いる。なお、「背景」とは、画像中における対象物体を除く領域をいうものとする。実際には入力画像の各位置に対して、その位置を含んだ領域を設定し、その設定した領域から特徴量を抽出して識別を行うことで、その位置が対象物体であるか否かを識別する。従って、対象物体とその背景との境界付近の位置では、設定した領域が対象物体と背景とを含むことになるが、このような領域では、対象物体の占める割合がある一定以上の場合に、対象物体と識別する。
【数２】
【００１７】
数式２を満たすような識別器は、例えば、よく知られたＡｄａＢｏｏｓｔを用いた学習によって実現できる。このとき、ｇｉはｉ番目の弱識別器、ｘｉはｉ番目の弱識別器の出力、ａｉはｉ番目の弱識別器に対する重みにそれぞれ対応する。
【００１８】
ステップＳ３３１では、制御部１６０は、対象物体の検出が成功したか否かを判定する。例えば、制御部１６０は、信頼度のピーク値がある閾値よりも小さい場合には、検出は失敗したと判定する。制御部１６０は、ステップＳ３３１で、対象物体の検出に失敗したと判定した場合には（ステップＳ３３１で「Ｎｏ」）、ステップＳ３２０に戻り、対象物体の検出に成功したと判定した場合には（ステップＳ３３１で「Ｙｅｓ」）、ステップＳ３５０に進む。
【００１９】
ステップＳ３４０では、対象追跡部１４０は、特徴選択部１３０で選択されているＭ個の特徴抽出部によって抽出されるＭ個の特徴量を用いて対象物体を追跡する。具体的には、入力画像の各位置で対象物体らしさを表す信頼度を計算し、この信頼度がピークをとる位置を追跡すべき対象物体の位置とする。ただし、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとする。信頼度ＣTは、抽出されたＭ個の第１の特徴量ｘσ１，ｘσ２，…，ｘσＭから数式３に基づいて算出することができる。ただし、σ１，σ２，…，σＭ∈｛１，２，…，Ｎ｝かつｉ≠ｊのときσｉ≠σｊである。ｘσｉは特徴抽出部ｇσｉによって抽出された特徴量を表す。
【数３】
【００２０】
関数ｆＴは、例えば、対象物体の検出時に用いた関数ｆＤの入力をＭ個の特徴量に制限したものである。ｆＤが数式２のような線形関数の場合、ｆＴは数式４のように表される。
【数４】
【００２１】
単純には、ｂｉ＝ａσｉ（ｉ＝１，２，…，Ｍ）である。信頼度ｃＴは、Ｍ個の第１の特徴量ｘσ１，ｘσ２，…，ｘσＭと、既に検出又は追跡処理を完了した画像における対象物体から抽出されたＭ個の第２の特徴量ｙσ１，ｙσ２，…，ｙσＭとの類似度により算出される。例えば、数式５のようにＭ個の第１の特徴量で構成される第１のベクトルと、Ｍ個の第２の特徴量で構成される第２のベクトルとの内積によって算出してもよい。ただし、ｙσｉは特徴抽出部ｇσｉによって抽出された特徴量を表す。
【数５】
【００２２】
また、数式５の積の部分が正の値をとるものだけを考慮した数式６を用いてもよい。
【数６】
【００２３】
また、数式５の積の部分の符号にのみ着目した数式７を用いてもよい。
【数７】
【００２４】
ここで、関数ｈ（ｘ）は数式６で用いたものと同じである。数式７は、Ｍ個の特徴抽出部によって抽出される特徴量のうち、前の画像の対象物体位置と入力画像の現在調べている位置とで、符号が一致する特徴量の割合を示している。
【００２５】
ステップＳ３４１では、制御部１６０は、対象物体の追跡に成功したか否かを判定する。制御部１６０は、対象物体の追跡に成功したと判定した場合には（ステップＳ３４１で「Ｙｅｓ」）、ステップＳ３５０に進み、対象物体の追跡に失敗したと判定した場合には（ステップＳ３４１で「Ｎｏ」）、ステップＳ３３０に進む。
【００２６】
ステップＳ３５０では、特徴選択部１３０は、対象物体やその背景の外観の変化に適応するために、対象物体とその背景とで対象物体らしさを表す信頼度ｃＤの分離度が大きくなるように、Ｎ個の特徴抽出部からＭ個の特徴抽出部を選択する。ただし、ｃＤの算出において、選択されていないＮ−Ｍ個の特徴抽出部の出力は０として扱う。特徴選択方法は、ｃＤの算出方法が数式２であるとすると、Ｎ個の特徴抽出部によって対象物体の位置から１つのグループとしての特徴量ｙ１，ｙ２，…，ｙＮ（ただし、ｙｉはｇｉによって抽出された特徴量を表す）を抽出し、ａｉ＊ｙｉが大きい順にＭ個選ぶ。Ｎ個の特徴量をそのまま用いるかわりに、既に処理した複数枚の対象物体を含む画像毎に対象物体位置からそれぞれ抽出された他のグループとしてのＮ個の特徴量も考慮して各特徴抽出部ｇｉによって抽出される特徴量の平均値Ｍｙｉを算出し、ａｉ＊Ｍｙｉが大きい順にＭ個選んでもよいし、分散などの高次統計量を組み込んでもよい。例えば、特徴抽出部ｇｉによって抽出される特徴量の標準偏差をｓｙｉとしたときに、ａｉ＊（ｙｉ−ｓｙｉ）又はａｉ＊（Ｍｙｉ−ｓｙｉ）の大きい順にＭ個選ぶ。また、Ｎ個の特徴抽出部を用いて対象物体の周辺の領域から抽出されたＮ個の特徴量ｚ１，ｚ２，…，ｚＮ（ただし、ｚｉは特徴抽出部ｇｉによって抽出された特徴量を表す）を用いてａｉ＊（ｙｉ−ｚｉ）が大きい順にＭ個選んでもよい。この背景から抽出された特徴量ｚｉに関してもｙｉと同様に、値をそのまま用いるかわりに、対象物体の周辺の領域の複数位置から抽出された特徴量や、既に処理した複数枚の画像における対象物体を含まない背景位置から抽出された特徴量の平均値Ｍｚ１，Ｍｚ２，…，ＭｚＮを用いてａｉ＊（ｙｉ−Ｍｚｉ）又はａｉ＊（Ｍｙｉ−Ｍｚｉ）の大きい順にＭ個選んでもよいし、平均値だけでなく、特徴量の標準偏差ｓｚ１，ｓｚ２，…，ｓｚＮなどの高次統計量を組み込んでもよい。例えば、ａｉ＊（Ｍｙｉ−ｓｙｉ−Ｍｚｉ−ｓｚｉ）の大きい順にＭ個選ぶといった具合である。また、ｚｉを抽出する周辺の領域の選び方は、例えば、対象物体位置の上下左右の４領域を選んでもよいし、さらにｃＤ又はｃＴが大きい領域を選んでもよい。ｃＤの大きい領域は対象物体として誤検出しやすい領域、ｃＴの大きい領域は対象物体として誤追跡しやすい領域であり、この領域を選ぶことによって、この領域におけるｃＴと対象物体位置におけるｃＴとの差が大きくなり、ｃＴのピークが鋭敏になることが期待される。また、例えば、前述したａｉ＊ｙｉにおいて大きい順にＭ個選択するかわりに、設定した閾値を超えたａｉ＊ｙｉに対応する特徴抽出部だけを選択してもよいし、さらに、最低限選択する特徴抽出部の数をＭとすることで、設定した閾値を超えるａｉ＊ｙｉがＭ個に満たない場合には、大きい順にＭ個選択するようにしてもよい。
【００２７】
また、入力画像からダウンサンプリングなどにより低解像画像を作成することで、複数の解像度の画像を入力とすることができる。このとき、対象検出部１２０及び対象追跡部１４０は、複数の解像度の画像に対して検出又は追跡を行う。対象物体の検出は、それぞれの解像度の画像でのｃＤのピークのうち、最大となる解像度の画像における位置を対象物体の位置とする。対象物体の追跡も同様に、それぞれの解像度の画像でのｃＴのピークのうち、最大となる解像度の画像における位置を対象物体の位置とする。特徴選択部１３０におけるサンプルの生成方法は、基本的には上述した通りであるが、対象物体の周辺の領域は、ｃＤ又はｃＴのピークが最大値となった解像度と同じ解像度だけでなく、異なる解像度の画像上にも存在することが異なる。従って、特徴選択に用いるサンプルは複数の解像度の画像から生成される。
【００２８】
このように、本実施形態に係る画像処理装置によれば、予め生成されたＮ個の特徴抽出部から対象物体とその背景とで対象物体らしさを表す信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することで、対象物体やその背景の外観の変化に対応しつつ、高速な追跡が可能となる。
【００２９】
（第２の実施形態）
本実施形態では、対象物体の追跡ステップにおいて、対象物体らしさを表す信頼度ｃＴのピークが複数ある場合、すなわち対象物体の位置の候補が複数ある場合について、対象物体の候補位置の検証処理を導入する。
【００３０】
本発明の第２の実施形態に係る画像処理装置のブロック図は、第1の実施形態に係る画像処理装置のブロック図である図１と同じであるので、説明は省略する。また、本発明の第２の実施形態に係る画像処理装置の動作は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである図３と概略的には同じである。しかしながら、対象物体の追跡ステップＳ３４０、Ｓ３４１が異なるので、この追跡ステップに関するフローチャートを図４を参照しながら説明する。
【００３１】
ステップＳ４０１では、現在のモードが追跡モードかどうかを判定するステップＳ３２０において、追跡モードであると判定された場合（ステップＳ３２０で「Ｙｅｓ」）、対象追跡部１４０は、数式３に示した対象物体らしさを表す信頼度ｃＴを、例えば、数式４、数式５、数式６及び数式７の何れか１つを用いて各画像上の位置で算出する。
【００３２】
ステップＳ４０２では、対象追跡部１４０は、ステップＳ４０１で算出した信頼度ｃＴのピークを取得する。
【００３３】
ステップＳ４０３では、対象追跡部１４０は、ステップＳ４０２で取得したピークの値がある閾値よりも小さい場合には、そのピークを除去する。
【００３４】
ステップＳ４０４では、制御部１６０は、残ったピークの数が０であるか否かを判定する。制御部１６０は、残ったピークの数が０であると判定した場合には（ステップＳ４０４で「Ｙｅｓ」）、追跡失敗となり、対象物体を検出し直すステップＳ３３０へ進む。制御部１６０は、残ったピークの数が０でない、すなわち１以上であると判定した場合には（ステップＳ４０４で「Ｎｏ」）、ステップＳ４０５へ進む。
【００３５】
ステップＳ４０５では、制御部１６０は、残ったピークの位置それぞれに対して、ピークの位置が対象物体の位置である、という仮説の検証を行う。仮説の検証は、ピーク位置における対象物体らしさを表す信頼度ｃＶを算出し、この信頼度がある閾値以上の場合に採択し、閾値以下の場合に棄却とすることで行う。制御部１６０は、全ての仮説が棄却された場合には、追跡失敗となり、対象物体を検出し直すステップＳ３３０へ進む。制御部１６０は、採択された仮説が複数ある場合には、ｃＶが最も大きい仮説のピーク位置を最終的な対象物体の位置として、特徴選択のステップＳ３５０へ進む。
【００３６】
仮説の検証で用いる対象物体らしさを表す信頼度ｃＶは、ｃＴを算出する手段とは別の手段によって算出される。最も単純にはｃＶとしてｃＤを用いることができる。これにより、対象物体らしくない位置の仮説を棄却することが可能となる。また、ｃＶとして、記憶部１５０で保持している特徴抽出部とは異なる、より高次の特徴抽出部を用いた識別器の出力を用いてもよい。一般に、高次の特徴抽出部は計算コストが大きいが、ｃＶの一枚の入力画像あたりの算出回数は、ｃＤ、ｃＴと比べて少ないため、装置全体の処理時間にはそれほど影響しない点に注意する。高次の特徴抽出部としては、例えば、Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ，”Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５にあるようなエッジに基づく特徴を用いてもよい。また、ｃＶとして、前の入力画像における対象物体位置と現在の入力画像における仮説位置との類似度を用いてもよい。この類似度は、それぞれの位置を囲む２つの領域間の画素値の正規化相関でもよいし、画素値の分布の類似度でもよい。画素値の分布の類似度は、例えば、バタチャリヤ係数に基づくものでもよいし、２つの画素値ヒストグラムの共通部分の和でもよい。
【００３７】
このように、第２の実施形態に係る画像処理装置によれば、対象物体の追跡処理において検証処理を導入することによって、よりロバストな追跡が可能となる。
【００３８】
（第３の実施形態）
ここでは、対象物体が入力画像中に複数個ある場合について説明する。
【００３９】
本発明の第３の実施形態に係る画像処理装置のブロック図及び動作を示すフローチャートは、第１の実施形態に係る画像処理装置のブロック図（図１）及び動作を示すフローチャート（図３）と同様である。以下、図３のフローチャートを参照しながら説明する。
【００４０】
ステップＳ３１０では、制御部１６０は、画像入力部から入力された画像の画像列を記憶部に記憶させる。
【００４１】
ステップＳ３２０では、制御部１６０は、現在のモードが追跡モードであるか否かを判定する。例えば、制御部１６０は、前の画像で対象物体の検出又は追跡に成功しており、ステップＳ３５０によって特徴選択がなされた対象物体が１つ以上存在する場合に、追跡モードであると判定する。ただし、最後に対象物体の検出ステップＳ３３０を行ってから一定の枚数の画像を処理している場合は、現在のモードは追跡モードでないとする。
【００４２】
ステップＳ３３０では、対象検出部１２０は、記憶部１５０のＮ個の特徴抽出部ｇ１，ｇ２，…，ｇＮによって抽出されるＮ個の特徴量を用いて対象物体の検出を行う。具体的には、入力画像の各位置で対象物体らしさを表す信頼度ｃＤを計算し、この信頼度がピークをとる位置を全て取得し、それぞれ対象物体の位置とする。
【００４３】
ステップＳ３３１では、制御部１６０は、対象物体の検出が成功したか否かを判定する。例えば、制御部１６０は、得られた信頼度のピーク値の全てがある閾値よりも小さい場合には、検出は失敗したと判定する。このとき、信頼度ｃDは、例えば、数式２によって算出される。制御部１６０は、ステップＳ３３１で、対象物体の検出に失敗したと判定した場合には（ステップＳ３３１で「Ｎｏ」）、ステップＳ３２０に戻り、次の画像を処理する。制御部１６０は、ステップＳ３３１で、対象物体の検出に成功したと判定した場合には（ステップＳ３３１で「Ｙｅｓ」）、ステップＳ３５０に進む。
【００４４】
ステップＳ３４０では、対象追跡部１４０は、各々の対象物体について、特徴選択部１３０で各々の対象物体毎に選択されているＭ個の特徴抽出部によって抽出されるＭ個の特徴量を用いて追跡を行う。具体的には、各々の対象物体に対して、入力画像の各位置で対象物体らしさを表す信頼度ｃＴを計算し、この信頼度がピークをとる位置を対象物体の位置とする。
【００４５】
ステップＳ３４１では、制御部１６０は、対象物体の追跡に成功したか否かを判定する。制御部１６０は、全ての対象物体について、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとする（ステップＳ３４１で「Ｎｏ」）。また、１つ以上の対象物体について、信頼度のピーク値がある閾値よりも小さい場合には、追跡は失敗したものとしてもよい（ステップＳ３４１で「Ｎｏ」）。このとき、信頼度ｃＴは、例えば、数式４に基づいて算出することができる。制御部１６０は、対象物体の追跡に成功したと判定した場合には（ステップＳ３４１で「Ｙｅｓ」）、ステップＳ３５０に進み、対象物体の追跡に失敗したと判定した場合には（ステップＳ３４１で「Ｎｏ」）、ステップＳ３３０に進む。
【００４６】
ステップＳ３５０では、特徴選択部１３０は、特徴選択部１３０の各々の対象物体やその背景の外観の変化に適応するために、各々の対象物体とその背景とで対象物体らしさを表す信頼度ｃＤの分離度が大きくなるように、各々の対象物体毎にＮ個の特徴抽出部からＭ個の特徴抽出部を選択する。ｃＤの算出方法については、本発明の第1の実施形態において説明済みであるので省略する。
【００４７】
このように、第３の実施形態に係る画像処理装置によれば、対象物体が複数存在する場合においても、従来よりも高速かつロバストな追跡が可能となる。
【００４８】
（変形例）
対象物体らしさを表す信頼度ｃTの算出手段である数式５、数式６及び数式７を計算する前に、各特徴抽出部ｇσｉの出力から、ある値θσｉを減算してもよい。これは、数式５、数式６及び数式７のｘσｉ、ｙσｉをそれぞれｘσｉ−θσｉ、ｙσｉ−θσｉに置き換えることを意味する。θσｉは、例えば、上述した特徴選択時に用いたｙσｉの平均値Ｍｙσｉでもよいし、又はｚσｉの平均値Ｍｚσｉでもよいし、又はｙσｉとｚσｉの両方を含めた平均値でもよい。また、平均値の代わりに中間値を用いてもよい。又は、各特徴抽出部ｇｉの出力毎に、ｙσｉとｚσｉ（特徴選択時に生成したサンプルが複数個ある場合は、ｙσｉもｚσｉも複数個存在する）を分離する識別器を学習し、その学習結果を用いてもよい。識別器は、例えば、ｌ＝ｕｘ−ｖ（ｌはカテゴリラベル、ｘは学習サンプルのとる値（すなわち、ｙσｉ又はｚσｉ）、ｕ、ｖは学習によって定まる定数）の形で表現される線形識別器を用いる。ｙσｉのカテゴリラベルを１、ｚσｉのカテゴリラベルを−１として学習する。学習結果として得られるｕが０でないときは、ｖ／ｕをθｉとして用い、０であるときはθｉ＝０とする。線形識別器の学習は、線形判別分析を用いてもよいし、線形のサポートベクターマシンを用いてもよいし、線形識別器が学習できるものであれば何でもよい。
【００４９】
なお、本発明は、上記の実施形態に限定されず、その要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記の実施形態に開示されている複数の構成要素の適当な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、本実施形態の画像処理装置の各部の処理ステップは、コンピュータに記憶または伝送されたコンピュータ読み取り可能な画像処理プログラムによって、コンピュータに実行させることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る記憶部の構成を示すブロック図である。
【図３】本発明の第１の実施形態の動作を示すフローチャートを示す図である。
【図４】本発明の第２の実施形態における対象物体の追跡処理の動作を示すフローチャートを示す図である。
【符号の説明】
【００５１】
１００ 画像処理装置
１２０ 対象検出部
１３０ 特徴選択部
１４０ 対象追跡部
１５１ 特徴抽出部
１５２ 識別部
【特許請求の範囲】
【請求項１】
予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部と、
前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部と、
前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する特徴選択部と、
前記特徴選択部で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対象追跡部は、抽出された前記Ｍ個の特徴量に基づいて前記信頼度を算出し、算出した信頼度に基づいて前記対象物体を追跡することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象追跡部は、入力画像から抽出されたＭ個の第１の特徴量で構成される第１のベクトルと、前記対象検出部による検出又は前記対象追跡部による追跡が完了した入力画像における前記対象物体の位置から抽出されたＭ個の第２の特徴量で構成される第２のベクトルと、の類似度により前記信頼度を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記類似度は、前記第１のベクトルの各成分の符号と、対応する前記第２のベクトルの各成分の符号とが一致した割合で算出されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力画像の各位置で前記信頼度を算出し、前記信頼度がピークをとる位置を前記対象物体の位置と判定する制御部を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記制御部は、前記信頼度のピーク値がある閾値よりも小さい場合には、前記対象物体の検出に失敗したと判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御部は、入力画像の各位置で前記信頼度を算出し、前記信頼度がピークをとる位置を追跡すべき前記対象物体の位置と判定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記制御部は、前記信頼度のピーク値がある閾値よりも小さい場合には、前記対象物体の追跡に失敗したと判定し、前記対象検出部により前記対象物体を検出し直すことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記特徴選択部は、
前記対象検出部の検出結果又は前記対象追跡部の追跡結果に基づいて、前記抽出されたＮ個の特徴量を１つのグループとして複数のグループの特徴量を生成し、生成した複数のグループの特徴量に基づいて、前記Ｎ個の特徴抽出部の中から前記対象物体とその背景とで前記信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記特徴選択部は、
前記検出された又は追跡された対象物体の周辺の領域から、前記Ｎ個の特徴量を１つのグループとして複数のグループの特徴量を生成すると共に、前記対象物体の周辺の領域から前記Ｎ個の特徴量を１つのグループとして複数のグループの特徴量を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特徴選択部は、
前記対象物体と前記周辺の領域とで前記信頼度の分離度が大きくなるように前記Ｎ個の特徴抽出部の中からＭ個の特徴抽出部を選択することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記特徴選択部は、
前記対象物体の検出又は追跡を完了した１枚以上の画像において生成された前記複数のグループの特徴量及び前記複数のグループの特徴量の画像上の位置を履歴として保持することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記特徴選択部は、
前記履歴に基づいて、前記対象物体とその背景とで前記分離度が大きくなるように前記Ｎ個の特徴抽出部の中からＭ個の特徴抽出部を選択することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する工程と、
前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する工程と、
前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する工程と、
前記選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する工程と、
を含むことを特徴とする画像処理方法。
【請求項１５】
コンピュータに、
予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する工程と、
前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する工程と、
前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する工程と、
前記選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する工程と、
を実行させるための画像処理プログラム。
【請求項１】
予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する識別部と、
前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する対象検出部と、
前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する特徴選択部と、
前記特徴選択部で選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する対象追跡部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対象追跡部は、抽出された前記Ｍ個の特徴量に基づいて前記信頼度を算出し、算出した信頼度に基づいて前記対象物体を追跡することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象追跡部は、入力画像から抽出されたＭ個の第１の特徴量で構成される第１のベクトルと、前記対象検出部による検出又は前記対象追跡部による追跡が完了した入力画像における前記対象物体の位置から抽出されたＭ個の第２の特徴量で構成される第２のベクトルと、の類似度により前記信頼度を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記類似度は、前記第１のベクトルの各成分の符号と、対応する前記第２のベクトルの各成分の符号とが一致した割合で算出されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力画像の各位置で前記信頼度を算出し、前記信頼度がピークをとる位置を前記対象物体の位置と判定する制御部を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記制御部は、前記信頼度のピーク値がある閾値よりも小さい場合には、前記対象物体の検出に失敗したと判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御部は、入力画像の各位置で前記信頼度を算出し、前記信頼度がピークをとる位置を追跡すべき前記対象物体の位置と判定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記制御部は、前記信頼度のピーク値がある閾値よりも小さい場合には、前記対象物体の追跡に失敗したと判定し、前記対象検出部により前記対象物体を検出し直すことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記特徴選択部は、
前記対象検出部の検出結果又は前記対象追跡部の追跡結果に基づいて、前記抽出されたＮ個の特徴量を１つのグループとして複数のグループの特徴量を生成し、生成した複数のグループの特徴量に基づいて、前記Ｎ個の特徴抽出部の中から前記対象物体とその背景とで前記信頼度の分離度が大きくなるようにＭ個の特徴抽出部を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記特徴選択部は、
前記検出された又は追跡された対象物体の周辺の領域から、前記Ｎ個の特徴量を１つのグループとして複数のグループの特徴量を生成すると共に、前記対象物体の周辺の領域から前記Ｎ個の特徴量を１つのグループとして複数のグループの特徴量を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特徴選択部は、
前記対象物体と前記周辺の領域とで前記信頼度の分離度が大きくなるように前記Ｎ個の特徴抽出部の中からＭ個の特徴抽出部を選択することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記特徴選択部は、
前記対象物体の検出又は追跡を完了した１枚以上の画像において生成された前記複数のグループの特徴量及び前記複数のグループの特徴量の画像上の位置を履歴として保持することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記特徴選択部は、
前記履歴に基づいて、前記対象物体とその背景とで前記分離度が大きくなるように前記Ｎ個の特徴抽出部の中からＭ個の特徴抽出部を選択することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する工程と、
前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する工程と、
前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する工程と、
前記選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する工程と、
を含むことを特徴とする画像処理方法。
【請求項１５】
コンピュータに、
予め生成されたＮ（Ｎは２以上の整数）個の特徴抽出部を用いて、入力画像からＮ個の特徴量を抽出し、抽出された前記Ｎ個の特徴量から対象物体らしさを表す信頼度を算出する工程と、
前記信頼度に基づいて前記入力画像に含まれる対象物体を検出する工程と、
前記対象物体の前記信頼度とその背景の前記信頼度との分離度が、前記Ｎ個の特徴抽出部を用いた場合よりも大きくなるように、前記Ｎ個の特徴抽出部の中からＭ（ＭはＮよりも小さい１以上の整数）個の特徴抽出部を選択する工程と、
前記選択されたＭ個の特徴抽出部を用いて、前記入力画像からＭ個の特徴量を抽出し、抽出された前記Ｍ個の特徴量を用いて前記対象物体を追跡する工程と、
を実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−３９７８８（Ｐ２０１０−３９７８８Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０２２９１（Ｐ２００８−２０２２９１）
【出願日】平成２０年８月５日（２００８．８．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月５日（２００８．８．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]