対象追跡装置、対象追跡プログラム及び方法
【課題】動画像における対象の追跡に掛かる処理負荷を軽減することができる対象追跡装置、対象追跡プログラム及び方法を提供する。
【解決手段】動画像における所定のフレームを第１フレームとして選択し、第１フレームより所定の対象の輪郭を検出し、検出した輪郭を第１フレームにおける輪郭として確定し、第１フレームの所定数後に配列されたフレームを第２フレームとして選択し、第２フレームに対して、第２フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を輪郭候補として検出し、第２フレームに対して、輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、第２フレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出し、輪郭候補のうち、算出した輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、第２フレームの輪郭として確定する。
【解決手段】動画像における所定のフレームを第１フレームとして選択し、第１フレームより所定の対象の輪郭を検出し、検出した輪郭を第１フレームにおける輪郭として確定し、第１フレームの所定数後に配列されたフレームを第２フレームとして選択し、第２フレームに対して、第２フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を輪郭候補として検出し、第２フレームに対して、輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、第２フレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出し、輪郭候補のうち、算出した輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、第２フレームの輪郭として確定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像において対象を追跡する技術に関する。
【背景技術】
【０００２】
従来、動画像において、例えば人の顔のような、ある対象を追跡するための技術として、各フレーム毎に対象物を検出する技術が知られている。また、このような技術に関連する技術として、動画像をフレーム単位で順次取り込み、各フレームにおける人物の顔部を検出して異なる複数のフレーム間で追跡する技術が知られている（例えば、特許文献１）。
【特許文献１】特開２００８−１９９５４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したように、対象の追跡において、各フレームに対して対象を検出することは、処理負荷が大きいという問題がある。
【０００４】
この発明は、このような問題点を解消するためになされたもので、動画像における対象の追跡に掛かる処理負荷を軽減することができる対象追跡装置、対象追跡プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明に係る対象追跡装置は、時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する装置であって、前記動画像における所定のフレームを選択する第１選択部と、前記第１選択部により選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択部により選択されたフレームにおける輪郭として確定する第１確定部と、前記第１選択部により選択されたフレームの所定数後に配列されたフレームを選択する第２選択部と、前記第２選択部により選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出部と、前記第２選択部により選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択部により選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出部と、前記輪郭候補のうち、前記第１算出部により算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択部により選択されたフレームの輪郭として確定する第２確定部とを備える。
【０００６】
また、対象追跡プログラムは、時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡するプログラムであって、前記動画像における所定のフレームを選択する第１選択ステップと、前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップとをコンピュータに実行させる。
【０００７】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する方法であって、前記動画像における所定のフレームを選択する第１選択ステップと、前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップとを備える。
【発明の効果】
【０００８】
この発明によれば、動画像における対象の追跡に掛かる処理負荷を軽減することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態を添付図面に基づいて説明する。まず、本実施の形態に係る対象追跡装置のハードウェア構成について説明する。図１は、本実施の形態に係る対象追跡装置のハードウェア構成を示す図である。
【００１０】
本実施の形態に係る対象追跡装置は、図１に示すパーソナルコンピュータ１０により実現される。このパーソナルコンピュータ１０は、少なくともＣＰＵ１０１とメモリ１０２を備え、また、記憶デバイス１０３と接続されている。なお、この記憶デバイス１０３には本実施の形態における処理対象である動画像が保存されているものとする。また、パーソナルコンピュータ１０は、動画像に対する処理において、そのデータを記憶デバイス１０３より読み出して処理し、処理後のデータを記憶デバイス１０３に書き込むものとする。また、処理対象としての動画像は、時系列上に配列された複数のフレームにより構成されるものとする。
【００１１】
次に、本実施の形態に係る対象追跡装置について説明する。図２は、本実施の形態に係る対象追跡装置の構成を示すブロック図である。
【００１２】
図２に示すように、本実施の形態に係る対象追跡装置２０は、選択部２０１（第１選択部、第２選択部）、検出部２０２（第１確定部）、確定部２０３（第１確定部、第２確定部）、濃度ベクトル算出部２０４（第１検出部、第１算出部）、判定部２０５（第１検出部、第２検出部）、距離算出部２０６（第２算出部）を備えるものである。選択部２０１は、処理対象とする動画像の各フレームを選択するものである。また、検出部２０２は、動画像における追跡対象の輪郭の検出と、照合を行うものである。また、確定部２０３は、検出部２０２により検出された輪郭に基づく輪郭近傍領域及び輪郭位置、を確定、または更新するものである。また、濃度ベクトル算出部２０４は、輪郭近傍領域内の輪郭上の各点の法線方向の濃度勾配の絶対値の合計を算出するものである。また、距離算出部２０６は、異なるフレームにおける輪郭間、及び輪郭と輪郭候補間の距離を算出するものである。また、判定部２０５は、濃度ベクトル算出部により算出された濃度勾配の絶対値の合計、または距離算出部２０６により算出された距離に基づいて、輪郭に関する判定を行うものである。なお、本実施の形態において、対象追跡装置２０は、特定の人を対象とし、動画像において対象が含まれるフレームのみを保存するものとする。また、対象追跡装置２０における各部は、実質的にはパーソナルコンピュータ１０のＣＰＵ１０１及びメモリ１０２において実行される機能である。
【００１３】
次に、本実施の形態に係る対象追跡装置の動作について説明する。図３〜５は、本実施の形態に係る対象追跡装置の動作を示すフローチャートである。また、このフローチャートによる動作の説明を補足するための図として、図６〜９を用いる。図６は、曲線により示される輪郭を示す図である。また、図７は、輪郭の法線ベクトルを示す図である。また、図８は、移動ベクトルを示す図である。また、図９は、条件２を満たす輪郭候補を示す図である。なお、図３〜５に示すフローチャートにおいては、追跡対象として、予め特定の人の画像が指定されているものとする。
【００１４】
図３に示すように、まず、処理対象としての動画像が選択されると（Ｓ１０１）、選択部２０１は、選択された動画像の最初のフレームを選択し（Ｓ１０２、第１選択ステップ）、選択されたフレームに対して、検出部２０２が人の輪郭の検出を実行する（Ｓ１０３、第１確定ステップ）。なお、この輪郭の検出方法はいかなる方法であっても構わない。さらに、検出部２０２は、この検出により、人の輪郭が検出されたかどうかを判定する（Ｓ１０４）。
【００１５】
人の輪郭が検出された場合（Ｓ１０４，ＹＥＳ）、検出部２０２は、予め指定された人と、検出した人との照合を実行し（Ｓ１０５）、検出した人が予め指定された人かどうかを判定する（Ｓ１０６）。なお、この照合方法も、輪郭の検出方法と同様に、いかなる方法であっても構わない。
【００１６】
検出された人が予め指定された人である場合（Ｓ１０６，ＹＥＳ）、確定部２０３は、検出した人に対して、図６に示すような、輪郭のテンプレートを設定することにより輪郭を確定し、この輪郭の輪郭近傍領域を確定する（Ｓ１０７、第１確定ステップ）。
【００１７】
ここで、輪郭のテンプレート、輪郭近傍領域について説明する。まず、輪郭のテンプレートは、例えばアダブースト学習法により、複数の人の画像からその特徴が抽出された輪郭に基づいたものとする。また、複数の異なる人の画像に基づいた平均的な顔、首及び肩のエッジ部分に基づいたものであっても良い。また、輪郭のテンプレートは、アダブースト学習法により抽出された輪郭、または平均的な顔、首及び肩のエッジ部分に基づいて、ベクターデータによる曲線によって近似したものである。また、本実施の形態において、輪郭のテンプレートとして、顔、首、肩の輪郭を示すものを用いているが、例えば、胴体、脚部の輪郭を示すテンプレートを用いることもでき、対象の追従に用いる輪郭を増やすことで、より精度の高い追従処理を実現することができる。また、例えば、顔や首がフレーム外にあり、胴体と脚部だけがフレーム内にあるようなフレームに対しても、追従処理を実行することができる。また、輪郭近傍領域は、図７に示すように、輪郭のテンプレートの曲線を中心とした所定の距離内の領域である。
【００１８】
次に、選択部２０１は、次のフレームを選択し（Ｓ１０８、第２選択ステップ）、濃度ベクトル算出部２０４は、選択されたフレームに対して、輪郭近傍領域内において、図７に示すような、輪郭テンプレートの各点の法線方向の濃度勾配の絶対値の合計を算出する（Ｓ１０９、第１検出ステップ）。なお、具体的には、濃度ベクトル算出部２０４は、輪郭近傍領域内において、図７に示すｘ方向、ｙ方向に輪郭を１画素ずつずらしつつ、拡大、縮小させながら、各ｘ，ｙ座標の法線方向の濃度勾配の絶対値の合計を算出する。また、この処理において、濃度ベクトル算出部２０４は、輪郭のテンプレートの曲線の各接点の接線方向のｘ，ｙ成分と、接線に対する法線方向の単位ベクトルのｘ，ｙ成分を配列として予め算出して保持しており、これらのｘ，ｙ成分を濃度勾配の絶対値の算出に用いるものとする。このように、ベクターデータにより示された曲線に基づくｘ，ｙ成分を濃度勾配の絶対値の算出に用いることによって、その精度は、フレームの解像度のみに依存しない。つまり、ラスタデータにより示された輪郭を用いる場合に比べて、より精度の良い値を得ることができる。なお、この処理において、輪郭に対する位置のずらし、拡大、縮小は、輪郭を構成するパーツ（顔、首、肩）ごと、または曲線ごとになされても構わない。また、輪郭のテンプレートを構成する各パーツは、位置のずらし、拡大、縮小に加えて、回転されても構わない。また、輪郭のテンプレートの拡大、縮小において、縦横比は固定されない。
【００１９】
次に、判定部２０５は、図４に示すように、条件１を満たす輪郭、つまり、ステップＳ１０９においてずらされつつ、拡大、縮小された輪郭において、その濃度勾配の合計が閾値Ａより大きくなるような輪郭、があるかどうかを判定する（Ｓ１１０）。なお、本実施の形態において、閾値Ａは前のフレームにおける輪郭の濃度勾配の合計の１／２の値とする。
【００２０】
条件１を満たす輪郭がある場合（Ｓ１１０，ＹＥＳ）、判定部２０５は、条件１を満たす輪郭を輪郭候補とし（Ｓ１１１、第１検出ステップ）、選択されているフレームに対して、前々回のフレーム、つまり２フレーム前のフレームがあるかどうかを判定する（Ｓ１１２）。なお、ここで前々回のフレームとは、照合されたフレームからＳ１１２において処理しているフレーム（選択フレーム）まで続く一連のフレーム群における選択フレームの前々回のフレームを指す。よって、選択された動画像の所定のフレームにおいて、人が検出されない、または照合されない場合、以後の処理において、この所定のフレーム以前のフレームは前々回のフレームとして適合しないものとする。また、本実施の形態において、この前々回のフレームの有無についての判断は、検出及び照合がなされたフレーム以外のフレームに対して、輪郭が確定されたかどうかにより決定される。
【００２１】
次に、前々回のフレームがある場合（Ｓ１１２，ＹＥＳ）、距離算出部２０６は、各輪郭候補と前回の輪郭との移動ベクトルと、前回と前々回の輪郭との移動ベクトルとの差を算出し、正規化する（Ｓ１１３）。次に判定部２０５は、輪郭候補において、条件２を満たす輪郭候補、つまり、正規化された移動ベクトルの差と、前回と前々回の輪郭との移動ベクトルとの割合（ベクトル割合）が、所定の値である閾値Ｂ以下である輪郭候補があるかどうかを判定する（Ｓ１１４）。なお、本実施の形態において、選択フレームが、照合されたフレームから４フレーム以降後のフレームである場合、閾値Ｂは、選択フレームの前フレームの処理において、最終的に輪郭として確定された輪郭候補に対するベクトル割合の２倍以下の値とする。
【００２２】
ここで、図８及び９を用いて、ステップＳ１１３について、説明する。図８に示すように、条件１を満たした輪郭候補として、輪郭候補Ａ、輪郭候補Ｂ、輪郭候補Ｃがある場合、図９に示すように、輪郭または輪郭候補の重心を移動の基準として、これらの輪郭候補と前フレームの輪郭との移動ベクトルと、前々フレームの輪郭と前フレームの輪郭との移動ベクトルとの差が、それぞれの輪郭候補について算出される。なお、図９においては、移動ベクトルの差が最も大きい輪郭候補Ｃ以外の輪郭候補が条件２を満たす輪郭候補として示されている。
【００２３】
条件２を満たす輪郭候補がある場合（Ｓ１１４，ＹＥＳ）、条件２を満たす輪郭候補のみを輪郭候補とし（Ｓ１１５）、この輪郭候補のそれぞれ対して、濃度ベクトル算出部２０４が、前フレームとの輪郭内の濃度値のヒストグラムの差を算出する（Ｓ１１６、第１算出ステップ）。この濃度値のヒストグラムの差は、選択フレームにおける輪郭候補としてのそれぞれの輪郭内と、前フレームの輪郭内とにおける濃度毎の差の絶対値の合計を、前フレームの輪郭内の濃度毎の値の合計で割ることにより算出される。次に、判定部２０２は、条件２を満たす輪郭候補、つまり、閾値Ｃよりも濃度値ヒストグラムの差が小さい輪郭候補があるかどうかを判定する（Ｓ１１７）。なお、照合されたフレームの次のフレームに対しては、閾値Ｃとして、予め所定の値が用いられる。また、照合されたフレームの次のフレームより後のフレームに対しては、その前のフレームに対して確定された輪郭に対して算出された濃度値ヒストグラムの差の２倍の値を閾値Ｃとする。
【００２４】
条件３を満たす輪郭候補がある場合（Ｓ１１７，ＹＥＳ）、確定部２０３は、条件３を満たす輪郭候補のうち、濃度値ヒストグラムの差が最も小さい輪郭候補を選択し（Ｓ１１８、第２確定ステップ）、選択した輪郭候補を選択フレームにおける輪郭として確定し（Ｓ１１９、第２確定ステップ）、この輪郭に基づいて、輪郭近傍領域を更新し（Ｓ１２０）、選択フレームを指定された人が映っているフレームとして保存し（Ｓ１２１）、選択部２０１は、次のフレームを選択する（Ｓ１０８、第２選択ステップ）。
【００２５】
また、ステップＳ１１７において、条件３を満たす輪郭候補がない場合（Ｓ１１７，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００２６】
また、ステップＳ１１４において、条件２を満たす輪郭候補がない場合（Ｓ１１４，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００２７】
また、ステップＳ１１２において、前々回のフレームがない場合（Ｓ１１２，ＮＯ）、濃度ベクトル算出部２０４が、輪郭候補のそれぞれ対して、前フレームとの輪郭内の濃度値のヒストグラムの差を算出する（Ｓ１１６）。
【００２８】
また、ステップＳ１１０において、条件１を満たす輪郭候補がない場合（Ｓ１１０，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００２９】
また、ステップＳ１０６において、検出された人が予め指定された人ではない場合（Ｓ１０６，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００３０】
また、ステップＳ１０４において、人の輪郭が検出されなかった場合（Ｓ１０４，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００３１】
上述したように、本実施の形態に係る対象追跡装置２０は、動画像において、まず、所定のフレームの輪郭を検出する。また、対象追跡装置２０は、次のフレームにおいて、検出した輪郭の近傍領域内で所定の条件を満たすような輪郭の候補のうち、１つ前のフレームに対する輪郭内の濃度ヒストグラムの差が最も小さくなるような輪郭を輪郭として確定する。このように、対象追跡装置２０は、前のフレームにおいて確定された輪郭に基づいて、選択中のフレームにおける輪郭を確定することにより、フレーム毎に輪郭を検出する必要がない。また、このよう処理によれば、選択中のフレームの輪郭の確定において、前のフレームの輪郭の近傍領域内にその処理を限定することにより、対象の追跡に掛かる処理負荷を軽減することができる。
【００３２】
また、対象追跡装置２０は、追跡対象の輪郭が検出されたフレーム以降のフレームに対しては、このフレームの輪郭候補を、異なる条件（条件２）により、さらに絞り込むことができる。このような処理によれば、確定される輪郭の精度をより高めることができる。
【００３３】
なお、本実施の形態においては、追跡の対象を人としたが、追跡の対象は、輪郭を検出できる対象であれば、いかなる対象であっても構わない。また、本実施の形態において、動画像に対する処理を１フレーム毎に実行したが、数フレームおきに処理がなされても構わない。
【００３４】
また、上記の実施の形態で示したフローチャートやステップに示された各動作をコンピュータにより実行させるプログラムを提供することにより、この発明に係る対象追跡プログラムを提供することができる。このプログラムは、コンピュータにより読取可能な媒体、例えばＣＤ−ＲＯＭ、フレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、データベース等に記録されてコンピュータにより実行させることができる。
【図面の簡単な説明】
【００３５】
【図１】本実施の形態に係る対象追跡装置のハードウェア構成を示す図である。
【図２】本実施の形態に係る対象追跡装置の構成を示すブロック図である。
【図３】本実施の形態に係る対象追跡装置の動作を示すフローチャートである。
【図４】本実施の形態に係る対象追跡装置の動作を示すフローチャートである。
【図５】本実施の形態に係る対象追跡装置の動作を示すフローチャートである。
【図６】輪郭を示す図である。
【図７】輪郭の法線ベクトルを示す図である。
【図８】移動ベクトルを示す図である。
【図９】条件２を満たす輪郭候補を示す図である。
【符号の説明】
【００３６】
１０ パーソナルコンピュータ、２０ 対象追跡装置、１０１ ＣＰＵ、１０２ メモリ、１０３ 記憶デバイス、２０１ 選択部、２０２ 検出部、２０３ 確定部、２０４ 濃度ベクトル算出部、２０５ 判定部、２０６ 距離算出部。
【技術分野】
【０００１】
この発明は、動画像において対象を追跡する技術に関する。
【背景技術】
【０００２】
従来、動画像において、例えば人の顔のような、ある対象を追跡するための技術として、各フレーム毎に対象物を検出する技術が知られている。また、このような技術に関連する技術として、動画像をフレーム単位で順次取り込み、各フレームにおける人物の顔部を検出して異なる複数のフレーム間で追跡する技術が知られている（例えば、特許文献１）。
【特許文献１】特開２００８−１９９５４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述したように、対象の追跡において、各フレームに対して対象を検出することは、処理負荷が大きいという問題がある。
【０００４】
この発明は、このような問題点を解消するためになされたもので、動画像における対象の追跡に掛かる処理負荷を軽減することができる対象追跡装置、対象追跡プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明に係る対象追跡装置は、時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する装置であって、前記動画像における所定のフレームを選択する第１選択部と、前記第１選択部により選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択部により選択されたフレームにおける輪郭として確定する第１確定部と、前記第１選択部により選択されたフレームの所定数後に配列されたフレームを選択する第２選択部と、前記第２選択部により選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出部と、前記第２選択部により選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択部により選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出部と、前記輪郭候補のうち、前記第１算出部により算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択部により選択されたフレームの輪郭として確定する第２確定部とを備える。
【０００６】
また、対象追跡プログラムは、時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡するプログラムであって、前記動画像における所定のフレームを選択する第１選択ステップと、前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップとをコンピュータに実行させる。
【０００７】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する方法であって、前記動画像における所定のフレームを選択する第１選択ステップと、前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップとを備える。
【発明の効果】
【０００８】
この発明によれば、動画像における対象の追跡に掛かる処理負荷を軽減することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態を添付図面に基づいて説明する。まず、本実施の形態に係る対象追跡装置のハードウェア構成について説明する。図１は、本実施の形態に係る対象追跡装置のハードウェア構成を示す図である。
【００１０】
本実施の形態に係る対象追跡装置は、図１に示すパーソナルコンピュータ１０により実現される。このパーソナルコンピュータ１０は、少なくともＣＰＵ１０１とメモリ１０２を備え、また、記憶デバイス１０３と接続されている。なお、この記憶デバイス１０３には本実施の形態における処理対象である動画像が保存されているものとする。また、パーソナルコンピュータ１０は、動画像に対する処理において、そのデータを記憶デバイス１０３より読み出して処理し、処理後のデータを記憶デバイス１０３に書き込むものとする。また、処理対象としての動画像は、時系列上に配列された複数のフレームにより構成されるものとする。
【００１１】
次に、本実施の形態に係る対象追跡装置について説明する。図２は、本実施の形態に係る対象追跡装置の構成を示すブロック図である。
【００１２】
図２に示すように、本実施の形態に係る対象追跡装置２０は、選択部２０１（第１選択部、第２選択部）、検出部２０２（第１確定部）、確定部２０３（第１確定部、第２確定部）、濃度ベクトル算出部２０４（第１検出部、第１算出部）、判定部２０５（第１検出部、第２検出部）、距離算出部２０６（第２算出部）を備えるものである。選択部２０１は、処理対象とする動画像の各フレームを選択するものである。また、検出部２０２は、動画像における追跡対象の輪郭の検出と、照合を行うものである。また、確定部２０３は、検出部２０２により検出された輪郭に基づく輪郭近傍領域及び輪郭位置、を確定、または更新するものである。また、濃度ベクトル算出部２０４は、輪郭近傍領域内の輪郭上の各点の法線方向の濃度勾配の絶対値の合計を算出するものである。また、距離算出部２０６は、異なるフレームにおける輪郭間、及び輪郭と輪郭候補間の距離を算出するものである。また、判定部２０５は、濃度ベクトル算出部により算出された濃度勾配の絶対値の合計、または距離算出部２０６により算出された距離に基づいて、輪郭に関する判定を行うものである。なお、本実施の形態において、対象追跡装置２０は、特定の人を対象とし、動画像において対象が含まれるフレームのみを保存するものとする。また、対象追跡装置２０における各部は、実質的にはパーソナルコンピュータ１０のＣＰＵ１０１及びメモリ１０２において実行される機能である。
【００１３】
次に、本実施の形態に係る対象追跡装置の動作について説明する。図３〜５は、本実施の形態に係る対象追跡装置の動作を示すフローチャートである。また、このフローチャートによる動作の説明を補足するための図として、図６〜９を用いる。図６は、曲線により示される輪郭を示す図である。また、図７は、輪郭の法線ベクトルを示す図である。また、図８は、移動ベクトルを示す図である。また、図９は、条件２を満たす輪郭候補を示す図である。なお、図３〜５に示すフローチャートにおいては、追跡対象として、予め特定の人の画像が指定されているものとする。
【００１４】
図３に示すように、まず、処理対象としての動画像が選択されると（Ｓ１０１）、選択部２０１は、選択された動画像の最初のフレームを選択し（Ｓ１０２、第１選択ステップ）、選択されたフレームに対して、検出部２０２が人の輪郭の検出を実行する（Ｓ１０３、第１確定ステップ）。なお、この輪郭の検出方法はいかなる方法であっても構わない。さらに、検出部２０２は、この検出により、人の輪郭が検出されたかどうかを判定する（Ｓ１０４）。
【００１５】
人の輪郭が検出された場合（Ｓ１０４，ＹＥＳ）、検出部２０２は、予め指定された人と、検出した人との照合を実行し（Ｓ１０５）、検出した人が予め指定された人かどうかを判定する（Ｓ１０６）。なお、この照合方法も、輪郭の検出方法と同様に、いかなる方法であっても構わない。
【００１６】
検出された人が予め指定された人である場合（Ｓ１０６，ＹＥＳ）、確定部２０３は、検出した人に対して、図６に示すような、輪郭のテンプレートを設定することにより輪郭を確定し、この輪郭の輪郭近傍領域を確定する（Ｓ１０７、第１確定ステップ）。
【００１７】
ここで、輪郭のテンプレート、輪郭近傍領域について説明する。まず、輪郭のテンプレートは、例えばアダブースト学習法により、複数の人の画像からその特徴が抽出された輪郭に基づいたものとする。また、複数の異なる人の画像に基づいた平均的な顔、首及び肩のエッジ部分に基づいたものであっても良い。また、輪郭のテンプレートは、アダブースト学習法により抽出された輪郭、または平均的な顔、首及び肩のエッジ部分に基づいて、ベクターデータによる曲線によって近似したものである。また、本実施の形態において、輪郭のテンプレートとして、顔、首、肩の輪郭を示すものを用いているが、例えば、胴体、脚部の輪郭を示すテンプレートを用いることもでき、対象の追従に用いる輪郭を増やすことで、より精度の高い追従処理を実現することができる。また、例えば、顔や首がフレーム外にあり、胴体と脚部だけがフレーム内にあるようなフレームに対しても、追従処理を実行することができる。また、輪郭近傍領域は、図７に示すように、輪郭のテンプレートの曲線を中心とした所定の距離内の領域である。
【００１８】
次に、選択部２０１は、次のフレームを選択し（Ｓ１０８、第２選択ステップ）、濃度ベクトル算出部２０４は、選択されたフレームに対して、輪郭近傍領域内において、図７に示すような、輪郭テンプレートの各点の法線方向の濃度勾配の絶対値の合計を算出する（Ｓ１０９、第１検出ステップ）。なお、具体的には、濃度ベクトル算出部２０４は、輪郭近傍領域内において、図７に示すｘ方向、ｙ方向に輪郭を１画素ずつずらしつつ、拡大、縮小させながら、各ｘ，ｙ座標の法線方向の濃度勾配の絶対値の合計を算出する。また、この処理において、濃度ベクトル算出部２０４は、輪郭のテンプレートの曲線の各接点の接線方向のｘ，ｙ成分と、接線に対する法線方向の単位ベクトルのｘ，ｙ成分を配列として予め算出して保持しており、これらのｘ，ｙ成分を濃度勾配の絶対値の算出に用いるものとする。このように、ベクターデータにより示された曲線に基づくｘ，ｙ成分を濃度勾配の絶対値の算出に用いることによって、その精度は、フレームの解像度のみに依存しない。つまり、ラスタデータにより示された輪郭を用いる場合に比べて、より精度の良い値を得ることができる。なお、この処理において、輪郭に対する位置のずらし、拡大、縮小は、輪郭を構成するパーツ（顔、首、肩）ごと、または曲線ごとになされても構わない。また、輪郭のテンプレートを構成する各パーツは、位置のずらし、拡大、縮小に加えて、回転されても構わない。また、輪郭のテンプレートの拡大、縮小において、縦横比は固定されない。
【００１９】
次に、判定部２０５は、図４に示すように、条件１を満たす輪郭、つまり、ステップＳ１０９においてずらされつつ、拡大、縮小された輪郭において、その濃度勾配の合計が閾値Ａより大きくなるような輪郭、があるかどうかを判定する（Ｓ１１０）。なお、本実施の形態において、閾値Ａは前のフレームにおける輪郭の濃度勾配の合計の１／２の値とする。
【００２０】
条件１を満たす輪郭がある場合（Ｓ１１０，ＹＥＳ）、判定部２０５は、条件１を満たす輪郭を輪郭候補とし（Ｓ１１１、第１検出ステップ）、選択されているフレームに対して、前々回のフレーム、つまり２フレーム前のフレームがあるかどうかを判定する（Ｓ１１２）。なお、ここで前々回のフレームとは、照合されたフレームからＳ１１２において処理しているフレーム（選択フレーム）まで続く一連のフレーム群における選択フレームの前々回のフレームを指す。よって、選択された動画像の所定のフレームにおいて、人が検出されない、または照合されない場合、以後の処理において、この所定のフレーム以前のフレームは前々回のフレームとして適合しないものとする。また、本実施の形態において、この前々回のフレームの有無についての判断は、検出及び照合がなされたフレーム以外のフレームに対して、輪郭が確定されたかどうかにより決定される。
【００２１】
次に、前々回のフレームがある場合（Ｓ１１２，ＹＥＳ）、距離算出部２０６は、各輪郭候補と前回の輪郭との移動ベクトルと、前回と前々回の輪郭との移動ベクトルとの差を算出し、正規化する（Ｓ１１３）。次に判定部２０５は、輪郭候補において、条件２を満たす輪郭候補、つまり、正規化された移動ベクトルの差と、前回と前々回の輪郭との移動ベクトルとの割合（ベクトル割合）が、所定の値である閾値Ｂ以下である輪郭候補があるかどうかを判定する（Ｓ１１４）。なお、本実施の形態において、選択フレームが、照合されたフレームから４フレーム以降後のフレームである場合、閾値Ｂは、選択フレームの前フレームの処理において、最終的に輪郭として確定された輪郭候補に対するベクトル割合の２倍以下の値とする。
【００２２】
ここで、図８及び９を用いて、ステップＳ１１３について、説明する。図８に示すように、条件１を満たした輪郭候補として、輪郭候補Ａ、輪郭候補Ｂ、輪郭候補Ｃがある場合、図９に示すように、輪郭または輪郭候補の重心を移動の基準として、これらの輪郭候補と前フレームの輪郭との移動ベクトルと、前々フレームの輪郭と前フレームの輪郭との移動ベクトルとの差が、それぞれの輪郭候補について算出される。なお、図９においては、移動ベクトルの差が最も大きい輪郭候補Ｃ以外の輪郭候補が条件２を満たす輪郭候補として示されている。
【００２３】
条件２を満たす輪郭候補がある場合（Ｓ１１４，ＹＥＳ）、条件２を満たす輪郭候補のみを輪郭候補とし（Ｓ１１５）、この輪郭候補のそれぞれ対して、濃度ベクトル算出部２０４が、前フレームとの輪郭内の濃度値のヒストグラムの差を算出する（Ｓ１１６、第１算出ステップ）。この濃度値のヒストグラムの差は、選択フレームにおける輪郭候補としてのそれぞれの輪郭内と、前フレームの輪郭内とにおける濃度毎の差の絶対値の合計を、前フレームの輪郭内の濃度毎の値の合計で割ることにより算出される。次に、判定部２０２は、条件２を満たす輪郭候補、つまり、閾値Ｃよりも濃度値ヒストグラムの差が小さい輪郭候補があるかどうかを判定する（Ｓ１１７）。なお、照合されたフレームの次のフレームに対しては、閾値Ｃとして、予め所定の値が用いられる。また、照合されたフレームの次のフレームより後のフレームに対しては、その前のフレームに対して確定された輪郭に対して算出された濃度値ヒストグラムの差の２倍の値を閾値Ｃとする。
【００２４】
条件３を満たす輪郭候補がある場合（Ｓ１１７，ＹＥＳ）、確定部２０３は、条件３を満たす輪郭候補のうち、濃度値ヒストグラムの差が最も小さい輪郭候補を選択し（Ｓ１１８、第２確定ステップ）、選択した輪郭候補を選択フレームにおける輪郭として確定し（Ｓ１１９、第２確定ステップ）、この輪郭に基づいて、輪郭近傍領域を更新し（Ｓ１２０）、選択フレームを指定された人が映っているフレームとして保存し（Ｓ１２１）、選択部２０１は、次のフレームを選択する（Ｓ１０８、第２選択ステップ）。
【００２５】
また、ステップＳ１１７において、条件３を満たす輪郭候補がない場合（Ｓ１１７，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００２６】
また、ステップＳ１１４において、条件２を満たす輪郭候補がない場合（Ｓ１１４，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００２７】
また、ステップＳ１１２において、前々回のフレームがない場合（Ｓ１１２，ＮＯ）、濃度ベクトル算出部２０４が、輪郭候補のそれぞれ対して、前フレームとの輪郭内の濃度値のヒストグラムの差を算出する（Ｓ１１６）。
【００２８】
また、ステップＳ１１０において、条件１を満たす輪郭候補がない場合（Ｓ１１０，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００２９】
また、ステップＳ１０６において、検出された人が予め指定された人ではない場合（Ｓ１０６，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００３０】
また、ステップＳ１０４において、人の輪郭が検出されなかった場合（Ｓ１０４，ＮＯ）、選択部２０１は、次のフレームを選択する（Ｓ１２２、第１選択ステップ）。
【００３１】
上述したように、本実施の形態に係る対象追跡装置２０は、動画像において、まず、所定のフレームの輪郭を検出する。また、対象追跡装置２０は、次のフレームにおいて、検出した輪郭の近傍領域内で所定の条件を満たすような輪郭の候補のうち、１つ前のフレームに対する輪郭内の濃度ヒストグラムの差が最も小さくなるような輪郭を輪郭として確定する。このように、対象追跡装置２０は、前のフレームにおいて確定された輪郭に基づいて、選択中のフレームにおける輪郭を確定することにより、フレーム毎に輪郭を検出する必要がない。また、このよう処理によれば、選択中のフレームの輪郭の確定において、前のフレームの輪郭の近傍領域内にその処理を限定することにより、対象の追跡に掛かる処理負荷を軽減することができる。
【００３２】
また、対象追跡装置２０は、追跡対象の輪郭が検出されたフレーム以降のフレームに対しては、このフレームの輪郭候補を、異なる条件（条件２）により、さらに絞り込むことができる。このような処理によれば、確定される輪郭の精度をより高めることができる。
【００３３】
なお、本実施の形態においては、追跡の対象を人としたが、追跡の対象は、輪郭を検出できる対象であれば、いかなる対象であっても構わない。また、本実施の形態において、動画像に対する処理を１フレーム毎に実行したが、数フレームおきに処理がなされても構わない。
【００３４】
また、上記の実施の形態で示したフローチャートやステップに示された各動作をコンピュータにより実行させるプログラムを提供することにより、この発明に係る対象追跡プログラムを提供することができる。このプログラムは、コンピュータにより読取可能な媒体、例えばＣＤ−ＲＯＭ、フレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、データベース等に記録されてコンピュータにより実行させることができる。
【図面の簡単な説明】
【００３５】
【図１】本実施の形態に係る対象追跡装置のハードウェア構成を示す図である。
【図２】本実施の形態に係る対象追跡装置の構成を示すブロック図である。
【図３】本実施の形態に係る対象追跡装置の動作を示すフローチャートである。
【図４】本実施の形態に係る対象追跡装置の動作を示すフローチャートである。
【図５】本実施の形態に係る対象追跡装置の動作を示すフローチャートである。
【図６】輪郭を示す図である。
【図７】輪郭の法線ベクトルを示す図である。
【図８】移動ベクトルを示す図である。
【図９】条件２を満たす輪郭候補を示す図である。
【符号の説明】
【００３６】
１０ パーソナルコンピュータ、２０ 対象追跡装置、１０１ ＣＰＵ、１０２ メモリ、１０３ 記憶デバイス、２０１ 選択部、２０２ 検出部、２０３ 確定部、２０４ 濃度ベクトル算出部、２０５ 判定部、２０６ 距離算出部。
【特許請求の範囲】
【請求項１】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する対象追跡装置であって、
前記動画像における所定のフレームを選択する第１選択部と、
前記第１選択部により選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択部により選択されたフレームにおける輪郭として確定する第１確定部と、
前記第１選択部により選択されたフレームの所定数後に配列されたフレームを選択する第２選択部と、
前記第２選択部により選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出部と、
前記第２選択部により選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択部により選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出部と、
前記輪郭候補のうち、前記第１算出部により算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択部により選択されたフレームの輪郭として確定する第２確定部と
を備える対象追跡装置。
【請求項２】
請求項１に記載の対象追跡装置において、
前記第２選択部は、前記第２確定部により輪郭が確定された場合、該輪郭が確定されたフレームの所定数後のフレームを、選択フレームとして選択することを特徴とし、
前記第１検出部により前記選択フレームの輪郭候補が検出された場合、前記選択フレームの所定数前に配列されたフレームである前フレームの輪郭と前記前フレームの所定数前に配列されたフレームの輪郭との移動ベクトルと、前記前フレームの輪郭と前記選択フレームの輪郭候補のそれぞれとの移動ベクトルとの差を算出する第２算出部と、
前記輪郭候補のうち、前記第２算出部により算出された移動ベクトルの差が、所定の閾値である第１閾値より小さい輪郭候補を、前記選択フレームの輪郭候補として検出する第２検出部とを更に備える対象追跡装置。
【請求項３】
請求項１または請求項２に記載の対象追跡装置において、
前記輪郭は、複数の接点からなる曲線により構成され、
前記第２検出部は、前記輪郭の接点の接線の法線方向の濃度勾配の合計である合計値が、前記第１閾値とは異なる閾値である第２閾値より大きいことを前記所定の条件とし、前記第２選択部により選択されたフレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において、前記輪郭を移動した場合、前記合計値が前記第２閾値より大きくなる輪郭を、輪郭候補として検出することを特徴とする対象追跡装置。
【請求項４】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する対象追跡プログラムであって、
前記動画像における所定のフレームを選択する第１選択ステップと、
前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、
前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、
前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、
前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、
前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップと
をコンピュータに実行させる対象追跡プログラム。
【請求項５】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する対象追跡方法であって、
前記動画像における所定のフレームを選択する第１選択ステップと、
前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、
前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、
前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、
前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、
前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップと
を備える対象追跡方法。
【請求項１】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する対象追跡装置であって、
前記動画像における所定のフレームを選択する第１選択部と、
前記第１選択部により選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択部により選択されたフレームにおける輪郭として確定する第１確定部と、
前記第１選択部により選択されたフレームの所定数後に配列されたフレームを選択する第２選択部と、
前記第２選択部により選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出部と、
前記第２選択部により選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択部により選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出部と、
前記輪郭候補のうち、前記第１算出部により算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択部により選択されたフレームの輪郭として確定する第２確定部と
を備える対象追跡装置。
【請求項２】
請求項１に記載の対象追跡装置において、
前記第２選択部は、前記第２確定部により輪郭が確定された場合、該輪郭が確定されたフレームの所定数後のフレームを、選択フレームとして選択することを特徴とし、
前記第１検出部により前記選択フレームの輪郭候補が検出された場合、前記選択フレームの所定数前に配列されたフレームである前フレームの輪郭と前記前フレームの所定数前に配列されたフレームの輪郭との移動ベクトルと、前記前フレームの輪郭と前記選択フレームの輪郭候補のそれぞれとの移動ベクトルとの差を算出する第２算出部と、
前記輪郭候補のうち、前記第２算出部により算出された移動ベクトルの差が、所定の閾値である第１閾値より小さい輪郭候補を、前記選択フレームの輪郭候補として検出する第２検出部とを更に備える対象追跡装置。
【請求項３】
請求項１または請求項２に記載の対象追跡装置において、
前記輪郭は、複数の接点からなる曲線により構成され、
前記第２検出部は、前記輪郭の接点の接線の法線方向の濃度勾配の合計である合計値が、前記第１閾値とは異なる閾値である第２閾値より大きいことを前記所定の条件とし、前記第２選択部により選択されたフレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において、前記輪郭を移動した場合、前記合計値が前記第２閾値より大きくなる輪郭を、輪郭候補として検出することを特徴とする対象追跡装置。
【請求項４】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する対象追跡プログラムであって、
前記動画像における所定のフレームを選択する第１選択ステップと、
前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、
前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、
前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、
前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、
前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップと
をコンピュータに実行させる対象追跡プログラム。
【請求項５】
時系列上に配列された複数のフレームにより構成される動画像において、所定の対象を追跡する対象追跡方法であって、
前記動画像における所定のフレームを選択する第１選択ステップと、
前記第１選択ステップにより選択されたフレームより、前記所定の対象の輪郭を検出し、該検出した輪郭を、前記第１選択ステップにより選択されたフレームにおける輪郭として確定する第１確定ステップと、
前記第１選択ステップにより選択されたフレームの所定数後に配列されたフレームを選択する第２選択ステップと、
前記第２選択ステップにより選択されたフレームに対して、該フレームの所定数前に配列されたフレームに対して確定された輪郭から所定の距離内において所定の条件を満たす輪郭を、輪郭候補として検出する第１検出ステップと、
前記第２選択ステップにより選択されたフレームに対して、前記輪郭候補のそれぞれの輪郭内の濃度値ヒストグラムと、前記第２選択ステップにより選択されたフレームの所定数前に配列されたフレームとの輪郭内の濃度値ヒストグラムとの差を算出する第１算出ステップと、
前記輪郭候補のうち、前記第１算出ステップにより算出された輪郭内の濃度値ヒストグラムの差が最も小さい輪郭候補を、前記第２選択ステップにより選択されたフレームの輪郭として確定する第２確定ステップと
を備える対象追跡方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１１３４６６（Ｐ２０１０−１１３４６６Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８４４４６（Ｐ２００８−２８４４４６）
【出願日】平成２０年１１月５日（２００８．１１．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月５日（２００８．１１．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]