情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
【課題】対象物の追跡が正確にできる情報処理装置等を提供する。
【解決手段】動画の予め選択された１のフレームの画像における対象物２上に少なくとも１つのパーティクルｐを設定し（Ｓ３）、予め選択された１のフレーム２０以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し（Ｓ４）、取得される前のフレームの画像と後のフレームの画像との背景差分画像３０を算出し（Ｓ５）、算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁３ａを決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し（Ｓ６）、設定されたパーティクルの位置から、後のフレームの画像における対象物の位置を特定する（Ｓ９）。
【解決手段】動画の予め選択された１のフレームの画像における対象物２上に少なくとも１つのパーティクルｐを設定し（Ｓ３）、予め選択された１のフレーム２０以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し（Ｓ４）、取得される前のフレームの画像と後のフレームの画像との背景差分画像３０を算出し（Ｓ５）、算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁３ａを決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し（Ｓ６）、設定されたパーティクルの位置から、後のフレームの画像における対象物の位置を特定する（Ｓ９）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データに対して情報処理を行う情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体の技術分野に関する。
【背景技術】
【０００２】
従来、動画中における特定の対象物を追跡する手法として、パーティクルフィルタが知られている。例えば、特許文献１では、動画像データをフレームごとに読み出し、画像フレームのエッジ画像を生成し、係数のセットの空間および形状空間ベクトルの空間においてパーティクルを分布させ、各パーティクルの尤度観測、確率密度分布を取得し、確率密度分布によって各パラメータに重み付け平均して得られる曲線を追跡結果として生成する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５２５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、パーティクルフィルタでは、あるフレーム内で対象物の色とその周囲の色とが近似すると、当該フレーム内でそれらの間の境界を特定することが困難となる。このような場合には、本来対象物の境界の外であるはずの領域にパーティクルがはみ出して、発散してしまうことがあった。そのため、対象物の追跡ができなくなるという問題があった。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、対象物の追跡が正確にできる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段と、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段と、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段と、前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段と、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段と、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記背景差分画像算出手段が、画素値の相違度が閾値以上の場合に前景とした前記背景差分画像を算出し、前記追跡範囲外縁決定手段が、前記対象物に対応する前記前景に応じて、パーティクルの追跡範囲の外縁を決定することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置において、前記パーティクル初期設定手段が、前記対象物の複数の部分に、各々前記パーティクルを設定し、前記対象物の各部分のパーティクルが位置する画素の色相を各々算出し、前記部分間の色相の角度を算出する色相角度算出手段を更に備え、前記対象物特定手段が、前記色相角度算出手段により算出された部分間の色相の角度にも基づき、前記対象物の位置を特定することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の情報処理装置において、前記パーティクル設定手段により設定されたパーティクルに基づき、前記対象物の追跡が可能か否かを判定する追跡判定手段と、前記追跡判定手段が追跡不可能と判定した場合に、前記パーティクル初期設定手段または前記パーティクル設定手段により設定されたパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを再設定するパーティクル再設定手段と、を更に備えたことを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の情報処理装置において、前記パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段を更に備え、前記追跡範囲外縁決定手段が前記追跡範囲の外縁を決定することが不可能である場合に、前記パーティクル設定手段が、前記記憶手段を参照し、前記追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを設定することを特徴とする。
【００１１】
請求項６に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定ステップと、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得ステップと、前記フレーム取得ステップにおいて取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出ステップと、前記背景差分画像算出ステップにおいて算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定ステップと、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定ステップにおいて決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定ステップと、前記パーティクル設定ステップにおいて設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定ステップと、を含むことを特徴とする。
【００１２】
請求項７に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、コンピュータを、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする。
【００１３】
請求項８に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムであって、コンピュータを、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録される。
【発明の効果】
【００１４】
本発明によれば、動画の予め選択された１のフレームの画像における対象物上に少なくとも１つのパーティクルを設定し、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し、時間的に前のフレームの画像と後のフレームの画像との背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し、設定したパーティクルの位置から、後のフレームの画像における対象物の位置を特定することにより、背景差分画像に応じた追跡範囲の外縁内に限定して、後のフレームの画像におけるパーティクルを設定しているため、パーティクルの発散を防ぐことができ、正確に対象物の追跡が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る情報処理装置の概要構成の一例を示すブロック図である。
【図２】図１の情報処理装置の動作例を示すフローチャートである。
【図３】図１の情報処理装置が処理する動画のフレームの一例を示す模式図である。
【図４】図３のフレーム内の対象物にパーティクルを設定の一例を示す模式図である。
【図５】図３のフレームに対する背景差分画像一例を示す模式図である。
【図６】対象物にパーティクルに対する色相角度の一例を示す模式図である。
【図７】図１の情報処理装置が処理する動画のフレームにおいて、対象物の追跡の一例を示す模式図である。
【図８】パーティクルの増減の一例を示す模式図である。
【図９】図２のパーティクル設定のサブルーチンを示すフローチャートである。
【図１０】対象物のパーティクルに対する近傍の一例を示す模式図である。
【図１１】後のフレームにおける類似するパーティクルの一例を示す模式図である。
【図１２】対象物を示す位置にパーティクルが存在する状態の一例を示す模式図である。
【図１３】図１２の変形例を示す模式図である。
【図１４】本実施形態の方法を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例を示す線図である。
【図１５】図９のパーティクル設定のサブルーチンの変形例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、情報処理装置に対して本発明を適用した場合の実施形態である。
【００１７】
［１．情報処理装置の構成および機能概要］
まず、本発明の一実施形態に係る情報処理装置の構成および概要機能について、図１を用いて説明する。
【００１８】
図１は、本実施形態に係る情報処理装置１０の概要構成例を示す模式図である。
【００１９】
図１に示すように、コンピュータとして機能する情報処理装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６と、を備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００２０】
情報処理装置１０は、動画データに対して情報処理を行う。例えば、情報処理装置１０は、競馬サイト（図示せず）からの競馬の実況中継等の画像データを、ネットワーク（図示せず）を介して受信し、受信した動画データに対して情報処理を行い、情報処理された動画データをユーザの端末装置（図示せず）に送信する。なお、情報処理装置１０は、ユーザの端末装置として、情報処理された動画データを表示部１３に表示させてもよい。
【００２１】
通信部１１は、情報処理装置１０がネットワークやローカルエリアネットワークに接続する場合、通信状態を制御し、データの送受信を行う。情報処理装置１０は、通信部１１を介して、競馬サイトからの競馬の実況中継等の画像データを受信する。
【００２２】
記憶手段の一例である記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、動画データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置（図示せず）を介して読み込まれるようにしてもよい。
【００２３】
また、記憶部１２には、競馬レース等を撮影した動画データを記憶したり、競馬の実況中継等の動画データを一時的に記憶したりする動画データベース１２ａ（以下「動画ＤＢ１２ａ」とする。）等が構築されている。また、記憶部１２は、競馬サイトからの情報を端末装置や表示部１３に表示させるために、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述されたウェブページのファイル等が記憶されている。
【００２４】
表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、競馬のレース等の画像データが表示される。
【００２５】
操作部１４は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部１４により応答を入力する。なお、表示部１３がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部１４は、ユーザが接触または近接した表示部１３の位置情報を取得する。
【００２６】
次に、入出力インターフェース部１５は、通信部１１および記憶部１２とシステム制御部１６との間のインターフェース処理を行う。
【００２７】
システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ（記憶手段の一例）等により構成されている。システム制御部１６は、ＣＰＵ１６ａがＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、動画における対象物にパーティクルを背景差分画像に応じて設定するパーティクル設定手段や、パーティクルの位置から対象物の位置を特定する対象物特定手段等として機能する。
【００２８】
［２．情報処理装置１０の動作］
（２．１ 情報処理装置１０の動作例）
次に、本発明の１実施形態に係る情報処理装置１０の動作例について図２から図８を用い説明する。図２は、情報処理装置１０の動作例を示すフローチャートである。図３は、情報処理装置１０が処理する動画のフレームの一例を示す模式図である。図４は、フレーム内の対象物にパーティクルを設定の一例を示す模式図である。図５は、フレームに対する背景差分画像一例を示す模式図である。図６は、対象物にパーティクルに対する色相角度の一例を示す模式図である。図７は、情報処理装置１０が処理する動画のフレームにおいて、対象物の追跡の一例を示す模式図である。図８は、パーティクルの増減の一例を示す模式図である。
【００２９】
図２に示すように、情報処理装置１０は、動画の１フレームの画像を取得する（ステップＳ１）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画の１フレーム（動画の予め選択された１のフレームの一例）を取得し、ＲＡＭ１６ｃ等に記憶する。例えば、情報処理装置１０のシステム制御部１６は、図３に示すような１フレームの画像を取得し、表示部１３に表示させる。
【００３０】
次に、情報処理装置１０は、サーチ領域の初期設定を行う（ステップＳ２）。具体的には、情報処理装置１０のシステム制御部１６が、取得したフレームの画像から、サーチ領域を複数箇所設定する。例えば、図３に示すように、情報処理装置１０のユーザが操作部１４により、サーチ領域２５およびサーチ領域２６を設定する。競馬の場合、図３に示すように、馬に騎乗する騎手は、ヘルメット（ヘルメット部分２ａ）および勝負服（勝負服部分２ｂ）を着用している。このヘルメットおよび勝負服に対して別々の色の組み合わせにより、各騎手が識別されやすくなっている。騎手および馬の対象物２に対して、サーチ領域２５は、騎手のヘルメット部分２ａを含むように、サーチ領域２６は、騎手の勝負服部分２ｂを含むように設定される。サーチ領域２５が位置する座標（Ｘ１、Ｙ１）およびサーチ領域２６が位置する座標（Ｘ２、Ｙ２）は、フレーム２０に対して設定される。情報処理装置１０のシステム制御部１６は、設定されたサーチ領域２５、２６の位置情報やサーチ領域２５、２６の大きさの情報をＲＡＭ１６ｃ等に記憶する。
【００３１】
次に、情報処理装置１０は、サーチ領域内の対象物にパーティクルを初期設定する（ステップＳ３）。具体的には、情報処理装置１０のシステム制御部１６が、設定された各サーチ領域２５、２６内における対象物２の一部（例えば、ヘルメット部分２ａや勝負服部分２ｂ）に対して、対象物の一部の境界付近や、境界により囲まれる領域においてヘルメットや勝負服の色に最も近い色の部分にパーティクルｐを設定する。図４に示すように、サーチ領域２５内の対象物のヘルメット部分２ａに対して、パーティクルｐが複数個設定される。各パーティクルｐに対して、サーチ領域を基準として、サーチ領域における座標（ｘ１、ｙ１）等が設定される。例えば、サーチ領域２５の座標（Ｘ１、Ｙ１）を基準（ｘ＝０、ｙ＝０）として、サーチ領域に２５における座標（ｘ１、ｙ１）が設定される。情報処理装置１０のシステム制御部１６は、設定されたパーティクルｐの位置情報や色の情報をＲＡＭ１６ｃ等に記憶する。なお、パーティクルｐは、フレームの画像のデータにおける１画素でも、複数の画素でもよい。
【００３２】
このように、情報処理装置１０のシステム制御部１６は、動画の予め選択された１のフレームの画像における対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段の一例として機能する。また、情報処理装置１０のシステム制御部１６は、対象物の複数の部分に、各々パーティクルを設定するパーティクル初期設定手段の一例として機能する。また、ＲＡＭ１６ｃは、パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段の一例として機能する。
【００３３】
次に、情報処理装置１０は、後のフレームの画像を取得する（ステップＳ４）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画において時間的に後のフレームの画像を取得し、ＲＡＭ１６ｃ等に記憶する。このように、情報処理装置１０のシステム制御部１６は、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段の一例として機能する。
【００３４】
次に、情報処理装置１０は、背景差分画像を算出する（ステップＳ５）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ４において取得した後のフレームの画像から、時間的に前のフレームの画像（例えば、時間的に１フレーム前の画像）を差し引いて、画素値の相違度を求め、画素値の相違度が所定値以上ならば、前景として、所定値より小さいならば、背景として背景差分画像を算出する。なお、競馬において走行している馬を撮影している場合、カメラが馬を追って撮影しているが、馬場の背景の変化は少ないため、背景として特定されやすい。一方、走っている馬や騎手は上下動するため、図５に示すように、馬や騎手の輪郭が前景として浮かび上がりやすい。
【００３５】
このように、情報処理装置１０のシステム制御部１６は、フレーム取得手段により取得される前のフレームの画像と後のフレームの画像との背景差分画像を算出する背景差分画像算出手段の一例として機能する。また、情報処理装置１０のシステム制御部１６は、画素値の相違度が閾値以上の場合に前景とした背景差分画像を算出する背景差分画像算出手段の一例として機能する。
【００３６】
次に、情報処理装置１０は、パーティクルを設定する（ステップＳ６）。情報処理装置１０のシステム制御部１６が、前のフレームにおけるパーティクルの位置を基準とする所定範囲内で、かつ、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、パーティクルを生成し、背景差分画像の前景に応じて決定される追跡範囲の外縁（パーティクルを追跡する追跡範囲の外縁）外のパーティクルを削除することにより、パーティクルを設定する。そして、情報処理装置１０のシステム制御部１６は、設定されたパーティクルｐの位置情報や色の情報をＲＡＭ１６ｃ等に記憶する。このように、ＲＡＭ１６ｃは、パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段の一例として機能する。なお、パーティクルの設定に関して、パーティクル設定のサブルーチンにおいて詳細を説明する。
【００３７】
次に、情報処理装置１０は、色相の角度を算出する（ステップＳ７）。具体的には、情報処理装置１０のシステム制御部１６が、ヘルメット部分２ａの各パーティクルの色相と、勝負服部分２ｂの各パーティクルの色相を算出する。図６に示すように、情報処理装置１０のシステム制御部１６が、色相空間におけるヘルメット部分２ａの各パーティクルの座標の平均値と、勝負服部分２ｂの各パーティクルの座標の平均値とを求める。そして、情報処理装置１０のシステム制御部１６が、ヘルメット部分２ａのパーティクル群と、勝負服部分２ｂのパーティクル群との部分間の色相の角度を、ヘルメット部分２ａの各パーティクルの座標の平均値と勝負服部分２ｂの各パーティクルの座標の平均値とから算出する。このように、情報処理装置１０のシステム制御部１６は、対象物の各部分の前記パーティクルが位置する画素の色相を各々算出し、部分間の色相の角度を算出する色相角度算出手段の一例として機能する。
【００３８】
なお、ステップＳ２でサーチ領域を初期設定し、ステップＳ３で対象物にパーティクルの初期設定した際も、情報処理装置１０のシステム制御部１６が、この色相角度を算出して、初期の色相角度として、ＲＡＭ１６ｃ等に記憶しておく。
【００３９】
次に、情報処理装置１０は、対象物に対する追跡が可能か否かを判定する（ステップＳ８）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ８で算出した時間的に後のフレームの画像における部分間の色相の角度が、初期の色相角度と、所定以上異なるとき、対象物に対する追跡が不可能と判定する。また、パーティクルが全て消滅した場合も、情報処理装置１０のシステム制御部１６が、対象物に対する追跡が不可能と判定する。
【００４０】
なお、オクルージョンにより対象物が隠れ、連続した所定数以上のフレームにおいて、追跡範囲の外縁が決定できない場合も、情報処理装置１０のシステム制御部１６は、対象物に対する追跡が不可能と判定してもよい。一方、一時的に対象物が隠れたり、対象物の微妙な動きや写り方等により背景差分画像の前景が一時的に不鮮明となったりして、追跡範囲の外縁が一時的に決定できない場合（連続した所定数より少ない場合）は、情報処理装置１０のシステム制御部１６は、対象物に対する追跡が可能と判定してもよい。
【００４１】
ここで、他の馬が近づき、追跡している騎手と、他の騎手とが重なりかけることにより、他の対象物をパーティクルが示してしている場合に、ヘルメットの色と、勝負服の色との組み合わせが異なることにより、部分間の色相の角度が変化することがある。また、追跡している対象物が、フレーム外になった場合や、対象物の大きさが小さくなった場合や、対象物が他の馬と騎手や建造物等に隠れるオクルージョンが発生した場合に、パーティクルが消滅しやすい。
【００４２】
対象物に対する追跡が可能であると判定された場合（ステップＳ８；ＹＥＳ）、情報処理装置１０は、パーティクルの位置から対象物を特定する（ステップＳ９）。具体的には、情報処理装置１０のシステム制御部１６が、各パーティクルの位置の平均値により、追跡している対象物を特定したり、パーティクル群により、追跡している対象物の位置を特定する。このように、情報処理装置１０のシステム制御部１６は、パーティクル設定手段により設定されたパーティクルの位置から、後のフレームの画像における対象物の位置を特定する対象物特定手段の一例として機能する。
【００４３】
対象物に対する追跡が可能でないと判定された場合（ステップＳ８；ＮＯ）、情報処理装置１０は、ステップＳ３に戻り、サーチ領域２５、２６内の対象物（２ａ、２ｂ）のパーティクルを再設定する。具体的には、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃ等に記憶されている設定されたパーティクルｐの位置情報（例えば、座標（ｘ１、ｙ１）、座標（ｘ２、ｙ２））を読み出し、サーチ領域２５、２６内の同じ場所、すなわち、サーチ領域２５、２６内において初期設定されたパーティクルの位置にパーティクルｐを再設定する。なお、オクルージョンにより、一時的に隠れた馬および騎手等の対象物は、フレーム上においるサーチ領域内の同じ位置にまた出現しやすい。
【００４４】
なお、初期設定されたパーティクルの位置ではなく、ステップＳ６において時間的に前に設定されたパーティクルの位置に、ステップＳ３において、情報処理装置１０のシステム制御部１６が、パーティクルｐを再設定してもよい。具体的には、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃ等に記憶されている設定されたパーティクルｐ（例えば、追跡不可能と判定される前の最新のパーティクル）の位置情報を読み出し、サーチ領域２５、２６内の同じ場所にパーティクルｐを再設定する。
【００４５】
このように、情報処理装置１０のシステム制御部１６は、追跡判定手段が追跡不可能と判定した場合に、パーティクル初期設定手段またはパーティクル設定手段により設定されたパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを設定するパーティクル再設定手段の一例として機能する。
【００４６】
次に、情報処理装置１０は、パーティクルの位置からサーチ領域を設定する（ステップＳ１０）。具体的には、情報処理装置１０のシステム制御部１６が、パーティクルの位置の平均値より、サーチ領域２５、２６を再設定する。例えば、情報処理装置１０のシステム制御部１６が、パーティクルの位置の平均値が、再設定されるサーチ領域２５、２６の中心に位置するように再設定する。
【００４７】
図７に示すように、対象物がフレーム内を移動しているとき、パーティクルも移動して、それに合わせて、サーチ領域２５、２６が再設定される。サーチ領域２５の位置は、座標（Ｘ３、Ｙ３）となり、サーチ領域２６の位置は、座標（Ｘ４、Ｙ４）となる。
【００４８】
次に、情報処理装置１０は、処理が終了か否かを判定する（ステップＳ１１）。処理が終了でない場合（ステップＳ１１；ＮＯ）、ステップＳ４に戻り、情報処理装置１０のシステム制御部１６が、後のフレームの画像を取得することにより、フレームを順次取得していく。処理が終了の場合（ステップＳ１１；ＹＥＳ）、情報処理装置１０のシステム制御部１６が、処理を終了させる。
【００４９】
ここで、図８に示すように、ズームインされ、サーチ領域２５内のヘルメット部分２ａが拡大されて撮像されると、追跡範囲の外縁が広がり、パーティクルの数が増加する。一方、ズームアウトされ、サーチ領域２５内のヘルメット部分２ａが縮小されて撮像されると、追跡範囲の外縁が狭まり、パーティクルの数が減少する。
【００５０】
（２．２ パーティクル設定のサブルーチン）
（２．２．１ パーティクルの生成）
次に、パーティクル設定のサブルーチンにおけるパーティクルの生成について図９から図１１を用いて説明する。
【００５１】
図９は、パーティクル生成のサブルーチンを示すフローチャートである。図１０は、対象物のパーティクルに対する近傍の一例を示す模式図である。図１１は、後のフレームにおける類似するパーティクルの一例を示す模式図である。
【００５２】
情報処理装置１０は、前のフレームの画像におけるパーティクルの位置および色情報を取得する（ステップＳ２０）。具体的には、情報処理装置１０のシステム制御部１６が、時間的に前のフレームの画像におけるパーティクルの位置（前のフレームの画像におけるパーティクルの位置を基準の一例）および色情報を、ＲＡＭ１６ｃ等から取得する。
【００５３】
次に、情報処理装置１０は、パーティクルの位置の近傍を特定する（ステップＳ２１）。具体的には、情報処理装置１０のシステム制御部１６が、図１０に示すように、ステップＳ４で取得した後のフレームの画像において、時間的に前のフレームの画像におけるパーティクルの位置（基準としたパーティクルの位置）と同じ位置にある画素のパーティクルｐおよびパーティクルｐの８近傍の画素ｑのいずれか１つの画素を、パーティクルの位置の近傍として１つ特定する。なお、パーティクルｐの位置とｐの８近傍の画素ｑの位置とが、前のフレームにおけるパーティクルの位置を基準とする所定範囲内の一例である。
【００５４】
次に、情報処理装置１０は、色が類似しているか否かを判定する（ステップＳ２２）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ２１において１つ特定した画素が、時間的に前のフレームの画像におけるパーティクルのＲＧＢ等の色情報（基準としたパーティクルの位置の画素の色情報の一例）と類似の色を有するか否かを判定する。
【００５５】
色が類似している場合（ステップＳ２２；ＹＥＳ）、情報処理装置１０が、特定されている近傍の画素の位置にパーティクルを生成する（ステップＳ２３）。
【００５６】
次に、情報処理装置１０が、全ての近傍を特定したか否かを判定する（ステップＳ２４）。そして、情報処理装置１０のシステム制御部１６が、全ての近傍を特定していない場合（ステップＳ２４；ＮＯ）、ステップＳ２１に戻り、中心の画素と８近傍の画素の中から、まだ特定していない次の画素を特定する。
【００５７】
色が類似した画素が複数ある場合、それに合わせてパーティクルも複数個生成される。また、色が類似した画素がない場合、生成されるパーティクルはゼロとなる。また、図１１に示すように、時間的に前のフレームの画像におけるパーティクルの位置と同じ位置に、パーティクルが生成されるとは限らない。後のフレームにおいて、パーティクルの位置がずれることもある。
【００５８】
（２．２．２ パーティクルの消失）
次に、パーティクル設定のサブルーチンにおけるパーティクルの消失について図９、図１２および図１３を用いて説明する。
【００５９】
図１２は、対象物を示す位置にパーティクルが存在する状態の一例を示す模式図である。図１３は、図１２の変形例を示す模式図である。
【００６０】
図９に示すように、全ての近傍を特定した場合（ステップＳ２４；ＹＥＳ）、情報処理装置１０は、パーティクルを特定する（ステップＳ２５）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ２０からステップＳ２４において生成されたパーティクルから１つのパーティクルを特定する。
【００６１】
次に、情報処理装置１０は、パーティクルが追跡範囲の外縁内か否かを判定する（ステップＳ２６）。具体的には、情報処理装置１０のシステム制御部１６が、図５に示すように、ステップＳ５において算出された背景差分画像３０において、サーチ領域２５に同じ位置と大きさを有するサーチ領域３５と、サーチ領域２６に同じ位置と大きさを有するサーチ領域３６と、を設定する。そして、情報処理装置１０のシステム制御部１６が、各サーチ領域３５、３６の背景差分画像３０を取り出す。例えば、ヘルメット部分２ａの場合、サーチ領域３５の背景差分画像のヘルメット部分の外縁３ａ（追跡範囲の外縁の一例）を含む画像が取り出される。ここで、追跡範囲の外縁は、パーティクルを追跡する追跡範囲の外縁であって、背景差分画像の前景に応じて決定される。例えば、追跡している対象物（対象物の部分でもよい）の輪郭や、この輪郭を含む領域等が挙げられる。
【００６２】
このように、情報処理装置１０のシステム制御部１６は、背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段の一例として機能する。
【００６３】
次に、情報処理装置１０のシステム制御部１６が、図１２に示すように、例えば、ヘルメット部分２ａの輪郭を示すヘルメット部分の外縁３ａの画像上にあるパーティクルｐは、追跡範囲の外縁内であると判定する。さらに、情報処理装置１０のシステム制御部１６が、ヘルメット部分の外縁３ａの画像上あるパーティクルｐ同士を結ぶ直線Ｌを設定し、直線Ｌに所定の幅Ｄを与え、その幅の中にパーティクルが存在すれば、追跡範囲の外縁内であると判定する。
【００６４】
または、図１３に示すように、情報処理装置１０のシステム制御部１６が、パーティクルを中心して、所定の長さの直線ｒを、例えば、８方向等間隔の角度で設定する。この有限長の直線ｒが、ヘルメット部分の外縁３ａを示す画素と重なる本数が、所定数（例えば４本）以上ならば、情報処理装置１０のシステム制御部１６が、そのパーティクルは、追跡範囲の外縁内であると判定してもよい。
【００６５】
図１２および図１３に示すように、ヘルメット部分２ａの輪郭を示すヘルメット部分の外縁３ａの画像が閉じていなくても、追跡範囲の外縁内であるか否かを判定できる。ここで、動画中においてヘルメット等は上下には動きやすく、背景差分画像において上下側に輪郭が出やすいが、左右にはあまり動かなく、左右側に輪郭が出にくい。また、ヘルメット等と背景との関連により、ヘルメット等の輪郭の一部が出にくくなることもある。そのため、ヘルメット部分２ａの輪郭等が完全な閉領域にならないことがある。
【００６６】
このように、情報処理装置１０のシステム制御部１６は、パーティクル設定手段により設定されたパーティクルに基づき、対象物の追跡が可能か否かを判定する追跡判定手段の一例として機能する。
【００６７】
パーティクルが追跡範囲の外縁内である場合（ステップＳ２６；ＹＥＳ）、情報処理装置１０が、特定されているパーティクルをパーティクルとして残す（ステップＳ２７）。具体的には、情報処理装置１０のシステム制御部１６が、図１２に示すように、ヘルメット部分の外縁３ａの画像上あるパーティクルｐや、直線Ｌに所定の幅Ｄの中に存在するパーティクルｐを残す。または、図１３に示すように、ヘルメット部分の外縁３ａを示す画素と重なる本数が５本であるパーティクルｐを残す。
【００６８】
一方、パーティクルが追跡範囲の外縁内でない場合（ステップＳ２６；ＮＯ）、情報処理装置１０が、パーティクルを削除する（ステップＳ２８）。具体的には、情報処理装置１０のシステム制御部１６が、図１２に示すように、パーティクルｐ０は、ヘルメット部分の外縁３ａの画像上でなく、直線Ｌに所定の幅Ｄの中に存在しないので削除して消失させる。また、図１３に示すように、パーティクルｐ０は、ヘルメット部分の外縁３ａを示す画素と重なる本数が３本であるので、情報処理装置１０が、パーティクルｐ０を削除する。情報処理装置１０のシステム制御部１６は、各パーティクルｐの位置情報や色の情報が記憶されているＲＡＭ１６ｃ等から、特定しているパーティクルを削除する。
【００６９】
なお、ステップＳ２６において、オクルージョンにより対象物が一時的に隠れるように、追跡範囲の外縁が決定されなくて、追跡範囲の外縁内か否かを判定できない場合、情報処理装置１０のシステム制御部１６は、ステップＳ２７のように、全てのパーティクルを残す処理をしてもよい。
【００７０】
次に、情報処理装置１０は、全てのパーティクルを特定したか否かを判定する（ステップＳ２９）。全てのパーティクルを特定していない場合（ステップＳ２９；ＮＯ）、ステップＳ２５に戻り、情報処理装置１０のシステム制御部１６が、次のパーティクルを特定する。全てのパーティクルを特定した場合（ステップＳ２９；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ７の処理を行う。
【００７１】
このように、パーティクルを生成し、背景差分画像に応じて決定された追跡範囲の外縁内にあるパーティクルに絞ることにより、前のフレームにおけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲外縁決定手段により決定された外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームにおけるパーティクルが設定される。
【００７２】
次に、背景差分画像に応じて決定された追跡範囲の外縁内にあるパーティクルに絞る本実施形態の方法（以下、「本実施形態の方法」とする。）を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例について、図１４を用いて説明する。
図１４は、本実施形態の方法を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例を示す線図である。なお、パーティクル数は、フレーム内全体のパーティクルの数を示した。
【００７３】
図１４に示すように、フレーム番号がおよそ６０を超えると、本実施形態の方法を使用しない場合（図中破線）、パーティクル数が増加する傾向がある。一方、本実施形態の方法を使用した場合（図中実線）、パーティクルの追跡範囲の外縁が、背景差分画像に応じて設定されているため、パーティクル数が安定している。また、パーティクルの生成を、近傍かつ類似の色情報を有する画素の位置に限っているため、パーティクル数が安定している。このように、パーティクル数が安定して、パーティクル数が爆発的に増加しないため、計算量が膨大になることを未然に防いでいる。
【００７４】
以上、本実施形態によれば、動画の予め選択された１のフレーム２０の画像における対象物２上（ヘルメット部分２ａおよび勝負服部分２ｂ）に少なくとも１つのパーティクルｐを設定し、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し、時間的に前のフレームの画像と後のフレームの画像との背景差分画像３０に応じて、パーティクルの追跡範囲の外縁３ａ等を決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し、設定したパーティクルの位置から、後のフレームの画像における対象物の位置を特定することにより、背景差分画像に応じた追跡範囲の外縁３ａ内に限定して、後のフレームの画像におけるパーティクルｐを設定しているため、設定されるパーティクルのはみ出しが抑制されて、パーティクルｐの発散を防ぐことができ、正確に対象物の追跡が可能となる。さらに、追跡範囲の外縁３ａ内に限定されているため、パーティクルの数が爆発的に増加することを防止して、パーティクルの増加による計算量の増加を抑えることができる。
【００７５】
また、パーティクルを生成させ、背景差分画像に応じた追跡範囲の外縁３ａ内に限定しているため、ズームイン、ズームアウトにより、フレームにおける対象物の大きさが変化しても、対象物を追跡できる。
【００７６】
また、画素値の相違度が閾値以上の場合に前景とした背景差分画像を算出し、対象物に対応する前景に応じて、パーティクルの追跡範囲の外縁を決定する場合、パーティクルが背景差分画像に応じた追跡範囲の外縁３ａ内に適切に限定され、パーティクルｐの発散を防ぐことができ、正確に対象物の追跡が可能となる。
【００７７】
また、対象物の複数の部分に、各々パーティクルを初期設定し、対象物の各部分のパーティクルが位置する画素の色相を各々算出し、部分間の色相の角度を算出し、算出された部分間の色相の角度にも基づき、対象物の位置を特定する場合、対象物２の複数箇所（ヘルメット部分２ａおよび勝負服部分２ｂ）での関係を、部分間の色相の角度により対象物２を特定して追跡できるので、誤った追跡を防止でき、対象物の追跡精度がより高まる。例えば、部分間の色相の角度が所定以上異なるとき、異なった対象物を追跡している可能性が高く、このような場合、情報処理装置１０のシステム制御部１６が、追跡不可能と判定することにより、誤った追跡をしなくて済む。また、ヘルメットが似たような色でも、勝負服との組み合わせで排除でき、正確に対象物を特定できる。また、色相の情報を利用して、明度の変化量を無視する場合、計算量の軽減を図ることができる。また、天候等により明るさが変化しても色相の値はほとんど変化しないので、対象物の追跡精度がより高まる。
【００７８】
設定されたパーティクルに基づき、対象物の追跡が可能か否かを判定し、追跡不可能と判定したときに、設定されたパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを再設定する場合、対象物が一時的に障害物等に隠れたり、対象物がフレームの端に来て、一時的にフレームから外れたりする場合にも、対象物の追跡を継続でき、対象物の追跡精度がより高まる。このように、オクルージョンが発生したり、対象物がフレームから外れたりして、パーティクル数がゼロになっても、サーチ領域２５、２６内の設定されたパーティクルの初期の位置や対象物の追跡が不可能になる前のパーティクルの位置にパーティクルが再設定されるため、対象物の追跡可能となる。なお、背景差分の処理に関係なく、初期設定されたパーティクルの初期位置を記憶しておくことにより、オクルージョン等の発生時にも、パーティクルの初期の位置を利用して再度追跡が可能となる。
【００７９】
（２．３ パーティクル設定のサブルーチンの変形例）
次に、パーティクル設定のサブルーチンの変形例について図１５を用いて説明する。
図１５は、パーティクル設定のサブルーチンの変形例を示すフローチャートである。
【００８０】
図１５に示すように、情報処理装置１０は、ステップＳ２０のように前のフレームの画像におけるパーティクルの位置および色情報を取得する（ステップＳ３０）。
【００８１】
次に、情報処理装置１０は、パーティクルの位置の近傍かつ追跡範囲の外縁内の画素を特定する（ステップＳ３１）。具体的には、情報処理装置１０のシステム制御部１６が、図１０に示すように、前のフレームにおけるパーティクルの位置を基準とする所定範囲内の一例として、パーティクルの近傍内に含まれる画素で、かつ、図１２または図１３に示すように、追跡範囲の外縁内の画素を特定する。
【００８２】
次に、情報処理装置１０は、ステップＳ２２のように、特定した画素の色が類似しているか否かを判定する（ステップＳ３２）。
【００８３】
特定した画素の色が類似している場合（ステップＳ３２；ＹＥＳ）、情報処理装置１０は、画素の位置にパーティクルを設定する（ステップＳ３３）。
【００８４】
次に、情報処理装置１０は、所定の条件を満たす画素を全て特定した否かを判定する（ステップＳ３４）。具体的には、情報処理装置１０のシステム制御部１６が、前のフレームにおけるパーティクルの位置を基準とする所定範囲内に含まれる画素で、かつ、追跡範囲の外縁内の条件を満たす画素を全て特定したか否かを判定する。全てを特定していない場合（ステップＳ３４；ＮＯ）、情報処理装置１０は、次の画素を特定する。全てを特定した場合（ステップＳ３４；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ７の処理を行う。なお、前のフレームにおけるパーティクルの位置を基準とする所定範囲内および追跡範囲の外縁内に類似の色情報の画素が無かったら、パーティクルは設定されない。
【００８５】
このように、本変形例では、情報処理装置１０は、パーティクルを消失させず、背景差分画像に応じた位置にのみパーティクルを設定する。
【００８６】
なお、ステップＳ２およびステップＳ３において、サーチ領域２５、２６および各パーティクルｐの設定は自動でもユーザによる手動でもよい。自動の場合、情報処理装置１０が、各騎手のヘルメットの色、勝負服の色の情報と、ヘルメットと勝負服との位置関係の情報より、これらの情報にマッチする対象物のフレームを探索し、対象物の一部を含むように、サーチ領域２５、２６を自動的に設定する。そして、情報処理装置１０が、設定された各サーチ領域２５、２６内における対象物の一部に対して、対象物の一部の境界付近や、境界により囲まれる領域においてヘルメットや勝負服の色に最も近い色の部分を探索してパーティクルｐを自動的に設定する。
【００８７】
また、ステップＳ６のパーティクル設定において、オクルージョンにより一時的に対象物が隠れたり、対象物の微妙な動きや写り方等により背景差分画像の前景が一時的に不鮮明となったりして、追跡範囲の外縁が一時的に決定できない場合（連続した所定数より少ない場合）に、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃを参照して、追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを設定してもよい。この場合、オクルージョンにより対象物が一時的に隠れる等により、追跡範囲の外縁が求められなくても、正確に対象物の追跡が可能となる。
【００８８】
例えば、フレームｔ−１〜フレームｔ＋２において、フレームｔの時に、背景差分画像（（フレームｔ）−（フレームｔ−１））から、追跡範囲の外縁が特定でき、フレームｔ＋１の時に、背景差分画像（（フレームｔ＋１）−（フレームｔ））から、追跡範囲の外縁が特定できなかったが、フレームｔ＋２に時に、背景差分画像（（フレームｔ＋２）−（フレームｔ＋１））から外縁が特定できた場合を想定する。このとき、情報処理装置１０のシステム制御部１６が、フレームｔの時におけるＲＡＭ１６ｃ等を参照して、フレームｔの時に設定されたパーティクルｐの位置情報を読み出し、サーチ領域２５、２６内の同じ場所に、フレームｔ＋１やフレームｔ＋２の時におけるパーティクルｐを再設定する。
【００８９】
また、ステップＳ７において、色相の角度を算出する代わりに、ＲＧＢ空間において、ヘルメット部分２ａの各パーティクルと、勝負服部分２ｂの各パーティクルとのＲＧＢの距離を算出してもよい。情報処理装置１０は、この部分間のＲＧＢの距離が、所定の閾値の範囲より変化した場合、ステップＳ８において、追跡不可能と判定する。
【００９０】
また、対象物の複数の部分として、ヘルメット部分２ａと、勝負服部分２ｂとの代わりに、馬の部分と、騎手の部分でもよい。また、対象物は、馬と騎手とを合わせた一体的に動くものでもよいし、騎手のみでもよいし、馬のみでもよい。
【００９１】
また、追跡する対象物の数は、フレーム内に複数あってもよい。
【００９２】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００９３】
２：対象物
２ａ：ヘルメット部分
２ｂ：勝負服部分
３ａ：背景差分画像のヘルメット部分（追跡範囲の外縁）
１０：情報処理装置
１２：記憶部（記憶手段）
１６：システム制御部
１６ｃ：ＲＡＭ（記憶手段）
２０：フレーム
２５、２６：サーチ領域
３０：背景差分画像
ｐ：パーティクル
【技術分野】
【０００１】
本発明は、動画データに対して情報処理を行う情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体の技術分野に関する。
【背景技術】
【０００２】
従来、動画中における特定の対象物を追跡する手法として、パーティクルフィルタが知られている。例えば、特許文献１では、動画像データをフレームごとに読み出し、画像フレームのエッジ画像を生成し、係数のセットの空間および形状空間ベクトルの空間においてパーティクルを分布させ、各パーティクルの尤度観測、確率密度分布を取得し、確率密度分布によって各パラメータに重み付け平均して得られる曲線を追跡結果として生成する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５２５５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、パーティクルフィルタでは、あるフレーム内で対象物の色とその周囲の色とが近似すると、当該フレーム内でそれらの間の境界を特定することが困難となる。このような場合には、本来対象物の境界の外であるはずの領域にパーティクルがはみ出して、発散してしまうことがあった。そのため、対象物の追跡ができなくなるという問題があった。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、対象物の追跡が正確にできる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段と、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段と、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段と、前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段と、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段と、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記背景差分画像算出手段が、画素値の相違度が閾値以上の場合に前景とした前記背景差分画像を算出し、前記追跡範囲外縁決定手段が、前記対象物に対応する前記前景に応じて、パーティクルの追跡範囲の外縁を決定することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置において、前記パーティクル初期設定手段が、前記対象物の複数の部分に、各々前記パーティクルを設定し、前記対象物の各部分のパーティクルが位置する画素の色相を各々算出し、前記部分間の色相の角度を算出する色相角度算出手段を更に備え、前記対象物特定手段が、前記色相角度算出手段により算出された部分間の色相の角度にも基づき、前記対象物の位置を特定することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の情報処理装置において、前記パーティクル設定手段により設定されたパーティクルに基づき、前記対象物の追跡が可能か否かを判定する追跡判定手段と、前記追跡判定手段が追跡不可能と判定した場合に、前記パーティクル初期設定手段または前記パーティクル設定手段により設定されたパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを再設定するパーティクル再設定手段と、を更に備えたことを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の情報処理装置において、前記パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段を更に備え、前記追跡範囲外縁決定手段が前記追跡範囲の外縁を決定することが不可能である場合に、前記パーティクル設定手段が、前記記憶手段を参照し、前記追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを設定することを特徴とする。
【００１１】
請求項６に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定ステップと、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得ステップと、前記フレーム取得ステップにおいて取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出ステップと、前記背景差分画像算出ステップにおいて算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定ステップと、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定ステップにおいて決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定ステップと、前記パーティクル設定ステップにおいて設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定ステップと、を含むことを特徴とする。
【００１２】
請求項７に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、コンピュータを、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする。
【００１３】
請求項８に記載の発明は、複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムであって、コンピュータを、前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録される。
【発明の効果】
【００１４】
本発明によれば、動画の予め選択された１のフレームの画像における対象物上に少なくとも１つのパーティクルを設定し、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し、時間的に前のフレームの画像と後のフレームの画像との背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し、設定したパーティクルの位置から、後のフレームの画像における対象物の位置を特定することにより、背景差分画像に応じた追跡範囲の外縁内に限定して、後のフレームの画像におけるパーティクルを設定しているため、パーティクルの発散を防ぐことができ、正確に対象物の追跡が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る情報処理装置の概要構成の一例を示すブロック図である。
【図２】図１の情報処理装置の動作例を示すフローチャートである。
【図３】図１の情報処理装置が処理する動画のフレームの一例を示す模式図である。
【図４】図３のフレーム内の対象物にパーティクルを設定の一例を示す模式図である。
【図５】図３のフレームに対する背景差分画像一例を示す模式図である。
【図６】対象物にパーティクルに対する色相角度の一例を示す模式図である。
【図７】図１の情報処理装置が処理する動画のフレームにおいて、対象物の追跡の一例を示す模式図である。
【図８】パーティクルの増減の一例を示す模式図である。
【図９】図２のパーティクル設定のサブルーチンを示すフローチャートである。
【図１０】対象物のパーティクルに対する近傍の一例を示す模式図である。
【図１１】後のフレームにおける類似するパーティクルの一例を示す模式図である。
【図１２】対象物を示す位置にパーティクルが存在する状態の一例を示す模式図である。
【図１３】図１２の変形例を示す模式図である。
【図１４】本実施形態の方法を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例を示す線図である。
【図１５】図９のパーティクル設定のサブルーチンの変形例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、情報処理装置に対して本発明を適用した場合の実施形態である。
【００１７】
［１．情報処理装置の構成および機能概要］
まず、本発明の一実施形態に係る情報処理装置の構成および概要機能について、図１を用いて説明する。
【００１８】
図１は、本実施形態に係る情報処理装置１０の概要構成例を示す模式図である。
【００１９】
図１に示すように、コンピュータとして機能する情報処理装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６と、を備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００２０】
情報処理装置１０は、動画データに対して情報処理を行う。例えば、情報処理装置１０は、競馬サイト（図示せず）からの競馬の実況中継等の画像データを、ネットワーク（図示せず）を介して受信し、受信した動画データに対して情報処理を行い、情報処理された動画データをユーザの端末装置（図示せず）に送信する。なお、情報処理装置１０は、ユーザの端末装置として、情報処理された動画データを表示部１３に表示させてもよい。
【００２１】
通信部１１は、情報処理装置１０がネットワークやローカルエリアネットワークに接続する場合、通信状態を制御し、データの送受信を行う。情報処理装置１０は、通信部１１を介して、競馬サイトからの競馬の実況中継等の画像データを受信する。
【００２２】
記憶手段の一例である記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、動画データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置（図示せず）を介して読み込まれるようにしてもよい。
【００２３】
また、記憶部１２には、競馬レース等を撮影した動画データを記憶したり、競馬の実況中継等の動画データを一時的に記憶したりする動画データベース１２ａ（以下「動画ＤＢ１２ａ」とする。）等が構築されている。また、記憶部１２は、競馬サイトからの情報を端末装置や表示部１３に表示させるために、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述されたウェブページのファイル等が記憶されている。
【００２４】
表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、競馬のレース等の画像データが表示される。
【００２５】
操作部１４は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部１４により応答を入力する。なお、表示部１３がタッチパネルのようなタッチスイッチ方式の表示パネルの場合、操作部１４は、ユーザが接触または近接した表示部１３の位置情報を取得する。
【００２６】
次に、入出力インターフェース部１５は、通信部１１および記憶部１２とシステム制御部１６との間のインターフェース処理を行う。
【００２７】
システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ（記憶手段の一例）等により構成されている。システム制御部１６は、ＣＰＵ１６ａがＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、動画における対象物にパーティクルを背景差分画像に応じて設定するパーティクル設定手段や、パーティクルの位置から対象物の位置を特定する対象物特定手段等として機能する。
【００２８】
［２．情報処理装置１０の動作］
（２．１ 情報処理装置１０の動作例）
次に、本発明の１実施形態に係る情報処理装置１０の動作例について図２から図８を用い説明する。図２は、情報処理装置１０の動作例を示すフローチャートである。図３は、情報処理装置１０が処理する動画のフレームの一例を示す模式図である。図４は、フレーム内の対象物にパーティクルを設定の一例を示す模式図である。図５は、フレームに対する背景差分画像一例を示す模式図である。図６は、対象物にパーティクルに対する色相角度の一例を示す模式図である。図７は、情報処理装置１０が処理する動画のフレームにおいて、対象物の追跡の一例を示す模式図である。図８は、パーティクルの増減の一例を示す模式図である。
【００２９】
図２に示すように、情報処理装置１０は、動画の１フレームの画像を取得する（ステップＳ１）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画の１フレーム（動画の予め選択された１のフレームの一例）を取得し、ＲＡＭ１６ｃ等に記憶する。例えば、情報処理装置１０のシステム制御部１６は、図３に示すような１フレームの画像を取得し、表示部１３に表示させる。
【００３０】
次に、情報処理装置１０は、サーチ領域の初期設定を行う（ステップＳ２）。具体的には、情報処理装置１０のシステム制御部１６が、取得したフレームの画像から、サーチ領域を複数箇所設定する。例えば、図３に示すように、情報処理装置１０のユーザが操作部１４により、サーチ領域２５およびサーチ領域２６を設定する。競馬の場合、図３に示すように、馬に騎乗する騎手は、ヘルメット（ヘルメット部分２ａ）および勝負服（勝負服部分２ｂ）を着用している。このヘルメットおよび勝負服に対して別々の色の組み合わせにより、各騎手が識別されやすくなっている。騎手および馬の対象物２に対して、サーチ領域２５は、騎手のヘルメット部分２ａを含むように、サーチ領域２６は、騎手の勝負服部分２ｂを含むように設定される。サーチ領域２５が位置する座標（Ｘ１、Ｙ１）およびサーチ領域２６が位置する座標（Ｘ２、Ｙ２）は、フレーム２０に対して設定される。情報処理装置１０のシステム制御部１６は、設定されたサーチ領域２５、２６の位置情報やサーチ領域２５、２６の大きさの情報をＲＡＭ１６ｃ等に記憶する。
【００３１】
次に、情報処理装置１０は、サーチ領域内の対象物にパーティクルを初期設定する（ステップＳ３）。具体的には、情報処理装置１０のシステム制御部１６が、設定された各サーチ領域２５、２６内における対象物２の一部（例えば、ヘルメット部分２ａや勝負服部分２ｂ）に対して、対象物の一部の境界付近や、境界により囲まれる領域においてヘルメットや勝負服の色に最も近い色の部分にパーティクルｐを設定する。図４に示すように、サーチ領域２５内の対象物のヘルメット部分２ａに対して、パーティクルｐが複数個設定される。各パーティクルｐに対して、サーチ領域を基準として、サーチ領域における座標（ｘ１、ｙ１）等が設定される。例えば、サーチ領域２５の座標（Ｘ１、Ｙ１）を基準（ｘ＝０、ｙ＝０）として、サーチ領域に２５における座標（ｘ１、ｙ１）が設定される。情報処理装置１０のシステム制御部１６は、設定されたパーティクルｐの位置情報や色の情報をＲＡＭ１６ｃ等に記憶する。なお、パーティクルｐは、フレームの画像のデータにおける１画素でも、複数の画素でもよい。
【００３２】
このように、情報処理装置１０のシステム制御部１６は、動画の予め選択された１のフレームの画像における対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段の一例として機能する。また、情報処理装置１０のシステム制御部１６は、対象物の複数の部分に、各々パーティクルを設定するパーティクル初期設定手段の一例として機能する。また、ＲＡＭ１６ｃは、パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段の一例として機能する。
【００３３】
次に、情報処理装置１０は、後のフレームの画像を取得する（ステップＳ４）。具体的には、情報処理装置１０のシステム制御部１６が、動画ＤＢ１２ａから、動画データを読み出し、動画において時間的に後のフレームの画像を取得し、ＲＡＭ１６ｃ等に記憶する。このように、情報処理装置１０のシステム制御部１６は、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段の一例として機能する。
【００３４】
次に、情報処理装置１０は、背景差分画像を算出する（ステップＳ５）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ４において取得した後のフレームの画像から、時間的に前のフレームの画像（例えば、時間的に１フレーム前の画像）を差し引いて、画素値の相違度を求め、画素値の相違度が所定値以上ならば、前景として、所定値より小さいならば、背景として背景差分画像を算出する。なお、競馬において走行している馬を撮影している場合、カメラが馬を追って撮影しているが、馬場の背景の変化は少ないため、背景として特定されやすい。一方、走っている馬や騎手は上下動するため、図５に示すように、馬や騎手の輪郭が前景として浮かび上がりやすい。
【００３５】
このように、情報処理装置１０のシステム制御部１６は、フレーム取得手段により取得される前のフレームの画像と後のフレームの画像との背景差分画像を算出する背景差分画像算出手段の一例として機能する。また、情報処理装置１０のシステム制御部１６は、画素値の相違度が閾値以上の場合に前景とした背景差分画像を算出する背景差分画像算出手段の一例として機能する。
【００３６】
次に、情報処理装置１０は、パーティクルを設定する（ステップＳ６）。情報処理装置１０のシステム制御部１６が、前のフレームにおけるパーティクルの位置を基準とする所定範囲内で、かつ、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、パーティクルを生成し、背景差分画像の前景に応じて決定される追跡範囲の外縁（パーティクルを追跡する追跡範囲の外縁）外のパーティクルを削除することにより、パーティクルを設定する。そして、情報処理装置１０のシステム制御部１６は、設定されたパーティクルｐの位置情報や色の情報をＲＡＭ１６ｃ等に記憶する。このように、ＲＡＭ１６ｃは、パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段の一例として機能する。なお、パーティクルの設定に関して、パーティクル設定のサブルーチンにおいて詳細を説明する。
【００３７】
次に、情報処理装置１０は、色相の角度を算出する（ステップＳ７）。具体的には、情報処理装置１０のシステム制御部１６が、ヘルメット部分２ａの各パーティクルの色相と、勝負服部分２ｂの各パーティクルの色相を算出する。図６に示すように、情報処理装置１０のシステム制御部１６が、色相空間におけるヘルメット部分２ａの各パーティクルの座標の平均値と、勝負服部分２ｂの各パーティクルの座標の平均値とを求める。そして、情報処理装置１０のシステム制御部１６が、ヘルメット部分２ａのパーティクル群と、勝負服部分２ｂのパーティクル群との部分間の色相の角度を、ヘルメット部分２ａの各パーティクルの座標の平均値と勝負服部分２ｂの各パーティクルの座標の平均値とから算出する。このように、情報処理装置１０のシステム制御部１６は、対象物の各部分の前記パーティクルが位置する画素の色相を各々算出し、部分間の色相の角度を算出する色相角度算出手段の一例として機能する。
【００３８】
なお、ステップＳ２でサーチ領域を初期設定し、ステップＳ３で対象物にパーティクルの初期設定した際も、情報処理装置１０のシステム制御部１６が、この色相角度を算出して、初期の色相角度として、ＲＡＭ１６ｃ等に記憶しておく。
【００３９】
次に、情報処理装置１０は、対象物に対する追跡が可能か否かを判定する（ステップＳ８）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ８で算出した時間的に後のフレームの画像における部分間の色相の角度が、初期の色相角度と、所定以上異なるとき、対象物に対する追跡が不可能と判定する。また、パーティクルが全て消滅した場合も、情報処理装置１０のシステム制御部１６が、対象物に対する追跡が不可能と判定する。
【００４０】
なお、オクルージョンにより対象物が隠れ、連続した所定数以上のフレームにおいて、追跡範囲の外縁が決定できない場合も、情報処理装置１０のシステム制御部１６は、対象物に対する追跡が不可能と判定してもよい。一方、一時的に対象物が隠れたり、対象物の微妙な動きや写り方等により背景差分画像の前景が一時的に不鮮明となったりして、追跡範囲の外縁が一時的に決定できない場合（連続した所定数より少ない場合）は、情報処理装置１０のシステム制御部１６は、対象物に対する追跡が可能と判定してもよい。
【００４１】
ここで、他の馬が近づき、追跡している騎手と、他の騎手とが重なりかけることにより、他の対象物をパーティクルが示してしている場合に、ヘルメットの色と、勝負服の色との組み合わせが異なることにより、部分間の色相の角度が変化することがある。また、追跡している対象物が、フレーム外になった場合や、対象物の大きさが小さくなった場合や、対象物が他の馬と騎手や建造物等に隠れるオクルージョンが発生した場合に、パーティクルが消滅しやすい。
【００４２】
対象物に対する追跡が可能であると判定された場合（ステップＳ８；ＹＥＳ）、情報処理装置１０は、パーティクルの位置から対象物を特定する（ステップＳ９）。具体的には、情報処理装置１０のシステム制御部１６が、各パーティクルの位置の平均値により、追跡している対象物を特定したり、パーティクル群により、追跡している対象物の位置を特定する。このように、情報処理装置１０のシステム制御部１６は、パーティクル設定手段により設定されたパーティクルの位置から、後のフレームの画像における対象物の位置を特定する対象物特定手段の一例として機能する。
【００４３】
対象物に対する追跡が可能でないと判定された場合（ステップＳ８；ＮＯ）、情報処理装置１０は、ステップＳ３に戻り、サーチ領域２５、２６内の対象物（２ａ、２ｂ）のパーティクルを再設定する。具体的には、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃ等に記憶されている設定されたパーティクルｐの位置情報（例えば、座標（ｘ１、ｙ１）、座標（ｘ２、ｙ２））を読み出し、サーチ領域２５、２６内の同じ場所、すなわち、サーチ領域２５、２６内において初期設定されたパーティクルの位置にパーティクルｐを再設定する。なお、オクルージョンにより、一時的に隠れた馬および騎手等の対象物は、フレーム上においるサーチ領域内の同じ位置にまた出現しやすい。
【００４４】
なお、初期設定されたパーティクルの位置ではなく、ステップＳ６において時間的に前に設定されたパーティクルの位置に、ステップＳ３において、情報処理装置１０のシステム制御部１６が、パーティクルｐを再設定してもよい。具体的には、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃ等に記憶されている設定されたパーティクルｐ（例えば、追跡不可能と判定される前の最新のパーティクル）の位置情報を読み出し、サーチ領域２５、２６内の同じ場所にパーティクルｐを再設定する。
【００４５】
このように、情報処理装置１０のシステム制御部１６は、追跡判定手段が追跡不可能と判定した場合に、パーティクル初期設定手段またはパーティクル設定手段により設定されたパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを設定するパーティクル再設定手段の一例として機能する。
【００４６】
次に、情報処理装置１０は、パーティクルの位置からサーチ領域を設定する（ステップＳ１０）。具体的には、情報処理装置１０のシステム制御部１６が、パーティクルの位置の平均値より、サーチ領域２５、２６を再設定する。例えば、情報処理装置１０のシステム制御部１６が、パーティクルの位置の平均値が、再設定されるサーチ領域２５、２６の中心に位置するように再設定する。
【００４７】
図７に示すように、対象物がフレーム内を移動しているとき、パーティクルも移動して、それに合わせて、サーチ領域２５、２６が再設定される。サーチ領域２５の位置は、座標（Ｘ３、Ｙ３）となり、サーチ領域２６の位置は、座標（Ｘ４、Ｙ４）となる。
【００４８】
次に、情報処理装置１０は、処理が終了か否かを判定する（ステップＳ１１）。処理が終了でない場合（ステップＳ１１；ＮＯ）、ステップＳ４に戻り、情報処理装置１０のシステム制御部１６が、後のフレームの画像を取得することにより、フレームを順次取得していく。処理が終了の場合（ステップＳ１１；ＹＥＳ）、情報処理装置１０のシステム制御部１６が、処理を終了させる。
【００４９】
ここで、図８に示すように、ズームインされ、サーチ領域２５内のヘルメット部分２ａが拡大されて撮像されると、追跡範囲の外縁が広がり、パーティクルの数が増加する。一方、ズームアウトされ、サーチ領域２５内のヘルメット部分２ａが縮小されて撮像されると、追跡範囲の外縁が狭まり、パーティクルの数が減少する。
【００５０】
（２．２ パーティクル設定のサブルーチン）
（２．２．１ パーティクルの生成）
次に、パーティクル設定のサブルーチンにおけるパーティクルの生成について図９から図１１を用いて説明する。
【００５１】
図９は、パーティクル生成のサブルーチンを示すフローチャートである。図１０は、対象物のパーティクルに対する近傍の一例を示す模式図である。図１１は、後のフレームにおける類似するパーティクルの一例を示す模式図である。
【００５２】
情報処理装置１０は、前のフレームの画像におけるパーティクルの位置および色情報を取得する（ステップＳ２０）。具体的には、情報処理装置１０のシステム制御部１６が、時間的に前のフレームの画像におけるパーティクルの位置（前のフレームの画像におけるパーティクルの位置を基準の一例）および色情報を、ＲＡＭ１６ｃ等から取得する。
【００５３】
次に、情報処理装置１０は、パーティクルの位置の近傍を特定する（ステップＳ２１）。具体的には、情報処理装置１０のシステム制御部１６が、図１０に示すように、ステップＳ４で取得した後のフレームの画像において、時間的に前のフレームの画像におけるパーティクルの位置（基準としたパーティクルの位置）と同じ位置にある画素のパーティクルｐおよびパーティクルｐの８近傍の画素ｑのいずれか１つの画素を、パーティクルの位置の近傍として１つ特定する。なお、パーティクルｐの位置とｐの８近傍の画素ｑの位置とが、前のフレームにおけるパーティクルの位置を基準とする所定範囲内の一例である。
【００５４】
次に、情報処理装置１０は、色が類似しているか否かを判定する（ステップＳ２２）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ２１において１つ特定した画素が、時間的に前のフレームの画像におけるパーティクルのＲＧＢ等の色情報（基準としたパーティクルの位置の画素の色情報の一例）と類似の色を有するか否かを判定する。
【００５５】
色が類似している場合（ステップＳ２２；ＹＥＳ）、情報処理装置１０が、特定されている近傍の画素の位置にパーティクルを生成する（ステップＳ２３）。
【００５６】
次に、情報処理装置１０が、全ての近傍を特定したか否かを判定する（ステップＳ２４）。そして、情報処理装置１０のシステム制御部１６が、全ての近傍を特定していない場合（ステップＳ２４；ＮＯ）、ステップＳ２１に戻り、中心の画素と８近傍の画素の中から、まだ特定していない次の画素を特定する。
【００５７】
色が類似した画素が複数ある場合、それに合わせてパーティクルも複数個生成される。また、色が類似した画素がない場合、生成されるパーティクルはゼロとなる。また、図１１に示すように、時間的に前のフレームの画像におけるパーティクルの位置と同じ位置に、パーティクルが生成されるとは限らない。後のフレームにおいて、パーティクルの位置がずれることもある。
【００５８】
（２．２．２ パーティクルの消失）
次に、パーティクル設定のサブルーチンにおけるパーティクルの消失について図９、図１２および図１３を用いて説明する。
【００５９】
図１２は、対象物を示す位置にパーティクルが存在する状態の一例を示す模式図である。図１３は、図１２の変形例を示す模式図である。
【００６０】
図９に示すように、全ての近傍を特定した場合（ステップＳ２４；ＹＥＳ）、情報処理装置１０は、パーティクルを特定する（ステップＳ２５）。具体的には、情報処理装置１０のシステム制御部１６が、ステップＳ２０からステップＳ２４において生成されたパーティクルから１つのパーティクルを特定する。
【００６１】
次に、情報処理装置１０は、パーティクルが追跡範囲の外縁内か否かを判定する（ステップＳ２６）。具体的には、情報処理装置１０のシステム制御部１６が、図５に示すように、ステップＳ５において算出された背景差分画像３０において、サーチ領域２５に同じ位置と大きさを有するサーチ領域３５と、サーチ領域２６に同じ位置と大きさを有するサーチ領域３６と、を設定する。そして、情報処理装置１０のシステム制御部１６が、各サーチ領域３５、３６の背景差分画像３０を取り出す。例えば、ヘルメット部分２ａの場合、サーチ領域３５の背景差分画像のヘルメット部分の外縁３ａ（追跡範囲の外縁の一例）を含む画像が取り出される。ここで、追跡範囲の外縁は、パーティクルを追跡する追跡範囲の外縁であって、背景差分画像の前景に応じて決定される。例えば、追跡している対象物（対象物の部分でもよい）の輪郭や、この輪郭を含む領域等が挙げられる。
【００６２】
このように、情報処理装置１０のシステム制御部１６は、背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段の一例として機能する。
【００６３】
次に、情報処理装置１０のシステム制御部１６が、図１２に示すように、例えば、ヘルメット部分２ａの輪郭を示すヘルメット部分の外縁３ａの画像上にあるパーティクルｐは、追跡範囲の外縁内であると判定する。さらに、情報処理装置１０のシステム制御部１６が、ヘルメット部分の外縁３ａの画像上あるパーティクルｐ同士を結ぶ直線Ｌを設定し、直線Ｌに所定の幅Ｄを与え、その幅の中にパーティクルが存在すれば、追跡範囲の外縁内であると判定する。
【００６４】
または、図１３に示すように、情報処理装置１０のシステム制御部１６が、パーティクルを中心して、所定の長さの直線ｒを、例えば、８方向等間隔の角度で設定する。この有限長の直線ｒが、ヘルメット部分の外縁３ａを示す画素と重なる本数が、所定数（例えば４本）以上ならば、情報処理装置１０のシステム制御部１６が、そのパーティクルは、追跡範囲の外縁内であると判定してもよい。
【００６５】
図１２および図１３に示すように、ヘルメット部分２ａの輪郭を示すヘルメット部分の外縁３ａの画像が閉じていなくても、追跡範囲の外縁内であるか否かを判定できる。ここで、動画中においてヘルメット等は上下には動きやすく、背景差分画像において上下側に輪郭が出やすいが、左右にはあまり動かなく、左右側に輪郭が出にくい。また、ヘルメット等と背景との関連により、ヘルメット等の輪郭の一部が出にくくなることもある。そのため、ヘルメット部分２ａの輪郭等が完全な閉領域にならないことがある。
【００６６】
このように、情報処理装置１０のシステム制御部１６は、パーティクル設定手段により設定されたパーティクルに基づき、対象物の追跡が可能か否かを判定する追跡判定手段の一例として機能する。
【００６７】
パーティクルが追跡範囲の外縁内である場合（ステップＳ２６；ＹＥＳ）、情報処理装置１０が、特定されているパーティクルをパーティクルとして残す（ステップＳ２７）。具体的には、情報処理装置１０のシステム制御部１６が、図１２に示すように、ヘルメット部分の外縁３ａの画像上あるパーティクルｐや、直線Ｌに所定の幅Ｄの中に存在するパーティクルｐを残す。または、図１３に示すように、ヘルメット部分の外縁３ａを示す画素と重なる本数が５本であるパーティクルｐを残す。
【００６８】
一方、パーティクルが追跡範囲の外縁内でない場合（ステップＳ２６；ＮＯ）、情報処理装置１０が、パーティクルを削除する（ステップＳ２８）。具体的には、情報処理装置１０のシステム制御部１６が、図１２に示すように、パーティクルｐ０は、ヘルメット部分の外縁３ａの画像上でなく、直線Ｌに所定の幅Ｄの中に存在しないので削除して消失させる。また、図１３に示すように、パーティクルｐ０は、ヘルメット部分の外縁３ａを示す画素と重なる本数が３本であるので、情報処理装置１０が、パーティクルｐ０を削除する。情報処理装置１０のシステム制御部１６は、各パーティクルｐの位置情報や色の情報が記憶されているＲＡＭ１６ｃ等から、特定しているパーティクルを削除する。
【００６９】
なお、ステップＳ２６において、オクルージョンにより対象物が一時的に隠れるように、追跡範囲の外縁が決定されなくて、追跡範囲の外縁内か否かを判定できない場合、情報処理装置１０のシステム制御部１６は、ステップＳ２７のように、全てのパーティクルを残す処理をしてもよい。
【００７０】
次に、情報処理装置１０は、全てのパーティクルを特定したか否かを判定する（ステップＳ２９）。全てのパーティクルを特定していない場合（ステップＳ２９；ＮＯ）、ステップＳ２５に戻り、情報処理装置１０のシステム制御部１６が、次のパーティクルを特定する。全てのパーティクルを特定した場合（ステップＳ２９；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ７の処理を行う。
【００７１】
このように、パーティクルを生成し、背景差分画像に応じて決定された追跡範囲の外縁内にあるパーティクルに絞ることにより、前のフレームにおけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲外縁決定手段により決定された外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームにおけるパーティクルが設定される。
【００７２】
次に、背景差分画像に応じて決定された追跡範囲の外縁内にあるパーティクルに絞る本実施形態の方法（以下、「本実施形態の方法」とする。）を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例について、図１４を用いて説明する。
図１４は、本実施形態の方法を使用した場合と、使用しない場合とにおけるパーティクル数の推移の一例を示す線図である。なお、パーティクル数は、フレーム内全体のパーティクルの数を示した。
【００７３】
図１４に示すように、フレーム番号がおよそ６０を超えると、本実施形態の方法を使用しない場合（図中破線）、パーティクル数が増加する傾向がある。一方、本実施形態の方法を使用した場合（図中実線）、パーティクルの追跡範囲の外縁が、背景差分画像に応じて設定されているため、パーティクル数が安定している。また、パーティクルの生成を、近傍かつ類似の色情報を有する画素の位置に限っているため、パーティクル数が安定している。このように、パーティクル数が安定して、パーティクル数が爆発的に増加しないため、計算量が膨大になることを未然に防いでいる。
【００７４】
以上、本実施形態によれば、動画の予め選択された１のフレーム２０の画像における対象物２上（ヘルメット部分２ａおよび勝負服部分２ｂ）に少なくとも１つのパーティクルｐを設定し、予め選択された１のフレーム以降、動画における時間的に前のフレームと時間的に後のフレームとを順次取得し、時間的に前のフレームの画像と後のフレームの画像との背景差分画像３０に応じて、パーティクルの追跡範囲の外縁３ａ等を決定し、前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ追跡範囲の外縁内であって、基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、後のフレームの画像におけるパーティクルを設定し、設定したパーティクルの位置から、後のフレームの画像における対象物の位置を特定することにより、背景差分画像に応じた追跡範囲の外縁３ａ内に限定して、後のフレームの画像におけるパーティクルｐを設定しているため、設定されるパーティクルのはみ出しが抑制されて、パーティクルｐの発散を防ぐことができ、正確に対象物の追跡が可能となる。さらに、追跡範囲の外縁３ａ内に限定されているため、パーティクルの数が爆発的に増加することを防止して、パーティクルの増加による計算量の増加を抑えることができる。
【００７５】
また、パーティクルを生成させ、背景差分画像に応じた追跡範囲の外縁３ａ内に限定しているため、ズームイン、ズームアウトにより、フレームにおける対象物の大きさが変化しても、対象物を追跡できる。
【００７６】
また、画素値の相違度が閾値以上の場合に前景とした背景差分画像を算出し、対象物に対応する前景に応じて、パーティクルの追跡範囲の外縁を決定する場合、パーティクルが背景差分画像に応じた追跡範囲の外縁３ａ内に適切に限定され、パーティクルｐの発散を防ぐことができ、正確に対象物の追跡が可能となる。
【００７７】
また、対象物の複数の部分に、各々パーティクルを初期設定し、対象物の各部分のパーティクルが位置する画素の色相を各々算出し、部分間の色相の角度を算出し、算出された部分間の色相の角度にも基づき、対象物の位置を特定する場合、対象物２の複数箇所（ヘルメット部分２ａおよび勝負服部分２ｂ）での関係を、部分間の色相の角度により対象物２を特定して追跡できるので、誤った追跡を防止でき、対象物の追跡精度がより高まる。例えば、部分間の色相の角度が所定以上異なるとき、異なった対象物を追跡している可能性が高く、このような場合、情報処理装置１０のシステム制御部１６が、追跡不可能と判定することにより、誤った追跡をしなくて済む。また、ヘルメットが似たような色でも、勝負服との組み合わせで排除でき、正確に対象物を特定できる。また、色相の情報を利用して、明度の変化量を無視する場合、計算量の軽減を図ることができる。また、天候等により明るさが変化しても色相の値はほとんど変化しないので、対象物の追跡精度がより高まる。
【００７８】
設定されたパーティクルに基づき、対象物の追跡が可能か否かを判定し、追跡不可能と判定したときに、設定されたパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを再設定する場合、対象物が一時的に障害物等に隠れたり、対象物がフレームの端に来て、一時的にフレームから外れたりする場合にも、対象物の追跡を継続でき、対象物の追跡精度がより高まる。このように、オクルージョンが発生したり、対象物がフレームから外れたりして、パーティクル数がゼロになっても、サーチ領域２５、２６内の設定されたパーティクルの初期の位置や対象物の追跡が不可能になる前のパーティクルの位置にパーティクルが再設定されるため、対象物の追跡可能となる。なお、背景差分の処理に関係なく、初期設定されたパーティクルの初期位置を記憶しておくことにより、オクルージョン等の発生時にも、パーティクルの初期の位置を利用して再度追跡が可能となる。
【００７９】
（２．３ パーティクル設定のサブルーチンの変形例）
次に、パーティクル設定のサブルーチンの変形例について図１５を用いて説明する。
図１５は、パーティクル設定のサブルーチンの変形例を示すフローチャートである。
【００８０】
図１５に示すように、情報処理装置１０は、ステップＳ２０のように前のフレームの画像におけるパーティクルの位置および色情報を取得する（ステップＳ３０）。
【００８１】
次に、情報処理装置１０は、パーティクルの位置の近傍かつ追跡範囲の外縁内の画素を特定する（ステップＳ３１）。具体的には、情報処理装置１０のシステム制御部１６が、図１０に示すように、前のフレームにおけるパーティクルの位置を基準とする所定範囲内の一例として、パーティクルの近傍内に含まれる画素で、かつ、図１２または図１３に示すように、追跡範囲の外縁内の画素を特定する。
【００８２】
次に、情報処理装置１０は、ステップＳ２２のように、特定した画素の色が類似しているか否かを判定する（ステップＳ３２）。
【００８３】
特定した画素の色が類似している場合（ステップＳ３２；ＹＥＳ）、情報処理装置１０は、画素の位置にパーティクルを設定する（ステップＳ３３）。
【００８４】
次に、情報処理装置１０は、所定の条件を満たす画素を全て特定した否かを判定する（ステップＳ３４）。具体的には、情報処理装置１０のシステム制御部１６が、前のフレームにおけるパーティクルの位置を基準とする所定範囲内に含まれる画素で、かつ、追跡範囲の外縁内の条件を満たす画素を全て特定したか否かを判定する。全てを特定していない場合（ステップＳ３４；ＮＯ）、情報処理装置１０は、次の画素を特定する。全てを特定した場合（ステップＳ３４；ＹＥＳ）、サブルーチンが終了し、情報処理装置１０は、ステップＳ７の処理を行う。なお、前のフレームにおけるパーティクルの位置を基準とする所定範囲内および追跡範囲の外縁内に類似の色情報の画素が無かったら、パーティクルは設定されない。
【００８５】
このように、本変形例では、情報処理装置１０は、パーティクルを消失させず、背景差分画像に応じた位置にのみパーティクルを設定する。
【００８６】
なお、ステップＳ２およびステップＳ３において、サーチ領域２５、２６および各パーティクルｐの設定は自動でもユーザによる手動でもよい。自動の場合、情報処理装置１０が、各騎手のヘルメットの色、勝負服の色の情報と、ヘルメットと勝負服との位置関係の情報より、これらの情報にマッチする対象物のフレームを探索し、対象物の一部を含むように、サーチ領域２５、２６を自動的に設定する。そして、情報処理装置１０が、設定された各サーチ領域２５、２６内における対象物の一部に対して、対象物の一部の境界付近や、境界により囲まれる領域においてヘルメットや勝負服の色に最も近い色の部分を探索してパーティクルｐを自動的に設定する。
【００８７】
また、ステップＳ６のパーティクル設定において、オクルージョンにより一時的に対象物が隠れたり、対象物の微妙な動きや写り方等により背景差分画像の前景が一時的に不鮮明となったりして、追跡範囲の外縁が一時的に決定できない場合（連続した所定数より少ない場合）に、情報処理装置１０のシステム制御部１６が、ＲＡＭ１６ｃを参照して、追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、後のフレームの画像におけるパーティクルを設定してもよい。この場合、オクルージョンにより対象物が一時的に隠れる等により、追跡範囲の外縁が求められなくても、正確に対象物の追跡が可能となる。
【００８８】
例えば、フレームｔ−１〜フレームｔ＋２において、フレームｔの時に、背景差分画像（（フレームｔ）−（フレームｔ−１））から、追跡範囲の外縁が特定でき、フレームｔ＋１の時に、背景差分画像（（フレームｔ＋１）−（フレームｔ））から、追跡範囲の外縁が特定できなかったが、フレームｔ＋２に時に、背景差分画像（（フレームｔ＋２）−（フレームｔ＋１））から外縁が特定できた場合を想定する。このとき、情報処理装置１０のシステム制御部１６が、フレームｔの時におけるＲＡＭ１６ｃ等を参照して、フレームｔの時に設定されたパーティクルｐの位置情報を読み出し、サーチ領域２５、２６内の同じ場所に、フレームｔ＋１やフレームｔ＋２の時におけるパーティクルｐを再設定する。
【００８９】
また、ステップＳ７において、色相の角度を算出する代わりに、ＲＧＢ空間において、ヘルメット部分２ａの各パーティクルと、勝負服部分２ｂの各パーティクルとのＲＧＢの距離を算出してもよい。情報処理装置１０は、この部分間のＲＧＢの距離が、所定の閾値の範囲より変化した場合、ステップＳ８において、追跡不可能と判定する。
【００９０】
また、対象物の複数の部分として、ヘルメット部分２ａと、勝負服部分２ｂとの代わりに、馬の部分と、騎手の部分でもよい。また、対象物は、馬と騎手とを合わせた一体的に動くものでもよいし、騎手のみでもよいし、馬のみでもよい。
【００９１】
また、追跡する対象物の数は、フレーム内に複数あってもよい。
【００９２】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００９３】
２：対象物
２ａ：ヘルメット部分
２ｂ：勝負服部分
３ａ：背景差分画像のヘルメット部分（追跡範囲の外縁）
１０：情報処理装置
１２：記憶部（記憶手段）
１６：システム制御部
１６ｃ：ＲＡＭ（記憶手段）
２０：フレーム
２５、２６：サーチ領域
３０：背景差分画像
ｐ：パーティクル
【特許請求の範囲】
【請求項１】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段と、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段と、
前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段と、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段と、
前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記背景差分画像算出手段が、画素値の相違度が閾値以上の場合に前景とした前記背景差分画像を算出し、
前記追跡範囲外縁決定手段が、前記対象物に対応する前記前景に応じて、パーティクルの追跡範囲の外縁を決定することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置において、
前記パーティクル初期設定手段が、前記対象物の複数の部分に、各々前記パーティクルを設定し、
前記対象物の各部分のパーティクルが位置する画素の色相を各々算出し、前記部分間の色相の角度を算出する色相角度算出手段を更に備え、
前記対象物特定手段が、前記色相角度算出手段により算出された部分間の色相の角度にも基づき、前記対象物の位置を特定することを特徴とする情報処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の情報処理装置において、
前記パーティクル設定手段により設定されたパーティクルに基づき、前記対象物の追跡が可能か否かを判定する追跡判定手段と、
前記追跡判定手段が追跡不可能と判定した場合に、前記パーティクル初期設定手段または前記パーティクル設定手段により設定されたパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを再設定するパーティクル再設定手段と、
を更に備えたことを特徴とする情報処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の情報処理装置において、
前記パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段を更に備え、
前記追跡範囲外縁決定手段が前記追跡範囲の外縁を決定することが不可能である場合に、前記パーティクル設定手段が、前記記憶手段を参照し、前記追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを設定することを特徴とする情報処理装置。
【請求項６】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定ステップと、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得ステップと、
前記フレーム取得ステップにおいて取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出ステップと、
前記背景差分画像算出ステップにおいて算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定ステップと、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定ステップにおいて決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定ステップと、
前記パーティクル設定ステップにおいて設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定ステップと、
を含むことを特徴とする情報処理方法。
【請求項７】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、
コンピュータを、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、
前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、
前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、
前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラム。
【請求項８】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムであって、
コンピュータを、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、
前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、
前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、
前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録された記録媒体。
【請求項１】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置において、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段と、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段と、
前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段と、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段と、
前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記背景差分画像算出手段が、画素値の相違度が閾値以上の場合に前景とした前記背景差分画像を算出し、
前記追跡範囲外縁決定手段が、前記対象物に対応する前記前景に応じて、パーティクルの追跡範囲の外縁を決定することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置において、
前記パーティクル初期設定手段が、前記対象物の複数の部分に、各々前記パーティクルを設定し、
前記対象物の各部分のパーティクルが位置する画素の色相を各々算出し、前記部分間の色相の角度を算出する色相角度算出手段を更に備え、
前記対象物特定手段が、前記色相角度算出手段により算出された部分間の色相の角度にも基づき、前記対象物の位置を特定することを特徴とする情報処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の情報処理装置において、
前記パーティクル設定手段により設定されたパーティクルに基づき、前記対象物の追跡が可能か否かを判定する追跡判定手段と、
前記追跡判定手段が追跡不可能と判定した場合に、前記パーティクル初期設定手段または前記パーティクル設定手段により設定されたパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを再設定するパーティクル再設定手段と、
を更に備えたことを特徴とする情報処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の情報処理装置において、
前記パーティクル初期設定手段またはパーティクル設定手段が設定したパーティクルの位置を記憶する記憶手段を更に備え、
前記追跡範囲外縁決定手段が前記追跡範囲の外縁を決定することが不可能である場合に、前記パーティクル設定手段が、前記記憶手段を参照し、前記追跡範囲の外縁を決定することが不可能とされる前のフレームにおけるパーティクルの位置に応じて、前記後のフレームの画像におけるパーティクルを設定することを特徴とする情報処理装置。
【請求項６】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理方法において、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定ステップと、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得ステップと、
前記フレーム取得ステップにおいて取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出ステップと、
前記背景差分画像算出ステップにおいて算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定ステップと、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定ステップにおいて決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定ステップと、
前記パーティクル設定ステップにおいて設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定ステップと、
を含むことを特徴とする情報処理方法。
【請求項７】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムにおいて、
コンピュータを、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、
前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、
前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、
前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラム。
【請求項８】
複数のフレームからなる動画中における所定の対象物を追跡する情報処理装置用のプログラムであって、
コンピュータを、
前記動画の予め選択された１のフレームの画像における前記対象物上に少なくとも１つのパーティクルを設定するパーティクル初期設定手段、
前記予め選択された１のフレーム以降、前記動画における時間的に前のフレームと時間的に後のフレームとを順次取得するフレーム取得手段、
前記フレーム取得手段により取得される前記前のフレームの画像と前記後のフレームの画像との背景差分画像を算出する背景差分画像算出手段、
前記背景差分画像算出手段により算出された背景差分画像に応じて、パーティクルの追跡範囲の外縁を決定する追跡範囲外縁決定手段、
前記前のフレームの画像におけるパーティクルの位置を基準とする所定範囲内かつ前記追跡範囲外縁決定手段により決定された外縁内であって、前記基準としたパーティクルの位置の画素の色情報と類似の色情報を有する画素の位置に、前記後のフレームの画像におけるパーティクルを設定するパーティクル設定手段、および、
前記パーティクル設定手段により設定されたパーティクルの位置から、前記後のフレームの画像における前記対象物の位置を特定する対象物特定手段として機能させることを特徴とする情報処理装置用プログラムがコンピュータ読み取り可能に記録された記録媒体。
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１５】
【図５】
【図６】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１５】
【図５】
【図６】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−７７０７３（Ｐ２０１３−７７０７３Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１５４１５（Ｐ２０１１−２１５４１５）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【特許番号】特許第４９２２４７２号（Ｐ４９２２４７２）
【特許公報発行日】平成２４年４月２５日（２０１２．４．２５）
【出願人】（３９９０３７４０５）楽天株式会社 (416)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【特許番号】特許第４９２２４７２号（Ｐ４９２２４７２）
【特許公報発行日】平成２４年４月２５日（２０１２．４．２５）
【出願人】（３９９０３７４０５）楽天株式会社 (416)
【Ｆターム（参考）】
[ Back to top ]