動物体照合装置および動物体照合プログラム
【課題】第１の動画像と第２の動画像とで撮影視点が大きく異なる場合であっても、第１の動画像に写った一つの動物体と同一の動物体を、同じ時間に撮影した第２の動画像に写った複数の動物体から特定する動物体照合装置を提供することを課題とする。
【解決手段】動物体照合装置１００は、第１の動画像（対象動画像Ａ）と第２の動画像（参照動画像Ｂ）とを撮像装置から取得し、動物体検出手段１２（２１）と、幾何特徴抽出手段１３（２３）と、幾何特徴記憶手段１４（２４）と、動的特徴抽出手段１５（２５）と、照合手段３３と、類似度最大化手段３４とを備え、第１の動画像から抽出した動物体（対象動物体）の形状に基づいて算出される対象動的特徴と、第２の動画像から抽出した複数の動物体（参照動物体）の形状に基づいて算出される複数の参照動的特徴とを照合し、類似度が高い参照動的特徴に対応する第２の動画像に写った一つの動物体を特定する。
【解決手段】動物体照合装置１００は、第１の動画像（対象動画像Ａ）と第２の動画像（参照動画像Ｂ）とを撮像装置から取得し、動物体検出手段１２（２１）と、幾何特徴抽出手段１３（２３）と、幾何特徴記憶手段１４（２４）と、動的特徴抽出手段１５（２５）と、照合手段３３と、類似度最大化手段３４とを備え、第１の動画像から抽出した動物体（対象動物体）の形状に基づいて算出される対象動的特徴と、第２の動画像から抽出した複数の動物体（参照動物体）の形状に基づいて算出される複数の参照動的特徴とを照合し、類似度が高い参照動的特徴に対応する第２の動画像に写った一つの動物体を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の動物体が写った第１の動画像と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像とを照合し、前記第１の動画像に写った動物体と同じ動物体を、前記第２の動画像に写った動物体から特定する動物体照合装置および動物体照合プログラムに関するものである。
【背景技術】
【０００２】
従来、デジタルビデオカメラやＣＣＤ（Charge Coupled Device）カメラなどの第１の撮像装置により撮影して得られた動画像データに写った動物体と、第２の撮像装置により撮影して得られた動画像データに写った動物体とを照合するための物体照合手法には、テンプレートマッチング手法、色ヒストグラムによる手法、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量による手法がある。
テンプレートマッチング手法は、物体領域の濃淡または色の面的な配置を特徴量として、異なる画像から抽出した各物体の各特徴同士の類似度を求め、当該類似度の高い組を探索することで照合を行う。前記類似度は例えば、コサイン類似度や相互相関、誤差和に基づいて算出される。
色ヒストグラムによる手法は、物体領域の全体または物体領域を分割した部分領域ごとの色ヒストグラムを算出し、色ヒストグラムの類似度に基づいて照合を行う。前記類似度の計算においては、例えば、ヒストグラム間のBhattacharyya距離を用いるものがある。
ＳＩＦＴ特徴量による手法は、回転運動やスケール、照明の変化による画像の変化に対して不変な画像特徴量であるＳＩＦＴ特徴量を用いて（非特許文献１）、同一の物体を視点（撮影アングル）が異なる位置から撮影した画像に写った物体の（見た目の）画像特徴を比較して照合を行う。
【０００３】
また、特許文献１には、ひとつの動画像に写った動物体の形状およびその動物体の運動を比較的少ないフレーム数（連続する画像の数）でロバスト（安定）に推定し、動画像に写った動物体を抽出することができる動画像の動物体抽出装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４２０１９５８号公報（段落［００１５］など）
【非特許文献】
【０００５】
【非特許文献１】D.G.Lowe, “Object recognition from local scale-invariant features”, Proc. of IEEE Int. Conf. on Computer Vision (ICCV) pp.1150-1157 (1999).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ある動画像（対象動画像）に写った動物体と、同じ時間に異なる視点から撮影した別の動画像（参照動画像）に写った複数の動物体との照合を行い、同一の動物体を特定することが、物体照合手法では以下のような問題がある。
【０００７】
テンプレートマッチング手法の場合、視点変化がある場合に照合が困難であった。視点変化がある場合、動物体の並進運動や回転運動、スケールの変化を含めた情報を用いて、動物体の形状の変化を線形変換して近似することで、照合を行うことができる。しかし、並進運動や回転運動、スケールの変化も推定することなり、探索空間の次元が増えるため、演算負荷が膨大になるという問題がある。
【０００８】
色ヒストグラムによる手法の場合、対象動画像と参照動画像との間で、同一の色を比較する必要があるため、撮像装置の仕様を考慮する必要があった。すなわち、異なる機種の撮像装置で撮影された画像間で照合を行うには、両撮像装置が同様の色特性を有するか、両撮像装置が同様の色特性となるように補正する必要があるという問題がある。
【０００９】
ＳＩＦＴ特徴量による手法の場合、見た目の画像特徴を比較して照合を行うため、大きく異なる視点、例えば、対象動画像の動物体の形状と参照動画像の動物体の形状とが線形変換により近似できないほど異なる場所からの視点で被写動物体が撮影され、対象動画像と参照動画像とで被写動物体の画像特徴が全く異なる場合に、対象動画像の被写動物体と同一の動物体を参照動画像の複数の動物体から特定することができないというという問題がある。
また、ＳＩＦＴ特徴量を求めるためにはＤｏＧ（Difference of Gaussian）を生成する必要があり、ガウシアンカーネルのたたみ込み演算を繰り返し行うため、演算量が膨大であるという問題がある。
【００１０】
また、従来（特許文献１）の動物体照合装置でも、ある動画像（第１の動画像）に写った動物体と同一の動物体を、同じ時間に異なる視点から撮影した別の動画像（第２の動画像）に写った複数の動物体から特定することができないという問題がある。
【００１１】
本発明は、以上のような問題を解決するためになされたものであり、第１の動画像と第２の動画像とで撮影視点が大きく異なる場合であっても、第１の動画像に写った一つの動物体と同一の動物体を、同じ時間に撮影した第２の動画像に写った複数の動物体から特定することができる動物体照合装置を提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために、本発明の請求項１に記載の動物体照合装置は、複数の動物体が写った第１の動画像（対象動画像）と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像（参照動画像）とを照合する動物体照合装置において、動物体検出手段と、幾何特徴抽出手段と、動的特徴抽出手段と、照合手段と、類似度最大化手段とを備える。
【００１３】
かかる構成によれば、動物体照合装置は、第１の動画像から抽出した動物体（対象動物体）に基づいて算出されるひとつの動的特徴（対象動的特徴）と、第２の動画像から抽出した複数の動物体（参照動物体）に基づいて算出される複数の動的特徴（参照動的特徴）とを照合し、類似度が高い参照動的特徴に対応する第２の動画像に写った一つの動物体を特定する。これにより、第１の動画像に写った一つの動物体と同一の動物体を、第２の動画像に写った複数の動物体から特定することができる。
【００１４】
また、請求項２に記載の動物体照合装置は、請求項１に記載の動物体照合装置において、接続された入力手段を介して、前記第１の動画像に写った複数の動物体の中から、利用者により指定された動物体の情報を取得し、前記第１の動画像から指定された前記動物体を抽出する動物体指定手段をさらに備えることを特徴とする。
【００１５】
かかる構成において、動物体照合装置と接続された入力手段を介して、第１の動画像に写った複数の動物体の中から、利用者が指定した動物体と同一の動物体を、第２の動画像の複数の動物体から特定することができる。
【００１６】
また、請求項３に記載の動物体照合装置は、請求項１または請求項２に記載の動物体照合装置において、前記幾何特徴抽出手段により算出される前記幾何特徴が、前記動物体検出手段により抽出された動物体の形状の面積値であることを特徴とする。
【００１７】
かかる構成において、動物体照合装置は幾何特徴を動物体の形状の面積値とし、幾何特徴を数値で表現する。
【００１８】
さらに、請求項４に記載の動物体照合装置は、請求項１または請求項２に記載の動物体照合装置において、前記幾何特徴抽出手段により算出される前記幾何特徴が、前記動物体検出手段により抽出された動物体の形状の外周長であることを特徴とする。
【００１９】
かかる構成において、動物体照合装置は、幾何特徴を動物体の形状の外周長とし、幾何特徴を数値で表現する。
【００２０】
さらに、請求項５に記載の動物体照合装置は、請求項１ないし請求項４のいずれか１項に記載の動物体照合装置において、前記動的特徴抽出手段により算出される前記動的特徴が、前記第１の動画像および前記第２の動画像を構成する連続した画像に写った同一の動物体における、各画像の前記幾何特徴の連続値をフーリエ変換して得られる、最大振幅値のスペクトル成分の周波数値であることを特徴とする。
【００２１】
かかる構成において、動物体照合装置は、照合の対象となる動的特徴を周波数値で表すことができる。
【００２２】
請求項６に記載の動物体照合プログラムは、複数の動物体が写った第１の動画像（対象動画像）と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像（参照動画像）とを照合し、前記第１の動画像に写った動物体と同じ動物体を、前記第２の動画像に写った動物体から特定するために、動物体照合装置のコンピュータを、動物体検出手段、幾何特徴抽出手段、動的特徴抽出手段、照合手段、類似度最大化手段として機能させることを特徴とする。
【００２３】
請求項７に記載の動物体照合装置は、利用者により操作されて情報が入力される入力手段と接続され、複数の動物体が写った第１の動画像（対象動画像）を処理する対象動画像処理手段と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像（参照動画像）を処理する参照動画像処理手段と、前記対象動画像処理手段の処理結果と、前記参照動画像処理手段の処理結果とを比較する照合処理手段とを備える動物体照合装置であって、前記対象動画像処理手段は、第１の動物体検出手段と、第１の動物体指定手段と、第１の幾何特徴抽出手段と、第１の動的特徴抽出手段とを備え、前記参照動画像処理手段は、第２の動物体検出手段と、第２の幾何特徴抽出手段と、第２の動的特徴抽出手段とを備え、前記照合処理手段は、照合手段と、類似度最大化手段とを備えることを特徴とする動物体照合装置。
【発明の効果】
【００２４】
本発明は、以下に示す優れた効果を奏するものである。
請求項１〜７に記載の発明によれば、動画像を構成する画像毎に、動物体の形状から幾何特徴を算出し（幾何特徴抽出手段）、前記動画像を構成する連続した画像に写った同一の動物体において、前記幾何特徴抽出手段で算出された幾何特徴の時間経過による変化値から前記動物体の動的特徴を算出（動的特徴抽出手段）する。この動的特徴を照合し、第１の動画像に写った動物体の動的特徴と類似度が高い、第２の動画像に写った一つの動物体を特定することにより、大きく異なる視点で被写動物体が撮影され、第１の動画像と第２の動画像とにおいて被写動物体の画像特徴が全く異なる場合においても、第１の動画像に写った動物体と同一の動物体を、第２の動画像に写った複数の動物体から特定することができる。
【００２５】
請求項２に記載の発明によれば、利用者は第１の動画像に写った動物体を指定することができるため、利用者が注目したい動物体を、第１の動画像だけでなく、大きく異なる視点で撮影された第２の動画像からも確認することができる。
これにより、利用者のニーズに合わせて動物体を指定できる動物体照合装置を提供することができる。
【００２６】
請求項３や請求項４に記載の発明によれば、幾何特徴を動物体の形状の面積値や外周長とする。時間経過による動物体の動きの変化を、面積値や外周長の数値の変化から算出するため、動物体個々の動きの変化（動的特徴）を数値で取得することができる。動的特徴が数値であるため、第１の動画像に写った動物体の動的特徴と、第２の動画像に写った動物体の動的特徴とから算出された類似度から容易に照合できる。
【００２７】
請求項５に記載の発明によれば、第１の動画像に写った動物体の周波数値と、第２の動画像に写った動物体の周波数値との類似度から、両動物体が同一であるか否かを判定することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係るサッカーの試合を撮影する２台の撮像装置と接続された動物体照合装置の一例である。
【図２】本発明に係る動物体照合装置のブロック図である。
【図３】（ａ）本発明に係る対象動画像データの１フレームである。（ｂ）本発明に係るシルエット処理された対象動画像データの１フレームである。
【図４】本発明に係る幾何特徴記憶手段に記憶されるインデックス番号と各フレームと幾何特徴との関係を示すデータ図である。
【図５】（ａ）本発明に係る対象動画像データの１フレームである。 （ｂ）（ａ）の数フレーム後の対象動画像データの１フレームである。 （ｃ）本発明に係る参照動画像データの１フレームである。 （ｄ）（ｄ）の数フレーム後の参照動画像データの１フレームである。
【図６】（ａ）図６（ａ）の対象動画像データの１フレームをシルエット処理した画像である。 （ｂ）図６（ｂ）の対象動画像データの１フレームをシルエット処理した画像である。 （ｃ）図６（ｃ）の対象動画像データの１フレームをシルエット処理した画像である。 （ｄ）図６（ｄ）の対象動画像データの１フレームをシルエット処理した画像である。
【図７】（ａ）フレーム毎のシルエット動物体領域ＸＳA1の幾何特徴の値と時間の関係を示したものである。 （ｂ）フレーム毎の参照シルエット動物体領域ＸＳB3の幾何特徴の値と時間の関係を示したものである。 （ｃ）フレーム毎の参照シルエット動物体領域ＸＳB2の幾何特徴の値と時間の関係を示したものである。
【図８】本発明に係る動物体照合装置の全体の処理の流れを示すフローチャートである。
【図９】本発明に係る動物体照合装置の対象動画像処理手段の動作を示すフローチャートである。
【図１０】本発明に係る動物体照合装置の対象動画像処理手段の過去Ｋ−１フレーム分の幾何特徴記憶処理を示すフローチャートである。
【図１１】本発明に係る動物体照合装置の参照動画像処理手段の動作を示すフローチャートである。
【図１２】本発明に係る動物体照合装置の照合処理手段の動作を示すフローチャートである。
【図１３】本発明に係る動物体照合装置の照合処理手段の動作を示すフローチャートである。
【図１４】本発明に係る魚が入っている水槽を撮影する２台の撮像装置と接続された動物体照合装置である。
【発明を実施するための形態】
【００２９】
次に、本発明の第１の実施形態について、適宜、図面を参照しながら詳細に説明する。
［動物体照合装置を含むシステム全体構成］
本発明の第１の実施形態において、サッカー場１００１に設置された２台の撮像装置Ｖ（撮像装置Ｖ1、撮像装置Ｖ2）により、サッカーの試合が撮影されているとする（図１）。
ここで、撮像装置Ｖ2の動画像は、ゴール側の視点から広角で撮影されたものであり、ハーフライン付近でボールを蹴る直前の選手Ｐ１の他に、選手Ｐ１の味方チームの選手Ｐ２と、相手チームの選手Ｐ３と選手Ｐ４が写った映像である。そして、撮像装置Ｖ1の動画像は、また別の視点（メインスタンド側）から広角で撮影されたものであり、ゴール前へ走り込む選手Ｐ２、選手Ｐ３、選手Ｐ４が写った映像である。
撮像装置Ｖは、動物体照合装置１００と無線もしくは有線で接続され、撮像装置Ｖ毎の視点から拡大／広角撮影された映像を動物体照合装置１００に送信するものである。
そして、本発明に係る動物体照合装置１００は、例えば、撮像装置Ｖ1の映像（動画像）に写る選手（Ｐ２）と同一の選手を、撮像装置Ｖ2の映像（動画像）から特定するものであり、処理の結果、撮像装置Ｖ2の映像（動画像）から選手Ｐ２を特定することができる。
【００３０】
［動物体照合装置の構成］
動物体照合装置１００の構成を図２に示す。動物体照合装置１００は、撮像装置Ｖ（図１）と、表示手段４と、入力手段５と接続され、対象動画像処理手段１と、参照動画像処理手段２と、照合処理手段３とを備え、撮像装置Ｖ1（図１）が撮影した動画像データを対象動画像処理手段１と参照動画像処理手段２とは記憶し、撮像装置Ｖ1により撮影された動画像データ（対象動画像Ａ）に写った複数の動物体から入力手段５により指定された動物体ＸAと同一の動物体を、撮像装置Ｖ2（図１）により異なる視点から撮影された動画像データ（参照動画像Ｂ）に写った複数の動物体から特定するものである。
【００３１】
対象動画像処理手段１は、動物体検出手段１２と、幾何特徴抽出手段１３と、幾何特徴記憶手段１４と、動的特徴抽出手段１５と、動画像データ生成手段１６と、動物体指定手段１７とを備え、対象動画像Ａを記憶し、その対象動画像Ａを構成する各フレームデータ（対象動画像データＡｆ）に写ったすべての動物体を検出し、利用者Ｕに入力手段５を介して指定された動物体ＸAの対象動的特徴ｄAと、動物体ＸAを特定する対象インデックス番号ｎA（動物体識別情報）とを出力する手段である。
【００３２】
参照動画像処理手段２は、動物体検出手段２２と、幾何特徴抽出手段２３と、幾何特徴記憶手段２４と、動的特徴抽出手段２５とを備え、参照動画像Ｂを記憶し、その参照動画像Ｂを構成する各フレームデータ（参照動画像データＢｆ）に写ったすべての動物体を検出し（検出した動物体総数をＮとする）、すべての動物体ＸB（ＸB1，ＸB2，・・・，ＸBN）の参照動的特徴ｄB（ｄB1，ｄB2，・・・，ｄBN）と、各動物体ＸBを特定する参照インデックス番号ｎB（ｎB1，ｎB2，・・・，ｎBN）と、動物体総数Ｎとを出力する手段である。
【００３３】
照合処理手段３は、計数手段３１と、選択手段３２と、照合手段３３と、類似度最大化手段３４とを備え、対象動的特徴ｄAと、参照動的特徴ｄBとを比較する処理を動物体総数Ｎと同じ数だけ繰り返して（すべての参照動的特徴ｄB1，ｄB2，・・・，ｄBNと比較する）、類似度の高い参照インデックス番号ｎBを特定する手段である。
【００３４】
（対象動画像処理手段１の構成）
対象動画像処理手段１の各構成について説明する。
（対象動画像Ａ）
対象動画像Ａは、撮像装置Ｖ1により撮影された動画像であり、対象動画像Ａは、複数のフレームデータ（対象動画像データＡｆ（Ａｆ1，Ａｆ2，・・・，Ａｆk，・・・，ＡｆK-1，ＡｆK，・・・））で構成される。
ここで、対象動画像Ａは、動物体ＸAが写り、利用者Ｕにより動物体ＸAが指定（選択）される動画像である。一方、後記する参照動画像Ｂは、前記指定された動物体ＸBが写り、その動物体ＸBが特定される動画像である。
【００３５】
（動物体検出手段１２）
動物体検出手段１２は、撮像装置Ｖ1が撮影した対象動画像Ａを構成する対象動画像データＡｆを一つ取得し、図３（ａ）に示すように、その対象動画像データＡｆに写った（含まれる）すべての動物体ＸAを検出する（動物体検出処理）。そして、動物体検出手段１２は、図３（ｂ）に示すように、その動物体ＸAをシルエットにして（シルエット処理）抽出し、シルエット動物体領域ＸＳAを生成する。そして、シルエット動物体領域ＸＳAに対象インデックス番号ｎA（動物体識別情報）を割り当てる。そして、対象インデックス番号ｎAとシルエット動物体領域ＸＳAとを幾何特徴抽出手段１３に出力する手段である。
【００３６】
ここで、動物体検出手段１２が幾何特徴抽出手段１３に出力するシルエット動物体領域ＸＳAは、シルエット動物体領域ＸＳAを含む画像データでもよいし、シルエット動物体領域ＸＳAの輪郭形状を表現したデータ（例えば、チェーンコード）でもよい。
【００３７】
（動物体検出手段１２：動物体検出処理）
ここで、動物体検出手段１２が行う動物体検出処理について説明する。
動物体検出手段１２は、まず、予め記憶手段（不図示）に背景の色データ（背景色データ）を記憶させる。そして、その背景色データ以外の色データ（抽出色データ）を画像から抽出し、隣り合う抽出色データの集合（領域）を抽出する。これにより、動物体検出手段１２は、対象動画像データＡｆに含まれるすべての動物体を検出することができる。
【００３８】
また、動物体検出手段１２は動物体検出処理をするときに、映像合成技術であるクロマキー（Chroma key）を用いて行ってもよい。
また、動物体検出手段１２は、特許文献１に開示された動きベクトルを用いて動物体検出処理を行ってもよい。例えば、類似した動きベクトルをもつ座標同士を集めた領域を形成（クラスタリング）し、最大面積の領域を背景とし、それ以外の領域を動物体とすることで実現することができる。
【００３９】
ここで、動物体検出手段１２が対象動画像データＡｆから一つも動物体を検出できなかった場合（検出数“０”）には、動物体照合装置１００はその後の処理を実行せず、動作を終了するものとする。
【００４０】
（動物体検出手段１２：シルエット処理）
ここで、動物体検出手段１２が行うシルエット処理について説明する。
動物体検出手段１２は、動物体検出処理により抽出された領域（抽出領域）を黒色にし、抽出領域以外の領域を白色にして、２値画像とし、領域内外を区別したシルエットにする。これにより、動物体検出手段１２は、抽出領域に相当する動物体ＸAをシルエットにすることができる。ここで、シルエットにした動物体ＸAの抽出領域をシルエット動物体領域ＸＳとする。
例えば、記憶手段（不図示）にサッカー場１００１のピッチの色を背景色として記憶させることで、動物体検出手段１２は、動物体検出処理とシルエット処理とにより、ピッチ上の選手やボール、審判を画像から抽出し、シルエットにすることができる。
【００４１】
ここで、動物体検出手段１２はシルエット処理をするときに、動物体検出処理で抽出された抽出領域を白色にし、抽出領域以外の領域を黒色にしてもよい。また、白黒だけでなく、カラーでもよい。
動物体検出手段１２が行う以上の処理は、動画像データを再生中に実行されることが望ましい。
【００４２】
（動画像データ生成手段１６）
動画像データ生成手段１６は、シルエット動物体領域ＸＳAを選択できる選択機能情報（例えば、マウスカーソルで選択可能なボタン）や、シルエット動物体領域ＸＳAに割り当てられた対象インデックス番号ｎA、選択機能情報の画面座標情報（例えば、画面上における選択可能なボタンの位置を示す座標情報）などの情報をシルエット対象動画像データＡＳに埋め込んで表示手段４に送出するものである。これにより、動画像データ生成手段１６は、それぞれのシルエット動物体領域ＸＳAに相当する対象インデックス番号ｎAが表示された画面や、シルエット動物体領域ＸＳAの形状をしたボタンが表示された画面を、表示手段４に表示することができる。
【００４３】
（動物体指定手段１７）
動物体指定手段１７は、利用者Ｕに操作されて入力手段５から入力された指示データを取得する。そして、動物体指定手段１７は、指示データを解析し、利用者Ｕが指定したシルエット動物体領域ＸＳAに割り当てられた対象インデックス番号ｎAを取得し、幾何特徴抽出手段１３にその対象インデックス番号ｎAを出力するものである。
【００４４】
（幾何特徴抽出手段１３）
幾何特徴抽出手段１３は、動物体検出手段１２により抽出された各フレーム（Ｋフレーム）のシルエット動物体領域ＸＳAの幾何特徴ｇを定量化する手段である。そして、幾何特徴抽出手段１３は、利用者Ｕにより指定された対象インデックス番号ｎAと各フレームの幾何特徴ｇAとの関係を示すデータを幾何特徴記憶手段１４に記憶させる。
ここで、本発明の実施形態では、シルエット動物体領域ＸＳAの幾何特徴ｇを「面積」とする。
幾何特徴抽出手段１３は、動物体検出手段１２からシルエット動物体領域ＸＳAを含むＫフレーム（Ｋ個）の画像データを取得する。そして、幾何特徴抽出手段１３は、各画像データのシルエット動物体領域ＸＳAの面積を算出する。これにより、幾何特徴抽出手段１３は、Ｋフレームの幾何特徴ｇA（シルエット動物体領域ＸＳAの面積値）を算出する。
このとき、画像データのシルエット動物体領域ＸＳAは２値画像データで表されるため、シルエットの領域の画素数を計数することで、シルエット動物体領域ＸＳAの面積を算出してもよい。
【００４５】
また、幾何特徴抽出手段１３は、シルエット動物体領域ＸＳAの幾何特徴ｇAを「輪郭線長（外周長）」としてもよい。幾何特徴抽出手段１３は、動物体検出手段１２からシルエット動物体領域ＸＳAの輪郭をコード化したチェーンコードを取得する。そして、幾何特徴抽出手段１３は、チェーンコードからシルエット動物体領域ＸＳAの輪郭線長（外周長）を算出する。
【００４６】
幾何特徴抽出手段１３は、一つ前の対象動画像Ａの対象動画像データＡｆを取得し、対象インデックス番号ｎAが割り当てられたシルエット動物体領域ＸＳAと同じ動物体ＸAのシルエット動物体領域を抽出し、その幾何特徴ｇAを算出する。そして、幾何特徴抽出手段１３は、この算出処理を、過去Ｋ−１フレーム分のシルエット対象動画像データＡＳに行う。これにより、幾何特徴抽出手段１３は、対象インデックス番号ｎAが割り当てられたシルエット動物体領域ＸＳAのＫフレーム分の幾何特徴ｇAを算出することができる。
【００４７】
ここで、過去のフレームのシルエット対象動画像データＡＳからシルエット動物体領域ＸＳAと同一動物体のシルエット動物体領域を抽出する処理は、特許文献１に開示された技術を用いることで、実現することができる。これにより、幾何特徴抽出手段１３は、過去Ｋフレーム分のシルエット対象動画像データＡＳからＫ個のシルエット動物体領域ＸＳAを抽出することができる。
ここで、Ｋフレームとは、０．１〜１秒間の動画像データのフレーム数であるが、１秒以上のフレーム数としてもよい。
【００４８】
（幾何特徴記憶手段１４）
幾何特徴記憶手段１４は、幾何特徴抽出手段１３により、利用者Ｕにより指定された対象インデックス番号ｎAと各フレームの幾何特徴ｇAとの関係を示すデータが記憶される手段である。
図４は、後記する幾何特徴記憶手段２４に記憶された参照インデックス番号ｎBと各フレームの幾何特徴ｇBとの関係を示すデータ図であるが、同じように、幾何特徴記憶手段１４は、例えば、動物体ＸAに割り当てられた参照インデックス番号ｎAにおける、処理開始時点（現在時）からｋ個前のフレーム（過去ｋ）の幾何特徴ｇnA（ｔ−ｋΔｔ）を記憶するものである。
【００４９】
（動的特徴抽出手段１５）
動的特徴抽出手段１５は、幾何特徴記憶手段１４から幾何特徴ｇを取得し、幾何特徴ｇAの時間経過による変化を定量化し、対象動的特徴ｄAを算出し、対象インデックス番号ｎAと対象動的特徴ｄAを一組にした［対象インデックス番号ｎA、対象動的特徴ｄA］のデータを生成する手段である。
ここで、シルエット動物体領域ＸＳの幾何特徴ｇを「面積」とした場合の対象動的特徴ｄの算出方法を以下に記載する。
動的特徴抽出手段１５は、シルエット動物体領域ＸＳの幾何特徴ｇを「面積」とした場合、幾何特徴記憶手段１４からＫフレーム（Ｋ個）の幾何特徴ｇ（面積値）を取得し、それらフレーム毎の（時間経過）幾何特徴ｇの集合に対してフーリエ変換する。これにより最大の振幅を有するスペクトル成分の周波数φを算出することができる。この周波数φが対象動的特徴ｄである。
【００５０】
例えば、現時点を含む過去Ｋフレーム分の幾何特徴時系列（ｇ（ｔ−ｋΔｔ））k=K-1,K-2,・・・,1,0に対し、フーリエ変換を施し、スペクトルＧ（ｆ）を求める。ここで、Δｔはフレームの時間間隔、ｆは周波数である。
フーリエ変換の際に、幾何特徴時系列（ｇ（ｔ−ｋΔｔ））k=K-1,K-2,・・・,1,0に対し、窓関数（例えば、ハン窓、ハミング窓、ブラックマン窓、方形窓（矩形窓）、三角窓（バーレット窓）など）を掛けてもよい。
そして、最大の振幅を有するスペクトル成分の周波数φを算出することができる。
【００５１】
この算出方法での周波数φｎは式（１）で表すことができる。
【数１】
【００５２】
また、動的特徴抽出手段１５は、最大の振幅を有するスペクトル成分の周波数φを算出する際に、重み関数ｗ（ｆ）とスペクトルＧ（ｆ）との乗算を最大化するｆを算出してもよい。
【００５３】
この算出方法での周波数φは式（２）で表すことができる。
【数２】
【００５４】
そして、重み関数ｗ（ｆ）は、直流成分を遮断する関数である式（３）を用いることができる。
【数３】
【００５５】
また、重み関数ｗ（ｆ）には、帯域通過型フィルタである式（４）を用いてもよい。
【数４】
【００５６】
また、幾何特徴時間変化におけるスペクトルＧ（ｆ）を動的特徴としてもよい。この場合、動的特徴は周波数ｆに関する動的特徴関数ｄ（ｆ）である。この動的特徴関数ｄ（ｆ）は式（５）で表すことができる。
【数５】
【００５７】
そして、動的特徴抽出手段１５は、最大の振幅を有するスペクトル成分の周波数φを算出する際に、重み関数ｗ（ｆ）とスペクトルＧ（ｆ）との乗算を動的特徴関数ｄ（ｆ）である。この動的特徴関数ｄ（ｆ）は式（６）で表すことができる。
【数６】
【００５８】
（参照動画像処理手段２の構成）
参照動画像処理手段２の各構成について説明する。
参照動画像処理手段２は、動物体検出手段２２と、幾何特徴抽出手段２３と、幾何特徴記憶手段２４と、動的特徴抽出手段２５とを備え、参照動画像Ｂを記憶し、その参照動画像Ｂを構成する各フレームデータ（参照動画像データＢｆ）に写ったすべての動物体を検出し（検出した動物体総数をＮとする）、すべての動物体ＸB（ＸB1，ＸB2，・・・，ＸBN）の参照動的特徴ｄB（ｄB1，ｄB2，・・・，ｄBN）と、各動物体ＸBを特定する参照インデックス番号ｎB（ｎB1，ｎB2，・・・，ｎBN）と、動物体総数Ｎとを出力する手段である。
【００５９】
（参照動画像処理手段２の構成）
参照動画像処理手段２は、対象動画像処理手段１と類似した構成を備え、各構成は、参照動画像処理手段２が備える動物体検出手段２２が、対象動画像処理手段１が備える動物体検出手段１２に相当し、幾何特徴抽出手段２３が幾何特徴抽出手段１３に相当し、幾何特徴記憶手段２４が幾何特徴記憶手段１４に相当し、動的特徴抽出手段２５が動的特徴抽出手段１５に相当するものである。
以下に、参照動画像処理手段２が備える各構成で、対象動画像処理手段１と異なる機能や処理について記載する。
【００６０】
（参照動画像Ｂ）
参照動画像Ｂは、撮像装置Ｖ2により撮影された動画像であり、参照動画像Ｂは、複数のフレームデータ（参照動画像データＢｆ（Ｂｆ1，Ｂｆ2，・・・，Ｂｆk，・・・，ＢｆK-1，ＢｆK，・・・））で構成される。
【００６１】
（動物体検出手段２２）
動物体検出手段２２は、撮像装置Ｖ2が撮影した参照動画像Ｂを構成する参照動画像データＢｆを一つ取得し、その参照動画像データＢｆに写った（含まれる）すべての動物体ＸBを検出し（動物体検出処理）、その動物体ＸBをシルエットにした（シルエット処理）シルエット動物体領域ＸＳBを生成する。そして、シルエット動物体領域ＸＳBにインデックスｎ（動物体識別情報）を割り当てる。そして、インデックスｎとシルエット動物体領域ＸＳBとを幾何特徴抽出手段２３に出力する。
動物体検出手段２２は、検出した動物体の数をカウントし、その動物体総数Ｎを後記する照合処理手段３に出力する。
【００６２】
（幾何特徴抽出手段２３）
幾何特徴抽出手段２３は、動物体検出手段２２により抽出された各フレーム（Ｋフレーム）のすべて（動物体総数Ｎ）のシルエット動物体領域ＸＳBの幾何特徴ｇBを定量化する手段である。そして、幾何特徴抽出手段１３は、参照インデックス番号ｎBと各フレームの幾何特徴ｇBとの関係を示すデータを幾何特徴記憶手段２４に記憶させる。
ここで、幾何特徴抽出手段２３は、動物体検出手段２２から過去Ｋフレーム分のシルエット参照動画像データＢＳを、参照インデックス番号ｎB順に取得することとする。しかし、幾何特徴抽出手段２３は、予め決められた画面座標に最も近い順にシルエット動物体領域ＸＳBを取得してもよいし、それぞれのシルエット動物体領域ＸＳBの重心を算出し、既に取得したシルエット動物体領域ＸＳBの重心に最もユークリッド距離の近いシルエット動物体領域ＸＳBを取得してもよいし、動物体抽出手段２２が行う動物体検出処理にて、特許文献１に開示された動きベクトルを用い、動物体抽出手段２２で抽出された動物体（領域）の動きベクトル場に最も近い動きベクトル場を有する部分領域をシルエット動物体領域ＸＳBとして取得してもよい。ここで、最も近い動きベクトル場を有する部分領域は、２つの動きベクトル場の部分領域内の平均ベクトルを求め、その差分の絶対値が最も小さいものを探索して求める。
【００６３】
（幾何特徴記憶手段２４）
幾何特徴記憶手段２４は、幾何特徴抽出手段２３により、参照インデックス番号ｎBと各フレームの幾何特徴ｇBとの関係を示すデータが記憶される手段である。
図４は、幾何特徴記憶手段２４に記憶された参照インデックス番号と各フレームの幾何特徴ｇBとの関係を示すデータ図である。
図４に示すように、幾何特徴記憶手段２４は、例えば、動物体ＸBに割り当てられた参照インデックス番号ｎBにおける、処理開始時点（現在時）からｋ個前のフレーム（過去ｋ）の幾何特徴ｇn（ｔ−ｋΔｔ）を記憶するものである。動物体総数Ｎのデータが記憶される。
【００６４】
（動的特徴抽出手段２５）
動的特徴抽出手段２５は、幾何特徴記憶手段２５から幾何特徴ｇBを取得し、すべて（動物体総数Ｎ）の幾何特徴ｇBの時間経過による変化を定量化し、参照動的特徴ｄBを算出し、参照インデックス番号ｎBと参照動的特徴ｄBを一組にした［参照インデックス番号ｎB、参照動的特徴ｄB］のデータを生成する手段である。
これにより、検出されたすべての動物体ＸBの［参照インデックス番号ｎB、参照動的特徴ｄB］のデータが生成される。
【００６５】
照合処理手段３は、計数手段３１と、選択手段３２と、照合手段３３と、類似度最大化手段３４とを備え、対象動的特徴ｄAと、参照動的特徴ｄBとを比較する処理を動物体総数Ｎと同じ数だけ繰り返して（すべての参照動的特徴ｄB1，ｄB2，・・・，ｄBNと比較する）、類似度の高い参照インデックス番号ｎBを特定する手段である。
【００６６】
（照合処理手段３の構成）
照合処理手段３の各構成について説明する。
（計数手段３１）
計数手段３１は、参照動画像処理手段２の動物体検出手段２２（図２）から動物体総数Ｎを取得し、選択手段３２および類似度最大化手段３４に、インデックスを一つずつ出力し、出力後にインデックスをインクリメント（＋１）する。そして、インデックスが動物体総数Ｎと一致するまで、計数手段３１はインデックスを出力する手段である。
また、照合手段３３からの指示データにより、インデックスをリセットする（インデックス＝１にする）。
【００６７】
（選択手段３２）
選択手段３２は、参照動画像処理手段２の動的特徴抽出手段２５から［参照インデックス番号ｎB、参照動的特徴ｄB］の組み合わせをすべて取得し、計数手段３１からインデックスを取得したことを契機に、一組の［参照インデックス番号ｎB、参照動的特徴ｄB］を出力する手段である。
【００６８】
（照合手段３３）
照合手段３３は、動的特徴抽出手段１５から［対象インデックス番号ｎA、対象動的特徴ｄA］を取得し、選択手段３２から一組の［参照インデックス番号ｎB、参照動的特徴ｄB］を取得し、後記する類似度算出処理の手順で、対象動的特徴ｄAと参照動的特徴ｄBとを比較して類似度ｓを算出し、動物体総数Ｎの類似度ｓを生成する手段である。
ここで、類似度ｓは、以下にて説明する照合手段３３が行う類似度算出処理により求められるが、類似度ｓは、対象動的特徴と参照動的特徴とがどれだけ一致しているかを百分率で示す一致率であってもよい。
【００６９】
（類似度最大化手段３４）
類似度最大化手段３４は、計数手段３１からインデックスを取得する毎に、照合手段３３から類似度ｓを取得し、最大の類似度ｓに相当する参照インデックス番号ｎBを照合結果として出力する手段である。このとき、選択手段３２が現在選択している参照インデックス番号ｎBは、計数手段３１から類似度最大化手段３４に出力されるインデックスにより特定することができる。
【００７０】
（類似度算出処理）
ここで、照合手段３３が行う類似度算出処理について説明する。例えば、対象動的特徴ｄAおよび参照動的特徴ｄBが周波数値である場合、照合手段３３は、対象動的特徴ｄAと参照動的特徴ｄBとの差分から類似度ｓを算出する。この類似度ｓは式（７）で表すことができる。この式（７）により、対象動的特徴ｄAと参照動的特徴ｄBとの差分値が小さいほど、類似度ｓは大きい値をとる。
【００７１】
【数７】
【００７２】
また、例えば、対象動的特徴ｄAおよび参照動的特徴ｄBが周波数値である場合、照合手段３３は、両動的特徴の一致／不一致に応じて２値をとる関数を類似度ｓ（ｄA，ｄB）として定義することができ、この類似度ｓは式（８）で表すことができる。この式（８）により、類似度ｓが“１”となる対象動的特徴ｄAのシルエット動物体領域ＸＳAと、参照動的特徴ｄBのシルエット動物体領域ＸＳBとが同一動物体であると判定することができる。
【００７３】
【数８】
【００７４】
また、対象動的特徴ｄAおよび参照動的特徴ｄBが周波数ｆに関する関数である場合、類似度ｓ（ｄA（ｆ），ｄB（ｆ））を式（９）で表すことができる。
【数９】
【００７５】
そして、類似度最大化手段３４が行う処理において、参照動画像Ｂに写ったシルエット動物体領域ＸＳB（ＸＳB1、ＸＳB2、・・・、ＸＳBN）のうち、対象動画像Ａに写ったシルエット動物体領域ＸＳAの対象動的特徴ｄAと類似度ｓが最も高い、参照動画像Ｂに写ったシルエット動物体領域ＸＳBの参照動的特徴ｄBに対応するインデックス番号ｎBは、式（１０）で表すことができる。ここで、Ｎは参照動画像Ｂに写ったシルエット動物体領域ＸＳBの総数である。
【数１０】
【００７６】
ここで、対象動的特徴ｄA（ｆ）および参照動的特徴ｄB（ｆ）が、幾何特徴時間変化におけるスペクトルＧ（ｆ）である場合、照合手段３３は、式（９）を用いて、それらの振幅間の相関を計算する。この相関値から、シルエット動物体領域ＸＳA1（図５（ａ））とシルエット動物体領域ＸＳB2（図５（ｃ））とは同一動物体であると判定することができるため、類似度最大化手段３４はシルエット動物体領域ＸＳB2を抽出することができる。
【００７７】
表示手段４は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）などであり、動画像データ生成手段１６から送出される動画像データを受信し、その動画像を再生表示するものである。表示手段４は、動物体照合装置１００が内蔵していても構わない。
入力手段５は、利用者Ｕにより操作されて入力された指示データを動物体照合装置１００に送出するものであり、キーボードやマウスなどにより構成される。例えば、キーボードから番号情報や、マウスなどのポインティングデバイスによって入力位置情報や画面座標情報などの画面位置情報が含まれた指示データが生成される。
これにより、利用者Ｕは、表示手段４にて再生表示される動画像を見ながら、表示手段４に表示された動画像領域に付されたインデックス番号の番号を、入力手段５を操作して入力することや、動画像領域の形状をしたボタンを選択することや、情報を入力することができる。
【００７８】
なお、動物体照合装置１００は、図示を省略したＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等を備えた一般的なコンピュータで構成することができ、コンピュータを前記した各手段として機能させるプログラムにより動作させることができる。
【００７９】
図７（ａ）〜（ｃ）は、幾何特徴ｇの時間経過による変化を示したものである。
例えば、図７（ａ）は、各画像のシルエット動物体領域ＸＳA1の幾何特徴ｇA1の連続値をフーリエ変換して得られたグラフである。振幅が最大となる点（Ｔ１ａ、Ｔ２ａ、Ｔ３ａ、・・・）を周期とする周波数φａがシルエット動物体領域ＸＳA1の対象動的特徴ｄA1である。
同様に、図７（ｂ）の振幅が最大となる点（Ｔ１ｂ、Ｔ２ｂ、Ｔ３ｂ、Ｔ４ｂ、・・・）を周期とする周波数φｂがシルエット動物体領域ＸＳB3の参照動的特徴ｄB3であり、図７（ｃ）の振幅が最大となる点（Ｔ１ｃ、Ｔ２ｃ、Ｔ３ｃ、・・・）を周期とする周波数φｃがシルエット動物体領域ＸＳB2の動的特徴ｄB2である。
照合手段３３は、周波数φａと周波数φｂ、周波数φａと周波数φｃの照合を行い、類似度ｓを算出する。類似度最大化手段３４は、周波数φａ（対象動的特徴ｄA1）と周波数φｃ（参照動的特徴ｄB2）との類似度ｓが最も高い（対象動的特徴ｄA1と最も類似する）ため、参照動的特徴ｄB2を取得し、この参照動的特徴ｄB2をもつシルエット動物体領域ＸＳB2を、シルエット参照動画像データＢＳから抽出するものである。
【００８０】
［動物体照合装置の照合処理］
次に、図８ないし図１３を参照して動物体照合装置が、撮像装置Ｖ1により撮影された映像である対象動画像Ａに写った動物体ＸAと同一の動物体（動物体ＸB）を撮像装置Ｖ2により撮影された映像である参照動画像Ｂから抽出する処理（動物体照合装置の照合処理）について説明する（適宜、図２ないし図６を参照）。
【００８１】
（全体の処理）
まず、図８を参照して動物体照合装置が行う、処理の流れを説明する（適宜、図２を参照）。
対象動画像処理手段１は、撮像装置Ｖ1により撮影された映像である対象動画像Ａを取得し（ステップＳ１１）、対象動画像処理を実行する（ステップＳ１２）。
参照動画像処理手段２は、撮像装置Ｖ2により撮影された映像である参照動画像Ｂを取得し（ステップＳ２１）、参照動画像処理を実行する（ステップＳ２２）。
そして、照合処理手段３は、対象動画像処理手段１からの出力値と、参照動画像処理手段２からの出力値とを取得し、照合処理を実行する（ステップＳ１３）。
【００８２】
（対象動画像処理）
図９および図１０を参照して、対象動画像処理手段１が行う対象動画像処理について説明する（適宜、図２を参照）。
【００８３】
動物体検出手段１２は、撮像装置Ｖ1により撮影された対象動画像Ａの１フレームの対象動画像データＡｆを取得する（ステップＳ１０１）。
動物体検出手段１２は、１フレームの対象動画像データＡｆからすべての動物体Ｘを検出する（ステップＳ１０２）。
動物体検出手段１２は、検出したすべての動物体ＸAにシルエット処理したシルエット動物体領域ＸＳAを生成する（ステップＳ１０３）。例えば、図５（ａ）の動画像であれば、図６（ａ）の動画像のようにシルエット処理する。ここで、図５（ａ）の動物体ＸA1のシルエットは図６（ａ）のシルエット動物体領域ＸＳA1に該当し、動物体ＸA2のシルエットはシルエット動物体領域ＸＳA2に該当し、動物体ＸA2のシルエットはシルエット動物体領域ＸＳA3に該当する。
動物体検出手段１２は、各シルエット動物体領域ＸＳAに対象インデックス番号ｎAを割り当てる（ステップＳ１０４）。
【００８４】
動物体検出手段１２は、シルエット動物体領域ＸＳAと対象インデックス番号ｎAとを対応付けたシルエット対象動画像データＡＳを生成する（ステップＳ１０５）。
そして、動物体検出手段１２は、シルエット対象動画像データＡＳを動画像データ生成手段１６に出力し、動画像データ生成手段１６は、シルエット対象動画像データＡＳを表示手段４に表示させる（ステップＳ１０６）。
動物体指定手段１７は、入力手段５から指定データを取得したか否かを判定する（ステップＳ１０７）。
【００８５】
指定データを取得していない場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０１の処理に戻り、次の１フレームの対象動画像データＡｆを取得する。
【００８６】
一方、指定データを取得した場合（ステップＳ１０７，Ｙｅｓ）、動物体指定手段１７は、指示データを解析し、利用者Ｕが指定したシルエット動物体領域ＸＳAの対象インデックス番号ｎAを取得する（ステップＳ１０８）。そして、動物体指定手段１７は、対象インデックス番号ｎAを幾何特徴抽出手段１３に出力する。
【００８７】
幾何特徴抽出手段１３は、動物体指定手段１７から対象インデックス番号ｎAを取得し、対象インデックス番号ｎAと対応するシルエット動物体領域ＸＳAの幾何特徴ｇAを算出する（ステップＳ１０９）。
幾何特徴抽出手段１３は、シルエット動物体領域ＸＳAの対象インデックス番号ｎAと対応付けた幾何特徴ｇAを幾何特徴記憶手段１４に記憶させる（ステップＳ１１０）。これにより、対象インデックス番号ｎAを指定することで、その幾何特徴ｇAを取得することができる。
【００８８】
そして、過去Ｋ−１フレーム分の幾何特徴記憶処理を行う（ステップＳ１１１，図１０）。この処理により、幾何特徴抽出手段１３は、ステップＳ１０１で取得した１フレームから、過去Ｋ−１フレーム分の対象動画像データＡｆの対象インデックス番号ｎAに相当するシルエット動物体領域ＸＳAの幾何特徴ｇAを幾何特徴記憶手段１４に記憶させる。
【００８９】
（Ｋフレーム分の幾何特徴記憶処理）
ここで、図１０を参照して、対象動画像処理手段１が行う過去Ｋ−１フレーム分の幾何特徴記憶処理について説明する（適宜、図２を参照）。
【００９０】
動物体検出手段１２は、ステップＳ１０１（図９）で取得した対象動画像Ａの１フレームの対象動画像データＡｆの一つ前の１フレームの対象動画像データＡｆを撮像装置Ｖ1から取得する（ステップＳ２０１）。
動物体検出手段１２は、１フレームの対象動画像データＡｆからすべての動物体Ｘを検出する（ステップＳ２０２）。
動物体検出手段１２は、検出したすべての動物体Ｘにシルエット処理したシルエット動物体領域ＸＳAを生成する（ステップＳ２０３）。
動物体検出手段１２は、一つ前の１フレームの対象動画像データＡｆのシルエット動物体領域ＸＳAの同定判定を行い、同じシルエット動物体領域ＸＳAに同じ対象インデックス番号ｎAを割り当てる（ステップＳ２０４）。
幾何特徴抽出手段１３は、指定データの対象インデックス番号ｎAと対応するシルエット動物体領域ＸＳAの幾何特徴ｇAを算出する（ステップＳ２０５）。
幾何特徴抽出手段１３は、シルエット動物体領域ＸＳAの対象インデックス番号ｎAと対応付けた幾何特徴ｇAを幾何特徴記憶手段１４に記憶する（ステップＳ２０６）。
【００９１】
幾何特徴抽出手段１３は、過去Ｋ−１フレーム分の対象動画像データＡｆを取得したか否かを判定する（ステップＳ２０７）。
過去Ｋ−１フレーム分の対象動画像データＡｆを取得していない場合（ステップＳ２０７，Ｎｏ）、ステップＳ２０１の処理に戻り、動物体検出手段１２は、前回取得した対象動画像データＡｆの一つ前（１フレーム前）の対象動画像データＡｆを撮像装置Ｖ1から取得する。
一方、過去Ｋ−１フレーム分の対象動画像データＡｆを取得している場合（ステップＳ２０７，Ｙｅｓ）、「過去Ｋ−１フレーム分の幾何特徴記憶処理」を終了する。
【００９２】
再び、図９に戻り、対象動画像処理手段１が行う対象動画像処理について説明する。
動的特徴抽出手段１５は、対象インデックス番号ｎAと対応するＫフレーム分の幾何特徴ｇAを幾何特徴記憶手段１４から取得する（ステップＳ１１２）。
動的特徴抽出手段１５は、幾何特徴ｇAを定量化し、動的特徴ｄAを算出する（ステップＳ１１３）。対象動画像処理手段１はすべての処理を終了する。
【００９３】
（参照動画像処理）
図１１を参照して、参照動画像処理手段２が行う参照動画像処理について説明する（適宜、図２を参照）。
【００９４】
動物体検出手段２２は、撮像装置Ｖ2により撮影された参照動画像Ｂの１フレームの参照動画像データＢｆを取得する（ステップＳ３０１）。
動物体検出手段２２は、１フレームの参照動画像データＢｆからすべての動物体Ｘを検出する（ステップＳ３０２）。
動物体検出手段２２は、検出したすべての動物体Ｘにシルエット処理したシルエット動物体領域ＸＳBを生成する（ステップＳ３０３）。
動物体検出手段２２は、各シルエット動物体領域ＸＳBに参照インデックス番号ｎBを割り当てる（ステップＳ３０４）。
【００９５】
動物体検出手段２２は、シルエット動物体領域ＸＳBと参照インデックス番号ｎBとを対応付けたシルエット参照動画像データＢＳを生成する（ステップＳ３０５）。
幾何特徴抽出手段２３は、各参照インデックス番号ｎBと対応するシルエット動物体領域ＸＳBの幾何特徴ｇBを算出する（ステップＳ３０６）。
幾何特徴抽出手段２３は、シルエット動物体領域ＸＳの参照インデックス番号ｎBと対応付けた幾何特徴ｇBを幾何特徴記憶手段２４に記憶する（ステップＳ３０７）。これにより、ステップＳ３０３にて検出されたすべての動物体ＸBの幾何特徴ｇBが幾何特徴記憶手段２４に記憶される。
【００９６】
動的特徴抽出手段２５は、過去Ｋフレーム分の参照インデックス番号ｎBと、幾何特徴ｇBとを取得する（ステップＳ３０８）。
動的特徴抽出手段２５は、参照インデックス番号ｎBを幾何特徴記憶手段２４から取得する（ステップＳ３０９）。
動的特徴抽出手段２５は、参照インデックス番号ｎBと対応するＫフレーム分の幾何特徴ｇBを幾何特徴記憶手段２４から取得する（ステップＳ３１０）。
動的特徴抽出手段２５は、幾何特徴ｇBを定量化し、動的特徴を算出する（ステップＳ３１１）。
【００９７】
動的特徴抽出手段２５は、繰返回数＝シルエット動物体領域ＸＳBの動物体総数Ｎであるか否かを判定する。（ステップＳ３１２：判定手段）。これにより、検出されたすべての動物体Ｘの動的特徴が算出されたか否かが判定される。
繰返回数≠シルエット動物体領域ＸＳBの動物体総数Ｎの場合（ステップＳ３１２，Ｎｏ）、ステップＳ３０９の処理に戻り、未取得のインデックス番号ｎBを取得する。
一方、繰返回数＝シルエット動物体領域ＸＳBの動物体総数Ｎの場合（ステップＳ３１２，Ｙｅｓ）、検出されたすべての動物体Ｘの動的特徴が算出されたため、参照動画像処理手段２はすべての処理を終了する。
【００９８】
（照合処理）
図１２および図１３を参照して、照合処理手段３が行う照合処理について説明する（適宜、図２を参照）。
【００９９】
照合手段３３は、対象動画像処理手段１の動的特徴抽出手段１５から利用者Ｕにより指定された指定動物体の［対象インデックス番号ｎA、対象動的特徴ｄA］の組み合わせを取得する（ステップＳ４０１）。
選択手段３２は、参照動画像処理手段２の動的特徴抽出手段２５から［参照インデックス番号ｎB、参照動的特徴ｄB］の組み合わせをすべて取得する（ステップＳ４０２）。
計数手段３１は、参照動画像処理手段２の動物体検出手段２２（図２）から動物体総数Ｎを取得する（ステップＳ４０３）。
【０１００】
計数手段３１は、インデックスを出力する（ステップＳ４０４）。
選択手段３２は、インデックスを取得したことで、一組の［参照インデックス番号ｎB、参照動的特徴ｄB］を照合手段３３に出力する（ステップＳ４０５）。
照合手段３３は、対象動的特徴ｄAと参照動的特徴ｄBとを照合し類似度ｓを算出する（ステップＳ４０６）。
【０１０１】
計数手段３１は、インデックス＝動物体総数Ｎであるか否かを判定する（ステップＳ４０７）。
インデックス≠動物体総数Ｎである場合（ステップＳ４０７，Ｎｏ）、計数手段３１は、インデックスをインクリメント（＋１）し（ステップＳ４０８）、ステップＳ４０４の処理に戻る。
【０１０２】
一方、インデックス＝動物体総数Ｎである場合（ステップＳ４０７，Ｙｅｓ）、計数手段３１はインデックスを出力しない。そのため、選択手段３２から［参照インデックス番号ｎB、参照動的特徴ｄB］が出力されない。照合手段３３は、動物体総数Ｎの類似度ｓを生成する（ステップＳ４０９）。
【０１０３】
そして、計数手段３１はインデックスをリセット（インデックス＝１にする）する（ステップＳ４１０）。そして、計数手段３１は、インデックスを出力し（ステップＳ４１１）、計数手段３１は、インデックスをインクリメント（＋１）する（ステップＳ４１２）。
【０１０４】
類似度最大化手段３４は、インデックスを取得したことで、比較基準となる類似度ｓを一つ取得（比較基準類似度）する（ステップＳ４１３）。
計数手段３１は、インデックスを出力する（ステップＳ４１４）。
類似度最大化手段３４は、未取得の類似度ｓを一つ取得（比較対象類似度）する（ステップＳ４１５）。
類似度最大化手段３４は、比較基準類似度と比較対象類似度とで類似度ｓを比較する（ステップＳ４１６）。そして、類似度最大化手段３４は、類似度が大きいほうを比較基準類似度とする（ステップＳ４１７）。
【０１０５】
計数手段３１は、インデックス＝動物体総数Ｎであるか否かを判定する（ステップＳ４１８）。
インデックス≠動物体総数Ｎである場合（ステップＳ４１８，Ｎｏ）、計数手段３１は、インデックスをインクリメント（＋１）する（ステップＳ４１９）。そして、ステップＳ４１４の処理に戻る。
【０１０６】
一方、インデックス＝動物体総数Ｎである場合（ステップＳ４１８，Ｙｅｓ）、計数手段３１はインデックスを出力しない。そして、類似度最大化手段３４は、最大の類似度ｓの参照インデックス番号ｎBを出力する（ステップＳ４２０）。このとき、選択手段３２が現在選択している参照インデックス番号ｎBは、計数手段３１から類似度最大化手段３４に出力されるインデックスにより特定することができる。
そして、照合処理手段３はすべての処理を終了する。
【０１０７】
［第１の実施形態の変形例］
（変形例１）
図２に示す動物体照合装置１００は、動画像データ生成手段１６と、動物体指定手段１７とを備え、利用者Ｕが、表示手段４でシルエット動画像データを見て、入力手段５を操作してシルエット動物体領域を選択することで、ひとつのシルエット動物体領域を指定しているが、動物体指定手段１７が、所定の条件に合致したシルエット動物体領域を自動で指定してもよい。
この動物体指定手段１７は、入力手段５などを介して入力された所定の条件を記憶する機能と、前記所定の条件に合致するシルエット動物体領域をシルエット対象動画像データＡＳから抽出する機能を備えることで実現することができる。
【０１０８】
例えば、サッカーの試合において所定の条件を「自陣ゴールに近いＧＫ以外の自軍の選手」とする。
サッカー場を広角で撮影した映像を対象動画像Ａ（図５（ｃ）および（ｄ）の画像）とすることで、動物体指定手段１７は、前記所定の条件に合致するシルエット動物体領域ＸＳB4を指定することができる。これにより、図５（ｃ）および（ｄ）の画像に、シルエット動物体領域ＸＳBに基づいてオフサイドラインを自動で描くことが可能になる。
また、ここで、自動追尾機能を備えた撮像装置Ｖを動物体照合装置１００が備え、自動追尾機能付撮像装置Ｖにて前記所定の条件に合致する選手を中心に撮影した映像を対象動画像Ａ（図５（ａ）および（ｂ）の画像）とすることで、動物体指定手段１７は、前記所定の条件に合致するシルエット動物体領域ＸＳAを指定することができる。これにより、動物体照合装置１００は、参照動画像Ｂ（図５（ｃ）および（ｄ）の画像）から、シルエット動物体領域ＸＳAと同一の動物体であるシルエット動物体領域ＸＳBを特定することができる（参照インデックス番号ｎBを取得）。そして、参照インデックス番号ｎBに基づいて、特定されたシルエット動物体領域ＸＳBを抽出することが可能な装置を備えることで、参照動画像Ｂにオフサイドラインを自動で描くことができる。
【０１０９】
（変形例２）
図１４は、魚（Ｇ１、Ｇ２）が入っている水槽１００２を撮影する２台の撮像装置Ｖ（Ｖ1、Ｖ2）と接続された動物体照合装置１０１である。
この場合、動物体検出手段１２にて、魚の個体毎に大きさや形状、動きなどが異なる“尾ひれ”をシルエットにすることで、照合手段３３および類似度最大化手段３４の処理により、類似度ｓの高い照合結果が得られやすい。そのため、本実施形態の場合、グッピーなど尾ひれが大きく、形状に特徴のある魚が望ましい。
本発明の動物体照合装置１０１を用いることで、水槽１００２内の魚を２４時間監視して、魚の動きや軌跡のデータを容易に取得することができるため、魚の生態を観察することができる。また、予め通常の魚の尾ひれの動きをパターン化した対象動的特徴ｄAを記憶手段（不図示）に記憶しておくことで、魚の生態を観察しながら、魚の異常行動を尾ひれの動きから容易に把握することができる。
同様に、動物園や水族館などに設置して、動物体照合装置１０１を用いて、ある１頭の動物の行動パターンを容易に把握することができるため、その動物の生態を観察することができる。
【０１１０】
（その他の変形例）
本発明の動物体照合装置について、２台の撮像装置Ｖが、サッカーの試合が開催されているサッカー場１００１、魚が入った水槽１００２が置かれた部屋に設置された場合を示したが、２台の撮像装置Ｖは撮影目的に応じて、例えば、野球やラグビー、バスケットボール、水泳などが開催される競技場や会場に設置されてもよいし、防犯目的としてビルに設置された監視カメラでもよい。
【０１１１】
本発明の動物体照合装置において、抽出対象となる動物体は、動物体の個体毎に大きさや形状、動作などがそれぞれで異なるが、一定の動作を繰り返しているものが望ましい。
【符号の説明】
【０１１２】
１ 対象動画像処理手段
２ 参照動画像処理手段
３ 照合処理手段
４ 表示手段
５ 入力手段
１２ 動物体検出手段
１３ 幾何特徴抽出手段
１４ 幾何特徴記憶手段
１５ 動的特徴抽出手段
１６ 動画像データ生成手段
１７ 動物体指定手段
２２ 動物体検出手段
２３ 幾何特徴抽出手段
２４ 幾何特徴記憶手段
２５ 動的特徴抽出手段
３１ 計数手段
３２ 選択手段
３３ 照合手段
３４ 類似度最大化手段
１００ 動物体照合装置
Ａ 対象動画像
Ｂ 参照動画像
Ｕ 利用者
Ｖ（Ｖ１，Ｖ２） 撮像装置
【技術分野】
【０００１】
本発明は、複数の動物体が写った第１の動画像と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像とを照合し、前記第１の動画像に写った動物体と同じ動物体を、前記第２の動画像に写った動物体から特定する動物体照合装置および動物体照合プログラムに関するものである。
【背景技術】
【０００２】
従来、デジタルビデオカメラやＣＣＤ（Charge Coupled Device）カメラなどの第１の撮像装置により撮影して得られた動画像データに写った動物体と、第２の撮像装置により撮影して得られた動画像データに写った動物体とを照合するための物体照合手法には、テンプレートマッチング手法、色ヒストグラムによる手法、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量による手法がある。
テンプレートマッチング手法は、物体領域の濃淡または色の面的な配置を特徴量として、異なる画像から抽出した各物体の各特徴同士の類似度を求め、当該類似度の高い組を探索することで照合を行う。前記類似度は例えば、コサイン類似度や相互相関、誤差和に基づいて算出される。
色ヒストグラムによる手法は、物体領域の全体または物体領域を分割した部分領域ごとの色ヒストグラムを算出し、色ヒストグラムの類似度に基づいて照合を行う。前記類似度の計算においては、例えば、ヒストグラム間のBhattacharyya距離を用いるものがある。
ＳＩＦＴ特徴量による手法は、回転運動やスケール、照明の変化による画像の変化に対して不変な画像特徴量であるＳＩＦＴ特徴量を用いて（非特許文献１）、同一の物体を視点（撮影アングル）が異なる位置から撮影した画像に写った物体の（見た目の）画像特徴を比較して照合を行う。
【０００３】
また、特許文献１には、ひとつの動画像に写った動物体の形状およびその動物体の運動を比較的少ないフレーム数（連続する画像の数）でロバスト（安定）に推定し、動画像に写った動物体を抽出することができる動画像の動物体抽出装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４２０１９５８号公報（段落［００１５］など）
【非特許文献】
【０００５】
【非特許文献１】D.G.Lowe, “Object recognition from local scale-invariant features”, Proc. of IEEE Int. Conf. on Computer Vision (ICCV) pp.1150-1157 (1999).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ある動画像（対象動画像）に写った動物体と、同じ時間に異なる視点から撮影した別の動画像（参照動画像）に写った複数の動物体との照合を行い、同一の動物体を特定することが、物体照合手法では以下のような問題がある。
【０００７】
テンプレートマッチング手法の場合、視点変化がある場合に照合が困難であった。視点変化がある場合、動物体の並進運動や回転運動、スケールの変化を含めた情報を用いて、動物体の形状の変化を線形変換して近似することで、照合を行うことができる。しかし、並進運動や回転運動、スケールの変化も推定することなり、探索空間の次元が増えるため、演算負荷が膨大になるという問題がある。
【０００８】
色ヒストグラムによる手法の場合、対象動画像と参照動画像との間で、同一の色を比較する必要があるため、撮像装置の仕様を考慮する必要があった。すなわち、異なる機種の撮像装置で撮影された画像間で照合を行うには、両撮像装置が同様の色特性を有するか、両撮像装置が同様の色特性となるように補正する必要があるという問題がある。
【０００９】
ＳＩＦＴ特徴量による手法の場合、見た目の画像特徴を比較して照合を行うため、大きく異なる視点、例えば、対象動画像の動物体の形状と参照動画像の動物体の形状とが線形変換により近似できないほど異なる場所からの視点で被写動物体が撮影され、対象動画像と参照動画像とで被写動物体の画像特徴が全く異なる場合に、対象動画像の被写動物体と同一の動物体を参照動画像の複数の動物体から特定することができないというという問題がある。
また、ＳＩＦＴ特徴量を求めるためにはＤｏＧ（Difference of Gaussian）を生成する必要があり、ガウシアンカーネルのたたみ込み演算を繰り返し行うため、演算量が膨大であるという問題がある。
【００１０】
また、従来（特許文献１）の動物体照合装置でも、ある動画像（第１の動画像）に写った動物体と同一の動物体を、同じ時間に異なる視点から撮影した別の動画像（第２の動画像）に写った複数の動物体から特定することができないという問題がある。
【００１１】
本発明は、以上のような問題を解決するためになされたものであり、第１の動画像と第２の動画像とで撮影視点が大きく異なる場合であっても、第１の動画像に写った一つの動物体と同一の動物体を、同じ時間に撮影した第２の動画像に写った複数の動物体から特定することができる動物体照合装置を提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために、本発明の請求項１に記載の動物体照合装置は、複数の動物体が写った第１の動画像（対象動画像）と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像（参照動画像）とを照合する動物体照合装置において、動物体検出手段と、幾何特徴抽出手段と、動的特徴抽出手段と、照合手段と、類似度最大化手段とを備える。
【００１３】
かかる構成によれば、動物体照合装置は、第１の動画像から抽出した動物体（対象動物体）に基づいて算出されるひとつの動的特徴（対象動的特徴）と、第２の動画像から抽出した複数の動物体（参照動物体）に基づいて算出される複数の動的特徴（参照動的特徴）とを照合し、類似度が高い参照動的特徴に対応する第２の動画像に写った一つの動物体を特定する。これにより、第１の動画像に写った一つの動物体と同一の動物体を、第２の動画像に写った複数の動物体から特定することができる。
【００１４】
また、請求項２に記載の動物体照合装置は、請求項１に記載の動物体照合装置において、接続された入力手段を介して、前記第１の動画像に写った複数の動物体の中から、利用者により指定された動物体の情報を取得し、前記第１の動画像から指定された前記動物体を抽出する動物体指定手段をさらに備えることを特徴とする。
【００１５】
かかる構成において、動物体照合装置と接続された入力手段を介して、第１の動画像に写った複数の動物体の中から、利用者が指定した動物体と同一の動物体を、第２の動画像の複数の動物体から特定することができる。
【００１６】
また、請求項３に記載の動物体照合装置は、請求項１または請求項２に記載の動物体照合装置において、前記幾何特徴抽出手段により算出される前記幾何特徴が、前記動物体検出手段により抽出された動物体の形状の面積値であることを特徴とする。
【００１７】
かかる構成において、動物体照合装置は幾何特徴を動物体の形状の面積値とし、幾何特徴を数値で表現する。
【００１８】
さらに、請求項４に記載の動物体照合装置は、請求項１または請求項２に記載の動物体照合装置において、前記幾何特徴抽出手段により算出される前記幾何特徴が、前記動物体検出手段により抽出された動物体の形状の外周長であることを特徴とする。
【００１９】
かかる構成において、動物体照合装置は、幾何特徴を動物体の形状の外周長とし、幾何特徴を数値で表現する。
【００２０】
さらに、請求項５に記載の動物体照合装置は、請求項１ないし請求項４のいずれか１項に記載の動物体照合装置において、前記動的特徴抽出手段により算出される前記動的特徴が、前記第１の動画像および前記第２の動画像を構成する連続した画像に写った同一の動物体における、各画像の前記幾何特徴の連続値をフーリエ変換して得られる、最大振幅値のスペクトル成分の周波数値であることを特徴とする。
【００２１】
かかる構成において、動物体照合装置は、照合の対象となる動的特徴を周波数値で表すことができる。
【００２２】
請求項６に記載の動物体照合プログラムは、複数の動物体が写った第１の動画像（対象動画像）と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像（参照動画像）とを照合し、前記第１の動画像に写った動物体と同じ動物体を、前記第２の動画像に写った動物体から特定するために、動物体照合装置のコンピュータを、動物体検出手段、幾何特徴抽出手段、動的特徴抽出手段、照合手段、類似度最大化手段として機能させることを特徴とする。
【００２３】
請求項７に記載の動物体照合装置は、利用者により操作されて情報が入力される入力手段と接続され、複数の動物体が写った第１の動画像（対象動画像）を処理する対象動画像処理手段と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像（参照動画像）を処理する参照動画像処理手段と、前記対象動画像処理手段の処理結果と、前記参照動画像処理手段の処理結果とを比較する照合処理手段とを備える動物体照合装置であって、前記対象動画像処理手段は、第１の動物体検出手段と、第１の動物体指定手段と、第１の幾何特徴抽出手段と、第１の動的特徴抽出手段とを備え、前記参照動画像処理手段は、第２の動物体検出手段と、第２の幾何特徴抽出手段と、第２の動的特徴抽出手段とを備え、前記照合処理手段は、照合手段と、類似度最大化手段とを備えることを特徴とする動物体照合装置。
【発明の効果】
【００２４】
本発明は、以下に示す優れた効果を奏するものである。
請求項１〜７に記載の発明によれば、動画像を構成する画像毎に、動物体の形状から幾何特徴を算出し（幾何特徴抽出手段）、前記動画像を構成する連続した画像に写った同一の動物体において、前記幾何特徴抽出手段で算出された幾何特徴の時間経過による変化値から前記動物体の動的特徴を算出（動的特徴抽出手段）する。この動的特徴を照合し、第１の動画像に写った動物体の動的特徴と類似度が高い、第２の動画像に写った一つの動物体を特定することにより、大きく異なる視点で被写動物体が撮影され、第１の動画像と第２の動画像とにおいて被写動物体の画像特徴が全く異なる場合においても、第１の動画像に写った動物体と同一の動物体を、第２の動画像に写った複数の動物体から特定することができる。
【００２５】
請求項２に記載の発明によれば、利用者は第１の動画像に写った動物体を指定することができるため、利用者が注目したい動物体を、第１の動画像だけでなく、大きく異なる視点で撮影された第２の動画像からも確認することができる。
これにより、利用者のニーズに合わせて動物体を指定できる動物体照合装置を提供することができる。
【００２６】
請求項３や請求項４に記載の発明によれば、幾何特徴を動物体の形状の面積値や外周長とする。時間経過による動物体の動きの変化を、面積値や外周長の数値の変化から算出するため、動物体個々の動きの変化（動的特徴）を数値で取得することができる。動的特徴が数値であるため、第１の動画像に写った動物体の動的特徴と、第２の動画像に写った動物体の動的特徴とから算出された類似度から容易に照合できる。
【００２７】
請求項５に記載の発明によれば、第１の動画像に写った動物体の周波数値と、第２の動画像に写った動物体の周波数値との類似度から、両動物体が同一であるか否かを判定することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係るサッカーの試合を撮影する２台の撮像装置と接続された動物体照合装置の一例である。
【図２】本発明に係る動物体照合装置のブロック図である。
【図３】（ａ）本発明に係る対象動画像データの１フレームである。（ｂ）本発明に係るシルエット処理された対象動画像データの１フレームである。
【図４】本発明に係る幾何特徴記憶手段に記憶されるインデックス番号と各フレームと幾何特徴との関係を示すデータ図である。
【図５】（ａ）本発明に係る対象動画像データの１フレームである。 （ｂ）（ａ）の数フレーム後の対象動画像データの１フレームである。 （ｃ）本発明に係る参照動画像データの１フレームである。 （ｄ）（ｄ）の数フレーム後の参照動画像データの１フレームである。
【図６】（ａ）図６（ａ）の対象動画像データの１フレームをシルエット処理した画像である。 （ｂ）図６（ｂ）の対象動画像データの１フレームをシルエット処理した画像である。 （ｃ）図６（ｃ）の対象動画像データの１フレームをシルエット処理した画像である。 （ｄ）図６（ｄ）の対象動画像データの１フレームをシルエット処理した画像である。
【図７】（ａ）フレーム毎のシルエット動物体領域ＸＳA1の幾何特徴の値と時間の関係を示したものである。 （ｂ）フレーム毎の参照シルエット動物体領域ＸＳB3の幾何特徴の値と時間の関係を示したものである。 （ｃ）フレーム毎の参照シルエット動物体領域ＸＳB2の幾何特徴の値と時間の関係を示したものである。
【図８】本発明に係る動物体照合装置の全体の処理の流れを示すフローチャートである。
【図９】本発明に係る動物体照合装置の対象動画像処理手段の動作を示すフローチャートである。
【図１０】本発明に係る動物体照合装置の対象動画像処理手段の過去Ｋ−１フレーム分の幾何特徴記憶処理を示すフローチャートである。
【図１１】本発明に係る動物体照合装置の参照動画像処理手段の動作を示すフローチャートである。
【図１２】本発明に係る動物体照合装置の照合処理手段の動作を示すフローチャートである。
【図１３】本発明に係る動物体照合装置の照合処理手段の動作を示すフローチャートである。
【図１４】本発明に係る魚が入っている水槽を撮影する２台の撮像装置と接続された動物体照合装置である。
【発明を実施するための形態】
【００２９】
次に、本発明の第１の実施形態について、適宜、図面を参照しながら詳細に説明する。
［動物体照合装置を含むシステム全体構成］
本発明の第１の実施形態において、サッカー場１００１に設置された２台の撮像装置Ｖ（撮像装置Ｖ1、撮像装置Ｖ2）により、サッカーの試合が撮影されているとする（図１）。
ここで、撮像装置Ｖ2の動画像は、ゴール側の視点から広角で撮影されたものであり、ハーフライン付近でボールを蹴る直前の選手Ｐ１の他に、選手Ｐ１の味方チームの選手Ｐ２と、相手チームの選手Ｐ３と選手Ｐ４が写った映像である。そして、撮像装置Ｖ1の動画像は、また別の視点（メインスタンド側）から広角で撮影されたものであり、ゴール前へ走り込む選手Ｐ２、選手Ｐ３、選手Ｐ４が写った映像である。
撮像装置Ｖは、動物体照合装置１００と無線もしくは有線で接続され、撮像装置Ｖ毎の視点から拡大／広角撮影された映像を動物体照合装置１００に送信するものである。
そして、本発明に係る動物体照合装置１００は、例えば、撮像装置Ｖ1の映像（動画像）に写る選手（Ｐ２）と同一の選手を、撮像装置Ｖ2の映像（動画像）から特定するものであり、処理の結果、撮像装置Ｖ2の映像（動画像）から選手Ｐ２を特定することができる。
【００３０】
［動物体照合装置の構成］
動物体照合装置１００の構成を図２に示す。動物体照合装置１００は、撮像装置Ｖ（図１）と、表示手段４と、入力手段５と接続され、対象動画像処理手段１と、参照動画像処理手段２と、照合処理手段３とを備え、撮像装置Ｖ1（図１）が撮影した動画像データを対象動画像処理手段１と参照動画像処理手段２とは記憶し、撮像装置Ｖ1により撮影された動画像データ（対象動画像Ａ）に写った複数の動物体から入力手段５により指定された動物体ＸAと同一の動物体を、撮像装置Ｖ2（図１）により異なる視点から撮影された動画像データ（参照動画像Ｂ）に写った複数の動物体から特定するものである。
【００３１】
対象動画像処理手段１は、動物体検出手段１２と、幾何特徴抽出手段１３と、幾何特徴記憶手段１４と、動的特徴抽出手段１５と、動画像データ生成手段１６と、動物体指定手段１７とを備え、対象動画像Ａを記憶し、その対象動画像Ａを構成する各フレームデータ（対象動画像データＡｆ）に写ったすべての動物体を検出し、利用者Ｕに入力手段５を介して指定された動物体ＸAの対象動的特徴ｄAと、動物体ＸAを特定する対象インデックス番号ｎA（動物体識別情報）とを出力する手段である。
【００３２】
参照動画像処理手段２は、動物体検出手段２２と、幾何特徴抽出手段２３と、幾何特徴記憶手段２４と、動的特徴抽出手段２５とを備え、参照動画像Ｂを記憶し、その参照動画像Ｂを構成する各フレームデータ（参照動画像データＢｆ）に写ったすべての動物体を検出し（検出した動物体総数をＮとする）、すべての動物体ＸB（ＸB1，ＸB2，・・・，ＸBN）の参照動的特徴ｄB（ｄB1，ｄB2，・・・，ｄBN）と、各動物体ＸBを特定する参照インデックス番号ｎB（ｎB1，ｎB2，・・・，ｎBN）と、動物体総数Ｎとを出力する手段である。
【００３３】
照合処理手段３は、計数手段３１と、選択手段３２と、照合手段３３と、類似度最大化手段３４とを備え、対象動的特徴ｄAと、参照動的特徴ｄBとを比較する処理を動物体総数Ｎと同じ数だけ繰り返して（すべての参照動的特徴ｄB1，ｄB2，・・・，ｄBNと比較する）、類似度の高い参照インデックス番号ｎBを特定する手段である。
【００３４】
（対象動画像処理手段１の構成）
対象動画像処理手段１の各構成について説明する。
（対象動画像Ａ）
対象動画像Ａは、撮像装置Ｖ1により撮影された動画像であり、対象動画像Ａは、複数のフレームデータ（対象動画像データＡｆ（Ａｆ1，Ａｆ2，・・・，Ａｆk，・・・，ＡｆK-1，ＡｆK，・・・））で構成される。
ここで、対象動画像Ａは、動物体ＸAが写り、利用者Ｕにより動物体ＸAが指定（選択）される動画像である。一方、後記する参照動画像Ｂは、前記指定された動物体ＸBが写り、その動物体ＸBが特定される動画像である。
【００３５】
（動物体検出手段１２）
動物体検出手段１２は、撮像装置Ｖ1が撮影した対象動画像Ａを構成する対象動画像データＡｆを一つ取得し、図３（ａ）に示すように、その対象動画像データＡｆに写った（含まれる）すべての動物体ＸAを検出する（動物体検出処理）。そして、動物体検出手段１２は、図３（ｂ）に示すように、その動物体ＸAをシルエットにして（シルエット処理）抽出し、シルエット動物体領域ＸＳAを生成する。そして、シルエット動物体領域ＸＳAに対象インデックス番号ｎA（動物体識別情報）を割り当てる。そして、対象インデックス番号ｎAとシルエット動物体領域ＸＳAとを幾何特徴抽出手段１３に出力する手段である。
【００３６】
ここで、動物体検出手段１２が幾何特徴抽出手段１３に出力するシルエット動物体領域ＸＳAは、シルエット動物体領域ＸＳAを含む画像データでもよいし、シルエット動物体領域ＸＳAの輪郭形状を表現したデータ（例えば、チェーンコード）でもよい。
【００３７】
（動物体検出手段１２：動物体検出処理）
ここで、動物体検出手段１２が行う動物体検出処理について説明する。
動物体検出手段１２は、まず、予め記憶手段（不図示）に背景の色データ（背景色データ）を記憶させる。そして、その背景色データ以外の色データ（抽出色データ）を画像から抽出し、隣り合う抽出色データの集合（領域）を抽出する。これにより、動物体検出手段１２は、対象動画像データＡｆに含まれるすべての動物体を検出することができる。
【００３８】
また、動物体検出手段１２は動物体検出処理をするときに、映像合成技術であるクロマキー（Chroma key）を用いて行ってもよい。
また、動物体検出手段１２は、特許文献１に開示された動きベクトルを用いて動物体検出処理を行ってもよい。例えば、類似した動きベクトルをもつ座標同士を集めた領域を形成（クラスタリング）し、最大面積の領域を背景とし、それ以外の領域を動物体とすることで実現することができる。
【００３９】
ここで、動物体検出手段１２が対象動画像データＡｆから一つも動物体を検出できなかった場合（検出数“０”）には、動物体照合装置１００はその後の処理を実行せず、動作を終了するものとする。
【００４０】
（動物体検出手段１２：シルエット処理）
ここで、動物体検出手段１２が行うシルエット処理について説明する。
動物体検出手段１２は、動物体検出処理により抽出された領域（抽出領域）を黒色にし、抽出領域以外の領域を白色にして、２値画像とし、領域内外を区別したシルエットにする。これにより、動物体検出手段１２は、抽出領域に相当する動物体ＸAをシルエットにすることができる。ここで、シルエットにした動物体ＸAの抽出領域をシルエット動物体領域ＸＳとする。
例えば、記憶手段（不図示）にサッカー場１００１のピッチの色を背景色として記憶させることで、動物体検出手段１２は、動物体検出処理とシルエット処理とにより、ピッチ上の選手やボール、審判を画像から抽出し、シルエットにすることができる。
【００４１】
ここで、動物体検出手段１２はシルエット処理をするときに、動物体検出処理で抽出された抽出領域を白色にし、抽出領域以外の領域を黒色にしてもよい。また、白黒だけでなく、カラーでもよい。
動物体検出手段１２が行う以上の処理は、動画像データを再生中に実行されることが望ましい。
【００４２】
（動画像データ生成手段１６）
動画像データ生成手段１６は、シルエット動物体領域ＸＳAを選択できる選択機能情報（例えば、マウスカーソルで選択可能なボタン）や、シルエット動物体領域ＸＳAに割り当てられた対象インデックス番号ｎA、選択機能情報の画面座標情報（例えば、画面上における選択可能なボタンの位置を示す座標情報）などの情報をシルエット対象動画像データＡＳに埋め込んで表示手段４に送出するものである。これにより、動画像データ生成手段１６は、それぞれのシルエット動物体領域ＸＳAに相当する対象インデックス番号ｎAが表示された画面や、シルエット動物体領域ＸＳAの形状をしたボタンが表示された画面を、表示手段４に表示することができる。
【００４３】
（動物体指定手段１７）
動物体指定手段１７は、利用者Ｕに操作されて入力手段５から入力された指示データを取得する。そして、動物体指定手段１７は、指示データを解析し、利用者Ｕが指定したシルエット動物体領域ＸＳAに割り当てられた対象インデックス番号ｎAを取得し、幾何特徴抽出手段１３にその対象インデックス番号ｎAを出力するものである。
【００４４】
（幾何特徴抽出手段１３）
幾何特徴抽出手段１３は、動物体検出手段１２により抽出された各フレーム（Ｋフレーム）のシルエット動物体領域ＸＳAの幾何特徴ｇを定量化する手段である。そして、幾何特徴抽出手段１３は、利用者Ｕにより指定された対象インデックス番号ｎAと各フレームの幾何特徴ｇAとの関係を示すデータを幾何特徴記憶手段１４に記憶させる。
ここで、本発明の実施形態では、シルエット動物体領域ＸＳAの幾何特徴ｇを「面積」とする。
幾何特徴抽出手段１３は、動物体検出手段１２からシルエット動物体領域ＸＳAを含むＫフレーム（Ｋ個）の画像データを取得する。そして、幾何特徴抽出手段１３は、各画像データのシルエット動物体領域ＸＳAの面積を算出する。これにより、幾何特徴抽出手段１３は、Ｋフレームの幾何特徴ｇA（シルエット動物体領域ＸＳAの面積値）を算出する。
このとき、画像データのシルエット動物体領域ＸＳAは２値画像データで表されるため、シルエットの領域の画素数を計数することで、シルエット動物体領域ＸＳAの面積を算出してもよい。
【００４５】
また、幾何特徴抽出手段１３は、シルエット動物体領域ＸＳAの幾何特徴ｇAを「輪郭線長（外周長）」としてもよい。幾何特徴抽出手段１３は、動物体検出手段１２からシルエット動物体領域ＸＳAの輪郭をコード化したチェーンコードを取得する。そして、幾何特徴抽出手段１３は、チェーンコードからシルエット動物体領域ＸＳAの輪郭線長（外周長）を算出する。
【００４６】
幾何特徴抽出手段１３は、一つ前の対象動画像Ａの対象動画像データＡｆを取得し、対象インデックス番号ｎAが割り当てられたシルエット動物体領域ＸＳAと同じ動物体ＸAのシルエット動物体領域を抽出し、その幾何特徴ｇAを算出する。そして、幾何特徴抽出手段１３は、この算出処理を、過去Ｋ−１フレーム分のシルエット対象動画像データＡＳに行う。これにより、幾何特徴抽出手段１３は、対象インデックス番号ｎAが割り当てられたシルエット動物体領域ＸＳAのＫフレーム分の幾何特徴ｇAを算出することができる。
【００４７】
ここで、過去のフレームのシルエット対象動画像データＡＳからシルエット動物体領域ＸＳAと同一動物体のシルエット動物体領域を抽出する処理は、特許文献１に開示された技術を用いることで、実現することができる。これにより、幾何特徴抽出手段１３は、過去Ｋフレーム分のシルエット対象動画像データＡＳからＫ個のシルエット動物体領域ＸＳAを抽出することができる。
ここで、Ｋフレームとは、０．１〜１秒間の動画像データのフレーム数であるが、１秒以上のフレーム数としてもよい。
【００４８】
（幾何特徴記憶手段１４）
幾何特徴記憶手段１４は、幾何特徴抽出手段１３により、利用者Ｕにより指定された対象インデックス番号ｎAと各フレームの幾何特徴ｇAとの関係を示すデータが記憶される手段である。
図４は、後記する幾何特徴記憶手段２４に記憶された参照インデックス番号ｎBと各フレームの幾何特徴ｇBとの関係を示すデータ図であるが、同じように、幾何特徴記憶手段１４は、例えば、動物体ＸAに割り当てられた参照インデックス番号ｎAにおける、処理開始時点（現在時）からｋ個前のフレーム（過去ｋ）の幾何特徴ｇnA（ｔ−ｋΔｔ）を記憶するものである。
【００４９】
（動的特徴抽出手段１５）
動的特徴抽出手段１５は、幾何特徴記憶手段１４から幾何特徴ｇを取得し、幾何特徴ｇAの時間経過による変化を定量化し、対象動的特徴ｄAを算出し、対象インデックス番号ｎAと対象動的特徴ｄAを一組にした［対象インデックス番号ｎA、対象動的特徴ｄA］のデータを生成する手段である。
ここで、シルエット動物体領域ＸＳの幾何特徴ｇを「面積」とした場合の対象動的特徴ｄの算出方法を以下に記載する。
動的特徴抽出手段１５は、シルエット動物体領域ＸＳの幾何特徴ｇを「面積」とした場合、幾何特徴記憶手段１４からＫフレーム（Ｋ個）の幾何特徴ｇ（面積値）を取得し、それらフレーム毎の（時間経過）幾何特徴ｇの集合に対してフーリエ変換する。これにより最大の振幅を有するスペクトル成分の周波数φを算出することができる。この周波数φが対象動的特徴ｄである。
【００５０】
例えば、現時点を含む過去Ｋフレーム分の幾何特徴時系列（ｇ（ｔ−ｋΔｔ））k=K-1,K-2,・・・,1,0に対し、フーリエ変換を施し、スペクトルＧ（ｆ）を求める。ここで、Δｔはフレームの時間間隔、ｆは周波数である。
フーリエ変換の際に、幾何特徴時系列（ｇ（ｔ−ｋΔｔ））k=K-1,K-2,・・・,1,0に対し、窓関数（例えば、ハン窓、ハミング窓、ブラックマン窓、方形窓（矩形窓）、三角窓（バーレット窓）など）を掛けてもよい。
そして、最大の振幅を有するスペクトル成分の周波数φを算出することができる。
【００５１】
この算出方法での周波数φｎは式（１）で表すことができる。
【数１】
【００５２】
また、動的特徴抽出手段１５は、最大の振幅を有するスペクトル成分の周波数φを算出する際に、重み関数ｗ（ｆ）とスペクトルＧ（ｆ）との乗算を最大化するｆを算出してもよい。
【００５３】
この算出方法での周波数φは式（２）で表すことができる。
【数２】
【００５４】
そして、重み関数ｗ（ｆ）は、直流成分を遮断する関数である式（３）を用いることができる。
【数３】
【００５５】
また、重み関数ｗ（ｆ）には、帯域通過型フィルタである式（４）を用いてもよい。
【数４】
【００５６】
また、幾何特徴時間変化におけるスペクトルＧ（ｆ）を動的特徴としてもよい。この場合、動的特徴は周波数ｆに関する動的特徴関数ｄ（ｆ）である。この動的特徴関数ｄ（ｆ）は式（５）で表すことができる。
【数５】
【００５７】
そして、動的特徴抽出手段１５は、最大の振幅を有するスペクトル成分の周波数φを算出する際に、重み関数ｗ（ｆ）とスペクトルＧ（ｆ）との乗算を動的特徴関数ｄ（ｆ）である。この動的特徴関数ｄ（ｆ）は式（６）で表すことができる。
【数６】
【００５８】
（参照動画像処理手段２の構成）
参照動画像処理手段２の各構成について説明する。
参照動画像処理手段２は、動物体検出手段２２と、幾何特徴抽出手段２３と、幾何特徴記憶手段２４と、動的特徴抽出手段２５とを備え、参照動画像Ｂを記憶し、その参照動画像Ｂを構成する各フレームデータ（参照動画像データＢｆ）に写ったすべての動物体を検出し（検出した動物体総数をＮとする）、すべての動物体ＸB（ＸB1，ＸB2，・・・，ＸBN）の参照動的特徴ｄB（ｄB1，ｄB2，・・・，ｄBN）と、各動物体ＸBを特定する参照インデックス番号ｎB（ｎB1，ｎB2，・・・，ｎBN）と、動物体総数Ｎとを出力する手段である。
【００５９】
（参照動画像処理手段２の構成）
参照動画像処理手段２は、対象動画像処理手段１と類似した構成を備え、各構成は、参照動画像処理手段２が備える動物体検出手段２２が、対象動画像処理手段１が備える動物体検出手段１２に相当し、幾何特徴抽出手段２３が幾何特徴抽出手段１３に相当し、幾何特徴記憶手段２４が幾何特徴記憶手段１４に相当し、動的特徴抽出手段２５が動的特徴抽出手段１５に相当するものである。
以下に、参照動画像処理手段２が備える各構成で、対象動画像処理手段１と異なる機能や処理について記載する。
【００６０】
（参照動画像Ｂ）
参照動画像Ｂは、撮像装置Ｖ2により撮影された動画像であり、参照動画像Ｂは、複数のフレームデータ（参照動画像データＢｆ（Ｂｆ1，Ｂｆ2，・・・，Ｂｆk，・・・，ＢｆK-1，ＢｆK，・・・））で構成される。
【００６１】
（動物体検出手段２２）
動物体検出手段２２は、撮像装置Ｖ2が撮影した参照動画像Ｂを構成する参照動画像データＢｆを一つ取得し、その参照動画像データＢｆに写った（含まれる）すべての動物体ＸBを検出し（動物体検出処理）、その動物体ＸBをシルエットにした（シルエット処理）シルエット動物体領域ＸＳBを生成する。そして、シルエット動物体領域ＸＳBにインデックスｎ（動物体識別情報）を割り当てる。そして、インデックスｎとシルエット動物体領域ＸＳBとを幾何特徴抽出手段２３に出力する。
動物体検出手段２２は、検出した動物体の数をカウントし、その動物体総数Ｎを後記する照合処理手段３に出力する。
【００６２】
（幾何特徴抽出手段２３）
幾何特徴抽出手段２３は、動物体検出手段２２により抽出された各フレーム（Ｋフレーム）のすべて（動物体総数Ｎ）のシルエット動物体領域ＸＳBの幾何特徴ｇBを定量化する手段である。そして、幾何特徴抽出手段１３は、参照インデックス番号ｎBと各フレームの幾何特徴ｇBとの関係を示すデータを幾何特徴記憶手段２４に記憶させる。
ここで、幾何特徴抽出手段２３は、動物体検出手段２２から過去Ｋフレーム分のシルエット参照動画像データＢＳを、参照インデックス番号ｎB順に取得することとする。しかし、幾何特徴抽出手段２３は、予め決められた画面座標に最も近い順にシルエット動物体領域ＸＳBを取得してもよいし、それぞれのシルエット動物体領域ＸＳBの重心を算出し、既に取得したシルエット動物体領域ＸＳBの重心に最もユークリッド距離の近いシルエット動物体領域ＸＳBを取得してもよいし、動物体抽出手段２２が行う動物体検出処理にて、特許文献１に開示された動きベクトルを用い、動物体抽出手段２２で抽出された動物体（領域）の動きベクトル場に最も近い動きベクトル場を有する部分領域をシルエット動物体領域ＸＳBとして取得してもよい。ここで、最も近い動きベクトル場を有する部分領域は、２つの動きベクトル場の部分領域内の平均ベクトルを求め、その差分の絶対値が最も小さいものを探索して求める。
【００６３】
（幾何特徴記憶手段２４）
幾何特徴記憶手段２４は、幾何特徴抽出手段２３により、参照インデックス番号ｎBと各フレームの幾何特徴ｇBとの関係を示すデータが記憶される手段である。
図４は、幾何特徴記憶手段２４に記憶された参照インデックス番号と各フレームの幾何特徴ｇBとの関係を示すデータ図である。
図４に示すように、幾何特徴記憶手段２４は、例えば、動物体ＸBに割り当てられた参照インデックス番号ｎBにおける、処理開始時点（現在時）からｋ個前のフレーム（過去ｋ）の幾何特徴ｇn（ｔ−ｋΔｔ）を記憶するものである。動物体総数Ｎのデータが記憶される。
【００６４】
（動的特徴抽出手段２５）
動的特徴抽出手段２５は、幾何特徴記憶手段２５から幾何特徴ｇBを取得し、すべて（動物体総数Ｎ）の幾何特徴ｇBの時間経過による変化を定量化し、参照動的特徴ｄBを算出し、参照インデックス番号ｎBと参照動的特徴ｄBを一組にした［参照インデックス番号ｎB、参照動的特徴ｄB］のデータを生成する手段である。
これにより、検出されたすべての動物体ＸBの［参照インデックス番号ｎB、参照動的特徴ｄB］のデータが生成される。
【００６５】
照合処理手段３は、計数手段３１と、選択手段３２と、照合手段３３と、類似度最大化手段３４とを備え、対象動的特徴ｄAと、参照動的特徴ｄBとを比較する処理を動物体総数Ｎと同じ数だけ繰り返して（すべての参照動的特徴ｄB1，ｄB2，・・・，ｄBNと比較する）、類似度の高い参照インデックス番号ｎBを特定する手段である。
【００６６】
（照合処理手段３の構成）
照合処理手段３の各構成について説明する。
（計数手段３１）
計数手段３１は、参照動画像処理手段２の動物体検出手段２２（図２）から動物体総数Ｎを取得し、選択手段３２および類似度最大化手段３４に、インデックスを一つずつ出力し、出力後にインデックスをインクリメント（＋１）する。そして、インデックスが動物体総数Ｎと一致するまで、計数手段３１はインデックスを出力する手段である。
また、照合手段３３からの指示データにより、インデックスをリセットする（インデックス＝１にする）。
【００６７】
（選択手段３２）
選択手段３２は、参照動画像処理手段２の動的特徴抽出手段２５から［参照インデックス番号ｎB、参照動的特徴ｄB］の組み合わせをすべて取得し、計数手段３１からインデックスを取得したことを契機に、一組の［参照インデックス番号ｎB、参照動的特徴ｄB］を出力する手段である。
【００６８】
（照合手段３３）
照合手段３３は、動的特徴抽出手段１５から［対象インデックス番号ｎA、対象動的特徴ｄA］を取得し、選択手段３２から一組の［参照インデックス番号ｎB、参照動的特徴ｄB］を取得し、後記する類似度算出処理の手順で、対象動的特徴ｄAと参照動的特徴ｄBとを比較して類似度ｓを算出し、動物体総数Ｎの類似度ｓを生成する手段である。
ここで、類似度ｓは、以下にて説明する照合手段３３が行う類似度算出処理により求められるが、類似度ｓは、対象動的特徴と参照動的特徴とがどれだけ一致しているかを百分率で示す一致率であってもよい。
【００６９】
（類似度最大化手段３４）
類似度最大化手段３４は、計数手段３１からインデックスを取得する毎に、照合手段３３から類似度ｓを取得し、最大の類似度ｓに相当する参照インデックス番号ｎBを照合結果として出力する手段である。このとき、選択手段３２が現在選択している参照インデックス番号ｎBは、計数手段３１から類似度最大化手段３４に出力されるインデックスにより特定することができる。
【００７０】
（類似度算出処理）
ここで、照合手段３３が行う類似度算出処理について説明する。例えば、対象動的特徴ｄAおよび参照動的特徴ｄBが周波数値である場合、照合手段３３は、対象動的特徴ｄAと参照動的特徴ｄBとの差分から類似度ｓを算出する。この類似度ｓは式（７）で表すことができる。この式（７）により、対象動的特徴ｄAと参照動的特徴ｄBとの差分値が小さいほど、類似度ｓは大きい値をとる。
【００７１】
【数７】
【００７２】
また、例えば、対象動的特徴ｄAおよび参照動的特徴ｄBが周波数値である場合、照合手段３３は、両動的特徴の一致／不一致に応じて２値をとる関数を類似度ｓ（ｄA，ｄB）として定義することができ、この類似度ｓは式（８）で表すことができる。この式（８）により、類似度ｓが“１”となる対象動的特徴ｄAのシルエット動物体領域ＸＳAと、参照動的特徴ｄBのシルエット動物体領域ＸＳBとが同一動物体であると判定することができる。
【００７３】
【数８】
【００７４】
また、対象動的特徴ｄAおよび参照動的特徴ｄBが周波数ｆに関する関数である場合、類似度ｓ（ｄA（ｆ），ｄB（ｆ））を式（９）で表すことができる。
【数９】
【００７５】
そして、類似度最大化手段３４が行う処理において、参照動画像Ｂに写ったシルエット動物体領域ＸＳB（ＸＳB1、ＸＳB2、・・・、ＸＳBN）のうち、対象動画像Ａに写ったシルエット動物体領域ＸＳAの対象動的特徴ｄAと類似度ｓが最も高い、参照動画像Ｂに写ったシルエット動物体領域ＸＳBの参照動的特徴ｄBに対応するインデックス番号ｎBは、式（１０）で表すことができる。ここで、Ｎは参照動画像Ｂに写ったシルエット動物体領域ＸＳBの総数である。
【数１０】
【００７６】
ここで、対象動的特徴ｄA（ｆ）および参照動的特徴ｄB（ｆ）が、幾何特徴時間変化におけるスペクトルＧ（ｆ）である場合、照合手段３３は、式（９）を用いて、それらの振幅間の相関を計算する。この相関値から、シルエット動物体領域ＸＳA1（図５（ａ））とシルエット動物体領域ＸＳB2（図５（ｃ））とは同一動物体であると判定することができるため、類似度最大化手段３４はシルエット動物体領域ＸＳB2を抽出することができる。
【００７７】
表示手段４は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）などであり、動画像データ生成手段１６から送出される動画像データを受信し、その動画像を再生表示するものである。表示手段４は、動物体照合装置１００が内蔵していても構わない。
入力手段５は、利用者Ｕにより操作されて入力された指示データを動物体照合装置１００に送出するものであり、キーボードやマウスなどにより構成される。例えば、キーボードから番号情報や、マウスなどのポインティングデバイスによって入力位置情報や画面座標情報などの画面位置情報が含まれた指示データが生成される。
これにより、利用者Ｕは、表示手段４にて再生表示される動画像を見ながら、表示手段４に表示された動画像領域に付されたインデックス番号の番号を、入力手段５を操作して入力することや、動画像領域の形状をしたボタンを選択することや、情報を入力することができる。
【００７８】
なお、動物体照合装置１００は、図示を省略したＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等を備えた一般的なコンピュータで構成することができ、コンピュータを前記した各手段として機能させるプログラムにより動作させることができる。
【００７９】
図７（ａ）〜（ｃ）は、幾何特徴ｇの時間経過による変化を示したものである。
例えば、図７（ａ）は、各画像のシルエット動物体領域ＸＳA1の幾何特徴ｇA1の連続値をフーリエ変換して得られたグラフである。振幅が最大となる点（Ｔ１ａ、Ｔ２ａ、Ｔ３ａ、・・・）を周期とする周波数φａがシルエット動物体領域ＸＳA1の対象動的特徴ｄA1である。
同様に、図７（ｂ）の振幅が最大となる点（Ｔ１ｂ、Ｔ２ｂ、Ｔ３ｂ、Ｔ４ｂ、・・・）を周期とする周波数φｂがシルエット動物体領域ＸＳB3の参照動的特徴ｄB3であり、図７（ｃ）の振幅が最大となる点（Ｔ１ｃ、Ｔ２ｃ、Ｔ３ｃ、・・・）を周期とする周波数φｃがシルエット動物体領域ＸＳB2の動的特徴ｄB2である。
照合手段３３は、周波数φａと周波数φｂ、周波数φａと周波数φｃの照合を行い、類似度ｓを算出する。類似度最大化手段３４は、周波数φａ（対象動的特徴ｄA1）と周波数φｃ（参照動的特徴ｄB2）との類似度ｓが最も高い（対象動的特徴ｄA1と最も類似する）ため、参照動的特徴ｄB2を取得し、この参照動的特徴ｄB2をもつシルエット動物体領域ＸＳB2を、シルエット参照動画像データＢＳから抽出するものである。
【００８０】
［動物体照合装置の照合処理］
次に、図８ないし図１３を参照して動物体照合装置が、撮像装置Ｖ1により撮影された映像である対象動画像Ａに写った動物体ＸAと同一の動物体（動物体ＸB）を撮像装置Ｖ2により撮影された映像である参照動画像Ｂから抽出する処理（動物体照合装置の照合処理）について説明する（適宜、図２ないし図６を参照）。
【００８１】
（全体の処理）
まず、図８を参照して動物体照合装置が行う、処理の流れを説明する（適宜、図２を参照）。
対象動画像処理手段１は、撮像装置Ｖ1により撮影された映像である対象動画像Ａを取得し（ステップＳ１１）、対象動画像処理を実行する（ステップＳ１２）。
参照動画像処理手段２は、撮像装置Ｖ2により撮影された映像である参照動画像Ｂを取得し（ステップＳ２１）、参照動画像処理を実行する（ステップＳ２２）。
そして、照合処理手段３は、対象動画像処理手段１からの出力値と、参照動画像処理手段２からの出力値とを取得し、照合処理を実行する（ステップＳ１３）。
【００８２】
（対象動画像処理）
図９および図１０を参照して、対象動画像処理手段１が行う対象動画像処理について説明する（適宜、図２を参照）。
【００８３】
動物体検出手段１２は、撮像装置Ｖ1により撮影された対象動画像Ａの１フレームの対象動画像データＡｆを取得する（ステップＳ１０１）。
動物体検出手段１２は、１フレームの対象動画像データＡｆからすべての動物体Ｘを検出する（ステップＳ１０２）。
動物体検出手段１２は、検出したすべての動物体ＸAにシルエット処理したシルエット動物体領域ＸＳAを生成する（ステップＳ１０３）。例えば、図５（ａ）の動画像であれば、図６（ａ）の動画像のようにシルエット処理する。ここで、図５（ａ）の動物体ＸA1のシルエットは図６（ａ）のシルエット動物体領域ＸＳA1に該当し、動物体ＸA2のシルエットはシルエット動物体領域ＸＳA2に該当し、動物体ＸA2のシルエットはシルエット動物体領域ＸＳA3に該当する。
動物体検出手段１２は、各シルエット動物体領域ＸＳAに対象インデックス番号ｎAを割り当てる（ステップＳ１０４）。
【００８４】
動物体検出手段１２は、シルエット動物体領域ＸＳAと対象インデックス番号ｎAとを対応付けたシルエット対象動画像データＡＳを生成する（ステップＳ１０５）。
そして、動物体検出手段１２は、シルエット対象動画像データＡＳを動画像データ生成手段１６に出力し、動画像データ生成手段１６は、シルエット対象動画像データＡＳを表示手段４に表示させる（ステップＳ１０６）。
動物体指定手段１７は、入力手段５から指定データを取得したか否かを判定する（ステップＳ１０７）。
【００８５】
指定データを取得していない場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０１の処理に戻り、次の１フレームの対象動画像データＡｆを取得する。
【００８６】
一方、指定データを取得した場合（ステップＳ１０７，Ｙｅｓ）、動物体指定手段１７は、指示データを解析し、利用者Ｕが指定したシルエット動物体領域ＸＳAの対象インデックス番号ｎAを取得する（ステップＳ１０８）。そして、動物体指定手段１７は、対象インデックス番号ｎAを幾何特徴抽出手段１３に出力する。
【００８７】
幾何特徴抽出手段１３は、動物体指定手段１７から対象インデックス番号ｎAを取得し、対象インデックス番号ｎAと対応するシルエット動物体領域ＸＳAの幾何特徴ｇAを算出する（ステップＳ１０９）。
幾何特徴抽出手段１３は、シルエット動物体領域ＸＳAの対象インデックス番号ｎAと対応付けた幾何特徴ｇAを幾何特徴記憶手段１４に記憶させる（ステップＳ１１０）。これにより、対象インデックス番号ｎAを指定することで、その幾何特徴ｇAを取得することができる。
【００８８】
そして、過去Ｋ−１フレーム分の幾何特徴記憶処理を行う（ステップＳ１１１，図１０）。この処理により、幾何特徴抽出手段１３は、ステップＳ１０１で取得した１フレームから、過去Ｋ−１フレーム分の対象動画像データＡｆの対象インデックス番号ｎAに相当するシルエット動物体領域ＸＳAの幾何特徴ｇAを幾何特徴記憶手段１４に記憶させる。
【００８９】
（Ｋフレーム分の幾何特徴記憶処理）
ここで、図１０を参照して、対象動画像処理手段１が行う過去Ｋ−１フレーム分の幾何特徴記憶処理について説明する（適宜、図２を参照）。
【００９０】
動物体検出手段１２は、ステップＳ１０１（図９）で取得した対象動画像Ａの１フレームの対象動画像データＡｆの一つ前の１フレームの対象動画像データＡｆを撮像装置Ｖ1から取得する（ステップＳ２０１）。
動物体検出手段１２は、１フレームの対象動画像データＡｆからすべての動物体Ｘを検出する（ステップＳ２０２）。
動物体検出手段１２は、検出したすべての動物体Ｘにシルエット処理したシルエット動物体領域ＸＳAを生成する（ステップＳ２０３）。
動物体検出手段１２は、一つ前の１フレームの対象動画像データＡｆのシルエット動物体領域ＸＳAの同定判定を行い、同じシルエット動物体領域ＸＳAに同じ対象インデックス番号ｎAを割り当てる（ステップＳ２０４）。
幾何特徴抽出手段１３は、指定データの対象インデックス番号ｎAと対応するシルエット動物体領域ＸＳAの幾何特徴ｇAを算出する（ステップＳ２０５）。
幾何特徴抽出手段１３は、シルエット動物体領域ＸＳAの対象インデックス番号ｎAと対応付けた幾何特徴ｇAを幾何特徴記憶手段１４に記憶する（ステップＳ２０６）。
【００９１】
幾何特徴抽出手段１３は、過去Ｋ−１フレーム分の対象動画像データＡｆを取得したか否かを判定する（ステップＳ２０７）。
過去Ｋ−１フレーム分の対象動画像データＡｆを取得していない場合（ステップＳ２０７，Ｎｏ）、ステップＳ２０１の処理に戻り、動物体検出手段１２は、前回取得した対象動画像データＡｆの一つ前（１フレーム前）の対象動画像データＡｆを撮像装置Ｖ1から取得する。
一方、過去Ｋ−１フレーム分の対象動画像データＡｆを取得している場合（ステップＳ２０７，Ｙｅｓ）、「過去Ｋ−１フレーム分の幾何特徴記憶処理」を終了する。
【００９２】
再び、図９に戻り、対象動画像処理手段１が行う対象動画像処理について説明する。
動的特徴抽出手段１５は、対象インデックス番号ｎAと対応するＫフレーム分の幾何特徴ｇAを幾何特徴記憶手段１４から取得する（ステップＳ１１２）。
動的特徴抽出手段１５は、幾何特徴ｇAを定量化し、動的特徴ｄAを算出する（ステップＳ１１３）。対象動画像処理手段１はすべての処理を終了する。
【００９３】
（参照動画像処理）
図１１を参照して、参照動画像処理手段２が行う参照動画像処理について説明する（適宜、図２を参照）。
【００９４】
動物体検出手段２２は、撮像装置Ｖ2により撮影された参照動画像Ｂの１フレームの参照動画像データＢｆを取得する（ステップＳ３０１）。
動物体検出手段２２は、１フレームの参照動画像データＢｆからすべての動物体Ｘを検出する（ステップＳ３０２）。
動物体検出手段２２は、検出したすべての動物体Ｘにシルエット処理したシルエット動物体領域ＸＳBを生成する（ステップＳ３０３）。
動物体検出手段２２は、各シルエット動物体領域ＸＳBに参照インデックス番号ｎBを割り当てる（ステップＳ３０４）。
【００９５】
動物体検出手段２２は、シルエット動物体領域ＸＳBと参照インデックス番号ｎBとを対応付けたシルエット参照動画像データＢＳを生成する（ステップＳ３０５）。
幾何特徴抽出手段２３は、各参照インデックス番号ｎBと対応するシルエット動物体領域ＸＳBの幾何特徴ｇBを算出する（ステップＳ３０６）。
幾何特徴抽出手段２３は、シルエット動物体領域ＸＳの参照インデックス番号ｎBと対応付けた幾何特徴ｇBを幾何特徴記憶手段２４に記憶する（ステップＳ３０７）。これにより、ステップＳ３０３にて検出されたすべての動物体ＸBの幾何特徴ｇBが幾何特徴記憶手段２４に記憶される。
【００９６】
動的特徴抽出手段２５は、過去Ｋフレーム分の参照インデックス番号ｎBと、幾何特徴ｇBとを取得する（ステップＳ３０８）。
動的特徴抽出手段２５は、参照インデックス番号ｎBを幾何特徴記憶手段２４から取得する（ステップＳ３０９）。
動的特徴抽出手段２５は、参照インデックス番号ｎBと対応するＫフレーム分の幾何特徴ｇBを幾何特徴記憶手段２４から取得する（ステップＳ３１０）。
動的特徴抽出手段２５は、幾何特徴ｇBを定量化し、動的特徴を算出する（ステップＳ３１１）。
【００９７】
動的特徴抽出手段２５は、繰返回数＝シルエット動物体領域ＸＳBの動物体総数Ｎであるか否かを判定する。（ステップＳ３１２：判定手段）。これにより、検出されたすべての動物体Ｘの動的特徴が算出されたか否かが判定される。
繰返回数≠シルエット動物体領域ＸＳBの動物体総数Ｎの場合（ステップＳ３１２，Ｎｏ）、ステップＳ３０９の処理に戻り、未取得のインデックス番号ｎBを取得する。
一方、繰返回数＝シルエット動物体領域ＸＳBの動物体総数Ｎの場合（ステップＳ３１２，Ｙｅｓ）、検出されたすべての動物体Ｘの動的特徴が算出されたため、参照動画像処理手段２はすべての処理を終了する。
【００９８】
（照合処理）
図１２および図１３を参照して、照合処理手段３が行う照合処理について説明する（適宜、図２を参照）。
【００９９】
照合手段３３は、対象動画像処理手段１の動的特徴抽出手段１５から利用者Ｕにより指定された指定動物体の［対象インデックス番号ｎA、対象動的特徴ｄA］の組み合わせを取得する（ステップＳ４０１）。
選択手段３２は、参照動画像処理手段２の動的特徴抽出手段２５から［参照インデックス番号ｎB、参照動的特徴ｄB］の組み合わせをすべて取得する（ステップＳ４０２）。
計数手段３１は、参照動画像処理手段２の動物体検出手段２２（図２）から動物体総数Ｎを取得する（ステップＳ４０３）。
【０１００】
計数手段３１は、インデックスを出力する（ステップＳ４０４）。
選択手段３２は、インデックスを取得したことで、一組の［参照インデックス番号ｎB、参照動的特徴ｄB］を照合手段３３に出力する（ステップＳ４０５）。
照合手段３３は、対象動的特徴ｄAと参照動的特徴ｄBとを照合し類似度ｓを算出する（ステップＳ４０６）。
【０１０１】
計数手段３１は、インデックス＝動物体総数Ｎであるか否かを判定する（ステップＳ４０７）。
インデックス≠動物体総数Ｎである場合（ステップＳ４０７，Ｎｏ）、計数手段３１は、インデックスをインクリメント（＋１）し（ステップＳ４０８）、ステップＳ４０４の処理に戻る。
【０１０２】
一方、インデックス＝動物体総数Ｎである場合（ステップＳ４０７，Ｙｅｓ）、計数手段３１はインデックスを出力しない。そのため、選択手段３２から［参照インデックス番号ｎB、参照動的特徴ｄB］が出力されない。照合手段３３は、動物体総数Ｎの類似度ｓを生成する（ステップＳ４０９）。
【０１０３】
そして、計数手段３１はインデックスをリセット（インデックス＝１にする）する（ステップＳ４１０）。そして、計数手段３１は、インデックスを出力し（ステップＳ４１１）、計数手段３１は、インデックスをインクリメント（＋１）する（ステップＳ４１２）。
【０１０４】
類似度最大化手段３４は、インデックスを取得したことで、比較基準となる類似度ｓを一つ取得（比較基準類似度）する（ステップＳ４１３）。
計数手段３１は、インデックスを出力する（ステップＳ４１４）。
類似度最大化手段３４は、未取得の類似度ｓを一つ取得（比較対象類似度）する（ステップＳ４１５）。
類似度最大化手段３４は、比較基準類似度と比較対象類似度とで類似度ｓを比較する（ステップＳ４１６）。そして、類似度最大化手段３４は、類似度が大きいほうを比較基準類似度とする（ステップＳ４１７）。
【０１０５】
計数手段３１は、インデックス＝動物体総数Ｎであるか否かを判定する（ステップＳ４１８）。
インデックス≠動物体総数Ｎである場合（ステップＳ４１８，Ｎｏ）、計数手段３１は、インデックスをインクリメント（＋１）する（ステップＳ４１９）。そして、ステップＳ４１４の処理に戻る。
【０１０６】
一方、インデックス＝動物体総数Ｎである場合（ステップＳ４１８，Ｙｅｓ）、計数手段３１はインデックスを出力しない。そして、類似度最大化手段３４は、最大の類似度ｓの参照インデックス番号ｎBを出力する（ステップＳ４２０）。このとき、選択手段３２が現在選択している参照インデックス番号ｎBは、計数手段３１から類似度最大化手段３４に出力されるインデックスにより特定することができる。
そして、照合処理手段３はすべての処理を終了する。
【０１０７】
［第１の実施形態の変形例］
（変形例１）
図２に示す動物体照合装置１００は、動画像データ生成手段１６と、動物体指定手段１７とを備え、利用者Ｕが、表示手段４でシルエット動画像データを見て、入力手段５を操作してシルエット動物体領域を選択することで、ひとつのシルエット動物体領域を指定しているが、動物体指定手段１７が、所定の条件に合致したシルエット動物体領域を自動で指定してもよい。
この動物体指定手段１７は、入力手段５などを介して入力された所定の条件を記憶する機能と、前記所定の条件に合致するシルエット動物体領域をシルエット対象動画像データＡＳから抽出する機能を備えることで実現することができる。
【０１０８】
例えば、サッカーの試合において所定の条件を「自陣ゴールに近いＧＫ以外の自軍の選手」とする。
サッカー場を広角で撮影した映像を対象動画像Ａ（図５（ｃ）および（ｄ）の画像）とすることで、動物体指定手段１７は、前記所定の条件に合致するシルエット動物体領域ＸＳB4を指定することができる。これにより、図５（ｃ）および（ｄ）の画像に、シルエット動物体領域ＸＳBに基づいてオフサイドラインを自動で描くことが可能になる。
また、ここで、自動追尾機能を備えた撮像装置Ｖを動物体照合装置１００が備え、自動追尾機能付撮像装置Ｖにて前記所定の条件に合致する選手を中心に撮影した映像を対象動画像Ａ（図５（ａ）および（ｂ）の画像）とすることで、動物体指定手段１７は、前記所定の条件に合致するシルエット動物体領域ＸＳAを指定することができる。これにより、動物体照合装置１００は、参照動画像Ｂ（図５（ｃ）および（ｄ）の画像）から、シルエット動物体領域ＸＳAと同一の動物体であるシルエット動物体領域ＸＳBを特定することができる（参照インデックス番号ｎBを取得）。そして、参照インデックス番号ｎBに基づいて、特定されたシルエット動物体領域ＸＳBを抽出することが可能な装置を備えることで、参照動画像Ｂにオフサイドラインを自動で描くことができる。
【０１０９】
（変形例２）
図１４は、魚（Ｇ１、Ｇ２）が入っている水槽１００２を撮影する２台の撮像装置Ｖ（Ｖ1、Ｖ2）と接続された動物体照合装置１０１である。
この場合、動物体検出手段１２にて、魚の個体毎に大きさや形状、動きなどが異なる“尾ひれ”をシルエットにすることで、照合手段３３および類似度最大化手段３４の処理により、類似度ｓの高い照合結果が得られやすい。そのため、本実施形態の場合、グッピーなど尾ひれが大きく、形状に特徴のある魚が望ましい。
本発明の動物体照合装置１０１を用いることで、水槽１００２内の魚を２４時間監視して、魚の動きや軌跡のデータを容易に取得することができるため、魚の生態を観察することができる。また、予め通常の魚の尾ひれの動きをパターン化した対象動的特徴ｄAを記憶手段（不図示）に記憶しておくことで、魚の生態を観察しながら、魚の異常行動を尾ひれの動きから容易に把握することができる。
同様に、動物園や水族館などに設置して、動物体照合装置１０１を用いて、ある１頭の動物の行動パターンを容易に把握することができるため、その動物の生態を観察することができる。
【０１１０】
（その他の変形例）
本発明の動物体照合装置について、２台の撮像装置Ｖが、サッカーの試合が開催されているサッカー場１００１、魚が入った水槽１００２が置かれた部屋に設置された場合を示したが、２台の撮像装置Ｖは撮影目的に応じて、例えば、野球やラグビー、バスケットボール、水泳などが開催される競技場や会場に設置されてもよいし、防犯目的としてビルに設置された監視カメラでもよい。
【０１１１】
本発明の動物体照合装置において、抽出対象となる動物体は、動物体の個体毎に大きさや形状、動作などがそれぞれで異なるが、一定の動作を繰り返しているものが望ましい。
【符号の説明】
【０１１２】
１ 対象動画像処理手段
２ 参照動画像処理手段
３ 照合処理手段
４ 表示手段
５ 入力手段
１２ 動物体検出手段
１３ 幾何特徴抽出手段
１４ 幾何特徴記憶手段
１５ 動的特徴抽出手段
１６ 動画像データ生成手段
１７ 動物体指定手段
２２ 動物体検出手段
２３ 幾何特徴抽出手段
２４ 幾何特徴記憶手段
２５ 動的特徴抽出手段
３１ 計数手段
３２ 選択手段
３３ 照合手段
３４ 類似度最大化手段
１００ 動物体照合装置
Ａ 対象動画像
Ｂ 参照動画像
Ｕ 利用者
Ｖ（Ｖ１，Ｖ２） 撮像装置
【特許請求の範囲】
【請求項１】
複数の動物体が写った第１の動画像と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像とを照合する動物体照合装置であって、
前記第１の動画像および前記第２の動画像を構成する画像から動物体を抽出する動物体検出手段と、
前記第１の動画像および前記第２の動画像を構成する画像毎に、前記動物体の形状から幾何特徴を算出する幾何特徴抽出手段と、
前記第１の動画像および前記第２の動画像を構成する連続した各画像に写った同一の動物体に対する、前記幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から、前記動物体の動的特徴を算出する動的特徴抽出手段と、
前記動的特徴抽出手段で算出された前記第１の動画像に写った動物体の動的特徴と、前記動的特徴抽出手段で算出された前記第２の動画像に写った各動物体の動的特徴とを照合し、類似度を算出する照合手段と、
類似度の高い前記動的特徴の前記第２の動画像に写った動物体を特定する類似度最大化手段と
を備えることを特徴とする動物体照合装置。
【請求項２】
接続された入力手段を介して、前記第１の動画像に写った複数の動物体の中から、利用者により指定された動物体の情報を取得し、前記第１の動画像から指定された前記動物体を抽出する動物体指定手段をさらに備えることを特徴とする請求項１に記載された動物体照合装置。
【請求項３】
前記幾何特徴抽出手段により算出される前記幾何特徴は、前記動物体検出手段により抽出された動物体の形状の面積値であることを特徴とする請求項１または請求項２に記載された動物体照合装置。
【請求項４】
前記幾何特徴抽出手段により算出される前記幾何特徴は、前記動物体検出手段により抽出された動物体の形状の外周長であることを特徴とする請求項１または請求項２に記載された動物体照合装置。
【請求項５】
前記動的特徴抽出手段により算出される前記動的特徴は、前記第１の動画像および前記第２の動画像を構成する連続した画像に写った同一の動物体における、各画像の前記幾何特徴の連続値をフーリエ変換して得られる、最大振幅値のスペクトル成分の周波数値であることを特徴とする請求項１ないし請求項４のいずれか１項に記載された動物体照合装置。
【請求項６】
複数の動物体が写った第１の動画像と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像とを照合し、前記第１の動画像に写った動物体と同じ動物体を、前記第２の動画像に写った動物体から特定するために、動物体照合装置のコンピュータを、
前記第１の動画像および前記第２の動画像を構成する画像から動物体を抽出する動物体検出手段、
前記第１の動画像および前記第２の動画像を構成する画像毎に、前記動物体の形状から幾何特徴を算出する幾何特徴抽出手段、
前記第１の動画像および前記第２の動画像を構成する連続した各画像に写った同一の動物体に対する、前記幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から前記動物体の動的特徴を算出する動的特徴抽出手段、
前記動的特徴抽出手段で算出された前記第１の動画像に写った動物体の動的特徴と、前記動的特徴抽出手段で算出された前記第２の動画像に写った各動物体の動的特徴とを照合し、類似度を算出する照合手段、
類似度の高い前記動的特徴の前記第２の動画像に写った動物体を特定する類似度最大化手段
として機能させることを特徴とする動物体照合プログラム。
【請求項７】
利用者により操作されて情報が入力される入力手段と接続され、
複数の動物体が写った第１の動画像を処理する対象動画像処理手段と、
前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像を処理する参照動画像処理手段と、
前記対象動画像処理手段の処理結果と、前記参照動画像処理手段の処理結果とを比較する照合処理手段と
を備える動物体照合装置であって、
前記対象動画像処理手段は、
前記第１の動画像を取得し、前記第１の動画像を構成する画像から動物体を抽出する第１の動物体検出手段と、
前記入力手段を介して、前記第１の動画像に写った複数の動物体の中から、利用者により指定された動物体の情報を取得し、前記第１の動画像から指定された前記動物体を抽出する第１の動物体指定手段と、
前記第１の動画像を構成する画像毎に、前記動物体指定手段が抽出した動物体の形状から幾何特徴を算出する第１の幾何特徴抽出手段と、
前記第１の動画像を構成する連続した各画像に写った同一の動物体に対する、前記第１の幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から、前記指定動物体の動的特徴を算出する第１の動的特徴抽出手段と
を備え、
前記参照動画像処理手段は、
前記第２の動画像を取得し、前記第２の動画像を構成する画像から動物体を抽出する第２の動物体検出手段と、
前記第２の動画像を構成する画像毎に、前記動物体の形状から幾何特徴を算出する第２の幾何特徴抽出手段と、
前記第２の動画像を構成する連続した各画像に写った同一の動物体に対する、前記幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から、前記動物体の動的特徴を算出する第２の動的特徴抽出手段と
を備え、
前記照合処理手段は、
前記第１の動的特徴抽出手段で算出された前記第１の動画像に写り、前記利用者により指定された動物体の動的特徴と、前記第２の動的特徴抽出手段で算出された前記第２の動画像に写った各動物体の動的特徴とを照合し、類似度を算出する照合手段と、
類似度の高い前記動的特徴の前記第２の動画像に写った動物体を特定する類似度最大化手段と
を備えることを特徴とする動物体照合装置。
【請求項１】
複数の動物体が写った第１の動画像と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像とを照合する動物体照合装置であって、
前記第１の動画像および前記第２の動画像を構成する画像から動物体を抽出する動物体検出手段と、
前記第１の動画像および前記第２の動画像を構成する画像毎に、前記動物体の形状から幾何特徴を算出する幾何特徴抽出手段と、
前記第１の動画像および前記第２の動画像を構成する連続した各画像に写った同一の動物体に対する、前記幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から、前記動物体の動的特徴を算出する動的特徴抽出手段と、
前記動的特徴抽出手段で算出された前記第１の動画像に写った動物体の動的特徴と、前記動的特徴抽出手段で算出された前記第２の動画像に写った各動物体の動的特徴とを照合し、類似度を算出する照合手段と、
類似度の高い前記動的特徴の前記第２の動画像に写った動物体を特定する類似度最大化手段と
を備えることを特徴とする動物体照合装置。
【請求項２】
接続された入力手段を介して、前記第１の動画像に写った複数の動物体の中から、利用者により指定された動物体の情報を取得し、前記第１の動画像から指定された前記動物体を抽出する動物体指定手段をさらに備えることを特徴とする請求項１に記載された動物体照合装置。
【請求項３】
前記幾何特徴抽出手段により算出される前記幾何特徴は、前記動物体検出手段により抽出された動物体の形状の面積値であることを特徴とする請求項１または請求項２に記載された動物体照合装置。
【請求項４】
前記幾何特徴抽出手段により算出される前記幾何特徴は、前記動物体検出手段により抽出された動物体の形状の外周長であることを特徴とする請求項１または請求項２に記載された動物体照合装置。
【請求項５】
前記動的特徴抽出手段により算出される前記動的特徴は、前記第１の動画像および前記第２の動画像を構成する連続した画像に写った同一の動物体における、各画像の前記幾何特徴の連続値をフーリエ変換して得られる、最大振幅値のスペクトル成分の周波数値であることを特徴とする請求項１ないし請求項４のいずれか１項に記載された動物体照合装置。
【請求項６】
複数の動物体が写った第１の動画像と、前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像とを照合し、前記第１の動画像に写った動物体と同じ動物体を、前記第２の動画像に写った動物体から特定するために、動物体照合装置のコンピュータを、
前記第１の動画像および前記第２の動画像を構成する画像から動物体を抽出する動物体検出手段、
前記第１の動画像および前記第２の動画像を構成する画像毎に、前記動物体の形状から幾何特徴を算出する幾何特徴抽出手段、
前記第１の動画像および前記第２の動画像を構成する連続した各画像に写った同一の動物体に対する、前記幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から前記動物体の動的特徴を算出する動的特徴抽出手段、
前記動的特徴抽出手段で算出された前記第１の動画像に写った動物体の動的特徴と、前記動的特徴抽出手段で算出された前記第２の動画像に写った各動物体の動的特徴とを照合し、類似度を算出する照合手段、
類似度の高い前記動的特徴の前記第２の動画像に写った動物体を特定する類似度最大化手段
として機能させることを特徴とする動物体照合プログラム。
【請求項７】
利用者により操作されて情報が入力される入力手段と接続され、
複数の動物体が写った第１の動画像を処理する対象動画像処理手段と、
前記第１の動画像と同じ時間に異なる視点から撮った複数の動物体が写った第２の動画像を処理する参照動画像処理手段と、
前記対象動画像処理手段の処理結果と、前記参照動画像処理手段の処理結果とを比較する照合処理手段と
を備える動物体照合装置であって、
前記対象動画像処理手段は、
前記第１の動画像を取得し、前記第１の動画像を構成する画像から動物体を抽出する第１の動物体検出手段と、
前記入力手段を介して、前記第１の動画像に写った複数の動物体の中から、利用者により指定された動物体の情報を取得し、前記第１の動画像から指定された前記動物体を抽出する第１の動物体指定手段と、
前記第１の動画像を構成する画像毎に、前記動物体指定手段が抽出した動物体の形状から幾何特徴を算出する第１の幾何特徴抽出手段と、
前記第１の動画像を構成する連続した各画像に写った同一の動物体に対する、前記第１の幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から、前記指定動物体の動的特徴を算出する第１の動的特徴抽出手段と
を備え、
前記参照動画像処理手段は、
前記第２の動画像を取得し、前記第２の動画像を構成する画像から動物体を抽出する第２の動物体検出手段と、
前記第２の動画像を構成する画像毎に、前記動物体の形状から幾何特徴を算出する第２の幾何特徴抽出手段と、
前記第２の動画像を構成する連続した各画像に写った同一の動物体に対する、前記幾何特徴抽出手段で算出された前記幾何特徴の時間経過に伴う変化量から、前記動物体の動的特徴を算出する第２の動的特徴抽出手段と
を備え、
前記照合処理手段は、
前記第１の動的特徴抽出手段で算出された前記第１の動画像に写り、前記利用者により指定された動物体の動的特徴と、前記第２の動的特徴抽出手段で算出された前記第２の動画像に写った各動物体の動的特徴とを照合し、類似度を算出する照合手段と、
類似度の高い前記動的特徴の前記第２の動画像に写った動物体を特定する類似度最大化手段と
を備えることを特徴とする動物体照合装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−２４４４４０（Ｐ２０１０−２４４４４０Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９４４７６（Ｐ２００９−９４４７６）
【出願日】平成２１年４月９日（２００９．４．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月９日（２００９．４．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]