動画追尾装置、動画追尾方法および動画追尾プログラム
【課題】動画中の追尾対象の追尾において効率よく正確な追尾結果を得ることが可能な動画追尾装置、動画追尾方法および動画追尾プログラムを提供する。
【解決手段】画像処理システム１００においては、記憶部４０に記憶された複数フレームの画像のうち一の画像が初期画像として表示部２０に表示される。操作部４により初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、初期画像以降のフレームの画像について追尾動作が実行される。追尾動作の停止または終了後に、操作部４により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が表示部２０に表示される。また、操作部４により新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、新たな初期画像以降のフレームの画像について追尾動作が実行される。
【解決手段】画像処理システム１００においては、記憶部４０に記憶された複数フレームの画像のうち一の画像が初期画像として表示部２０に表示される。操作部４により初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、初期画像以降のフレームの画像について追尾動作が実行される。追尾動作の停止または終了後に、操作部４により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が表示部２０に表示される。また、操作部４により新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、新たな初期画像以降のフレームの画像について追尾動作が実行される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画中の追尾対象を追尾するための動画追尾装置、動画追尾方法および動画追尾プログラムに関する。
【背景技術】
【０００２】
動画中の追尾対象を追尾することにより動画中で移動する追尾対象の軌跡を表示する種々の方法が提案されている。
【０００３】
例えば、特許文献１に記載された動画データ解析プログラムによれば、作業者がモニタに表示された画像の任意の箇所を指定すると、軌跡表示手段が指定された箇所の軌跡をモニタに表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７１６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画は、複数フレームの画像により構成される。動画中の追尾対象の追尾では、動画を構成する複数フレームの画像の各々において追尾対象の位置が識別される。各フレームの画像において追尾対象の位置の識別が成功する確率は比較的高い。しかしながら、動画を構成する複数フレームの画像のすべてにおいて追尾対象の位置の識別が成功する確率は、指数的に低下する。
【０００６】
したがって、追尾対象の正確な追尾結果として正確な軌跡を得るためには、動画中の全フレームの画像について追尾対象の追尾が成功するまで、追尾対象の追尾を繰り返し実行する必要がある。それにより、正確な追尾結果を得るために多大な時間を要するため、作業の効率が低下する。
【０００７】
本発明の目的は、動画中の追尾対象の追尾において効率よく正確な追尾結果を得ることが可能な動画追尾装置、動画追尾方法および動画追尾プログラムを提供することである。
【課題を解決するための手段】
【０００８】
（１）第１の発明に係る動画追尾装置は、複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾装置であって、複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、記憶部に記憶される各フレームの画像データに基づいて画像を表示する表示部と、表示部に表示される画像内での追尾対象の追尾条件の設定および追尾対象の追尾に関する指示を行なうためにユーザにより操作される操作部と、表示部に複数フレームの画像を順に表示させ、表示される各画像において操作部により設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる追尾動作を実行する制御部とを備え、制御部は、複数フレームの画像のうち一の画像を初期画像として表示部に表示させ、操作部により初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、初期画像以降のフレームの画像について追尾動作を実行し、追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、新たな初期画像を表示部に表示させ、操作部により新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、新たな初期画像以降のフレームの画像について追尾動作を実行するものである。
【０００９】
この動画追尾装置においては、記憶部に記憶された画像データに基づいて複数フレームの画像のうち一の画像が初期画像として表示部に表示される。操作部により初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【００１０】
追尾動作においては、表示部に複数フレームの画像が順に表示される。表示される各画像において、操作部により設定された追尾条件で追尾対象の位置が識別されるとともに識別された位置にシンボルが表示される。複数フレームの画像について表示された複数のシンボルが動画中で移動する追尾対象の軌跡を示す。
【００１１】
追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が表示部に表示される。また、操作部により新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、新たな初期画像以降のフレームの画像について追尾動作が実行される。
【００１２】
これにより、追尾動作の実行中に追尾対象の追尾が失敗した場合、任意のフレームの初期画像から追尾動作を再開することができる。そのため、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を新たな初期画像とすることにより、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について追尾動作を再開することができる。
【００１３】
また、新たな初期画像において追尾条件を再設定することができるので、再開された追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【００１４】
（２）制御部は、表示部に現在表示される画像において識別された追尾対象の位置と、表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルをそれぞれ表示させ、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、表示部に現在表示される画像において識別された追尾対象の位置と、新たな初期画像よりも以後でかつ表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置と、新たな初期画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルをそれぞれ表示させてもよい。
【００１５】
この場合、表示部に現在表示される画像において識別された追尾対象の位置と、表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルがそれぞれ表示される。これにより、ユーザは動画中の追尾対象の軌跡を容易に観察することができる。
【００１６】
また、追尾動作が再開された場合、表示部に現在表示される画像において識別された追尾対象の位置と、新たな初期画像よりも以後でかつ表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置と、新たな初期画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルがそれぞれ表示される。これにより、追尾動作が再開された場合でも、ユーザは動画中の追尾対象の軌跡を容易に観察することができる。
【００１７】
（３）追尾条件は、初期画像内での追尾対象の画像部分の範囲および各フレームの画像内で追尾対象を探索する範囲のうち少なくとも一方を含んでもよい。
【００１８】
この場合、ユーザは、初期画像内での追尾対象の画像部分の範囲および各フレームの画像内で追尾対象を探索する範囲のうち少なくとも一方を再設定することにより、適切な条件で追尾動作を再開することができる。これにより、追尾が失敗した場合でも、再開時の追尾動作においては以前の追尾動作における追尾の失敗を繰り返すことを防止することができる。
【００１９】
（４）制御部は、複数フレームの画像を追尾動作時とは逆の時間順で表示部に表示させる逆再生の機能を有し、操作部は、追尾動作の停止または終了後に、逆再生を指示することにより新たな初期画像の表示を指示可能であってもよい。
【００２０】
この場合、ユーザは、追尾動作の停止または終了後に、逆再生を指示することにより所望のフレームの画像を新たな初期画像として表示させることができる。これにより、ユーザは、各フレームの画像およびシンボルを見ながら、追尾が最初に失敗したフレームの画像を容易に見つけることができる。したがって、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【００２１】
（５）制御部は、表示部に表示させる画像を選択するための選択部を表示部に表示させ、操作部は、表示部に表示された選択部を操作することにより新たな初期画像の表示を指示可能であってもよい。
【００２２】
この場合、ユーザは、追尾動作の停止または終了後に、選択部を操作することにより所望のフレームの画像を新たな初期画像として表示させることができる。したがって、ユーザは、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を迅速に初期画像として表示させることができる。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を迅速に再開することができる。
【００２３】
（６）制御部は、追尾動作の実行中に各画像について追尾対象の位置の識別結果の正確度を算出し、正確度が予め定められたしきい値以下になったときに追尾動作を停止してもよい。
【００２４】
この場合、追尾が失敗した時点で正確度がしきい値以下になることにより追尾動作が自動的に停止する。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【００２５】
（７）第２の発明に係る動画追尾方法は、複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾方法であって、複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として表示部に表示させるステップと、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行するステップと、第１の追尾動作の停止または終了後に、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像を表示部に表示させるステップと、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行するステップとを含むものである。
【００２６】
この動画追尾方法においては、複数フレームの画像を表示するための複数フレームの画像データが記憶される。また、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像が初期画像として表示部に表示される。ここで、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、第１の追尾動作として、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルが表示される。複数フレームの画像について表示された複数のシンボルが動画中で移動する追尾対象の軌跡を示す。
【００２７】
第１の追尾動作の停止または終了後、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、記憶された複数フレームの画像データに基づいて新たな初期画像が表示部に表示される。また、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、第２の追尾動作として、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置が識別されるとともに識別された位置にシンボルが表示される。
【００２８】
これにより、第１の追尾動作の実行中に追尾対象の追尾が失敗した場合、任意のフレームの初期画像から第２の追尾動作を実行することができる。そのため、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を新たな初期画像とすることにより、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について第２の追尾動作を実行することができる。
【００２９】
また、新たな初期画像において追尾条件を再設定することができるので、第２の追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、第１および第２の追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【００３０】
（８）第３の発明に係る動画追尾プログラムは、複数フレームの画像により構成される動画中の追尾対象を追尾する追尾処理を処理装置に実行させる動画追尾プログラムあって、複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として表示部に表示させる処理と、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行する処理と、第１の追尾動作の停止または終了後に、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像を表示部に表示させる処理と、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行する処理とを、処理装置に実行させるものである。
【００３１】
この動画追尾プログラムにおいては、複数フレームの画像を表示するための複数フレームの画像データが記憶される。また、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像が初期画像として表示部に表示される。ここで、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、第１の追尾動作として、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルが表示される。複数フレームの画像について表示された複数のシンボルが動画中で移動する追尾対象の軌跡を示す。
【００３２】
第１の追尾動作の停止または終了後、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、記憶された複数フレームの画像データに基づいて新たな初期画像が表示部に表示される。また、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、第２の追尾動作として、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置が識別されるとともに識別された位置にシンボルが表示される。
【００３３】
これにより、第１の追尾動作の実行中に追尾対象の追尾が失敗した場合、任意のフレームの初期画像から第２の追尾動作を実行することができる。そのため、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を新たな初期画像とすることにより、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について第２の追尾動作を実行することができる。
【００３４】
また、新たな初期画像において追尾条件を再設定することができるので、第２の追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、第１および第２の追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【発明の効果】
【００３５】
本発明によれば、動画中の追尾対象の追尾において効率よく正確な追尾結果を得ることが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施の形態に係る動画追尾装置を備える画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】ファイル記憶処理により記憶部に記憶される動画ファイルの模式図である。
【図８】再生処理時の表示部の表示例を示す図である。
【図９】追尾処理の実行開始時における表示部の表示例を示す図である。
【図１０】画像表示領域に表示される動画の一例を示す図である。
【図１１】追尾対象の追尾動作時における表示部の表示例を示す図である。
【図１２】追尾対象の追尾動作時の画像表示領域に表示される動画の一例を示す図である。
【図１３】追尾対象の追尾動作終了時における表示部の表示例を示す図である。
【図１４】追尾対象の追尾が失敗したときの画像表示領域に表示される動画の一例を示す図である。
【図１５】動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【図１６】動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【図１７】動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【図１８】追尾対象の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図１９】追尾対象の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２０】追尾対象の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２１】追尾処理実行中に制御部のＲＡＭに記憶されるデータを示す図である。
【図２２】他の実施の形態に係る動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【発明を実施するための形態】
【００３７】
以下、本発明の一実施の形態に係る動画追尾装置、動画追尾方法および動画追尾プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る動画追尾装置を備える画像処理システムは表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００３８】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る動画追尾装置を備える画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、本体部１、カメラ２、照明装置３および操作部４を備える。本体部１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００３９】
本体部１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００４０】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００４１】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から本体部１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００４２】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００４３】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００４４】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００４５】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、本体部１と一体的に構成されてもよい。
【００４６】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４７】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００４８】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る動画追尾プログラムが記憶される。動画追尾プログラムの詳細は後述する。
【００４９】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００５０】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００５１】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５２】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５３】
このように、波形データを構成する複数の評価値は、複数フレームの画像データの取得中に得られる値である。
【００５４】
なお、図１において、本体部１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、本体部１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５５】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および本体部１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された動画追尾プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５６】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５７】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０の画面上に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００５８】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は、時間を示し、縦軸は評価値を示す。例えば、評価値が画像表示領域Ｓａに表示される画像の平均輝度値である場合、波形表示領域Ｓｂには、画像の平均輝度値を縦軸とし、時間を横軸とする波形のグラフが表示される。
【００５９】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００６０】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００６１】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００６２】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定める。
【００６３】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６４】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６５】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６６】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６７】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００６８】
録画ボタンＳｅは後述する録画処理の開始のためにユーザにより操作部４を用いて操作される。
【００６９】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００７０】
本体部１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００７１】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００７２】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００７３】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００７４】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００７５】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７６】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７７】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００７８】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００７９】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００８０】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００８１】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００８２】
ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００８３】
図７は、ファイル記憶処理により記憶部４０に記憶される動画ファイルの模式図である。
【００８４】
例えば図３の録画部３０の動画データ記憶領域３０Ａに画像データｖ１〜ｖ１２が記憶され、波形データ記憶領域３０Ｂに評価値ｉ１〜ｉ１２が記憶されている状態でファイル記憶処理が行われる。この場合、図７に示すように、画像データｖ１〜ｖ１２および評価値ｉ１〜ｉ１２、ならびにファイル情報ｆｉを含む動画ファイルＦＡが生成され、生成された動画ファイルＦＡが記憶部４０に記憶される。
【００８５】
なお、ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等が含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００８６】
（２−４）再生処理
次に、再生処理について説明する。再生処理とは、カメラ２から順次与えられる複数フレームの画像データ、録画部３０に記憶される複数フレームの画像データまたは記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうち任意の連続する複数フレームの画像データに基づいて表示部２０に動画を表示することをいう。
【００８７】
まず、記憶部４０に記憶された動画ファイル中の画像データに基づく画像の再生処理について説明する。
【００８８】
記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルの動画データを再生対象として選択することができる。
【００８９】
図８は、再生処理時の表示部２０の表示例を示す図である。図７に示すように、例えばユーザにより操作部４を用いて１つの動画ファイルが選択されると、図１の表示部２０には、図６の表示例と同様に、画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび再生ボタンＳｇが表示されるとともに、図６のファイルボタンＳｊに代えて追尾ボタンＳｙが表示される。
【００９０】
ユーザにより操作部４を用いて再生ボタンＳｇが操作されると、制御部１０により再生処理が開始される。再生処理では、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイルに基づいて動画が再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００９１】
この場合、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、画像表示領域Ｓａに現在表示される画像のフレームに対応する評価値（以下、対応評価値と呼ぶ。）の位置に現在表示位置バーＬを表示させる。画像表示領域Ｓａに表示される画像のフレームが変化することにより対応評価値が変化すると、制御部１０は、現在表示位置バーＬを時間軸上で左右に移動させる。
【００９２】
次に、録画処理の前の再生処理について説明する。録画処理の前には、制御部１０は、カメラ２から与えられる複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、複数フレームの画像データに基づく画像が図２の画像表示領域Ｓａに表示される。このようにして、カメラ２により撮影される被写体の動画が再生される。また、制御部１０は、波形収集部６０から与えられる波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００９３】
さらに、録画処理終了時に録画部３０に記憶される画像データに基づく画像の再生処理について説明する。録画処理後に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されると、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される動画データに基づいて動画が再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００９４】
（３）動画追尾装置
動画追尾装置は、図１の操作部４、制御部１０、表示部２０、記憶部４０およびビデオメモリ５０により構成される。動画追尾装置は、表示部２０に表示される動画中の指定された追尾対象を追尾し、追尾結果を表示部２０に表示する追尾処理を行う。記憶部４０には、追尾処理を行うための動画追尾プログラムが記憶される。
【００９５】
ユーザにより操作部４を用いて図８の追尾ボタンＳｙが操作されることにより、追尾処理を実行するための追尾モードが起動される。
【００９６】
図９は、追尾処理の実行開始時における表示部２０の表示例を示す図である。図９に示すように、追尾処理の実行開始時には、表示部２０の画面上に主に画像表示領域Ｔａ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、シークバーＴｆおよび追尾開始ボタンＴｈが表示される。
【００９７】
画像表示領域Ｔａには、ユーザにより操作部４を用いて選択された動画ファイルに基づく動画が表示される。
【００９８】
シークバーＴｆには、さらに始点表示カーソルＴｌおよび終点表示カーソルＴｍが表示される。始点表示カーソルＴｌおよび終点表示カーソルＴｍは、動画を構成する複数フレームの画像のうち表示領域Ｔａに表示可能な画像の範囲を指定するために用いられる。始点表示カーソルＴｌおよび終点表示カーソルＴｍの位置は、動画ファイル中のフレームにそれぞれ対応する。画像表示領域Ｔａには、始点表示カーソルＴｌの位置に対応するフレームの画像から終点表示カーソルＴｍの位置に対応するフレームの画像を動画として表示することができる。
【００９９】
図１０は、画像表示領域Ｔａに表示される動画の一例を示す図である。ここで、ユーザにより選択された動画ファイルは、複数フレームの画像データｖ１〜ｖ２０を含むものとする。図１０においては、時間軸は各段の左から右へ延び、各段の右端から下段の左端へつながる。後述する図１２および図１４の時間軸も図１０と同様である。
【０１００】
まず、図１０の１段目の左から右へ順に示されるように、複数フレームの画像データｖ１〜ｖ５に基づく複数の画像Ｖ１〜Ｖ５が画像表示領域Ｔａに順に表示される。次に、図１０の２段目の左から右へ順に示されるように、複数フレームの画像データｖ６〜ｖ１０に基づく複数の画像Ｖ６〜Ｖ１０が画像表示領域Ｔａに順に表示される。次に、図１０の３段目の左から右へ順に示されるように、複数フレームの画像データｖ１１〜ｖ１５に基づく複数の画像Ｖ１１〜Ｖ１５が画像表示領域Ｔａに順に表示される。さらに、図１０の４段目の左から右へ順に示されるように、複数フレームの画像データｖ１６〜ｖ２０に基づく複数の画像Ｖ１６〜Ｖ２０が画像表示領域Ｔａに順に表示される。
【０１０１】
図１０の画像Ｖ１〜Ｖ２０は、図１のカメラ２により撮影された回転する円柱状の物体Ｍを示す。カメラ２により撮影される物体Ｍの一面側には、２つの突起Ｍ１，Ｍ２が形成されている。
【０１０２】
ユーザが図１の操作部４を用いて図９の再生ボタンＴｃを操作することにより、図１０のように複数フレームの画像Ｖ１〜Ｖ２０が画像表示領域Ｔａに表示される。このようにして動画が再生される。
【０１０３】
また、ユーザが図９の逆再生ボタンＴｅを操作することにより、現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｔａに順次表示（以下、逆再生と呼ぶ。）される。
【０１０４】
動画の再生中または逆再生中にユーザが一時停止ボタンＴｄを操作することにより、画像表示領域Ｔａに画像が表示された状態で、動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで動画が高速で逆再生される。
【０１０５】
シークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。スライダＴｇは、動画において現時点で画像表示領域Ｔａに表示されている画像の時間軸上の位置を示す。動画の再生が進むにつれて、スライダＴｇがシークバーＴｆ上で一方向（本例では、表示部２０の画面の左から右）に移動する。同様に、動画の逆再生が進むにつれて、スライダＴｇがシークバーＴｆ上で他方向（本例では、表示部２０の画面の右から左）に移動する。ユーザは、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることにより、画像表示領域Ｔａに動画中の所望のフレームの画像を表示させることができる。それにより、所望の画像Ｖ１〜Ｖ２０から動画の再生または逆再生を行うことができる。
【０１０６】
ユーザが後述する操作により画像表示領域Ｔａに表示される画像中の追尾対象を指定し、追尾開始ボタンＴｈを操作することにより、追尾対象の追尾動作が開始される。図１１は、追尾対象の追尾動作時における表示部２０の表示例を示す図である。図１１に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾停止ボタンＴｉが表示される。
【０１０７】
図１２は、追尾対象の追尾動作時の画像表示領域Ｔａに表示される動画の一例を示す図である。画像表示領域Ｔａには、画像Ｖ１〜Ｖ２０が順次表示される。図１２の例では、物体Ｍの一方の突起Ｍ１が追尾対象として指定されている。図１２に示すように、画像表示領域Ｔａに表示される各画像上に、現フレームの画像における追尾結果を示すシンボルＳおよび以前のフレームの画像における追尾結果を示すシンボルＳが表示される。本例では、追尾結果を示すシンボルＳは三角形状を有する。
【０１０８】
なお、図１１の画像表示領域Ｔａには、第３フレームの画像Ｖ３が示されている。この状態ではユーザが追尾停止ボタンＴｉを操作すると、追尾動作実行中の画像（図１１の例では第３フレームの画像Ｖ３）および以前のフレームの画像（図１１の例では第１および第２フレームの画像Ｖ１，Ｖ２）の追尾結果を示すシンボルＳが表示された状態で、追尾対象の追尾動作が一時停止する。
【０１０９】
図１３は、追尾対象の追尾動作終了時における表示部２０の表示例を示す図である。動画ファイルの最終フレームの画像Ｖ２０における追尾対象の追尾動作が終了すると、図１３に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾再開ボタンＴｊが表示されるとともに、主に終了ボタンＴｋがさらに表示される。画像表示領域Ｔａには、最終フレームの画像Ｖ２０が表示されるとともに、画像Ｖ２０上にすべてのフレームの画像Ｖ１〜Ｖ２０における追尾結果を示す複数のシンボルＳが表示される。複数のシンボルＳが動画中で移動する追尾対象の軌跡を示す。
【０１１０】
この状態で、ユーザは、逆再生ボタンＴｅおよび追尾再開ボタンＴｊを操作することにより、動画ファイルの所望のフレームの画像から順に追尾対象の追尾動作を再度実行させることができる。
【０１１１】
また、追尾動作実行中にユーザが図１１の追尾停止ボタンＴｉを操作した場合にも、図１３の追尾動作終了時と同様に、表示部２０に追尾再開ボタンＴｊが表示されるとともに、主に終了ボタンＴｋがさらに表示される。この場合、ユーザは、追尾再開ボタンＴｊを操作することにより、追尾対象の追尾動作を続行することができる。
【０１１２】
ユーザが終了ボタンＴｋを操作した場合、図１の制御部１０は、図１３の画像表示領域Ｔａに表示されている複数のシンボルＳの位置を示す位置データを追尾結果として図１の記憶部４０に記憶させ、追尾処理を終了する。
【０１１３】
図１４は、追尾対象の追尾が失敗したときの画像表示領域Ｔａに表示される動画の一例を示す図である。画像表示領域Ｔａには、画像Ｖ１〜Ｖ２０が順次表示される。
【０１１４】
図１４の例では、第１〜第３フレームの画像Ｖ１〜Ｖ３においては、追尾対象である突起Ｍ１が正確に追尾されている。それにより、追尾結果を示すシンボルＳが突起Ｍ１上に表示されている。第４フレームの画像Ｖ４において、追尾対象である突起Ｍ１とは異なる部分が追尾されている。それにより、画像Ｖ４上において、追尾結果を示すシンボルＳが追尾対象である突起Ｍ１とは異なる位置に表示されている。その結果、以降の第５フレームから最終フレームの画像Ｖ５〜Ｖ２０において、追尾対象である突起Ｍ１とは異なる部分が追尾され、追尾結果を示すシンボルＳが追尾対象である突起Ｍ１とは異なる位置に表示されている。
【０１１５】
このような場合、ユーザは、後述するように、動画を逆再生し、追尾対象の追尾に失敗したフレームの画像Ｖ４から追尾動作を再開させることができる。
【０１１６】
（４）追尾対象の追尾処理
図１５、図１６および図１７は、動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。図１８、図１９および図２０は、追尾対象の追尾処理の実行中に画像表示領域Ｔａに表示される画像の遷移を示す図である。図２１は、追尾処理実行中に制御部１０のＲＡＭ１０ａに記憶されるデータを示す図である。制御部１０のＣＰＵは、記憶部４０に記憶される追尾処理プログラムに従って追尾処理を実行する。以下、図１５〜図２１を用いて制御部１０のＣＰＵ（以下、制御部１０と略記する。）による追尾対象の追尾処理を説明する。
【０１１７】
図９の表示の状態で、ユーザが操作部４を用いて図１の記憶部４０に記憶された複数の動画ファイルのうちいずれかを選択する。それにより、制御部１０は、選択された動画ファイル中の複数フレームの画像データを読み出す（ステップＳ１）。この場合、読み出された複数フレームの画像データは図２１のＲＡＭ１０ａに記憶される。
【０１１８】
ユーザは、操作部４を用いて始点表示カーソルＴｌおよび終点表示カーソルＴｍを移動させることにより、動画ファイル中の複数フレームの画像データに基づく画像のうち任意の画像の範囲を指定することができる。
【０１１９】
動画を構成する複数フレームの画像のうち途中の画像から追尾対象が出現し、または途中の画像で追尾対象が消滅する場合がある。このような場合、ユーザは、始点表示カーソルＴｌを追尾対象が出現する画像が表示される位置に設定し、終点表示カーソルＴｍを追尾対象が消滅する画像が表示される位置に設定することができる。それにより、追尾対象が存在する画像のみにおいて追尾を行うことができる。本例では、全ての画像Ｖ１〜Ｖ２０に追尾対象が出現しているので、図９に点線の矢印で示すように、始点表示カーソルＴｌは第１フレームの画像Ｖ１に対応する位置に設定され、終点表示カーソルＴｍは最終フレームの画像Ｖ２０に対応する位置に設定される。したがって、第１フレームから最終フレームの画像データｖ１〜ｖ２０が読み出される。
【０１２０】
次に、制御部１０は、ＲＡＭ１０ａに記憶された画像データｖ１〜ｖ２０に基づく画像Ｖ１〜Ｖ２０のうちユーザにより指定された画像（以下、初期画像と呼ぶ。）を、図１のビデオメモリ５０を介して画像表示領域Ｔａに表示する（ステップＳ２）。
【０１２１】
初期状態では、ＲＡＭ１０ａに記憶された第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として画像表示領域Ｔａに表示される。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃを操作することにより、初期画像を指定することができる。また、後述するように、追尾処理を再開させる場合には、ユーザにより指定された画像が初期画像として画像表示領域Ｔａに表示される。
【０１２２】
本例では、図１８（ａ）に示すように、第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として表示される。
【０１２３】
次に、制御部１０は、ユーザにより操作部４を用いて画像表示領域Ｔａ内の任意の位置が指定されたか否かを判定する（ステップＳ３）。ユーザにより画像表示領域Ｔａ内の位置が指定されていない場合、制御部１０は、ステップＳ２の処理に戻る。図１８（ｂ）に示すように、ユーザにより矢印のポインタで画像表示領域Ｔａ内の位置が指定された場合、制御部１０は、指定された位置に基づいて画像上でのシンボルＳ、テンプレートＴおよび探索範囲Ｒの位置を決定する（ステップＳ４）。
【０１２４】
本例において、図１８（ｃ）に示すように、シンボルＳは三角形状を有し、テンプレートＴおよび探索範囲Ｒは、矩形状を有する。探索範囲Ｒのサイズは、テンプレートＴのサイズよりも大きい。シンボルＳの位置はユーザにより指定された位置に一致する。テンプレートＴおよび探索範囲Ｒの中心は、シンボルＳの位置に一致する。探索範囲ＲはテンプレートＴを取り囲むように位置する。後述するように、テンプレートＴ内の画像が追尾対象画像として設定される。探索範囲Ｒは、次フレームの画像において追尾対象を探索する範囲を示す。シンボルＳは、追尾対象が存在する位置を示す。
【０１２５】
続いて、制御部１０は、決定されたシンボルＳの位置を示す位置データｓ１、テンプレートＴの位置を示す位置データｔｄおよび探索範囲Ｒの位置を示す位置データｒｄを図２１に示すＲＡＭ１０ａに保存する（ステップＳ５）。また、制御部１０は、ＲＡＭ１０ａに記憶された位置データｓ１，ｔｄ，ｒｄに基づいて、画像表示領域ＴａにテンプレートＴ、シンボルＳおよび探索範囲Ｒを表示する（ステップＳ６）。本例においては、図１８（ｄ）に示すように、追尾対象である物体Ｍの一方の突起Ｍ１上にシンボルＳが表示される。また、シンボルＳを取り囲むようにテンプレートＴが表示され、テンプレートＴを取り囲むように探索範囲Ｒが表示される。
【０１２６】
なお、シンボルＳの形状、テンプレートＴのサイズおよび探索範囲Ｒのサイズは、ユーザにより操作部４を用いて予め設定される。
【０１２７】
制御部１０は、ユーザによる操作部４の操作に基づいて、画像表示領域Ｔａ内でシンボルＳを移動させることができる。この場合、シンボルＳの移動に伴って、テンプレートＴおよび探索範囲Ｒも移動する。また、制御部１０は、ユーザによる操作部４の操作に基づいて、テンプレートＴまたは探索範囲Ｒのサイズを変更することができる。ユーザは、シンボルＳの位置ならびにテンプレートＴおよび探索範囲Ｒのサイズを調整することにより、追尾対象の画像の範囲および次フレームの画像において追尾対象を探索する範囲を適切に設定することができる。
【０１２８】
さらに、制御部１０は、ユーザによる操作部４の操作に基づいて、同様の処理により、画像表示領域Ｔａの任意の位置に上記のシンボルＳ、テンプレートＴおよび探索範囲Ｒとは異なる別のシンボル、テンプレートおよび探索範囲を表示することができる。これにより、ユーザは、初期画像中に複数の追尾対象を設定することができる。
【０１２９】
次に、制御部１０は、追尾動作の実行が指示されたか否かを判定する（ステップＳ７）。ここで、制御部１０は、ユーザが操作部４を用いて図９の追尾開始ボタンＴｈまたは図１３の追尾再開ボタンＴｊを操作したことを検出した場合、追尾動作の実行が指示されたと判定する。制御部１０は、追尾動作の実行が指示されない場合にはステップＳ２の処理に戻る。
【０１３０】
制御部１０は、追尾動作の実行が指示された場合、テンプレートＴ内の画像を基準画像データＲｅとしてＲＡＭ１０ａに記憶させる（ステップＳ８）。本例では、この時点で、制御部１０は、画像表示領域ＴａからテンプレートＴおよび探索範囲Ｒの表示を消去する。
【０１３１】
続いて、制御部１０は、画像表示領域Ｔａに次フレームの画像と以前のフレームの画像に対応するシンボルＳとを表示する（ステップＳ９）。本例では、図１８（ｅ）に示すように、制御部１０は、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳが表示される。
【０１３２】
ここで、制御部１０は、ＲＡＭ１０ａに記憶された基準画像データＲｅに基づいて、現フレームの画像の探索範囲Ｒ内の追尾対象の位置を識別する（ステップＳ１０）。本例では、図１８（ｅ）に示された第２フレームの画像Ｖ２の突起Ｍ１が探索範囲Ｒ内で探索される。この場合、画像データｖ２のうち探索範囲Ｒに対応する部分のデータと基準画像データＲｅとのパターンマッチングにより突起Ｍ１の位置が識別される。
【０１３３】
続いて、制御部１０は、識別された追尾対象の位置を新たなシンボルＳの位置として決定する（ステップＳ１１）。また、制御部１０は、新たなシンボルＳの位置を示す位置データｓ２をＲＡＭ１０ａに記憶させる（ステップＳ１２）。
【０１３４】
次いで、制御部１０は、決定された新たなシンボルＳの位置に基づいて探索範囲Ｒの位置を再決定する（ステップＳ１３）。この場合、探索範囲Ｒの中心が新たなシンボルＳの位置に一致するように、探索範囲Ｒの位置が再決定される。制御部１０は、再決定された探索範囲Ｒの位置に基づいてＲＡＭ１０ａに記憶される位置データｒｄを更新する（ステップＳ１４）。本例では、図１８（ｆ）に示すように、第２フレームの画像Ｖ２上で新たなシンボルＳを中心として探索範囲Ｒが移動する。
【０１３５】
次に、制御部１０は、ＲＡＭ１０ａに記憶された新たな位置データｓ２に基づいて画像表示領域Ｔａに新たなシンボルＳを表示する（ステップＳ１５）。本例では、図１９（ａ）に示すように、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳおよび第２フレームの画像Ｖ２に対応するシンボルＳが表示される。
【０１３６】
次に、制御部１０は、画像表示領域Ｔａに指定された複数フレームの画像Ｖ１〜Ｖ２０のうち最終フレームの画像Ｖ２０が表示されているか否かを判定する（ステップＳ１６）。
【０１３７】
画像表示領域Ｔａに最終フレームの画像Ｖ２０が表示されていない場合、制御部１０は、一時停止が指示されたか否かを判定する（ステップＳ１７）。例えば、ユーザは、追尾動作の実行中に追尾が失敗したことに気付いた場合、操作部４を用いて図１０の追尾停止ボタンＴｉを操作する。追尾停止ボタンＴｉが操作されたことを検出した場合、制御部１０は、一時停止が指示されたと判定する。
【０１３８】
一時停止が指示されていない場合には、制御部１０は、ステップＳ９に戻り、ステップＳ９〜Ｓ１６の処理を繰り返し実行する。本例では、図１９（ｂ）に示すように、画像表示領域Ｔａに第３フレームの画像Ｖ３が表示されるとともに、画像Ｖ３上に第１および第２フレームに対応するシンボルＳが表示される。第３フレームの画像Ｖ３において探索範囲Ｒ内で追尾対象の位置が識別される。それにより、図１９（ｃ）に示すように、識別された追尾対象の位置が新たなシンボルＳの位置として決定され、新たなシンボルＳの位置を示す位置データｓ３がＲＡＭ１０ａに記憶される。また、新たなシンボルＳの位置に基づいて探索範囲Ｒの位置が再決定され、再決定された探索範囲Ｒの位置に基づいてＲＡＭ１０ａに記憶される位置データｒｄが更新される。次いで、図１９（ｄ）に示すように、ＲＡＭ１０ａに記憶される位置データｓ３に基づいて第３フレームの画像Ｖ３上に新たなシンボルＳが表示される。
【０１３９】
ステップＳ１６において画像表示領域Ｔａに最終フレームの画像Ｖ２０が表示されている場合またはステップＳ１７において一時停止が指示された場合には、制御部１０は、追尾動作の終了が指示されたか否かを判定する（ステップＳ１８）。例えば、図１９（ｅ）に示すように、ユーザは、画像表示領域Ｔａに表示される最終フレームの画像Ｖ２０まで正確な追尾が行われたと判断した場合、操作部４を用いて図１３の終了ボタンＴｋを操作する。制御部１０は、終了ボタンＴｋが操作されたことを検出した場合、追尾動作の終了が指示されたと判定する。この場合、制御部１０は、ＲＡＭ１０ａに記憶されるシンボルＳの位置データｓ１〜ｓ２０を追尾結果として図１の記憶部４０に記憶させ（ステップＳ１９）、追尾処理を終了する。
【０１４０】
一方、ステップＳ１８において追尾動作の終了が指示されていない場合には、制御部１０は、ステップＳ２の処理に戻る。例えば、図２０（ａ）に示すように、全ての画像Ｖ１〜Ｖ２０における追尾動作の実行後、または、図２０（ｂ）に示すように、追尾動作の実行中に、追尾が失敗したことに気付いた場合、ユーザは図１３の終了ボタンＴｋを操作しない。
【０１４１】
本例においては、図２０（ｃ）に示すように、第４フレームの画像Ｖ４で追尾対象の追尾が失敗している。この場合、図２０（ｄ）に示すように、ユーザは、操作部４を用いて図１３の逆再生ボタンＴｅまたはシークバーＴｆのスライダＴｇを操作することにより、画像表示領域Ｔａに追尾が失敗する前のフレームの画像Ｖ３を初期画像として指定することができる。
【０１４２】
制御部１０は、ユーザによる操作部４の操作に基づいて、第３フレームの画像データｖ３に基づく画像Ｖ３を初期画像として画像表示領域Ｔａに表示する（ステップＳ２）。ユーザは、第３フレームの画像Ｖ３の位置を指定する。これにより、制御部１０は、ステップＳ２〜Ｓ１８の処理を繰り返す。第３フレームの画像Ｖ３から後続するフレームの画像において再度追尾対象の追尾動作が実行される。
【０１４３】
その結果、図２０（ｅ）および図２０（ｆ）に示すように、第４フレームから最終フレームの画像Ｖ４〜Ｖ２０において追尾対象である物体Ｍの突起Ｍ１上に追尾結果を示すシンボルＳが表示される。追尾結果を示す複数のシンボルＳにより、動画中の追尾対象の軌跡が表示される。
【０１４４】
（５）効果
本実施の形態に係る動画追尾装置においては、記憶部４０に記憶された複数フレームの画像のうち一の画像が初期画像として表示部２０に表示される。操作部４により初期画像内でテンプレートＴおよび探索範囲Ｒが設定されかつ再生ボタンＴｃが操作された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【０１４５】
追尾動作においては、表示部２０に複数フレームの画像が順に表示される。表示される各画像において操作部４により設定された探索範囲Ｒ内で追尾対象の位置が識別されるとともに識別された位置にシンボルＳが表示される。
【０１４６】
追尾動作の停止または終了後に、操作部４により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が表示部２０に表示される。また、操作部４により新たな初期画像内でテンプレートＴまたは探索範囲Ｒが再設定されかつ追尾再開ボタンＴｊが操作された場合、新たな初期画像以降のフレームの画像について追尾動作が実行される。
【０１４７】
追尾動作の実行中に追尾対象の追尾が失敗した場合、追尾動作の停止または終了後に、逆再生ボタンＴｅまたはシークバーＴｆを操作することにより、所望のフレームの画像を新たな初期画像として表示することができる。
【０１４８】
逆再生ボタンＴｅを操作する場合には、ユーザは、各フレームの画像およびシンボルＳを見ながら、追尾が最初に失敗したフレームの画像を容易に見つけることができる。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【０１４９】
また、シークバーＴｆを操作する場合には、ユーザは、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を迅速に初期画像として表示させることができる。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を迅速に再開することができる。
【０１５０】
その結果、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について追尾動作を再開することができる。
【０１５１】
また、新たな初期画像においてテンプレートＴまたは探索範囲Ｒを再設定することができるので、再開時の追尾動作においては以前の追尾動作における追尾の失敗を繰り返すことを防止することができる。それにより、再開された追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【０１５２】
（６）他の実施の形態
（６−１）図２２は、他の実施の形態に係る動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。本実施の形態では、図２２に示すように、追尾対象の追尾処理において、図１６のステップＳ１０の後に、識別された追尾対象の位置の正確度を算出する（ステップＳ１０ａ）。正確度は、例えば、識別された位置での画像データと基準画像データとの一致度である。
【０１５３】
一致度は、例えば、識別された位置での画像部分を構成する複数画素の値とテンプレートＴを構成する複数画素の値との一致数である。この場合、一致数が多いほど正確度が高くなる。また、一致度は、識別された位置での画像部分を構成する複数画素の値とテンプレートＴを構成する複数画素の値との差分値の合計であってもよい。この場合、差分値の合計が小さいほど正確度が高くなる。さらに、一致度は、識別された位置での画像部分を構成する複数画素の値とテンプレートＴを構成する複数画素の値との相関値であってもよい。この場合、相関値が１に近いほど正確度が高くなる。
【０１５４】
その後、制御部１０は、算出された正確度と予め定められたしきい値とを比較する（ステップＳ１０ｂ）。正確度がしきい値以下である場合、制御部１０は、追尾動作を一時停止し（ステップＳ１０ｃ）、ステップＳ１８の処理に移る。一方、ステップＳ１０ｂにおいて、正確度がしきい値を超えている場合、制御部１０はステップＳ１１以降の処理を続行する。
【０１５５】
この場合、追尾が失敗した時点で正確度がしきい値以下になることにより追尾動作が自動的に停止する。これにより、各フレームの画像の追尾対象に対する追尾結果が正確である場合には追尾が続行され、追尾結果が正確でない場合には追尾が停止される。したがって、ユーザに追尾結果の確認またはテンプレートおよび探索範囲の設定の修正を促すことができる。その結果、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【０１５６】
図２２において、ステップＳ１０ａ〜Ｓ１０ｃの処理は、ステップＳ１０，Ｓ１１間で実行されるが、これに限定されない。ステップＳ１０ａ〜Ｓ１０ｃの処理は、ステップＳ１０，Ｓ１１間、ステップＳ１１，Ｓ１２間、ステップＳ１２，Ｓ１３間、ステップＳ１３，Ｓ１４間、ステップＳ１４，Ｓ１５間およびステップＳ１５，Ｓ１６間のいずれかで実行されてもよい。
【０１５７】
（６−２）制御部１０は、ステップＳ１９において、追尾結果を記憶して追尾処理を終了するが、これに限定されない。ユーザが追尾結果の記憶を選択しない場合、制御部１０は追尾結果を記憶せずに追尾処理を終了してもよい。
【０１５８】
（７）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１５９】
画像Ｖ１〜Ｖ２０が画像の例であり、画像データｖ１〜ｖ２０が画像データの例であり、画像処理システム１００が動画追尾装置の例であり、記憶部４０が記憶部の例であり、表示部２０が表示部の例であり、操作部４が操作部の例であり、制御部１０が制御部または処理装置の例である。テンプレートＴが追尾条件および初期画像内での追尾対象の画像部分の範囲の例であり、探索範囲Ｒが追尾条件および各フレームの画像内で追尾対象を探索する範囲の例であり、シンボルＳがシンボルの例である。逆再生ボタンＴｅの機能が逆再生の機能の例であり、シークバーＴｆが選択部の例である。
【０１６０】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１６１】
本発明は、種々の画像処理システム、画像処理方法および画像処理プログラムに有効に利用することができる。
【符号の説明】
【０１６２】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
１０ａ ＲＡＭ
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
ＦＡ〜ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２ 評価値
Ｌ 現在表示位置バー
Ｍ 物体
Ｍ１，Ｍ２ 突起
ｒｄ，ｓ１〜ｓ２０，ｔｄ 位置データ
Ｒ 探索範囲
Ｒｅ 基準画像データ
Ｓ シンボル
Ｓａ，Ｔａ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ，Ｔｃ 再生ボタン
Ｓｊ ファイルボタン
Ｓｙ 追尾ボタン
Ｔ テンプレート
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ シークバー
Ｔｇ スライダ
Ｔｈ 追尾開始ボタン
Ｔｉ 追尾停止ボタン
Ｔｊ 追尾再開ボタン
Ｔｋ 終了ボタン
Ｔｌ 始点表示カーソル
Ｔｍ 終点表示カーソル
ｖ１〜ｖ２０ 画像データ
Ｖ１〜Ｖ２０ 画像
Ｗ 被写体
【技術分野】
【０００１】
本発明は、動画中の追尾対象を追尾するための動画追尾装置、動画追尾方法および動画追尾プログラムに関する。
【背景技術】
【０００２】
動画中の追尾対象を追尾することにより動画中で移動する追尾対象の軌跡を表示する種々の方法が提案されている。
【０００３】
例えば、特許文献１に記載された動画データ解析プログラムによれば、作業者がモニタに表示された画像の任意の箇所を指定すると、軌跡表示手段が指定された箇所の軌跡をモニタに表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７１６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画は、複数フレームの画像により構成される。動画中の追尾対象の追尾では、動画を構成する複数フレームの画像の各々において追尾対象の位置が識別される。各フレームの画像において追尾対象の位置の識別が成功する確率は比較的高い。しかしながら、動画を構成する複数フレームの画像のすべてにおいて追尾対象の位置の識別が成功する確率は、指数的に低下する。
【０００６】
したがって、追尾対象の正確な追尾結果として正確な軌跡を得るためには、動画中の全フレームの画像について追尾対象の追尾が成功するまで、追尾対象の追尾を繰り返し実行する必要がある。それにより、正確な追尾結果を得るために多大な時間を要するため、作業の効率が低下する。
【０００７】
本発明の目的は、動画中の追尾対象の追尾において効率よく正確な追尾結果を得ることが可能な動画追尾装置、動画追尾方法および動画追尾プログラムを提供することである。
【課題を解決するための手段】
【０００８】
（１）第１の発明に係る動画追尾装置は、複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾装置であって、複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、記憶部に記憶される各フレームの画像データに基づいて画像を表示する表示部と、表示部に表示される画像内での追尾対象の追尾条件の設定および追尾対象の追尾に関する指示を行なうためにユーザにより操作される操作部と、表示部に複数フレームの画像を順に表示させ、表示される各画像において操作部により設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる追尾動作を実行する制御部とを備え、制御部は、複数フレームの画像のうち一の画像を初期画像として表示部に表示させ、操作部により初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、初期画像以降のフレームの画像について追尾動作を実行し、追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、新たな初期画像を表示部に表示させ、操作部により新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、新たな初期画像以降のフレームの画像について追尾動作を実行するものである。
【０００９】
この動画追尾装置においては、記憶部に記憶された画像データに基づいて複数フレームの画像のうち一の画像が初期画像として表示部に表示される。操作部により初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【００１０】
追尾動作においては、表示部に複数フレームの画像が順に表示される。表示される各画像において、操作部により設定された追尾条件で追尾対象の位置が識別されるとともに識別された位置にシンボルが表示される。複数フレームの画像について表示された複数のシンボルが動画中で移動する追尾対象の軌跡を示す。
【００１１】
追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が表示部に表示される。また、操作部により新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、新たな初期画像以降のフレームの画像について追尾動作が実行される。
【００１２】
これにより、追尾動作の実行中に追尾対象の追尾が失敗した場合、任意のフレームの初期画像から追尾動作を再開することができる。そのため、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を新たな初期画像とすることにより、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について追尾動作を再開することができる。
【００１３】
また、新たな初期画像において追尾条件を再設定することができるので、再開された追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【００１４】
（２）制御部は、表示部に現在表示される画像において識別された追尾対象の位置と、表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルをそれぞれ表示させ、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、表示部に現在表示される画像において識別された追尾対象の位置と、新たな初期画像よりも以後でかつ表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置と、新たな初期画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルをそれぞれ表示させてもよい。
【００１５】
この場合、表示部に現在表示される画像において識別された追尾対象の位置と、表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルがそれぞれ表示される。これにより、ユーザは動画中の追尾対象の軌跡を容易に観察することができる。
【００１６】
また、追尾動作が再開された場合、表示部に現在表示される画像において識別された追尾対象の位置と、新たな初期画像よりも以後でかつ表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置と、新たな初期画像よりも以前のフレームの画像において識別された追尾対象の位置とにシンボルがそれぞれ表示される。これにより、追尾動作が再開された場合でも、ユーザは動画中の追尾対象の軌跡を容易に観察することができる。
【００１７】
（３）追尾条件は、初期画像内での追尾対象の画像部分の範囲および各フレームの画像内で追尾対象を探索する範囲のうち少なくとも一方を含んでもよい。
【００１８】
この場合、ユーザは、初期画像内での追尾対象の画像部分の範囲および各フレームの画像内で追尾対象を探索する範囲のうち少なくとも一方を再設定することにより、適切な条件で追尾動作を再開することができる。これにより、追尾が失敗した場合でも、再開時の追尾動作においては以前の追尾動作における追尾の失敗を繰り返すことを防止することができる。
【００１９】
（４）制御部は、複数フレームの画像を追尾動作時とは逆の時間順で表示部に表示させる逆再生の機能を有し、操作部は、追尾動作の停止または終了後に、逆再生を指示することにより新たな初期画像の表示を指示可能であってもよい。
【００２０】
この場合、ユーザは、追尾動作の停止または終了後に、逆再生を指示することにより所望のフレームの画像を新たな初期画像として表示させることができる。これにより、ユーザは、各フレームの画像およびシンボルを見ながら、追尾が最初に失敗したフレームの画像を容易に見つけることができる。したがって、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【００２１】
（５）制御部は、表示部に表示させる画像を選択するための選択部を表示部に表示させ、操作部は、表示部に表示された選択部を操作することにより新たな初期画像の表示を指示可能であってもよい。
【００２２】
この場合、ユーザは、追尾動作の停止または終了後に、選択部を操作することにより所望のフレームの画像を新たな初期画像として表示させることができる。したがって、ユーザは、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を迅速に初期画像として表示させることができる。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を迅速に再開することができる。
【００２３】
（６）制御部は、追尾動作の実行中に各画像について追尾対象の位置の識別結果の正確度を算出し、正確度が予め定められたしきい値以下になったときに追尾動作を停止してもよい。
【００２４】
この場合、追尾が失敗した時点で正確度がしきい値以下になることにより追尾動作が自動的に停止する。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【００２５】
（７）第２の発明に係る動画追尾方法は、複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾方法であって、複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として表示部に表示させるステップと、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行するステップと、第１の追尾動作の停止または終了後に、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像を表示部に表示させるステップと、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行するステップとを含むものである。
【００２６】
この動画追尾方法においては、複数フレームの画像を表示するための複数フレームの画像データが記憶される。また、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像が初期画像として表示部に表示される。ここで、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、第１の追尾動作として、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルが表示される。複数フレームの画像について表示された複数のシンボルが動画中で移動する追尾対象の軌跡を示す。
【００２７】
第１の追尾動作の停止または終了後、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、記憶された複数フレームの画像データに基づいて新たな初期画像が表示部に表示される。また、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、第２の追尾動作として、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置が識別されるとともに識別された位置にシンボルが表示される。
【００２８】
これにより、第１の追尾動作の実行中に追尾対象の追尾が失敗した場合、任意のフレームの初期画像から第２の追尾動作を実行することができる。そのため、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を新たな初期画像とすることにより、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について第２の追尾動作を実行することができる。
【００２９】
また、新たな初期画像において追尾条件を再設定することができるので、第２の追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、第１および第２の追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【００３０】
（８）第３の発明に係る動画追尾プログラムは、複数フレームの画像により構成される動画中の追尾対象を追尾する追尾処理を処理装置に実行させる動画追尾プログラムあって、複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として表示部に表示させる処理と、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行する処理と、第１の追尾動作の停止または終了後に、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像を表示部に表示させる処理と、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像を表示部に順に表示させ、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行する処理とを、処理装置に実行させるものである。
【００３１】
この動画追尾プログラムにおいては、複数フレームの画像を表示するための複数フレームの画像データが記憶される。また、記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像が初期画像として表示部に表示される。ここで、初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合、第１の追尾動作として、記憶された複数フレームの画像データに基づいて初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルが表示される。複数フレームの画像について表示された複数のシンボルが動画中で移動する追尾対象の軌跡を示す。
【００３２】
第１の追尾動作の停止または終了後、複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、記憶された複数フレームの画像データに基づいて新たな初期画像が表示部に表示される。また、新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合、第２の追尾動作として、記憶された複数フレームの画像データに基づいて新たな初期画像以降のフレームの画像が表示部に順に表示され、表示される各画像において設定された追尾条件で追尾対象の位置が識別されるとともに識別された位置にシンボルが表示される。
【００３３】
これにより、第１の追尾動作の実行中に追尾対象の追尾が失敗した場合、任意のフレームの初期画像から第２の追尾動作を実行することができる。そのため、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を新たな初期画像とすることにより、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について第２の追尾動作を実行することができる。
【００３４】
また、新たな初期画像において追尾条件を再設定することができるので、第２の追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、第１および第２の追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【発明の効果】
【００３５】
本発明によれば、動画中の追尾対象の追尾において効率よく正確な追尾結果を得ることが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施の形態に係る動画追尾装置を備える画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】ファイル記憶処理により記憶部に記憶される動画ファイルの模式図である。
【図８】再生処理時の表示部の表示例を示す図である。
【図９】追尾処理の実行開始時における表示部の表示例を示す図である。
【図１０】画像表示領域に表示される動画の一例を示す図である。
【図１１】追尾対象の追尾動作時における表示部の表示例を示す図である。
【図１２】追尾対象の追尾動作時の画像表示領域に表示される動画の一例を示す図である。
【図１３】追尾対象の追尾動作終了時における表示部の表示例を示す図である。
【図１４】追尾対象の追尾が失敗したときの画像表示領域に表示される動画の一例を示す図である。
【図１５】動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【図１６】動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【図１７】動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【図１８】追尾対象の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図１９】追尾対象の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２０】追尾対象の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２１】追尾処理実行中に制御部のＲＡＭに記憶されるデータを示す図である。
【図２２】他の実施の形態に係る動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。
【発明を実施するための形態】
【００３７】
以下、本発明の一実施の形態に係る動画追尾装置、動画追尾方法および動画追尾プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る動画追尾装置を備える画像処理システムは表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００３８】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る動画追尾装置を備える画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、本体部１、カメラ２、照明装置３および操作部４を備える。本体部１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００３９】
本体部１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００４０】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００４１】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から本体部１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００４２】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００４３】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００４４】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００４５】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、本体部１と一体的に構成されてもよい。
【００４６】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４７】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００４８】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る動画追尾プログラムが記憶される。動画追尾プログラムの詳細は後述する。
【００４９】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００５０】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００５１】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５２】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５３】
このように、波形データを構成する複数の評価値は、複数フレームの画像データの取得中に得られる値である。
【００５４】
なお、図１において、本体部１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、本体部１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５５】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および本体部１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された動画追尾プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５６】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５７】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０の画面上に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００５８】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は、時間を示し、縦軸は評価値を示す。例えば、評価値が画像表示領域Ｓａに表示される画像の平均輝度値である場合、波形表示領域Ｓｂには、画像の平均輝度値を縦軸とし、時間を横軸とする波形のグラフが表示される。
【００５９】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００６０】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００６１】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００６２】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定める。
【００６３】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６４】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６５】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６６】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６７】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００６８】
録画ボタンＳｅは後述する録画処理の開始のためにユーザにより操作部４を用いて操作される。
【００６９】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００７０】
本体部１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００７１】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００７２】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００７３】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００７４】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００７５】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７６】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７７】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００７８】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００７９】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００８０】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００８１】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００８２】
ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００８３】
図７は、ファイル記憶処理により記憶部４０に記憶される動画ファイルの模式図である。
【００８４】
例えば図３の録画部３０の動画データ記憶領域３０Ａに画像データｖ１〜ｖ１２が記憶され、波形データ記憶領域３０Ｂに評価値ｉ１〜ｉ１２が記憶されている状態でファイル記憶処理が行われる。この場合、図７に示すように、画像データｖ１〜ｖ１２および評価値ｉ１〜ｉ１２、ならびにファイル情報ｆｉを含む動画ファイルＦＡが生成され、生成された動画ファイルＦＡが記憶部４０に記憶される。
【００８５】
なお、ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等が含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００８６】
（２−４）再生処理
次に、再生処理について説明する。再生処理とは、カメラ２から順次与えられる複数フレームの画像データ、録画部３０に記憶される複数フレームの画像データまたは記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうち任意の連続する複数フレームの画像データに基づいて表示部２０に動画を表示することをいう。
【００８７】
まず、記憶部４０に記憶された動画ファイル中の画像データに基づく画像の再生処理について説明する。
【００８８】
記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルの動画データを再生対象として選択することができる。
【００８９】
図８は、再生処理時の表示部２０の表示例を示す図である。図７に示すように、例えばユーザにより操作部４を用いて１つの動画ファイルが選択されると、図１の表示部２０には、図６の表示例と同様に、画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび再生ボタンＳｇが表示されるとともに、図６のファイルボタンＳｊに代えて追尾ボタンＳｙが表示される。
【００９０】
ユーザにより操作部４を用いて再生ボタンＳｇが操作されると、制御部１０により再生処理が開始される。再生処理では、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイルに基づいて動画が再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００９１】
この場合、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、画像表示領域Ｓａに現在表示される画像のフレームに対応する評価値（以下、対応評価値と呼ぶ。）の位置に現在表示位置バーＬを表示させる。画像表示領域Ｓａに表示される画像のフレームが変化することにより対応評価値が変化すると、制御部１０は、現在表示位置バーＬを時間軸上で左右に移動させる。
【００９２】
次に、録画処理の前の再生処理について説明する。録画処理の前には、制御部１０は、カメラ２から与えられる複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、複数フレームの画像データに基づく画像が図２の画像表示領域Ｓａに表示される。このようにして、カメラ２により撮影される被写体の動画が再生される。また、制御部１０は、波形収集部６０から与えられる波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００９３】
さらに、録画処理終了時に録画部３０に記憶される画像データに基づく画像の再生処理について説明する。録画処理後に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されると、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される動画データに基づいて動画が再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００９４】
（３）動画追尾装置
動画追尾装置は、図１の操作部４、制御部１０、表示部２０、記憶部４０およびビデオメモリ５０により構成される。動画追尾装置は、表示部２０に表示される動画中の指定された追尾対象を追尾し、追尾結果を表示部２０に表示する追尾処理を行う。記憶部４０には、追尾処理を行うための動画追尾プログラムが記憶される。
【００９５】
ユーザにより操作部４を用いて図８の追尾ボタンＳｙが操作されることにより、追尾処理を実行するための追尾モードが起動される。
【００９６】
図９は、追尾処理の実行開始時における表示部２０の表示例を示す図である。図９に示すように、追尾処理の実行開始時には、表示部２０の画面上に主に画像表示領域Ｔａ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、シークバーＴｆおよび追尾開始ボタンＴｈが表示される。
【００９７】
画像表示領域Ｔａには、ユーザにより操作部４を用いて選択された動画ファイルに基づく動画が表示される。
【００９８】
シークバーＴｆには、さらに始点表示カーソルＴｌおよび終点表示カーソルＴｍが表示される。始点表示カーソルＴｌおよび終点表示カーソルＴｍは、動画を構成する複数フレームの画像のうち表示領域Ｔａに表示可能な画像の範囲を指定するために用いられる。始点表示カーソルＴｌおよび終点表示カーソルＴｍの位置は、動画ファイル中のフレームにそれぞれ対応する。画像表示領域Ｔａには、始点表示カーソルＴｌの位置に対応するフレームの画像から終点表示カーソルＴｍの位置に対応するフレームの画像を動画として表示することができる。
【００９９】
図１０は、画像表示領域Ｔａに表示される動画の一例を示す図である。ここで、ユーザにより選択された動画ファイルは、複数フレームの画像データｖ１〜ｖ２０を含むものとする。図１０においては、時間軸は各段の左から右へ延び、各段の右端から下段の左端へつながる。後述する図１２および図１４の時間軸も図１０と同様である。
【０１００】
まず、図１０の１段目の左から右へ順に示されるように、複数フレームの画像データｖ１〜ｖ５に基づく複数の画像Ｖ１〜Ｖ５が画像表示領域Ｔａに順に表示される。次に、図１０の２段目の左から右へ順に示されるように、複数フレームの画像データｖ６〜ｖ１０に基づく複数の画像Ｖ６〜Ｖ１０が画像表示領域Ｔａに順に表示される。次に、図１０の３段目の左から右へ順に示されるように、複数フレームの画像データｖ１１〜ｖ１５に基づく複数の画像Ｖ１１〜Ｖ１５が画像表示領域Ｔａに順に表示される。さらに、図１０の４段目の左から右へ順に示されるように、複数フレームの画像データｖ１６〜ｖ２０に基づく複数の画像Ｖ１６〜Ｖ２０が画像表示領域Ｔａに順に表示される。
【０１０１】
図１０の画像Ｖ１〜Ｖ２０は、図１のカメラ２により撮影された回転する円柱状の物体Ｍを示す。カメラ２により撮影される物体Ｍの一面側には、２つの突起Ｍ１，Ｍ２が形成されている。
【０１０２】
ユーザが図１の操作部４を用いて図９の再生ボタンＴｃを操作することにより、図１０のように複数フレームの画像Ｖ１〜Ｖ２０が画像表示領域Ｔａに表示される。このようにして動画が再生される。
【０１０３】
また、ユーザが図９の逆再生ボタンＴｅを操作することにより、現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｔａに順次表示（以下、逆再生と呼ぶ。）される。
【０１０４】
動画の再生中または逆再生中にユーザが一時停止ボタンＴｄを操作することにより、画像表示領域Ｔａに画像が表示された状態で、動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで動画が高速で逆再生される。
【０１０５】
シークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。スライダＴｇは、動画において現時点で画像表示領域Ｔａに表示されている画像の時間軸上の位置を示す。動画の再生が進むにつれて、スライダＴｇがシークバーＴｆ上で一方向（本例では、表示部２０の画面の左から右）に移動する。同様に、動画の逆再生が進むにつれて、スライダＴｇがシークバーＴｆ上で他方向（本例では、表示部２０の画面の右から左）に移動する。ユーザは、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることにより、画像表示領域Ｔａに動画中の所望のフレームの画像を表示させることができる。それにより、所望の画像Ｖ１〜Ｖ２０から動画の再生または逆再生を行うことができる。
【０１０６】
ユーザが後述する操作により画像表示領域Ｔａに表示される画像中の追尾対象を指定し、追尾開始ボタンＴｈを操作することにより、追尾対象の追尾動作が開始される。図１１は、追尾対象の追尾動作時における表示部２０の表示例を示す図である。図１１に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾停止ボタンＴｉが表示される。
【０１０７】
図１２は、追尾対象の追尾動作時の画像表示領域Ｔａに表示される動画の一例を示す図である。画像表示領域Ｔａには、画像Ｖ１〜Ｖ２０が順次表示される。図１２の例では、物体Ｍの一方の突起Ｍ１が追尾対象として指定されている。図１２に示すように、画像表示領域Ｔａに表示される各画像上に、現フレームの画像における追尾結果を示すシンボルＳおよび以前のフレームの画像における追尾結果を示すシンボルＳが表示される。本例では、追尾結果を示すシンボルＳは三角形状を有する。
【０１０８】
なお、図１１の画像表示領域Ｔａには、第３フレームの画像Ｖ３が示されている。この状態ではユーザが追尾停止ボタンＴｉを操作すると、追尾動作実行中の画像（図１１の例では第３フレームの画像Ｖ３）および以前のフレームの画像（図１１の例では第１および第２フレームの画像Ｖ１，Ｖ２）の追尾結果を示すシンボルＳが表示された状態で、追尾対象の追尾動作が一時停止する。
【０１０９】
図１３は、追尾対象の追尾動作終了時における表示部２０の表示例を示す図である。動画ファイルの最終フレームの画像Ｖ２０における追尾対象の追尾動作が終了すると、図１３に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾再開ボタンＴｊが表示されるとともに、主に終了ボタンＴｋがさらに表示される。画像表示領域Ｔａには、最終フレームの画像Ｖ２０が表示されるとともに、画像Ｖ２０上にすべてのフレームの画像Ｖ１〜Ｖ２０における追尾結果を示す複数のシンボルＳが表示される。複数のシンボルＳが動画中で移動する追尾対象の軌跡を示す。
【０１１０】
この状態で、ユーザは、逆再生ボタンＴｅおよび追尾再開ボタンＴｊを操作することにより、動画ファイルの所望のフレームの画像から順に追尾対象の追尾動作を再度実行させることができる。
【０１１１】
また、追尾動作実行中にユーザが図１１の追尾停止ボタンＴｉを操作した場合にも、図１３の追尾動作終了時と同様に、表示部２０に追尾再開ボタンＴｊが表示されるとともに、主に終了ボタンＴｋがさらに表示される。この場合、ユーザは、追尾再開ボタンＴｊを操作することにより、追尾対象の追尾動作を続行することができる。
【０１１２】
ユーザが終了ボタンＴｋを操作した場合、図１の制御部１０は、図１３の画像表示領域Ｔａに表示されている複数のシンボルＳの位置を示す位置データを追尾結果として図１の記憶部４０に記憶させ、追尾処理を終了する。
【０１１３】
図１４は、追尾対象の追尾が失敗したときの画像表示領域Ｔａに表示される動画の一例を示す図である。画像表示領域Ｔａには、画像Ｖ１〜Ｖ２０が順次表示される。
【０１１４】
図１４の例では、第１〜第３フレームの画像Ｖ１〜Ｖ３においては、追尾対象である突起Ｍ１が正確に追尾されている。それにより、追尾結果を示すシンボルＳが突起Ｍ１上に表示されている。第４フレームの画像Ｖ４において、追尾対象である突起Ｍ１とは異なる部分が追尾されている。それにより、画像Ｖ４上において、追尾結果を示すシンボルＳが追尾対象である突起Ｍ１とは異なる位置に表示されている。その結果、以降の第５フレームから最終フレームの画像Ｖ５〜Ｖ２０において、追尾対象である突起Ｍ１とは異なる部分が追尾され、追尾結果を示すシンボルＳが追尾対象である突起Ｍ１とは異なる位置に表示されている。
【０１１５】
このような場合、ユーザは、後述するように、動画を逆再生し、追尾対象の追尾に失敗したフレームの画像Ｖ４から追尾動作を再開させることができる。
【０１１６】
（４）追尾対象の追尾処理
図１５、図１６および図１７は、動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。図１８、図１９および図２０は、追尾対象の追尾処理の実行中に画像表示領域Ｔａに表示される画像の遷移を示す図である。図２１は、追尾処理実行中に制御部１０のＲＡＭ１０ａに記憶されるデータを示す図である。制御部１０のＣＰＵは、記憶部４０に記憶される追尾処理プログラムに従って追尾処理を実行する。以下、図１５〜図２１を用いて制御部１０のＣＰＵ（以下、制御部１０と略記する。）による追尾対象の追尾処理を説明する。
【０１１７】
図９の表示の状態で、ユーザが操作部４を用いて図１の記憶部４０に記憶された複数の動画ファイルのうちいずれかを選択する。それにより、制御部１０は、選択された動画ファイル中の複数フレームの画像データを読み出す（ステップＳ１）。この場合、読み出された複数フレームの画像データは図２１のＲＡＭ１０ａに記憶される。
【０１１８】
ユーザは、操作部４を用いて始点表示カーソルＴｌおよび終点表示カーソルＴｍを移動させることにより、動画ファイル中の複数フレームの画像データに基づく画像のうち任意の画像の範囲を指定することができる。
【０１１９】
動画を構成する複数フレームの画像のうち途中の画像から追尾対象が出現し、または途中の画像で追尾対象が消滅する場合がある。このような場合、ユーザは、始点表示カーソルＴｌを追尾対象が出現する画像が表示される位置に設定し、終点表示カーソルＴｍを追尾対象が消滅する画像が表示される位置に設定することができる。それにより、追尾対象が存在する画像のみにおいて追尾を行うことができる。本例では、全ての画像Ｖ１〜Ｖ２０に追尾対象が出現しているので、図９に点線の矢印で示すように、始点表示カーソルＴｌは第１フレームの画像Ｖ１に対応する位置に設定され、終点表示カーソルＴｍは最終フレームの画像Ｖ２０に対応する位置に設定される。したがって、第１フレームから最終フレームの画像データｖ１〜ｖ２０が読み出される。
【０１２０】
次に、制御部１０は、ＲＡＭ１０ａに記憶された画像データｖ１〜ｖ２０に基づく画像Ｖ１〜Ｖ２０のうちユーザにより指定された画像（以下、初期画像と呼ぶ。）を、図１のビデオメモリ５０を介して画像表示領域Ｔａに表示する（ステップＳ２）。
【０１２１】
初期状態では、ＲＡＭ１０ａに記憶された第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として画像表示領域Ｔａに表示される。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃを操作することにより、初期画像を指定することができる。また、後述するように、追尾処理を再開させる場合には、ユーザにより指定された画像が初期画像として画像表示領域Ｔａに表示される。
【０１２２】
本例では、図１８（ａ）に示すように、第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として表示される。
【０１２３】
次に、制御部１０は、ユーザにより操作部４を用いて画像表示領域Ｔａ内の任意の位置が指定されたか否かを判定する（ステップＳ３）。ユーザにより画像表示領域Ｔａ内の位置が指定されていない場合、制御部１０は、ステップＳ２の処理に戻る。図１８（ｂ）に示すように、ユーザにより矢印のポインタで画像表示領域Ｔａ内の位置が指定された場合、制御部１０は、指定された位置に基づいて画像上でのシンボルＳ、テンプレートＴおよび探索範囲Ｒの位置を決定する（ステップＳ４）。
【０１２４】
本例において、図１８（ｃ）に示すように、シンボルＳは三角形状を有し、テンプレートＴおよび探索範囲Ｒは、矩形状を有する。探索範囲Ｒのサイズは、テンプレートＴのサイズよりも大きい。シンボルＳの位置はユーザにより指定された位置に一致する。テンプレートＴおよび探索範囲Ｒの中心は、シンボルＳの位置に一致する。探索範囲ＲはテンプレートＴを取り囲むように位置する。後述するように、テンプレートＴ内の画像が追尾対象画像として設定される。探索範囲Ｒは、次フレームの画像において追尾対象を探索する範囲を示す。シンボルＳは、追尾対象が存在する位置を示す。
【０１２５】
続いて、制御部１０は、決定されたシンボルＳの位置を示す位置データｓ１、テンプレートＴの位置を示す位置データｔｄおよび探索範囲Ｒの位置を示す位置データｒｄを図２１に示すＲＡＭ１０ａに保存する（ステップＳ５）。また、制御部１０は、ＲＡＭ１０ａに記憶された位置データｓ１，ｔｄ，ｒｄに基づいて、画像表示領域ＴａにテンプレートＴ、シンボルＳおよび探索範囲Ｒを表示する（ステップＳ６）。本例においては、図１８（ｄ）に示すように、追尾対象である物体Ｍの一方の突起Ｍ１上にシンボルＳが表示される。また、シンボルＳを取り囲むようにテンプレートＴが表示され、テンプレートＴを取り囲むように探索範囲Ｒが表示される。
【０１２６】
なお、シンボルＳの形状、テンプレートＴのサイズおよび探索範囲Ｒのサイズは、ユーザにより操作部４を用いて予め設定される。
【０１２７】
制御部１０は、ユーザによる操作部４の操作に基づいて、画像表示領域Ｔａ内でシンボルＳを移動させることができる。この場合、シンボルＳの移動に伴って、テンプレートＴおよび探索範囲Ｒも移動する。また、制御部１０は、ユーザによる操作部４の操作に基づいて、テンプレートＴまたは探索範囲Ｒのサイズを変更することができる。ユーザは、シンボルＳの位置ならびにテンプレートＴおよび探索範囲Ｒのサイズを調整することにより、追尾対象の画像の範囲および次フレームの画像において追尾対象を探索する範囲を適切に設定することができる。
【０１２８】
さらに、制御部１０は、ユーザによる操作部４の操作に基づいて、同様の処理により、画像表示領域Ｔａの任意の位置に上記のシンボルＳ、テンプレートＴおよび探索範囲Ｒとは異なる別のシンボル、テンプレートおよび探索範囲を表示することができる。これにより、ユーザは、初期画像中に複数の追尾対象を設定することができる。
【０１２９】
次に、制御部１０は、追尾動作の実行が指示されたか否かを判定する（ステップＳ７）。ここで、制御部１０は、ユーザが操作部４を用いて図９の追尾開始ボタンＴｈまたは図１３の追尾再開ボタンＴｊを操作したことを検出した場合、追尾動作の実行が指示されたと判定する。制御部１０は、追尾動作の実行が指示されない場合にはステップＳ２の処理に戻る。
【０１３０】
制御部１０は、追尾動作の実行が指示された場合、テンプレートＴ内の画像を基準画像データＲｅとしてＲＡＭ１０ａに記憶させる（ステップＳ８）。本例では、この時点で、制御部１０は、画像表示領域ＴａからテンプレートＴおよび探索範囲Ｒの表示を消去する。
【０１３１】
続いて、制御部１０は、画像表示領域Ｔａに次フレームの画像と以前のフレームの画像に対応するシンボルＳとを表示する（ステップＳ９）。本例では、図１８（ｅ）に示すように、制御部１０は、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳが表示される。
【０１３２】
ここで、制御部１０は、ＲＡＭ１０ａに記憶された基準画像データＲｅに基づいて、現フレームの画像の探索範囲Ｒ内の追尾対象の位置を識別する（ステップＳ１０）。本例では、図１８（ｅ）に示された第２フレームの画像Ｖ２の突起Ｍ１が探索範囲Ｒ内で探索される。この場合、画像データｖ２のうち探索範囲Ｒに対応する部分のデータと基準画像データＲｅとのパターンマッチングにより突起Ｍ１の位置が識別される。
【０１３３】
続いて、制御部１０は、識別された追尾対象の位置を新たなシンボルＳの位置として決定する（ステップＳ１１）。また、制御部１０は、新たなシンボルＳの位置を示す位置データｓ２をＲＡＭ１０ａに記憶させる（ステップＳ１２）。
【０１３４】
次いで、制御部１０は、決定された新たなシンボルＳの位置に基づいて探索範囲Ｒの位置を再決定する（ステップＳ１３）。この場合、探索範囲Ｒの中心が新たなシンボルＳの位置に一致するように、探索範囲Ｒの位置が再決定される。制御部１０は、再決定された探索範囲Ｒの位置に基づいてＲＡＭ１０ａに記憶される位置データｒｄを更新する（ステップＳ１４）。本例では、図１８（ｆ）に示すように、第２フレームの画像Ｖ２上で新たなシンボルＳを中心として探索範囲Ｒが移動する。
【０１３５】
次に、制御部１０は、ＲＡＭ１０ａに記憶された新たな位置データｓ２に基づいて画像表示領域Ｔａに新たなシンボルＳを表示する（ステップＳ１５）。本例では、図１９（ａ）に示すように、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳおよび第２フレームの画像Ｖ２に対応するシンボルＳが表示される。
【０１３６】
次に、制御部１０は、画像表示領域Ｔａに指定された複数フレームの画像Ｖ１〜Ｖ２０のうち最終フレームの画像Ｖ２０が表示されているか否かを判定する（ステップＳ１６）。
【０１３７】
画像表示領域Ｔａに最終フレームの画像Ｖ２０が表示されていない場合、制御部１０は、一時停止が指示されたか否かを判定する（ステップＳ１７）。例えば、ユーザは、追尾動作の実行中に追尾が失敗したことに気付いた場合、操作部４を用いて図１０の追尾停止ボタンＴｉを操作する。追尾停止ボタンＴｉが操作されたことを検出した場合、制御部１０は、一時停止が指示されたと判定する。
【０１３８】
一時停止が指示されていない場合には、制御部１０は、ステップＳ９に戻り、ステップＳ９〜Ｓ１６の処理を繰り返し実行する。本例では、図１９（ｂ）に示すように、画像表示領域Ｔａに第３フレームの画像Ｖ３が表示されるとともに、画像Ｖ３上に第１および第２フレームに対応するシンボルＳが表示される。第３フレームの画像Ｖ３において探索範囲Ｒ内で追尾対象の位置が識別される。それにより、図１９（ｃ）に示すように、識別された追尾対象の位置が新たなシンボルＳの位置として決定され、新たなシンボルＳの位置を示す位置データｓ３がＲＡＭ１０ａに記憶される。また、新たなシンボルＳの位置に基づいて探索範囲Ｒの位置が再決定され、再決定された探索範囲Ｒの位置に基づいてＲＡＭ１０ａに記憶される位置データｒｄが更新される。次いで、図１９（ｄ）に示すように、ＲＡＭ１０ａに記憶される位置データｓ３に基づいて第３フレームの画像Ｖ３上に新たなシンボルＳが表示される。
【０１３９】
ステップＳ１６において画像表示領域Ｔａに最終フレームの画像Ｖ２０が表示されている場合またはステップＳ１７において一時停止が指示された場合には、制御部１０は、追尾動作の終了が指示されたか否かを判定する（ステップＳ１８）。例えば、図１９（ｅ）に示すように、ユーザは、画像表示領域Ｔａに表示される最終フレームの画像Ｖ２０まで正確な追尾が行われたと判断した場合、操作部４を用いて図１３の終了ボタンＴｋを操作する。制御部１０は、終了ボタンＴｋが操作されたことを検出した場合、追尾動作の終了が指示されたと判定する。この場合、制御部１０は、ＲＡＭ１０ａに記憶されるシンボルＳの位置データｓ１〜ｓ２０を追尾結果として図１の記憶部４０に記憶させ（ステップＳ１９）、追尾処理を終了する。
【０１４０】
一方、ステップＳ１８において追尾動作の終了が指示されていない場合には、制御部１０は、ステップＳ２の処理に戻る。例えば、図２０（ａ）に示すように、全ての画像Ｖ１〜Ｖ２０における追尾動作の実行後、または、図２０（ｂ）に示すように、追尾動作の実行中に、追尾が失敗したことに気付いた場合、ユーザは図１３の終了ボタンＴｋを操作しない。
【０１４１】
本例においては、図２０（ｃ）に示すように、第４フレームの画像Ｖ４で追尾対象の追尾が失敗している。この場合、図２０（ｄ）に示すように、ユーザは、操作部４を用いて図１３の逆再生ボタンＴｅまたはシークバーＴｆのスライダＴｇを操作することにより、画像表示領域Ｔａに追尾が失敗する前のフレームの画像Ｖ３を初期画像として指定することができる。
【０１４２】
制御部１０は、ユーザによる操作部４の操作に基づいて、第３フレームの画像データｖ３に基づく画像Ｖ３を初期画像として画像表示領域Ｔａに表示する（ステップＳ２）。ユーザは、第３フレームの画像Ｖ３の位置を指定する。これにより、制御部１０は、ステップＳ２〜Ｓ１８の処理を繰り返す。第３フレームの画像Ｖ３から後続するフレームの画像において再度追尾対象の追尾動作が実行される。
【０１４３】
その結果、図２０（ｅ）および図２０（ｆ）に示すように、第４フレームから最終フレームの画像Ｖ４〜Ｖ２０において追尾対象である物体Ｍの突起Ｍ１上に追尾結果を示すシンボルＳが表示される。追尾結果を示す複数のシンボルＳにより、動画中の追尾対象の軌跡が表示される。
【０１４４】
（５）効果
本実施の形態に係る動画追尾装置においては、記憶部４０に記憶された複数フレームの画像のうち一の画像が初期画像として表示部２０に表示される。操作部４により初期画像内でテンプレートＴおよび探索範囲Ｒが設定されかつ再生ボタンＴｃが操作された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【０１４５】
追尾動作においては、表示部２０に複数フレームの画像が順に表示される。表示される各画像において操作部４により設定された探索範囲Ｒ内で追尾対象の位置が識別されるとともに識別された位置にシンボルＳが表示される。
【０１４６】
追尾動作の停止または終了後に、操作部４により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が表示部２０に表示される。また、操作部４により新たな初期画像内でテンプレートＴまたは探索範囲Ｒが再設定されかつ追尾再開ボタンＴｊが操作された場合、新たな初期画像以降のフレームの画像について追尾動作が実行される。
【０１４７】
追尾動作の実行中に追尾対象の追尾が失敗した場合、追尾動作の停止または終了後に、逆再生ボタンＴｅまたはシークバーＴｆを操作することにより、所望のフレームの画像を新たな初期画像として表示することができる。
【０１４８】
逆再生ボタンＴｅを操作する場合には、ユーザは、各フレームの画像およびシンボルＳを見ながら、追尾が最初に失敗したフレームの画像を容易に見つけることができる。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【０１４９】
また、シークバーＴｆを操作する場合には、ユーザは、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像を迅速に初期画像として表示させることができる。これにより、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を迅速に再開することができる。
【０１５０】
その結果、追尾が成功した画像の追尾結果を保持しつつ、追尾が失敗した画像について追尾動作を再開することができる。
【０１５１】
また、新たな初期画像においてテンプレートＴまたは探索範囲Ｒを再設定することができるので、再開時の追尾動作においては以前の追尾動作における追尾の失敗を繰り返すことを防止することができる。それにより、再開された追尾動作において各画像についての追尾が成功する確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果を得ることが可能になる。
【０１５２】
（６）他の実施の形態
（６−１）図２２は、他の実施の形態に係る動画追尾装置における動画中の追尾対象の追尾処理を示すフローチャートである。本実施の形態では、図２２に示すように、追尾対象の追尾処理において、図１６のステップＳ１０の後に、識別された追尾対象の位置の正確度を算出する（ステップＳ１０ａ）。正確度は、例えば、識別された位置での画像データと基準画像データとの一致度である。
【０１５３】
一致度は、例えば、識別された位置での画像部分を構成する複数画素の値とテンプレートＴを構成する複数画素の値との一致数である。この場合、一致数が多いほど正確度が高くなる。また、一致度は、識別された位置での画像部分を構成する複数画素の値とテンプレートＴを構成する複数画素の値との差分値の合計であってもよい。この場合、差分値の合計が小さいほど正確度が高くなる。さらに、一致度は、識別された位置での画像部分を構成する複数画素の値とテンプレートＴを構成する複数画素の値との相関値であってもよい。この場合、相関値が１に近いほど正確度が高くなる。
【０１５４】
その後、制御部１０は、算出された正確度と予め定められたしきい値とを比較する（ステップＳ１０ｂ）。正確度がしきい値以下である場合、制御部１０は、追尾動作を一時停止し（ステップＳ１０ｃ）、ステップＳ１８の処理に移る。一方、ステップＳ１０ｂにおいて、正確度がしきい値を超えている場合、制御部１０はステップＳ１１以降の処理を続行する。
【０１５５】
この場合、追尾が失敗した時点で正確度がしきい値以下になることにより追尾動作が自動的に停止する。これにより、各フレームの画像の追尾対象に対する追尾結果が正確である場合には追尾が続行され、追尾結果が正確でない場合には追尾が停止される。したがって、ユーザに追尾結果の確認またはテンプレートおよび探索範囲の設定の修正を促すことができる。その結果、追尾が失敗した最初のフレームの画像または追尾が失敗した直前のフレームの画像から追尾動作を容易に再開することができる。
【０１５６】
図２２において、ステップＳ１０ａ〜Ｓ１０ｃの処理は、ステップＳ１０，Ｓ１１間で実行されるが、これに限定されない。ステップＳ１０ａ〜Ｓ１０ｃの処理は、ステップＳ１０，Ｓ１１間、ステップＳ１１，Ｓ１２間、ステップＳ１２，Ｓ１３間、ステップＳ１３，Ｓ１４間、ステップＳ１４，Ｓ１５間およびステップＳ１５，Ｓ１６間のいずれかで実行されてもよい。
【０１５７】
（６−２）制御部１０は、ステップＳ１９において、追尾結果を記憶して追尾処理を終了するが、これに限定されない。ユーザが追尾結果の記憶を選択しない場合、制御部１０は追尾結果を記憶せずに追尾処理を終了してもよい。
【０１５８】
（７）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１５９】
画像Ｖ１〜Ｖ２０が画像の例であり、画像データｖ１〜ｖ２０が画像データの例であり、画像処理システム１００が動画追尾装置の例であり、記憶部４０が記憶部の例であり、表示部２０が表示部の例であり、操作部４が操作部の例であり、制御部１０が制御部または処理装置の例である。テンプレートＴが追尾条件および初期画像内での追尾対象の画像部分の範囲の例であり、探索範囲Ｒが追尾条件および各フレームの画像内で追尾対象を探索する範囲の例であり、シンボルＳがシンボルの例である。逆再生ボタンＴｅの機能が逆再生の機能の例であり、シークバーＴｆが選択部の例である。
【０１６０】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１６１】
本発明は、種々の画像処理システム、画像処理方法および画像処理プログラムに有効に利用することができる。
【符号の説明】
【０１６２】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
１０ａ ＲＡＭ
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
ＦＡ〜ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２ 評価値
Ｌ 現在表示位置バー
Ｍ 物体
Ｍ１，Ｍ２ 突起
ｒｄ，ｓ１〜ｓ２０，ｔｄ 位置データ
Ｒ 探索範囲
Ｒｅ 基準画像データ
Ｓ シンボル
Ｓａ，Ｔａ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ，Ｔｃ 再生ボタン
Ｓｊ ファイルボタン
Ｓｙ 追尾ボタン
Ｔ テンプレート
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ シークバー
Ｔｇ スライダ
Ｔｈ 追尾開始ボタン
Ｔｉ 追尾停止ボタン
Ｔｊ 追尾再開ボタン
Ｔｋ 終了ボタン
Ｔｌ 始点表示カーソル
Ｔｍ 終点表示カーソル
ｖ１〜ｖ２０ 画像データ
Ｖ１〜Ｖ２０ 画像
Ｗ 被写体
【特許請求の範囲】
【請求項１】
複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾装置であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、
前記記憶部に記憶される各フレームの画像データに基づいて画像を表示する表示部と、
前記表示部に表示される画像内での追尾対象の追尾条件の設定および追尾対象の追尾に関する指示を行なうためにユーザにより操作される操作部と、
前記表示部に複数フレームの画像を順に表示させ、前記表示される各画像において前記操作部により設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる追尾動作を実行する制御部とを備え、
前記制御部は、前記複数フレームの画像のうち一の画像を初期画像として前記表示部に表示させ、前記操作部により前記初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、前記初期画像以降のフレームの画像について前記追尾動作を実行し、前記追尾動作の停止または終了後に、前記操作部により前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記新たな初期画像を前記表示部に表示させ、前記操作部により前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記新たな初期画像以降のフレームの画像について前記追尾動作を実行することを特徴とする動画追尾装置。
【請求項２】
前記制御部は、前記表示部に現在表示される画像において識別された追尾対象の位置と、前記表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置とに前記シンボルをそれぞれ表示させ、前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記表示部に現在表示される画像において識別された追尾対象の位置と、前記新たな初期画像よりも以後でかつ前記表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置と、前記新たな初期画像よりも以前のフレームの画像において識別された追尾対象の位置とに前記シンボルをそれぞれ表示させることを特徴とする請求項１記載の動画追尾装置。
【請求項３】
前記追尾条件は、前記初期画像内での追尾対象の画像部分の範囲および各フレームの画像内で追尾対象を探索する範囲のうち少なくとも一方を含むことを特徴とする請求項１または２記載の動画追尾装置。
【請求項４】
前記制御部は、複数フレームの画像を追尾動作時とは逆の時間順で前記表示部に表示させる逆再生の機能を有し、
前記操作部は、前記追尾動作の停止または終了後に、前記逆再生を指示することにより前記新たな初期画像の表示を指示可能であることを特徴とする請求項１〜３のいずれかに記載の動画追尾装置。
【請求項５】
前記制御部は、前記表示部に表示させる画像を選択するための選択部を前記表示部に表示させ、
前記操作部は、前記表示部に表示された前記選択部を操作することにより前記新たな初期画像の表示を指示可能であることを特徴とする請求項１〜４のいずれかに記載の動画追尾装置。
【請求項６】
前記制御部は、前記追尾動作の実行中に各画像について追尾対象の位置の識別結果の正確度を評価し、正確度が予め定められたしきい値以下になったときに前記追尾動作を停止することを特徴とする請求項１〜５のいずれかに記載の動画追尾装置。
【請求項７】
複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾方法であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、
前記記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として表示部に表示させるステップと、
前記初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行するステップと、
前記第１の追尾動作の停止または終了後に、前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像を前記表示部に表示させるステップと、
前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行するステップとを含むことを特徴とする動画追尾方法。
【請求項８】
複数フレームの画像により構成される動画中の追尾対象を追尾する追尾処理を処理装置に実行させる動画追尾プログラムあって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、
前記記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として前記表示部に表示させる処理と、
前記初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行する処理と、
前記第１の追尾動作の停止または終了後に、前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像を前記表示部に表示させる処理と、
前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行する処理とを、
前記処理装置に実行させることを特徴とする動画追尾プログラム。
【請求項１】
複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾装置であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、
前記記憶部に記憶される各フレームの画像データに基づいて画像を表示する表示部と、
前記表示部に表示される画像内での追尾対象の追尾条件の設定および追尾対象の追尾に関する指示を行なうためにユーザにより操作される操作部と、
前記表示部に複数フレームの画像を順に表示させ、前記表示される各画像において前記操作部により設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる追尾動作を実行する制御部とを備え、
前記制御部は、前記複数フレームの画像のうち一の画像を初期画像として前記表示部に表示させ、前記操作部により前記初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、前記初期画像以降のフレームの画像について前記追尾動作を実行し、前記追尾動作の停止または終了後に、前記操作部により前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記新たな初期画像を前記表示部に表示させ、前記操作部により前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記新たな初期画像以降のフレームの画像について前記追尾動作を実行することを特徴とする動画追尾装置。
【請求項２】
前記制御部は、前記表示部に現在表示される画像において識別された追尾対象の位置と、前記表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置とに前記シンボルをそれぞれ表示させ、前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記表示部に現在表示される画像において識別された追尾対象の位置と、前記新たな初期画像よりも以後でかつ前記表示部に現在表示される画像よりも以前のフレームの画像において識別された追尾対象の位置と、前記新たな初期画像よりも以前のフレームの画像において識別された追尾対象の位置とに前記シンボルをそれぞれ表示させることを特徴とする請求項１記載の動画追尾装置。
【請求項３】
前記追尾条件は、前記初期画像内での追尾対象の画像部分の範囲および各フレームの画像内で追尾対象を探索する範囲のうち少なくとも一方を含むことを特徴とする請求項１または２記載の動画追尾装置。
【請求項４】
前記制御部は、複数フレームの画像を追尾動作時とは逆の時間順で前記表示部に表示させる逆再生の機能を有し、
前記操作部は、前記追尾動作の停止または終了後に、前記逆再生を指示することにより前記新たな初期画像の表示を指示可能であることを特徴とする請求項１〜３のいずれかに記載の動画追尾装置。
【請求項５】
前記制御部は、前記表示部に表示させる画像を選択するための選択部を前記表示部に表示させ、
前記操作部は、前記表示部に表示された前記選択部を操作することにより前記新たな初期画像の表示を指示可能であることを特徴とする請求項１〜４のいずれかに記載の動画追尾装置。
【請求項６】
前記制御部は、前記追尾動作の実行中に各画像について追尾対象の位置の識別結果の正確度を評価し、正確度が予め定められたしきい値以下になったときに前記追尾動作を停止することを特徴とする請求項１〜５のいずれかに記載の動画追尾装置。
【請求項７】
複数フレームの画像により構成される動画中の追尾対象を追尾する動画追尾方法であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、
前記記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として表示部に表示させるステップと、
前記初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行するステップと、
前記第１の追尾動作の停止または終了後に、前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像を前記表示部に表示させるステップと、
前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行するステップとを含むことを特徴とする動画追尾方法。
【請求項８】
複数フレームの画像により構成される動画中の追尾対象を追尾する追尾処理を処理装置に実行させる動画追尾プログラムあって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、
前記記憶された複数フレームの画像データに基づいて複数フレームの画像のうち一の画像を初期画像として前記表示部に表示させる処理と、
前記初期画像内で追尾条件が設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第１の追尾動作を実行する処理と、
前記第１の追尾動作の停止または終了後に、前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像を前記表示部に表示させる処理と、
前記新たな初期画像内で追尾条件が再設定されかつ追尾の開始が指示された場合に、前記記憶された複数フレームの画像データに基づいて前記新たな初期画像以降のフレームの画像を前記表示部に順に表示させ、前記表示される各画像において設定された追尾条件で追尾対象の位置を識別するとともに識別された位置にシンボルを表示させる第２の追尾動作を実行する処理とを、
前記処理装置に実行させることを特徴とする動画追尾プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−９９９７５（Ｐ２０１２−９９９７５Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４７０４（Ｐ２０１０−２４４７０４）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]