動画追尾装置、動画追尾方法および動画追尾プログラム
【課題】線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の追尾点の状態を容易に観察することが可能な動画追尾装置、動画追尾方法および動画追尾プログラムを提供する。
【解決手段】複数フレームの画像データに基づいて表示部２０の画像表示領域Ｔａに画像が表示される。画像表示領域Ｔａの画像内で追尾点および追尾線が設定されると、設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。また、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す追尾結果時間変化線が表示部２０の画像表示領域Ｔｂに表示される。画像表示領域Ｔｂに表示される追尾結果時間変化線の時間軸方向の位置が現在表示位置バーＬにより指定されると、指定された位置に対応するフレームの画像が画像表示領域Ｔａに表示される。
【解決手段】複数フレームの画像データに基づいて表示部２０の画像表示領域Ｔａに画像が表示される。画像表示領域Ｔａの画像内で追尾点および追尾線が設定されると、設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。また、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す追尾結果時間変化線が表示部２０の画像表示領域Ｔｂに表示される。画像表示領域Ｔｂに表示される追尾結果時間変化線の時間軸方向の位置が現在表示位置バーＬにより指定されると、指定された位置に対応するフレームの画像が画像表示領域Ｔａに表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画中の追尾点を追尾するための動画追尾装置、動画追尾方法および動画追尾プログラムに関する。
【背景技術】
【０００２】
動画中の追尾対象を追尾することにより動画中で移動する追尾対象の軌跡を表示する種々の方法が提案されている。
【０００３】
例えば、特許文献１に記載された動画データ解析プログラムによれば、作業者がモニタに表示された画像の任意の箇所を指定すると、軌跡表示手段が指定された箇所の軌跡をモニタに表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７１６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザは、特許文献１の動画データ解析プログラムによれば、追尾対象が二次元的な動作を行う場合には、モニタに表示された軌跡から追尾対象の動きの特徴的な部分を把握することができる。しかしながら、追尾対象が特徴的な動きを行なった場合における追尾対象の状態を確認することができない。また、追尾対象が線上を移動するような動きを行なう場合には、モニタに表示された軌跡から追尾対象の動きの特徴的な部分を把握することができず、追尾対象が特徴的な動きを行なった場合における追尾対象の状態を確認することもできない。
【０００６】
本発明の目的は、線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の追尾点の状態を容易に観察することが可能な動画追尾装置、動画追尾方法および動画追尾プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）第１の発明に係る動画追尾装置は、複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾装置であって、複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、第１および第２の表示領域を有する表示部と、記憶部に記憶された各フレームの画像データに基づいて第１の表示領域に画像を表示させる制御部と、第１の表示領域に表示される画像内での追尾点および追尾線の設定ならびに追尾点の追尾に関する指示を行なうためにユーザにより操作される操作部とを備え、制御部は、操作部により設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行し、複数のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を第２の表示領域に表示させ、操作部により第２の表示領域に表示される波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を第１の表示領域に表示させるものである。
【０００８】
この動画追尾装置においては、記憶部に記憶された各フレームの画像データに基づいて表示部の第１の表示領域に画像が表示される。操作部により第１の表示領域に表示される画像内で追尾点および追尾線の設定ならびに追尾点の追尾に関する指示が行われる。設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行されると、波形が表示部の第２の表示領域に表示される。この波形は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、第２の表示領域に表示された波形を観察することにより、追尾線上での追尾点の動きを容易に把握することができる。
【０００９】
ユーザが操作部により第２の表示領域に表示される波形の時間軸方向の位置を指定すると、指定された位置に対応するフレームの画像が第１の表示領域に表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を第１の表示領域に表示された画像により容易に観察することができる。
【００１０】
（２）操作部は、第１の表示領域に表示される画像のフレームを変更可能であり、制御部は、第２の表示領域に表示される波形において、第１の表示領域に表示される画像のフレームに対応する時間軸方向の位置を指定するための指標を第２の表示領域に表示させ、操作部による画像のフレームの変更の操作に基づいて、第１の表示領域に表示させる画像のフレームを変更するとともに、変更後の画像のフレームに対応する時間軸方向の位置を指定するように指標を第２の表示領域において移動させてもよい。
【００１１】
この場合、ユーザが操作部により第１の表示領域に表示させる画像のフレームを変更すると、変更後の画像のフレームに対応する時間軸方向の位置を指定するように指標が第２の表示領域において移動する。これにより、ユーザは、波形において任意のフレームの画像に対応する時間軸上の位置を容易に把握することができる。したがって、任意のフレームの画像における追尾点の時間変化を容易に認識することができる。
【００１２】
（３）制御部は、各フレームの画像において追尾線に重なる一定数の画素からなる画素列を抽出し、複数のフレームの画像から抽出された画素列を複数のフレームに対応する時間の順に時間軸に沿って配列することにより時空間画像を作成し、作成された時空間画像を第２の表示領域の波形に重なるように表示させてもよい。
【００１３】
この場合、波形と時空間画像とが第２の表示領域に重なるように表示される。したがって、追尾点の追尾が適切に実行されている場合、波形は、時空間画像の所定の画素値を有する複数の画素上に表示される。そのため、波形の各部分が時空間画像の所定の画素値を有する画素上に表示されているか否かを確認することにより追尾結果が適切であるか否かを容易に認識することができる。また、追尾線が不適切である期間を容易に特定することができる。
【００１４】
（４）制御部は、複数フレームの画像のうち一の画像を初期画像として第１の表示領域に表示させ、操作部により初期画像内で追尾点および追尾線が設定されかつ追尾の開始が指示された場合に、初期画像以降のフレームの画像について追尾動作を実行し、追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、新たな初期画像を第１の表示領域に表示させ、操作部により新たな初期画像内で追尾点が再設定されかつ追尾の開始が指示された場合に、新たな初期画像以降のフレームの画像について追尾動作を実行し、新たな初期画像以降のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を新たな初期画像より前のフレームの画像に対応する波形に続けて第２の表示領域に表示させてもよい。
【００１５】
この場合、複数フレームの画像のうち一の画像が初期画像として第１の表示領域に表示される。操作部により初期画像内で追尾点および追尾線が設定されかつ追尾の開始が指示された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【００１６】
追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が第１の表示領域に表示される。また、操作部により新たな初期画像内で追尾点が再設定されかつ追尾の開始が指示された場合、新たな初期画像以降のフレームの画像について追尾動作が実行され、新たな初期画像以降のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形が新たな初期画像より前のフレームの画像に対応する波形に続けて第２の表示領域に表示される。
【００１７】
これにより、追尾動作の実行中に追尾点の追尾が不適切になった場合、任意のフレームの初期画像から追尾動作を再開することができる。そのため、追尾が不適切になった最初のフレームの画像または追尾が不適切になった直前のフレームの画像を新たな初期画像とすることにより、適切に追尾が行われた期間の波形を保持しつつ、追尾が不適切になった期間における追尾動作を再度実行することができる。
【００１８】
また、新たな初期画像において追尾点を再設定することができるので、再開された追尾動作において各画像について適切に追尾動作が行われる確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果および波形を得ることが可能になる。
【００１９】
（５）操作部は、第２の表示領域に表示される波形の複数の位置を選択可能であり、制御部は、操作部により選択された複数の位置に基づいて、追尾点の物理量を算出してもよい。
【００２０】
この場合、波形上の複数の位置に基づいて追尾点の物理量を容易に認識することができる。
【００２１】
（６）操作部は、第１の表示領域に表示される画像内で複数組の追尾点および追尾線を設定可能であり、制御部は、操作部により複数組の追尾点および追尾線が設定された場合に、複数の追尾線上での追尾点の追尾動作を実行し、複数の追尾線についての追尾動作により識別された複数の追尾点の位置の時間変化をそれぞれ示す複数の波形を第２の表示領域に表示させてもよい。
【００２２】
この場合、第１の表示領域に表示される画像内で複数組の追尾点および追尾線を設定することができる。そのため、ユーザは、複数の追尾線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の複数の追尾点の状態を容易に観察することができる。
【００２３】
（７）第２の発明に係る動画追尾方法は、複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾方法であって、複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させるステップと、第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行するステップと、複数のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を表示部の第２の表示領域に表示させるステップと、第２の表示領域に表示される波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を第１の表示領域に表示させるステップとを含むものである。
【００２４】
この動画追尾方法においては、各フレームの画像データに基づいて表示部の第１の表示領域に画像が表示される。第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合、設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。また、波形が表示部の第２の表示領域に表示される。この波形は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、第２の表示領域に表示された波形を観察することにより、追尾線上での追尾点の動きを容易に把握することができる。
【００２５】
ユーザが第２の表示領域に表示される波形の時間軸方向の位置を指定すると、指定された位置に対応するフレームの画像が第１の表示領域に表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を第１の表示領域に表示された画像により容易に観察することができる。
【００２６】
（８）第３の発明に係る動画追尾プログラムは、複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する追尾処理を処理装置に実行させる動画追尾プログラムであって、複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させる処理と、第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行する処理と、複数のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を表示部の第２の表示領域に表示させる処理と、第２の表示領域に表示される波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を第１の表示領域に表示させる処理とを、処理装置に実行させるものである。
【００２７】
この動画追尾プログラムにおいては、各フレームの画像データに基づいて表示部の第１の表示領域に画像が表示される。第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合、設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。また、波形が表示部の第２の表示領域に表示される。この波形は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、第２の表示領域に表示された波形を観察することにより、追尾線上での追尾点の動きを容易に把握することができる。
【００２８】
ユーザが第２の表示領域に表示される波形の時間軸方向の位置を指定すると、指定された位置に対応するフレームの画像が第１の表示領域に表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を第１の表示領域に表示された画像により容易に観察することができる。
【発明の効果】
【００２９】
本発明によれば、線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の追尾点の状態を容易に観察することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態に係る動画追尾装置を備える画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】ファイル記憶処理により記憶部に記憶される動画ファイルの模式図である。
【図８】再生処理時の表示部の表示例を示す図である。
【図９】追尾処理の実行開始時における表示部の表示例を示す図である。
【図１０】画像表示領域に表示される動画の一例を示す図である。
【図１１】追尾点の追尾動作時における表示部の表示例を示す図である。
【図１２】追尾点の追尾動作時の画像表示領域に表示される動画の一例を示す図である。
【図１３】時空間画像を説明するための図である。
【図１４】追尾点の追尾動作終了時における表示部の表示例を示す図である。
【図１５】追尾点の解析時における表示部の表示例を示す図である。
【図１６】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図１７】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図１８】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図１９】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図２０】追尾点の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２１】追尾点の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２２】追尾処理実行中に制御部のＲＡＭに記憶されるデータを示す図である。
【図２３】動画追尾装置における動画および追尾結果変化線の表示処理を示すフローチャートである。
【図２４】動画追尾装置における動画および追尾結果変化線の表示処理を示すフローチャートである。
【図２５】表示処理実行中に制御部のＲＡＭに記憶されるデータを示す図である。
【図２６】第１の変形例における複数の追尾点を示す図である。
【図２７】第２の変形例における複数の追尾点を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施の形態に係る動画追尾装置、動画追尾方法および動画追尾プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る動画追尾装置を備える画像処理システムは表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００３２】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る動画追尾装置を備える画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、本体部１、カメラ２、照明装置３および操作部４を備える。本体部１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００３３】
本体部１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００３４】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００３５】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から本体部１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００３６】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００３７】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００３８】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００３９】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、本体部１と一体的に構成されてもよい。
【００４０】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４１】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００４２】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る動画追尾プログラムが記憶される。動画追尾プログラムの詳細は後述する。
【００４３】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００４４】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００４５】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００４６】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００４７】
このように、波形データを構成する複数の評価値は、複数フレームの画像データの取得中に得られる値である。
【００４８】
なお、図１において、本体部１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、本体部１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００４９】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および本体部１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された動画追尾プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５０】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５１】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０の画面上に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００５２】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は、時間を示し、縦軸は評価値を示す。例えば、評価値が画像表示領域Ｓａに表示される画像の平均輝度値である場合、波形表示領域Ｓｂには、画像の平均輝度値を縦軸とし、時間を横軸とする波形のグラフが表示される。
【００５３】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００５４】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００５５】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００５６】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定める。
【００５７】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００５８】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００５９】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６０】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６１】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００６２】
録画ボタンＳｅは後述する録画処理の開始のためにユーザにより操作部４を用いて操作される。
【００６３】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００６４】
本体部１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００６５】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００６６】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００６７】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００６８】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００６９】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７０】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７１】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００７２】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００７３】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００７４】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００７５】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００７６】
ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００７７】
図７は、ファイル記憶処理により記憶部４０に記憶される動画ファイルの模式図である。
【００７８】
例えば図３の録画部３０の動画データ記憶領域３０Ａに画像データｖ１〜ｖ１２が記憶され、波形データ記憶領域３０Ｂに評価値ｉ１〜ｉ１２が記憶されている状態でファイル記憶処理が行われる。この場合、図７に示すように、画像データｖ１〜ｖ１２および評価値ｉ１〜ｉ１２、ならびにファイル情報ｆｉを含む動画ファイルＦＡが生成され、生成された動画ファイルＦＡが記憶部４０に記憶される。
【００７９】
なお、ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等が含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００８０】
（２−４）再生処理
次に、再生処理について説明する。再生処理とは、カメラ２から順次与えられる複数フレームの画像データ、録画部３０に記憶される複数フレームの画像データまたは記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうち任意の連続する複数フレームの画像データに基づいて表示部２０に動画を表示することをいう。
【００８１】
まず、記憶部４０に記憶された動画ファイル中の画像データに基づく画像の再生処理について説明する。
【００８２】
記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルの動画データを再生対象として選択することができる。
【００８３】
図８は、再生処理時の表示部２０の表示例を示す図である。図７に示すように、例えばユーザにより操作部４を用いて１つの動画ファイルが選択されると、図１の表示部２０には、図６の表示例と同様に、画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび再生ボタンＳｇが表示されるとともに、図６のファイルボタンＳｊに代えて追尾ボタンＳｙが表示される。
【００８４】
ユーザにより操作部４を用いて再生ボタンＳｇが操作されると、制御部１０により再生処理が開始される。再生処理では、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイルに基づいて動画が再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８５】
この場合、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、画像表示領域Ｓａに現在表示される画像のフレームに対応する評価値（以下、対応評価値と呼ぶ。）の位置に現在表示位置バーＬを表示させる。画像表示領域Ｓａに表示される画像のフレームが変化することにより対応評価値が変化すると、制御部１０は、現在表示位置バーＬを時間軸上で左右に移動させる。
【００８６】
次に、録画処理の前の再生処理について説明する。録画処理の前には、制御部１０は、カメラ２から与えられる複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、複数フレームの画像データに基づく画像が図２の画像表示領域Ｓａに表示される。このようにして、カメラ２により撮影される被写体の動画が再生される。また、制御部１０は、波形収集部６０から与えられる波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８７】
さらに、録画処理終了時に録画部３０に記憶される画像データに基づく画像の再生処理について説明する。録画処理後に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されると、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される動画データに基づいて動画が再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８８】
（３）動画追尾装置
動画追尾装置は、図１の操作部４、制御部１０、表示部２０、記憶部４０およびビデオメモリ５０により構成される。動画追尾装置は、表示部２０に表示される動画中の指定された追尾点を一方向の追尾線上で追尾し、追尾結果を表示部２０に表示する追尾処理を行う。記憶部４０には、追尾処理を行うための追尾処理プログラムが記憶される。以下、追尾点を一方向の追尾線上で追尾することを一次元追尾と呼ぶ。
【００８９】
ユーザにより操作部４を用いて図８の追尾ボタンＳｙが操作されることにより、追尾処理を実行するための追尾モードが起動される。
【００９０】
図９は、追尾処理の実行開始時における表示部２０の表示例を示す図である。図９に示すように、追尾処理の実行開始時には、表示部２０の画面上に主に画像表示領域Ｔａ，Ｔｂ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、シークバーＴｆおよび追尾開始ボタンＴｈが表示される。
【００９１】
画像表示領域Ｔａには、ユーザにより操作部４を用いて選択された動画ファイルに基づく動画が表示される。画像表示領域Ｔｂには、画像表示領域Ｔａに表示される動画中の一次元追尾の追尾結果の位置の時間変化が折れ線（以下、追尾結果時間変化線と呼ぶ。）で表示されるとともに、ユーザにより操作部４を用いて設定された追尾線上の一次元領域の時空間画像が表示される。追尾結果時間変化線および時空間画像の詳細については後述する。
【００９２】
図１０は、画像表示領域Ｔａに表示される動画の一例を示す図である。ここで、ユーザにより選択された動画ファイルは、複数フレームの画像データｖ１〜ｖ８を含むものとする。図１０においては、時間軸は上段から下段へ延びている。後述する図１２の時間軸も図１０と同様である。図１０の上段から下段へ順に示されるように、複数フレームの画像データｖ１〜ｖ８に基づく複数の画像Ｖ１〜Ｖ８が画像表示領域Ｔａに順に表示される。
【００９３】
図１０の画像Ｖ１〜Ｖ８は、図１のカメラ２により撮影された回転するベルトコンベアＭを示す。ベルトコンベアＭは、２つのローラＭ１と、それらのローラＭ１に架け渡された輪状のベルトＭ２とにより構成される。図１０および後述する図１２においては、矢印Ｘ，Ｙ示すように、互いに直交する二方向をＸ方向およびＹ方向と定義する。本例では、Ｘ方向は２つのローラＭ１が並ぶ水平方向であり、Ｙ方向は鉛直方向である。２つのローラＭ１が回転することにより、ベルトＭ２が回転する。このとき、２つのローラＭ１間のベルトＭ２のたわみにより、ベルトＭ２はＹ方向およびその逆方向に振動する。
【００９４】
ユーザが図１の操作部４を用いて図９の再生ボタンＴｃを操作することにより、図１０のように画像Ｖ１〜Ｖ８を含む複数フレームの画像が画像表示領域Ｔａに表示される。このようにして動画が再生される。また、ユーザが図９の逆再生ボタンＴｅを操作することにより、現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｔａに順次表示（以下、逆再生と呼ぶ。）される。
【００９５】
動画の再生中または逆再生中にユーザが一時停止ボタンＴｄを操作することにより、画像表示領域Ｔａに画像が表示された状態で、動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで動画が高速で逆再生される。
【００９６】
シークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。スライダＴｇは、現時点で画像表示領域Ｔａに表示されている画像の時間軸上の位置を示す。動画の再生が進むにつれて、スライダＴｇがシークバーＴｆ上で一方向（本例では、表示部２０の画面の左から右）に移動する。同様に、動画の逆再生が進むにつれて、スライダＴｇがシークバーＴｆ上で他方向（本例では、表示部２０の画面の右から左）に移動する。ユーザは、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることにより、画像表示領域Ｔａに動画中の所望のフレームの画像を表示させることができる。それにより、所望の画像から動画の再生または逆再生を行うことができる。
【００９７】
ユーザが後述する操作により画像表示領域Ｔａに表示される画像中の追尾点および一次元の追尾領域を指定し、追尾開始ボタンＴｈを操作することにより、追尾点の一次元方向の追尾動作が開始される。図１１は、追尾点の追尾動作時における表示部２０の表示例を示す図である。図１１に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾停止ボタンＴｉが表示される。
【００９８】
図１２は、追尾点の追尾動作時の画像表示領域Ｔａに表示される動画の一例を示す図である。画像表示領域Ｔａには、画像Ｖ１〜Ｖ８を含む複数フレームの画像が順次表示される。図１２の例では、ベルトコンベアＭのベルトＭ２の上部の略中央部分が追尾点として指定されている。また、追尾点に交差するように交差するようにＹ方向の追尾線Ｒが設定されている。
【００９９】
一次元追尾では、基準となるフレームの画像中の追尾点を含む画像部分をテンプレートとして用い、各フレームの画像中の追尾線Ｒ上における追尾点の位置を識別する。識別された追尾線Ｒ上の位置が追尾結果となる。
【０１００】
図１２に示すように、画像表示領域Ｔａに表示される各画像上に、現フレームの画像における追尾結果を示すシンボルＳおよび以前のフレームの画像における追尾結果を示すシンボルＳが表示される。本例では、追尾結果を示すシンボルＳは三角形状を有する。
【０１０１】
なお、図１１の画像表示領域Ｔａには、第８フレームの画像Ｖ８が示されている。この状態ではユーザが追尾停止ボタンＴｉを操作すると、追尾動作実行中の画像（図１１の例では第８フレームの画像Ｖ８）および以前のフレームの画像（図１１の例では第１〜第７フレームの画像Ｖ１〜Ｖ７）の追尾結果を示すシンボルＳが表示された状態で、追尾点の追尾動作が一時停止する。
【０１０２】
図１１の画像表示領域Ｔｂには、画像表示領域Ｔａに表示される画像において得られる追尾結果時間変化線および一次元領域の時空間画像が重なるように順次表示される。追尾結果時間変化線は、追尾線Ｒ上において識別された追尾点の位置の時間変化を示す。
【０１０３】
図１３は、時空間画像を説明するための図である。図１３（ａ）は、第１の時点に画像表示領域Ｔａに表示される第１の画像を示す。図１３（ｂ）は、第１の時点から複数フレーム分経過した第２の時点に画像表示領域Ｔａに表示される第２の画像を示す。図１３（ｃ）は、第２の時点からさらに複数フレーム分経過した第３の時点に画像表示領域Ｔａに表示される第３の画像を示す。図１３（ａ）〜図１３（ｃ）に示すように、画像表示領域Ｔａの画像には、追尾線Ｒに重なる一定数の画素からなる範囲が抽出範囲Ｆとして設定されている。抽出範囲Ｆにより一次元の領域が設定される。抽出範囲Ｆに含まれる複数の画素を画素列と呼ぶ。
【０１０４】
図１３（ｄ）は、画像表示領域Ｔｂに表示される時空間画像を示す。時空間画像の横軸は時間軸である。図１３（ｄ）に示すように、時空間画像においては、第１〜第３の画像を含む複数フレームの画像における抽出範囲Ｆの画素列が、それぞれ縦軸の方向を向くように時間軸上に順に配列される。これにより、時空間画像が作成される。このように、時空間画像は、動画中において設定された抽出範囲Ｆの画素列の時間変化を示す。
【０１０５】
追尾結果時間変化線および時空間画像は、複数フレームの画像に対する追尾動作が進行するにつれて、画像表示領域Ｔｂの時間軸上の左から右に表示される。追尾結果時間変化線および時空間画像が画像表示領域Ｔｂの時間軸上の右端まで表示された後、全ての追尾結果時間変化線および時空間画像の全体が時間軸で１フレーム分左にシフトするとともに、最新のフレームの画像の追尾結果時間変化線および時空間画像の部分が右端に表示される。この場合、最も過去のフレームの画像の追尾結果時間変化線および時空間画像の部分は、画像表示領域Ｔｂ外へシフトするため、非表示になる。これに限らず、追尾結果時間変化線および時空間画像が画像表示領域Ｔｂの時間軸上の右端まで表示された場合、画像表示領域Ｔｂに追尾結果時間変化線および時空間画像の全体が表示されるように追尾結果時間変化線および時空間画像の表示倍率が調整されてもよい。
【０１０６】
追尾点の一次元追尾が適切に実行されている場合、追尾結果時間変化線は、時空間画像の所定の画素値を有する画素上に表示される。所定の画素値とは、予め設定された追尾点の画素値である。そのため、ユーザは、追尾結果時間変化線の各部分が時空間画像の所定の画素値を有する画素上に表示されているか否かを確認することにより容易に追尾結果が適切であるか否かを認識することができる。また、追尾結果が不適切である期間を容易に特定することができる。
【０１０７】
図１４は、追尾点の追尾動作終了時における表示部２０の表示例を示す図である。動画ファイルの最終フレームの画像における追尾点の追尾動作が終了すると、図１４に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾再開ボタンＴｊおよび解析ボタンＴｎが表示される。また、図９の画像表示領域Ｔｂに代えて主に終了ボタンＴｋがさらに表示される。画像表示領域Ｔａには、最終フレームの画像が表示されるとともに、画像上にすべてのフレームの画像における追尾結果を示す複数のシンボルＳが表示される。複数のシンボルＳが動画における追尾点の軌跡を示す。この状態で、ユーザは、逆再生ボタンＴｅおよび追尾再開ボタンＴｊを操作することにより、動画ファイルの所望のフレームの画像から順に追尾点の追尾動作を再度実行させることができる。
【０１０８】
また、追尾動作実行中にユーザが図１１の追尾停止ボタンＴｉを操作した場合にも、図１４の追尾動作終了時と同様に、表示部２０に追尾再開ボタンＴｊが表示されるとともに、主に終了ボタンＴｋがさらに表示される。この場合、ユーザは、追尾再開ボタンＴｊを操作することにより、追尾点の追尾動作を続行することができる。
【０１０９】
ユーザが終了ボタンＴｋまたは解析ボタンＴｎを操作した場合、図１の制御部１０は、図１４の画像表示領域Ｔａに表示されている複数のシンボルＳの位置を示す位置データを追尾結果として図１の記憶部４０に記憶させるとともに、時空間画像に対応する画素列データを記憶部４０に記憶させ、追尾処理を終了する。また、ユーザが解析ボタンＴｎを操作した場合には、以下に示すような追尾結果時間変化線の解析を行うことができる。
【０１１０】
図１５は、追尾点の解析時における表示部２０の表示例を示す図である。図１５に示すように、表示部２０の画面上には、図１４の終了ボタンＴｋに代えて画像表示領域Ｔｂが表示されるとともに、計測量表示領域Ｔｏがさらに表示される。制御部１０は、画像表示領域Ｔｂに追尾結果時間変化線および時空間画像の全体が表示されるように追尾結果時間変化線および時空間画像の表示倍率を調整する。
【０１１１】
図８の波形表示領域Ｓｂと同様に、画像表示領域Ｔｂ上に縦軸に平行な現在表示位置バーＬが表示される。画像表示領域Ｔｂ上には、画像表示領域Ｔｂの横軸に平行な第１および第２のカーソルＬ１，Ｌ２ならびに縦軸に平行な第３および第４のカーソルＬ３，Ｌ４がさらに表示される。画像表示領域Ｔａに表示される画像のフレーム、現在表示位置バーＬの位置およびシークバーＴｆのスライダＴｇの位置は相互に連動している。
【０１１２】
ユーザが再生ボタンＴｃまたは逆再生ボタンＴｅを操作して画像を再生または逆再生させる場合、制御部１０は、画像表示領域Ｔａに表示される画像のフレームに対応して現在表示位置バーＬおよびシークバーＴｆのスライダＴｇを左右に移動させる。同様に、ユーザが現在表示位置バーＬを左右に移動させる場合、制御部１０は、現在表示位置バーＬの位置に対応してシークバーＴｆのスライダＴｇを移動させるとともに、現在表示位置バーＬの位置に対応するフレームの画像を画像表示領域Ｔａに表示させる。ユーザがシークバーＴｆのスライダＴｇを左右に移動させる場合、制御部１０は、スライダＴｇの位置に対応して現在表示位置バーＬを移動させるとともに、スライダＴｇの位置に対応するフレームの画像を画像表示領域Ｔａに表示させる。
【０１１３】
追尾点が特徴的な変動を行う時点の画像を表示したい場合、図１５に示すように、ユーザは、現在表示位置バーＬまたはシークバーＴｆのスライダＴｇを、画像表示領域Ｔｂ上の追尾結果時間変化線の特徴的な部分に移動させる。これにより、現在表示位置バーＬにより指定される追尾結果時間変化線の位置に対応するフレームの画像が画像表示領域Ｔａに表示される。したがって、ユーザは、追尾点が特徴的な変動を行う時点の画像を容易に観察することができる。
【０１１４】
ユーザは、操作部４を用いて第１および第２のカーソルＬ１，Ｌ２を画像表示領域Ｔｂ内で縦軸の方向に移動させることができる。また、ユーザは、操作部４を用いて第３および第４のカーソルＬ３，Ｌ４を画像表示領域Ｔｂ内で横軸の方向に移動させることができる。
【０１１５】
制御部１０は、撮影倍率、表示倍率および１画素のサイズに基づいて第１および第２のカーソルＬ１，Ｌ２間の画素数を距離に換算し、換算された距離を計測量表示領域Ｔｏに表示する。したがって、ユーザは、追尾結果時間変化線上の任意の２点に第１および第２のカーソルＬ１，Ｌ２をそれぞれ位置させることにより、追尾結果時間変化線上の２点間の距離（本例においては、ベルトコンベアＭのベルトＭ２の上部の略中央部分の振動幅）を解析することができる。
【０１１６】
制御部１０は、第３および第４のカーソルＬ３，Ｌ４間の画素数を時間に換算し、換算された時間を計測量表示領域Ｔｏに表示する。画素数から時間への換算は、表示倍率および撮影フレームレートに基づいて行われる。したがって、ユーザは、追尾結果時間変化線上の任意の２点に第３および第４のカーソルＬ３，Ｌ４をそれぞれ位置させることにより、追尾結果時間変化線上の２点間の時間を解析することができる。
【０１１７】
また、制御部１０は、第３および第４のカーソルＬ３，Ｌ４間の追尾点の変動の速度を算出し、算出された速度を計測量表示領域Ｔｏに表示する。第３のカーソルＬ３と追尾結果時間変化線との交点を第１の交点と呼び、第４のカーソルＬ３と追尾結果時間変化線との交点を第２の交点と呼ぶ。制御部１０は、追尾結果時間変化線上で、第１の交点から第２の交点に至るまでの縦軸の方向の画素数を距離に換算し、換算された距離を第３および第４のカーソルＬ３，Ｌ４間の画素数に相当する時間で除算することにより、追尾点の変動の速度を算出する。これにより、ユーザは追尾点の変動の速度（本例においては、ベルトコンベアＭのベルトＭ２の上部の略中央部分が振動する速度）を解析することができる。さらに、速度および時間から加速度を算出することができる。
【０１１８】
このように、ユーザは追尾結果時間変化線上の複数のカーソルＬ１〜Ｌ４の位置間に相当する追尾点の距離、時間、速度および加速度を容易に認識することができる。
【０１１９】
（４）追尾点の追尾処理
図１６、図１７、図１８および図１９は、動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。図２０および図２１は、追尾点の追尾処理の実行中に画像表示領域Ｔａに表示される画像の遷移を示す図である。図２２は、追尾処理実行中に制御部１０のＲＡＭ１０ａに記憶されるデータを示す図である。制御部１０のＣＰＵは、記憶部４０に記憶される動画追尾プログラムに従って追尾処理を実行する。以下、図１６〜図２２を用いて制御部１０のＣＰＵ（以下、制御部１０と略記する。）による追尾点の追尾処理を説明する。
【０１２０】
図９の表示の状態で、ユーザが操作部４を用いて図１の記憶部４０に記憶された複数の動画ファイルのうちいずれかを選択する。それにより、制御部１０は、選択された動画ファイル中の複数フレームの画像データを読み出す（ステップＳ１）。この場合、読み出された複数フレームの画像データは図２２のＲＡＭ１０ａに記憶される。
【０１２１】
次に、制御部１０は、ＲＡＭ１０ａに記憶された画像データに基づく画像のうちユーザにより指定された画像（以下、初期画像と呼ぶ。）を、図１のビデオメモリ５０を介して画像表示領域Ｔａに表示する（ステップＳ２）。
【０１２２】
初期状態では、ＲＡＭ１０ａに記憶された第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として画像表示領域Ｔａに表示される。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃを操作することにより、初期画像を指定することができる。また、後述するように、追尾処理を再開させる場合には、ユーザにより指定された画像が初期画像として画像表示領域Ｔａに表示される。
【０１２３】
本例では、図２０（ａ）に示すように、第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として表示される。
【０１２４】
次に、制御部１０は、ユーザにより操作部４を用いて画像表示領域Ｔａ内の任意の位置が追尾点として指定されたか否かを判定する（ステップＳ３）。ユーザにより画像表示領域Ｔａ内の追尾点の位置が指定されていない場合、制御部１０は、ステップＳ２の処理に戻る。図２０（ｂ）に示すように、ユーザにより矢印のポインタで画像表示領域Ｔａ内の追尾点の位置が指定された場合、制御部１０は、指定された追尾点の位置に基づいて画像上でのシンボルＳ、テンプレートＴおよび追尾線Ｒの位置を決定する（ステップＳ４）。
【０１２５】
本例において、図２０（ｃ）に示すように、シンボルＳは三角形状を有し、テンプレートＴは矩形状を有する。追尾線Ｒは指定された追尾点を通るＹ方向の線分である。追尾線Ｒは、テンプレートＴのＹ方向のサイズよりも長い。シンボルＳの位置はユーザにより指定された追尾点の位置に一致する。テンプレートＴの中心は、シンボルＳの位置に一致する。追尾線Ｒは、全てのフレームの画像において追尾点を探索する範囲を示す。シンボルＳは、識別された追尾点の位置を示す。
【０１２６】
続いて、制御部１０は、決定されたシンボルＳの位置を示す位置データｓ１、テンプレートＴの位置を示す位置データｔｄおよび追尾線Ｒの位置を示す位置データｒｄを図２２に示すＲＡＭ１０ａに保存する（ステップＳ５）。また、制御部１０は、ＲＡＭ１０ａに記憶された位置データｓ１，ｔｄ，ｒｄに基づいて、画像表示領域ＴａにテンプレートＴ、シンボルＳおよび追尾線Ｒを表示する（ステップＳ６）。本例においては、図２０（ｄ）に示すように、追尾点であるベルトコンベアＭのベルトＭ２の上部の略中央部分にシンボルＳが表示される。また、シンボルＳを通るように追尾線Ｒが表示される。さらに、シンボルＳを取り囲むようにテンプレートＴが表示される。
【０１２７】
なお、シンボルＳの形状、テンプレートＴのサイズおよび追尾線Ｒの長さは、ユーザにより操作部４を用いて予め設定される。
【０１２８】
制御部１０は、ユーザによる操作部４の操作に基づいて、画像表示領域Ｔａ内の初期画像上でシンボルＳを移動させることができる。この場合、シンボルＳの移動に伴って、テンプレートＴおよび追尾線Ｒも移動する。また、制御部１０は、ユーザによる操作部４の操作に基づいて、テンプレートＴのサイズまたは追尾線Ｒの長さを変更することができる。
【０１２９】
さらに、制御部１０は、ユーザによる操作部４の操作に基づいて、同様の処理により、画像表示領域Ｔａの任意の位置に上記のシンボルＳ、テンプレートＴおよび追尾線Ｒとは異なる別のシンボル、テンプレートおよび追尾線を表示することができる。これにより、ユーザは、初期画像中に複数の追尾点を設定することができる。
【０１３０】
次に、制御部１０は、追尾動作の実行が指示されたか否かを判定する（ステップＳ７）。ここで、制御部１０は、ユーザが操作部４を用いて図９の追尾開始ボタンＴｈまたは図１４の追尾再開ボタンＴｊを操作したことを検出した場合、追尾動作の実行が指示されたと判定する。制御部１０は、追尾動作の実行が指示されない場合にはステップＳ２の処理に戻る。
【０１３１】
制御部１０は、追尾動作の実行が指示された場合、テンプレートＴ内の画像を基準画像データＲｅとしてＲＡＭ１０ａに記憶させる（ステップＳ８）。本例では、この時点で、制御部１０は、画像表示領域ＴａからテンプレートＴおよび追尾線Ｒの表示を消去する。その後、制御部１０は、追尾線Ｒに重なる一定数の画素からなる抽出範囲Ｆ（図１３参照）に含まれる画素列を画素列データｐ１としてＲＡＭ１０ａに記憶させる（ステップＳ９）。
【０１３２】
続いて、制御部１０は、画像表示領域Ｔａに次フレームの画像と以前のフレームの画像に対応するシンボルＳと表示する（ステップＳ１０）。本例では、図２０（ｅ）に示すように、制御部１０は、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳが表示される。また、制御部１０は、ＲＡＭ１０ａに記憶された位置データｓ１に基づいて画像表示領域Ｔｂに以前のフレームの画像Ｖ１に対応する追尾結果時間変化線を表示する（ステップＳ１１）。さらに、制御部１０は、ＲＡＭ１０ａに記憶された画素列データｐ１に基づいて画像表示領域Ｔｂに以前のフレームの画像Ｖ１に対応する画素列を表示する（ステップＳ１２）。
【０１３３】
ここで、制御部１０は、ＲＡＭ１０ａに記憶された基準画像データＲｅに基づいて、現フレームの画像の追尾線Ｒ上の追尾点の位置を識別する（ステップＳ１３）。本例では、図２０（ｅ）に示された第２フレームの画像Ｖ２のベルトＭ２の上部の略中央部分が追尾線Ｒ上で探索される。この場合、画像データｖ２のうち追尾線Ｒを含む画像部分に対応する部分のデータと基準画像データＲｅとのパターンマッチングによりベルトＭ２の上部の略中央部分の位置が識別される。
【０１３４】
続いて、制御部１０は、識別された追尾点の位置を新たなシンボルＳの位置として決定する（ステップＳ１４）。また、制御部１０は、新たなシンボルＳの位置を示す位置データｓ２をＲＡＭ１０ａに記憶させる（ステップＳ１５）。さらに、制御部１０は、抽出範囲Ｆ（図１３参照）に含まれる画素列を画素列データｐ２としてＲＡＭ１０ａに記憶させる（ステップＳ１６）。
【０１３５】
次に、制御部１０は、ＲＡＭ１０ａに記憶された新たな位置データｓ２に基づいて画像表示領域Ｔａに新たなシンボルＳを表示する（ステップＳ１７）。本例では、図２１（ａ）に示すように、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳおよび第２フレームの画像Ｖ２に対応するシンボルＳが表示される。また、制御部１０は、ＲＡＭ１０ａに記憶された新たな位置データｓ２に基づいて画像表示領域Ｔｂに新たな追尾結果時間変化線を表示する（ステップＳ１８）。さらに、制御部１０は、ＲＡＭ１０ａに記憶された新たな画素列データｐ２に基づいて画像表示領域Ｔｂに新たな画素列を表示する（ステップＳ１９）。
【０１３６】
次に、制御部１０は、画像表示領域Ｔａに複数フレームの画像のうち最終フレームの画像が表示されているか否かを判定する（ステップＳ２０）。
【０１３７】
画像表示領域Ｔａに最終フレームの画像が表示されていない場合、制御部１０は、一時停止が指示されたか否かを判定する（ステップＳ２１）。例えば、画像表示領域Ｔｂに表示されている追尾結果時間変化線が時空間画像の所定の画素値を有する画素上に表示されていない場合、ユーザは、追尾結果が適切でないと判断し、追尾停止ボタンＴｉを操作することができる。追尾停止ボタンＴｉが操作されたことを検出した場合、制御部１０は、一時停止が指示されたと判定する。
【０１３８】
一時停止が指示されていない場合には、制御部１０は、ステップＳ１０に戻り、ステップＳ１０〜Ｓ２０の処理を繰り返し実行する。本例では、図２１（ｂ）に示すように、画像表示領域Ｔａに第３フレームの画像Ｖ３が表示されるとともに、画像Ｖ３上に第１および第２フレームに対応するシンボルＳが表示される。また、画像表示領域Ｔｂに第１および第２フレームに対応する画素列が表示される。
【０１３９】
第３フレームの画像Ｖ３において追尾線Ｒ上で追尾点の位置が識別される。それにより、識別された追尾点の位置が新たなシンボルＳの位置として決定され、新たなシンボルＳの位置を示す位置データｓ３がＲＡＭ１０ａに記憶される。また、抽出範囲Ｆ（図１３参照）に含まれる画素列が画素列データｐ３としてＲＡＭ１０ａに記憶される。
【０１４０】
次いで、図２１（ｃ）に示すように、ＲＡＭ１０ａに記憶される位置データｓ３に基づいて第３フレームの画像Ｖ３上に新たなシンボルＳが表示される。また、ＲＡＭ１０ａに記憶される画素列データｐ３に基づいて画像表示領域Ｔｂに新たな画素列が表示される。
【０１４１】
ステップＳ２０において画像表示領域Ｔａに最終フレームの画像が表示されている場合またはステップＳ２１において一時停止が指示された場合には、制御部１０は、追尾動作の終了が指示されたか否かを判定する（ステップＳ２２）。例えば、図２１（ｄ）に示すように、ユーザは、画像表示領域Ｔａに表示される最終フレームの画像まで適切な一次元追尾が行われたと判断した場合、操作部４を用いて図１４の終了ボタンＴｋまたは解析ボタンＴｎを操作する。一方、追尾動作の実行後、または、追尾動作の実行中に一次元追尾が適切でないことに気付いた場合、ユーザは図１４の終了ボタンＴｋおよび解析ボタンＴｎを操作しない。
【０１４２】
制御部１０は、終了ボタンＴｋまたは解析ボタンＴｎが操作されたことを検出した場合、追尾動作の終了が指示されたと判定する。この場合、制御部１０は、ＲＡＭ１０ａに記憶されるシンボルＳの位置データを追尾結果として図１の記憶部４０に記憶させるとともに、時空間画像に対応する画素列データを記憶部４０に記憶させ（ステップＳ２３）、追尾処理を終了する。
【０１４３】
一方、ステップＳ２２において追尾動作の終了が指示されていない場合には、制御部１０は、ステップＳ２の処理に戻る。例えば、追尾動作の途中で一次元追尾が適切でなくなった場合、ステップＳ２において、ユーザは、操作部４を用いて図１４の逆再生ボタンＴｅまたはシークバーＴｆのスライダＴｇを操作することにより、一次元追尾が適切でなくなる前のフレームの画像を初期画像として指定することができる。また、ステップＳ３において、ユーザは、テンプレートＴのサイズおよび位置を変更することができる。ただし、追尾線Ｒの長さおよび位置を変更することができない。
【０１４４】
制御部１０は、ユーザによる操作部４の操作に基づいて、指定されたフレームの画像データに基づく画像を初期画像として画像表示領域Ｔａに表示する（ステップＳ２）。また、制御部１０は、指定されたフレームの画像より以前のフレームの画像に対応する位置データに基づいて画像表示領域Ｔｂに追尾結果時間変化線を表示する。さらに、制御部１０は、指定されたフレームの画像より以前のフレームの画像に対応する画素列データに基づいて画像表示領域Ｔｂに画素列を表示する。
【０１４５】
制御部１０は、ステップＳ２〜Ｓ２２の処理を繰り返す。これにより、追尾が適切でなくなった最初のフレームの画像または適切でなくなった直前のフレームの画像から追尾動作を再開することができる。これにより、図２１（ｄ）に示すように、全てのフレームの画像において追尾点であるベルトコンベアＭのベルトＭ２の上部の略中央部分に適切な追尾結果を示すシンボルＳが表示される。追尾結果を示す複数のシンボルＳにより、動画中の追尾点の軌跡が表示される。
【０１４６】
このように、複数フレームの画像のうち一の画像が初期画像として画像表示領域Ｔａに表示される。操作部４により初期画像内でシンボルＳ、テンプレートＴおよび追尾線Ｒが設定されかつ追尾開始ボタンＴｈが操作された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【０１４７】
追尾動作の停止または終了後に、操作部４により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が画像表示領域Ｔａに表示される。また、操作部４により新たな初期画像内でシンボルＳおよびテンプレートＴが再設定されかつ追尾再開ボタンＴｊが操作された場合、新たな初期画像以降のフレームの画像について追尾動作が実行され、新たな初期画像以降のフレームの画像に対応する追尾結果時間変化線が新たな初期画像より前のフレームの画像に対応する追尾結果時間変化線に続けて画像表示領域Ｔｂに表示される。
【０１４８】
これにより、追尾動作の実行中に追尾点の追尾が不適切になった場合、任意のフレームの初期画像から追尾動作を再開することができる。そのため、追尾が不適切になった最初のフレームの画像または追尾が不適切になった直前のフレームの画像を新たな初期画像とすることにより、適切に追尾が行われた期間の追尾結果時間変化線を保持しつつ、追尾が不適切になった期間における追尾動作を再度実行することができる。
【０１４９】
例えば、追尾結果時間変化線の一部が時空間画像の所定の値を有する画素値から外れている場合に、ユーザは追尾結果（追尾線Ｒ上でのシンボルＳの位置）が不適切であると判断することができる。その場合、追尾が不適切になった期間における追尾動作を再度実行することができる。
【０１５０】
また、新たな初期画像においてシンボルＳおよびテンプレートＴを再設定することができるので、再開された追尾動作において各画像について適切に追尾動作が行われる確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果および追尾結果時間変化線を得ることが可能になる。
【０１５１】
（５）動画および追尾結果変化線の表示処理
図２３および図２４は、動画追尾装置における動画および追尾結果変化線の表示処理を示すフローチャートである。図２５は、表示処理実行中に制御部１０のＲＡＭ１０ａに記憶されるデータを示す図である。制御部１０のＣＰＵは、記憶部４０に記憶される表示プログラムに従って表示処理を実行する。以下、図２３〜図２５を用いて制御部１０による動画および追尾結果変化線の表示処理を説明する。
【０１５２】
図１５の表示の状態で、ユーザが操作部４を用いて解析ボタンＴｎを操作することにより、動画および追尾結果変化線の表示処理が開始される。または、ユーザが操作部４を用いてまたは図１の記憶部４０に記憶された追尾処理後の動画ファイルを選択することにより、動画および追尾結果変化線の表示処理が開始される。
【０１５３】
制御部１０は、選択された動画ファイル中の複数フレームの画像データを読み出す（ステップＳ３１）。この場合、読み出された複数フレームの画像データは図２５のＲＡＭ１０ａに記憶される。また、制御部１０は、読み出された複数フレームの画像データに対応する複数のシンボルＳの位置データおよび画素列データを読み出す（ステップＳ３２）。この場合、読み出された複数のシンボルＳの位置データおよび画素列データはＲＡＭ１０ａに記憶される。
【０１５４】
次に、制御部１０は、ＲＡＭ１０ａに記憶された画像データに基づく画像のうちユーザにより指定された初期画像を、図１のビデオメモリ５０を介して画像表示領域Ｔａに表示する（ステップＳ３３）。初期状態では、ＲＡＭ１０ａに記憶された第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として画像表示領域Ｔａに表示される。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃを操作することにより、初期画像を指定することができる。
【０１５５】
また、制御部１０は、複数のシンボルＳの位置データおよび画素列データに基づいて時間変化線および時空間画像を画像表示領域Ｔｂに表示する（ステップＳ３４）。ここで、制御部１０は、画像表示領域Ｔａに表示される初期画像のフレームに対応する現在表示位置バーＬの位置データｂｄに基づいて画像表示領域Ｔｂに現在表示位置バーＬを表示する（ステップＳ３５）。初期状態では、第１フレームに対応する位置に現在表示位置バーＬが表示される。ユーザは、現在表示位置バーＬを移動させることができる。
【０１５６】
制御部１０は、ユーザにより現在表示位置バーＬが移動されたか否かを判定する（ステップＳ３６）。現在表示位置バーＬが移動された場合、制御部１０は、移動後の現在表示位置バーＬの位置データｂｄを決定する（ステップＳ３７）。また、制御部１０は、決定された現在表示位置バーＬの位置データｂｄに対応するフレームの画像データを決定する（ステップＳ３８）。
【０１５７】
また、制御部１０は、決定された画像データに基づく画像を画像表示領域Ｔａに表示する（ステップＳ３９）。その後、制御部１０は、ステップＳ３６の処理に戻る。
【０１５８】
一方、ステップＳ３６において、現在表示位置バーＬが移動されていない場合、制御部１０は、ユーザにより別のフレームの画像の表示が指定されたか否かを判定する（ステップＳ４０）。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃもしくは逆再生ボタンＴｅを操作することにより、別のフレームの画像の表示を指定することができる。ユーザにより別のフレームの画像の表示が指定されていない場合、制御部１０は、ステップＳ３６の処理に戻る。
【０１５９】
一方、ステップＳ４０において、ユーザにより別のフレームの画像の表示が指定された場合、制御部１０は、指定されたフレームの画像データを決定する（ステップＳ４１）。また、決定された画像データに対応する現在表示位置バーＬの位置を示す位置データｂｄを決定する（ステップＳ４２）。
【０１６０】
続いて、制御部１０は、決定された画像データに基づく画像を画像表示領域Ｔａに表示させる（ステップＳ４３）。また、制御部１０は、決定された位置データｂｄに基づいて画像表示領域Ｔｂに表示される現在表示位置バーＬを移動させる（ステップＳ４４）。その後、制御部１０は、ステップＳ３６の処理に戻る。
【０１６１】
これにより、画像表示領域Ｔａに表示される画像のフレームと現在表示位置バーＬの位置とが相互に連動される。その結果、現在表示位置バーＬを画像表示領域Ｔｂの追尾結果時間変化線上で移動させることにより、追尾結果時間変化線上の現在表示位置バーＬの位置に対応するフレームの画像を画像表示領域Ｔａに表示させることができる。また、画像表示領域Ｔａに表示される画像のフレームを変更することにより、変更後の画像のフレームに対応する追尾結果時間変化線の位置に現在表示位置バーＬを移動させることができる。
【０１６２】
（６）効果
本実施の形態に係る動画追尾装置においては、記憶部４０に記憶された各フレームの画像データに基づいて表示部２０の画像表示領域Ｔａに画像が表示される。操作部４により画像表示領域Ｔａに表示される画像内でシンボルＳ、テンプレートＴおよび追尾線Ｒの設定が行われ、追尾開始ボタンＴｈが操作された場合、設定された追尾線Ｒ上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。
【０１６３】
また、追尾結果時間変化線および時空間画像が表示部２０の画像表示領域Ｔｂに表示される。この追尾結果時間変化線は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、画像表示領域Ｔｂに表示された追尾結果時間変化線を観察することにより、追尾線Ｒ上での追尾点の動きを容易に把握することができる。
【０１６４】
ユーザが、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることによりまたは再生ボタンＴｃもしくは逆再生ボタンＴｅを操作することにより、現在表示位置バーＬを操作して画像表示領域Ｔｂに表示される追尾結果時間変化線の時間軸方向の位置を指定すると、現在表示位置バーＬにより指定された位置に対応するフレームの画像が画像表示領域Ｔａに表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を画像表示領域Ｔａに表示された画像により容易に観察することができる。
【０１６５】
同様に、ユーザが操作部４により画像表示領域Ｔａに表示させる画像のフレームを変更すると、変更後の画像のフレームに対応する時間軸方向の位置を指定するように現在表示位置バーＬが画像表示領域Ｔｂにおいて移動する。これにより、ユーザは、追尾結果時間変化線において任意のフレームの画像に対応する時間軸上の位置を容易に把握することができる。したがって、任意のフレームの画像における追尾点の時間変化を容易に認識することができる。
【０１６６】
（７）第１の変形例
図１６のステップＳ３，Ｓ４において、ユーザにより画像表示領域Ｔａ内の追尾点の位置が指定された場合、制御部１０は、指定された１つの追尾点の位置に基づいて画像上での１つのシンボルＳ、１つのテンプレートＴおよび１つの追尾線Ｒの位置を決定するが、これに限定されない。例えば、ユーザにより画像表示領域Ｔａ内の追尾点の位置が指定された場合、制御部１０は、指定された複数の追尾点の位置に対応する複数のシンボルＳ、複数のテンプレートＴおよび複数の追尾線Ｒの位置を画像上で決定してもよい。
【０１６７】
図２６は、第１の変形例における複数の追尾点を示す図である。図２６（ａ）の矢印のポインタで示すように、ユーザは、画像表示領域Ｔａに表示された画像上で追尾点を指定するために、操作部４を操作して線分Ｑ１を描くことができる。また、図２６（ｂ）矢印のポインタで示すように、ユーザは、画像表示領域Ｔａに表示された画像上で追尾点を指定するために、操作部４を操作して矩形枠Ｑ２を描くことができる。
【０１６８】
図２６（ａ）の線分Ｑ１が描かれた場合、制御部１０は、線分Ｑ１上に一定間隔で複数の追尾点を決定する。また、図２６（ｂ）の矩形枠Ｑ２が描かれた場合、制御部１０は矩形枠Ｑ２の長辺方向の二等分線上に一定間隔で複数の追尾点を決定する。このようにして、図２６（ｃ）に示すように、複数の追尾点が決定される。図２６（ｃ）の例では、５つの追尾点が決定されている。
【０１６９】
上記の例で、複数の追尾点の間隔が予め設定されていてもよい。この場合、追尾点の数は、描かれた線分Ｑ１の長さまたは矩形枠Ｑ２の長辺方向の二等分線の長さに応じて決定される。また、追尾点の数が予め設定されていてもよい。この場合、複数の追尾点の間隔は、描かれた線分Ｑ１の長さまたは矩形枠Ｑ２の長辺方向の二等分線の長さに応じて決定される。
【０１７０】
制御部１０は、決定された複数の追尾点の位置に基づいて画像上での複数のシンボルＳＡ〜ＳＥ、複数のテンプレートＴＡ〜ＴＥおよび複数の追尾線ＲＡ〜ＲＥの位置を決定する。複数のシンボルＳＡ〜ＳＥの形状、複数のテンプレートＴＡ〜ＴＥのサイズおよび複数の追尾線ＲＡ〜ＲＥの長さは、ユーザにより操作部４を用いて予め設定される。
【０１７１】
制御部１０は、ユーザによる操作部４の操作に基づいて、複数のテンプレートＴＡ〜ＴＥのサイズおよび位置ならびに複数の追尾線ＲＡ〜ＲＥの長さおよび位置を変更することができる。また、制御部１０は、１つのテンプレートのサイズまたは位置を変更した場合、その変更に連動して他のテンプレートのサイズまたは位置を同様に変更してもよい。さらに、制御部１０は、１つの追尾線の長さまたは位置を変更した場合、その変更に連動して他の追尾線の長さまたは位置を同様に変更してもよい。
【０１７２】
このように、第１の変形例に係る動画追尾装置においては、ユーザは画像表示領域Ｔａに表示される画像内で複数組のシンボルＳ、テンプレートＴおよび追尾線Ｒを容易に設定することができる。これにより、動画中の複数の追尾点の一次元追尾を容易に行うことができる。その結果、ユーザは、複数の追尾線Ｒ上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の複数の追尾点の状態を容易に観察することができる。
【０１７３】
（８）第２の変形例
図２７は、第２の変形例における複数の追尾点を示す図である。図２７には、矢印の向きに回転する円柱状のモータの回転軸Ｎの端面が示されている。図２７においては、矢印Ｘ，Ｙ示すように、互いに直交する二方向をＸ方向およびＹ方向と定義する。
【０１７４】
図２７（ａ）の矢印のポインタで示すように、ユーザは、画像表示領域Ｔａ内に表示される画像上で追尾点を指定するために、操作部４を操作してモータの回転軸Ｎの外周円上に複数の（本例では３つ）点Ｑ３を描くことができる。また、図２７（ｂ）の矢印のポインタで示すように、ユーザは、画像表示領域Ｔａ内に表示される画像上で追尾点を指定するために、操作部４を操作してモータの回転軸Ｎの外周円を挟むように２つの同心円Ｑ４を描くことができる。
【０１７５】
図２７（ａ）の複数の点Ｑ３が描かれた場合、制御部１０は、複数の点Ｑ３を通る仮想的な円上に所定の角度間隔で複数の追尾点を決定する。また、図２７（ｂ）の２つの同心円Ｑ４が描かれた場合、制御部１０は２つの同心円Ｑ４に挟まれる仮想的な円上に所定の角度間隔で複数の追尾点を決定する。仮想的な円は、モータの回転軸Ｎの外周円に略一致する。このようにして、図２７（ｃ）に示すように、複数の追尾点が決定される。図２７（ｃ）の例では、９０度の角度間隔で４つの追尾点が決定されている。
【０１７６】
上記の例で、角度間隔が予め設定されていてもよい。この場合、追尾点の数は、設定された角度間隔に応じて決定される。また、追尾点の数が予め設定されていてもよい。この場合、角度間隔は、設定された追尾点の数に応じて決定される。
【０１７７】
制御部１０は、決定された複数の追尾点の位置に基づいて画像上での複数のシンボルＳＡ〜ＳＤ、複数のテンプレートＴＡ〜ＴＤおよび複数の追尾線ＲＡ〜ＲＤの位置を決定する。複数のシンボルＳＡ〜ＳＤの形状、複数のテンプレートＴＡ〜ＴＤのサイズおよび複数の追尾線ＲＡ〜ＲＤの長さは、ユーザにより操作部４を用いて予め設定される。
【０１７８】
制御部１０は、ユーザによる操作部４の操作に基づいて、複数のテンプレートＴＡ〜ＴＤのサイズおよび位置ならびに複数の追尾線ＲＡ〜ＲＤの長さおよび位置を変更することができる。また、制御部１０は、１つのテンプレートのサイズまたは位置を変更した場合、その変更に連動して他のテンプレートのサイズまたは位置を同様に変更してもよい。さらに、制御部１０は、１つの追尾線の長さまたは位置を変更した場合、その変更に連動して他の追尾線の長さまたは位置を同様に変更してもよい。
【０１７９】
図２７（ｃ）においては、追尾線ＲＡ上の追尾点のＸ方向の変位をｘ１とし、追尾線ＲＢ上の追尾点のＸ方向の変位をｘ２とする。追尾線ＲＣ上の追尾点のＹ方向の変位をｙ１とし、追尾線ＲＤ上の追尾点のＹ方向の変位をｙ２とする。この場合、モータの回転軸ＮのＸ方向の変位ｘは、ｘ＝（ｘ１＋ｘ２）／２となり、モータの回転軸ＮのＹ方向の変位ｙは、ｙ＝（ｙ１＋ｙ２）／２となる。また、モータの回転軸Ｎの変位の大きさｒは、ｒ＝（ｘ２＋ｙ２）１／２となり、モータの回転軸Ｎの変位の方向θは、θ＝ｔａｎ−１（ｙ／ｘ）となる。
【０１８０】
制御部１０は、モータの回転軸ＮのＸ方向の変位ｘおよびＹ方向の変位ｙについての追尾結果時間変化線を画像表示領域Ｔｂに表示させる。また、制御部１０は、追尾線ＲＡ，ＲＢに重なる抽出範囲Ｆ（図１３参照）に含まれる画素列からなる時空間画像を画像表示領域Ｔｂに表示させる。さらに、制御部１０は、モータ回転軸のＮの変位の大きさｒおよびモータの回転軸Ｎの変位の方向θについての追尾結果時間変化線を画像表示領域Ｔｂに表示させてもよい。
【０１８１】
このように、第２の変形例に係る動画追尾装置においても、画像内で複数組のシンボルＳ、テンプレートＴおよび追尾線Ｒを容易に設定することができる。これにより、動画中の複数の追尾点の一次元追尾を容易に行うことができる。この場合、回転するモータ等の回転軸のＸ方向の変位、Ｙ方向の変位、回転軸の変位の大きさおよび回転軸の変位の方向についての追尾結果時間変化線および時空間画像を容易に表示させることができる。その結果、ユーザは、複数の追尾線Ｒ上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の複数の追尾点の状態を容易に観察することができる。
【０１８２】
（９）他の実施の形態
（９−１）上記の実施の形態に係る動画追尾装置において、追尾線Ｒは指定された追尾点を通るＹ方向の線分であるが、これに限定されない。追尾線Ｒは指定された追尾点を通るＸ方向または斜め方向の線分であってもよく、追尾点を通る曲線であってもよい。
【０１８３】
（９−２）上記の実施の形態に係る動画追尾装置において、画像表示領域Ｔｂに追尾結果時間変化線および時空間画像が表示されるが、これに限定されない。画像表示領域Ｔｂに時空間画像が表示されなくてもよい。
【０１８４】
（９−３）上記の実施の形態に係る動画追尾装置では、画像表示領域Ｔｂに表示される追尾結果時間変化線において、画像表示領域Ｔａに表示される画像のフレームに対応する時間軸方向の位置が、現在表示位置バーＬにより指定されるが、これに限定されない。例えば、画像表示領域Ｔｂに表示される追尾結果時間変化線において、画像表示領域Ｔａに表示される画像のフレームに対応する時間軸方向の位置が、他の形状の指標により指定されてもよい。
【０１８５】
（１０）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１８６】
画像Ｖ１〜Ｖ８が画像の例であり、追尾線Ｒが追尾線の例であり、画像データｖ１〜ｖ８が画像データの例であり、記憶部４０が記憶部の例であり、画像表示領域Ｔａが第１の表示領域の例であり、画像表示領域Ｔｂが第２の表示領域の例であり、表示部２０が表示部の例である。制御部１０が制御部または処理装置の例であり、操作部４が操作部の例であり、追尾結果時間変化線が波形の例であり、現在表示位置バーＬが指標の例であり、距離、時間、速度または加速度が物理量の例である。
【０１８７】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１８８】
本発明は、種々の画像処理システム、画像処理方法および画像処理プログラムに有効に利用することができる。
【符号の説明】
【０１８９】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
ｂｄ，ｒｄ，ｓ１〜ｓ６，ｔｄ 位置データ
Ｆ 抽出範囲
ＦＡ〜ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２ 評価値
Ｌ 現在表示位置バー
Ｌ１〜Ｌ４ カーソル
Ｎ 回転軸
Ｍ ベルトコンベア
Ｍ１ ローラ
Ｍ２ ベルト
ｐ１〜ｐ６ 画素列データ
Ｑ１ 線分
Ｑ２ 矩形枠
Ｑ３ 点
Ｑ４ 同心円
Ｒ，ＲＡ〜ＲＥ 追尾線
Ｓ，ＳＡ〜ＳＥ シンボル
Ｓａ，Ｔａ，Ｔｂ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ，Ｔｃ 再生ボタン
Ｓｊ ファイルボタン
Ｓｙ 追尾ボタン
Ｔ，ＴＡ〜ＴＥ テンプレート
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ シークバー
Ｔｇ スライダ
Ｔｈ 追尾開始ボタン
Ｔｉ 追尾停止ボタン
Ｔｊ 追尾再開ボタン
Ｔｋ 終了ボタン
Ｔｎ 解析ボタン
Ｔｏ 計測量表示領域
ｖ１〜ｖ１４ 画像データ
Ｗ 被写体
【技術分野】
【０００１】
本発明は、動画中の追尾点を追尾するための動画追尾装置、動画追尾方法および動画追尾プログラムに関する。
【背景技術】
【０００２】
動画中の追尾対象を追尾することにより動画中で移動する追尾対象の軌跡を表示する種々の方法が提案されている。
【０００３】
例えば、特許文献１に記載された動画データ解析プログラムによれば、作業者がモニタに表示された画像の任意の箇所を指定すると、軌跡表示手段が指定された箇所の軌跡をモニタに表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７１６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザは、特許文献１の動画データ解析プログラムによれば、追尾対象が二次元的な動作を行う場合には、モニタに表示された軌跡から追尾対象の動きの特徴的な部分を把握することができる。しかしながら、追尾対象が特徴的な動きを行なった場合における追尾対象の状態を確認することができない。また、追尾対象が線上を移動するような動きを行なう場合には、モニタに表示された軌跡から追尾対象の動きの特徴的な部分を把握することができず、追尾対象が特徴的な動きを行なった場合における追尾対象の状態を確認することもできない。
【０００６】
本発明の目的は、線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の追尾点の状態を容易に観察することが可能な動画追尾装置、動画追尾方法および動画追尾プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）第１の発明に係る動画追尾装置は、複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾装置であって、複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、第１および第２の表示領域を有する表示部と、記憶部に記憶された各フレームの画像データに基づいて第１の表示領域に画像を表示させる制御部と、第１の表示領域に表示される画像内での追尾点および追尾線の設定ならびに追尾点の追尾に関する指示を行なうためにユーザにより操作される操作部とを備え、制御部は、操作部により設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行し、複数のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を第２の表示領域に表示させ、操作部により第２の表示領域に表示される波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を第１の表示領域に表示させるものである。
【０００８】
この動画追尾装置においては、記憶部に記憶された各フレームの画像データに基づいて表示部の第１の表示領域に画像が表示される。操作部により第１の表示領域に表示される画像内で追尾点および追尾線の設定ならびに追尾点の追尾に関する指示が行われる。設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行されると、波形が表示部の第２の表示領域に表示される。この波形は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、第２の表示領域に表示された波形を観察することにより、追尾線上での追尾点の動きを容易に把握することができる。
【０００９】
ユーザが操作部により第２の表示領域に表示される波形の時間軸方向の位置を指定すると、指定された位置に対応するフレームの画像が第１の表示領域に表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を第１の表示領域に表示された画像により容易に観察することができる。
【００１０】
（２）操作部は、第１の表示領域に表示される画像のフレームを変更可能であり、制御部は、第２の表示領域に表示される波形において、第１の表示領域に表示される画像のフレームに対応する時間軸方向の位置を指定するための指標を第２の表示領域に表示させ、操作部による画像のフレームの変更の操作に基づいて、第１の表示領域に表示させる画像のフレームを変更するとともに、変更後の画像のフレームに対応する時間軸方向の位置を指定するように指標を第２の表示領域において移動させてもよい。
【００１１】
この場合、ユーザが操作部により第１の表示領域に表示させる画像のフレームを変更すると、変更後の画像のフレームに対応する時間軸方向の位置を指定するように指標が第２の表示領域において移動する。これにより、ユーザは、波形において任意のフレームの画像に対応する時間軸上の位置を容易に把握することができる。したがって、任意のフレームの画像における追尾点の時間変化を容易に認識することができる。
【００１２】
（３）制御部は、各フレームの画像において追尾線に重なる一定数の画素からなる画素列を抽出し、複数のフレームの画像から抽出された画素列を複数のフレームに対応する時間の順に時間軸に沿って配列することにより時空間画像を作成し、作成された時空間画像を第２の表示領域の波形に重なるように表示させてもよい。
【００１３】
この場合、波形と時空間画像とが第２の表示領域に重なるように表示される。したがって、追尾点の追尾が適切に実行されている場合、波形は、時空間画像の所定の画素値を有する複数の画素上に表示される。そのため、波形の各部分が時空間画像の所定の画素値を有する画素上に表示されているか否かを確認することにより追尾結果が適切であるか否かを容易に認識することができる。また、追尾線が不適切である期間を容易に特定することができる。
【００１４】
（４）制御部は、複数フレームの画像のうち一の画像を初期画像として第１の表示領域に表示させ、操作部により初期画像内で追尾点および追尾線が設定されかつ追尾の開始が指示された場合に、初期画像以降のフレームの画像について追尾動作を実行し、追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、新たな初期画像を第１の表示領域に表示させ、操作部により新たな初期画像内で追尾点が再設定されかつ追尾の開始が指示された場合に、新たな初期画像以降のフレームの画像について追尾動作を実行し、新たな初期画像以降のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を新たな初期画像より前のフレームの画像に対応する波形に続けて第２の表示領域に表示させてもよい。
【００１５】
この場合、複数フレームの画像のうち一の画像が初期画像として第１の表示領域に表示される。操作部により初期画像内で追尾点および追尾線が設定されかつ追尾の開始が指示された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【００１６】
追尾動作の停止または終了後に、操作部により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が第１の表示領域に表示される。また、操作部により新たな初期画像内で追尾点が再設定されかつ追尾の開始が指示された場合、新たな初期画像以降のフレームの画像について追尾動作が実行され、新たな初期画像以降のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形が新たな初期画像より前のフレームの画像に対応する波形に続けて第２の表示領域に表示される。
【００１７】
これにより、追尾動作の実行中に追尾点の追尾が不適切になった場合、任意のフレームの初期画像から追尾動作を再開することができる。そのため、追尾が不適切になった最初のフレームの画像または追尾が不適切になった直前のフレームの画像を新たな初期画像とすることにより、適切に追尾が行われた期間の波形を保持しつつ、追尾が不適切になった期間における追尾動作を再度実行することができる。
【００１８】
また、新たな初期画像において追尾点を再設定することができるので、再開された追尾動作において各画像について適切に追尾動作が行われる確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果および波形を得ることが可能になる。
【００１９】
（５）操作部は、第２の表示領域に表示される波形の複数の位置を選択可能であり、制御部は、操作部により選択された複数の位置に基づいて、追尾点の物理量を算出してもよい。
【００２０】
この場合、波形上の複数の位置に基づいて追尾点の物理量を容易に認識することができる。
【００２１】
（６）操作部は、第１の表示領域に表示される画像内で複数組の追尾点および追尾線を設定可能であり、制御部は、操作部により複数組の追尾点および追尾線が設定された場合に、複数の追尾線上での追尾点の追尾動作を実行し、複数の追尾線についての追尾動作により識別された複数の追尾点の位置の時間変化をそれぞれ示す複数の波形を第２の表示領域に表示させてもよい。
【００２２】
この場合、第１の表示領域に表示される画像内で複数組の追尾点および追尾線を設定することができる。そのため、ユーザは、複数の追尾線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の複数の追尾点の状態を容易に観察することができる。
【００２３】
（７）第２の発明に係る動画追尾方法は、複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾方法であって、複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させるステップと、第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行するステップと、複数のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を表示部の第２の表示領域に表示させるステップと、第２の表示領域に表示される波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を第１の表示領域に表示させるステップとを含むものである。
【００２４】
この動画追尾方法においては、各フレームの画像データに基づいて表示部の第１の表示領域に画像が表示される。第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合、設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。また、波形が表示部の第２の表示領域に表示される。この波形は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、第２の表示領域に表示された波形を観察することにより、追尾線上での追尾点の動きを容易に把握することができる。
【００２５】
ユーザが第２の表示領域に表示される波形の時間軸方向の位置を指定すると、指定された位置に対応するフレームの画像が第１の表示領域に表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を第１の表示領域に表示された画像により容易に観察することができる。
【００２６】
（８）第３の発明に係る動画追尾プログラムは、複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する追尾処理を処理装置に実行させる動画追尾プログラムであって、複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させる処理と、第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行する処理と、複数のフレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す波形を表示部の第２の表示領域に表示させる処理と、第２の表示領域に表示される波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を第１の表示領域に表示させる処理とを、処理装置に実行させるものである。
【００２７】
この動画追尾プログラムにおいては、各フレームの画像データに基づいて表示部の第１の表示領域に画像が表示される。第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合、設定された追尾線上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。また、波形が表示部の第２の表示領域に表示される。この波形は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、第２の表示領域に表示された波形を観察することにより、追尾線上での追尾点の動きを容易に把握することができる。
【００２８】
ユーザが第２の表示領域に表示される波形の時間軸方向の位置を指定すると、指定された位置に対応するフレームの画像が第１の表示領域に表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を第１の表示領域に表示された画像により容易に観察することができる。
【発明の効果】
【００２９】
本発明によれば、線上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の追尾点の状態を容易に観察することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態に係る動画追尾装置を備える画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】ファイル記憶処理により記憶部に記憶される動画ファイルの模式図である。
【図８】再生処理時の表示部の表示例を示す図である。
【図９】追尾処理の実行開始時における表示部の表示例を示す図である。
【図１０】画像表示領域に表示される動画の一例を示す図である。
【図１１】追尾点の追尾動作時における表示部の表示例を示す図である。
【図１２】追尾点の追尾動作時の画像表示領域に表示される動画の一例を示す図である。
【図１３】時空間画像を説明するための図である。
【図１４】追尾点の追尾動作終了時における表示部の表示例を示す図である。
【図１５】追尾点の解析時における表示部の表示例を示す図である。
【図１６】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図１７】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図１８】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図１９】動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。
【図２０】追尾点の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２１】追尾点の追尾処理の実行中に画像表示領域に表示される画像の遷移を示す図である。
【図２２】追尾処理実行中に制御部のＲＡＭに記憶されるデータを示す図である。
【図２３】動画追尾装置における動画および追尾結果変化線の表示処理を示すフローチャートである。
【図２４】動画追尾装置における動画および追尾結果変化線の表示処理を示すフローチャートである。
【図２５】表示処理実行中に制御部のＲＡＭに記憶されるデータを示す図である。
【図２６】第１の変形例における複数の追尾点を示す図である。
【図２７】第２の変形例における複数の追尾点を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施の形態に係る動画追尾装置、動画追尾方法および動画追尾プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る動画追尾装置を備える画像処理システムは表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００３２】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る動画追尾装置を備える画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、本体部１、カメラ２、照明装置３および操作部４を備える。本体部１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００３３】
本体部１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００３４】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００３５】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から本体部１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００３６】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００３７】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００３８】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００３９】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、本体部１と一体的に構成されてもよい。
【００４０】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４１】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００４２】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る動画追尾プログラムが記憶される。動画追尾プログラムの詳細は後述する。
【００４３】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００４４】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００４５】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００４６】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００４７】
このように、波形データを構成する複数の評価値は、複数フレームの画像データの取得中に得られる値である。
【００４８】
なお、図１において、本体部１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、本体部１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００４９】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および本体部１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された動画追尾プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５０】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５１】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０の画面上に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００５２】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は、時間を示し、縦軸は評価値を示す。例えば、評価値が画像表示領域Ｓａに表示される画像の平均輝度値である場合、波形表示領域Ｓｂには、画像の平均輝度値を縦軸とし、時間を横軸とする波形のグラフが表示される。
【００５３】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００５４】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００５５】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００５６】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定める。
【００５７】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００５８】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００５９】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６０】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６１】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００６２】
録画ボタンＳｅは後述する録画処理の開始のためにユーザにより操作部４を用いて操作される。
【００６３】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００６４】
本体部１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００６５】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００６６】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００６７】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００６８】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００６９】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７０】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７１】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００７２】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００７３】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００７４】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００７５】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００７６】
ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００７７】
図７は、ファイル記憶処理により記憶部４０に記憶される動画ファイルの模式図である。
【００７８】
例えば図３の録画部３０の動画データ記憶領域３０Ａに画像データｖ１〜ｖ１２が記憶され、波形データ記憶領域３０Ｂに評価値ｉ１〜ｉ１２が記憶されている状態でファイル記憶処理が行われる。この場合、図７に示すように、画像データｖ１〜ｖ１２および評価値ｉ１〜ｉ１２、ならびにファイル情報ｆｉを含む動画ファイルＦＡが生成され、生成された動画ファイルＦＡが記憶部４０に記憶される。
【００７９】
なお、ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等が含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００８０】
（２−４）再生処理
次に、再生処理について説明する。再生処理とは、カメラ２から順次与えられる複数フレームの画像データ、録画部３０に記憶される複数フレームの画像データまたは記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうち任意の連続する複数フレームの画像データに基づいて表示部２０に動画を表示することをいう。
【００８１】
まず、記憶部４０に記憶された動画ファイル中の画像データに基づく画像の再生処理について説明する。
【００８２】
記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルの動画データを再生対象として選択することができる。
【００８３】
図８は、再生処理時の表示部２０の表示例を示す図である。図７に示すように、例えばユーザにより操作部４を用いて１つの動画ファイルが選択されると、図１の表示部２０には、図６の表示例と同様に、画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび再生ボタンＳｇが表示されるとともに、図６のファイルボタンＳｊに代えて追尾ボタンＳｙが表示される。
【００８４】
ユーザにより操作部４を用いて再生ボタンＳｇが操作されると、制御部１０により再生処理が開始される。再生処理では、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイルに基づいて動画が再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８５】
この場合、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、画像表示領域Ｓａに現在表示される画像のフレームに対応する評価値（以下、対応評価値と呼ぶ。）の位置に現在表示位置バーＬを表示させる。画像表示領域Ｓａに表示される画像のフレームが変化することにより対応評価値が変化すると、制御部１０は、現在表示位置バーＬを時間軸上で左右に移動させる。
【００８６】
次に、録画処理の前の再生処理について説明する。録画処理の前には、制御部１０は、カメラ２から与えられる複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、複数フレームの画像データに基づく画像が図２の画像表示領域Ｓａに表示される。このようにして、カメラ２により撮影される被写体の動画が再生される。また、制御部１０は、波形収集部６０から与えられる波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８７】
さらに、録画処理終了時に録画部３０に記憶される画像データに基づく画像の再生処理について説明する。録画処理後に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されると、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される動画データに基づいて動画が再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８８】
（３）動画追尾装置
動画追尾装置は、図１の操作部４、制御部１０、表示部２０、記憶部４０およびビデオメモリ５０により構成される。動画追尾装置は、表示部２０に表示される動画中の指定された追尾点を一方向の追尾線上で追尾し、追尾結果を表示部２０に表示する追尾処理を行う。記憶部４０には、追尾処理を行うための追尾処理プログラムが記憶される。以下、追尾点を一方向の追尾線上で追尾することを一次元追尾と呼ぶ。
【００８９】
ユーザにより操作部４を用いて図８の追尾ボタンＳｙが操作されることにより、追尾処理を実行するための追尾モードが起動される。
【００９０】
図９は、追尾処理の実行開始時における表示部２０の表示例を示す図である。図９に示すように、追尾処理の実行開始時には、表示部２０の画面上に主に画像表示領域Ｔａ，Ｔｂ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、シークバーＴｆおよび追尾開始ボタンＴｈが表示される。
【００９１】
画像表示領域Ｔａには、ユーザにより操作部４を用いて選択された動画ファイルに基づく動画が表示される。画像表示領域Ｔｂには、画像表示領域Ｔａに表示される動画中の一次元追尾の追尾結果の位置の時間変化が折れ線（以下、追尾結果時間変化線と呼ぶ。）で表示されるとともに、ユーザにより操作部４を用いて設定された追尾線上の一次元領域の時空間画像が表示される。追尾結果時間変化線および時空間画像の詳細については後述する。
【００９２】
図１０は、画像表示領域Ｔａに表示される動画の一例を示す図である。ここで、ユーザにより選択された動画ファイルは、複数フレームの画像データｖ１〜ｖ８を含むものとする。図１０においては、時間軸は上段から下段へ延びている。後述する図１２の時間軸も図１０と同様である。図１０の上段から下段へ順に示されるように、複数フレームの画像データｖ１〜ｖ８に基づく複数の画像Ｖ１〜Ｖ８が画像表示領域Ｔａに順に表示される。
【００９３】
図１０の画像Ｖ１〜Ｖ８は、図１のカメラ２により撮影された回転するベルトコンベアＭを示す。ベルトコンベアＭは、２つのローラＭ１と、それらのローラＭ１に架け渡された輪状のベルトＭ２とにより構成される。図１０および後述する図１２においては、矢印Ｘ，Ｙ示すように、互いに直交する二方向をＸ方向およびＹ方向と定義する。本例では、Ｘ方向は２つのローラＭ１が並ぶ水平方向であり、Ｙ方向は鉛直方向である。２つのローラＭ１が回転することにより、ベルトＭ２が回転する。このとき、２つのローラＭ１間のベルトＭ２のたわみにより、ベルトＭ２はＹ方向およびその逆方向に振動する。
【００９４】
ユーザが図１の操作部４を用いて図９の再生ボタンＴｃを操作することにより、図１０のように画像Ｖ１〜Ｖ８を含む複数フレームの画像が画像表示領域Ｔａに表示される。このようにして動画が再生される。また、ユーザが図９の逆再生ボタンＴｅを操作することにより、現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｔａに順次表示（以下、逆再生と呼ぶ。）される。
【００９５】
動画の再生中または逆再生中にユーザが一時停止ボタンＴｄを操作することにより、画像表示領域Ｔａに画像が表示された状態で、動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで動画が高速で逆再生される。
【００９６】
シークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。スライダＴｇは、現時点で画像表示領域Ｔａに表示されている画像の時間軸上の位置を示す。動画の再生が進むにつれて、スライダＴｇがシークバーＴｆ上で一方向（本例では、表示部２０の画面の左から右）に移動する。同様に、動画の逆再生が進むにつれて、スライダＴｇがシークバーＴｆ上で他方向（本例では、表示部２０の画面の右から左）に移動する。ユーザは、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることにより、画像表示領域Ｔａに動画中の所望のフレームの画像を表示させることができる。それにより、所望の画像から動画の再生または逆再生を行うことができる。
【００９７】
ユーザが後述する操作により画像表示領域Ｔａに表示される画像中の追尾点および一次元の追尾領域を指定し、追尾開始ボタンＴｈを操作することにより、追尾点の一次元方向の追尾動作が開始される。図１１は、追尾点の追尾動作時における表示部２０の表示例を示す図である。図１１に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾停止ボタンＴｉが表示される。
【００９８】
図１２は、追尾点の追尾動作時の画像表示領域Ｔａに表示される動画の一例を示す図である。画像表示領域Ｔａには、画像Ｖ１〜Ｖ８を含む複数フレームの画像が順次表示される。図１２の例では、ベルトコンベアＭのベルトＭ２の上部の略中央部分が追尾点として指定されている。また、追尾点に交差するように交差するようにＹ方向の追尾線Ｒが設定されている。
【００９９】
一次元追尾では、基準となるフレームの画像中の追尾点を含む画像部分をテンプレートとして用い、各フレームの画像中の追尾線Ｒ上における追尾点の位置を識別する。識別された追尾線Ｒ上の位置が追尾結果となる。
【０１００】
図１２に示すように、画像表示領域Ｔａに表示される各画像上に、現フレームの画像における追尾結果を示すシンボルＳおよび以前のフレームの画像における追尾結果を示すシンボルＳが表示される。本例では、追尾結果を示すシンボルＳは三角形状を有する。
【０１０１】
なお、図１１の画像表示領域Ｔａには、第８フレームの画像Ｖ８が示されている。この状態ではユーザが追尾停止ボタンＴｉを操作すると、追尾動作実行中の画像（図１１の例では第８フレームの画像Ｖ８）および以前のフレームの画像（図１１の例では第１〜第７フレームの画像Ｖ１〜Ｖ７）の追尾結果を示すシンボルＳが表示された状態で、追尾点の追尾動作が一時停止する。
【０１０２】
図１１の画像表示領域Ｔｂには、画像表示領域Ｔａに表示される画像において得られる追尾結果時間変化線および一次元領域の時空間画像が重なるように順次表示される。追尾結果時間変化線は、追尾線Ｒ上において識別された追尾点の位置の時間変化を示す。
【０１０３】
図１３は、時空間画像を説明するための図である。図１３（ａ）は、第１の時点に画像表示領域Ｔａに表示される第１の画像を示す。図１３（ｂ）は、第１の時点から複数フレーム分経過した第２の時点に画像表示領域Ｔａに表示される第２の画像を示す。図１３（ｃ）は、第２の時点からさらに複数フレーム分経過した第３の時点に画像表示領域Ｔａに表示される第３の画像を示す。図１３（ａ）〜図１３（ｃ）に示すように、画像表示領域Ｔａの画像には、追尾線Ｒに重なる一定数の画素からなる範囲が抽出範囲Ｆとして設定されている。抽出範囲Ｆにより一次元の領域が設定される。抽出範囲Ｆに含まれる複数の画素を画素列と呼ぶ。
【０１０４】
図１３（ｄ）は、画像表示領域Ｔｂに表示される時空間画像を示す。時空間画像の横軸は時間軸である。図１３（ｄ）に示すように、時空間画像においては、第１〜第３の画像を含む複数フレームの画像における抽出範囲Ｆの画素列が、それぞれ縦軸の方向を向くように時間軸上に順に配列される。これにより、時空間画像が作成される。このように、時空間画像は、動画中において設定された抽出範囲Ｆの画素列の時間変化を示す。
【０１０５】
追尾結果時間変化線および時空間画像は、複数フレームの画像に対する追尾動作が進行するにつれて、画像表示領域Ｔｂの時間軸上の左から右に表示される。追尾結果時間変化線および時空間画像が画像表示領域Ｔｂの時間軸上の右端まで表示された後、全ての追尾結果時間変化線および時空間画像の全体が時間軸で１フレーム分左にシフトするとともに、最新のフレームの画像の追尾結果時間変化線および時空間画像の部分が右端に表示される。この場合、最も過去のフレームの画像の追尾結果時間変化線および時空間画像の部分は、画像表示領域Ｔｂ外へシフトするため、非表示になる。これに限らず、追尾結果時間変化線および時空間画像が画像表示領域Ｔｂの時間軸上の右端まで表示された場合、画像表示領域Ｔｂに追尾結果時間変化線および時空間画像の全体が表示されるように追尾結果時間変化線および時空間画像の表示倍率が調整されてもよい。
【０１０６】
追尾点の一次元追尾が適切に実行されている場合、追尾結果時間変化線は、時空間画像の所定の画素値を有する画素上に表示される。所定の画素値とは、予め設定された追尾点の画素値である。そのため、ユーザは、追尾結果時間変化線の各部分が時空間画像の所定の画素値を有する画素上に表示されているか否かを確認することにより容易に追尾結果が適切であるか否かを認識することができる。また、追尾結果が不適切である期間を容易に特定することができる。
【０１０７】
図１４は、追尾点の追尾動作終了時における表示部２０の表示例を示す図である。動画ファイルの最終フレームの画像における追尾点の追尾動作が終了すると、図１４に示すように、表示部２０の画面上には、図９の追尾開始ボタンＴｈに代えて追尾再開ボタンＴｊおよび解析ボタンＴｎが表示される。また、図９の画像表示領域Ｔｂに代えて主に終了ボタンＴｋがさらに表示される。画像表示領域Ｔａには、最終フレームの画像が表示されるとともに、画像上にすべてのフレームの画像における追尾結果を示す複数のシンボルＳが表示される。複数のシンボルＳが動画における追尾点の軌跡を示す。この状態で、ユーザは、逆再生ボタンＴｅおよび追尾再開ボタンＴｊを操作することにより、動画ファイルの所望のフレームの画像から順に追尾点の追尾動作を再度実行させることができる。
【０１０８】
また、追尾動作実行中にユーザが図１１の追尾停止ボタンＴｉを操作した場合にも、図１４の追尾動作終了時と同様に、表示部２０に追尾再開ボタンＴｊが表示されるとともに、主に終了ボタンＴｋがさらに表示される。この場合、ユーザは、追尾再開ボタンＴｊを操作することにより、追尾点の追尾動作を続行することができる。
【０１０９】
ユーザが終了ボタンＴｋまたは解析ボタンＴｎを操作した場合、図１の制御部１０は、図１４の画像表示領域Ｔａに表示されている複数のシンボルＳの位置を示す位置データを追尾結果として図１の記憶部４０に記憶させるとともに、時空間画像に対応する画素列データを記憶部４０に記憶させ、追尾処理を終了する。また、ユーザが解析ボタンＴｎを操作した場合には、以下に示すような追尾結果時間変化線の解析を行うことができる。
【０１１０】
図１５は、追尾点の解析時における表示部２０の表示例を示す図である。図１５に示すように、表示部２０の画面上には、図１４の終了ボタンＴｋに代えて画像表示領域Ｔｂが表示されるとともに、計測量表示領域Ｔｏがさらに表示される。制御部１０は、画像表示領域Ｔｂに追尾結果時間変化線および時空間画像の全体が表示されるように追尾結果時間変化線および時空間画像の表示倍率を調整する。
【０１１１】
図８の波形表示領域Ｓｂと同様に、画像表示領域Ｔｂ上に縦軸に平行な現在表示位置バーＬが表示される。画像表示領域Ｔｂ上には、画像表示領域Ｔｂの横軸に平行な第１および第２のカーソルＬ１，Ｌ２ならびに縦軸に平行な第３および第４のカーソルＬ３，Ｌ４がさらに表示される。画像表示領域Ｔａに表示される画像のフレーム、現在表示位置バーＬの位置およびシークバーＴｆのスライダＴｇの位置は相互に連動している。
【０１１２】
ユーザが再生ボタンＴｃまたは逆再生ボタンＴｅを操作して画像を再生または逆再生させる場合、制御部１０は、画像表示領域Ｔａに表示される画像のフレームに対応して現在表示位置バーＬおよびシークバーＴｆのスライダＴｇを左右に移動させる。同様に、ユーザが現在表示位置バーＬを左右に移動させる場合、制御部１０は、現在表示位置バーＬの位置に対応してシークバーＴｆのスライダＴｇを移動させるとともに、現在表示位置バーＬの位置に対応するフレームの画像を画像表示領域Ｔａに表示させる。ユーザがシークバーＴｆのスライダＴｇを左右に移動させる場合、制御部１０は、スライダＴｇの位置に対応して現在表示位置バーＬを移動させるとともに、スライダＴｇの位置に対応するフレームの画像を画像表示領域Ｔａに表示させる。
【０１１３】
追尾点が特徴的な変動を行う時点の画像を表示したい場合、図１５に示すように、ユーザは、現在表示位置バーＬまたはシークバーＴｆのスライダＴｇを、画像表示領域Ｔｂ上の追尾結果時間変化線の特徴的な部分に移動させる。これにより、現在表示位置バーＬにより指定される追尾結果時間変化線の位置に対応するフレームの画像が画像表示領域Ｔａに表示される。したがって、ユーザは、追尾点が特徴的な変動を行う時点の画像を容易に観察することができる。
【０１１４】
ユーザは、操作部４を用いて第１および第２のカーソルＬ１，Ｌ２を画像表示領域Ｔｂ内で縦軸の方向に移動させることができる。また、ユーザは、操作部４を用いて第３および第４のカーソルＬ３，Ｌ４を画像表示領域Ｔｂ内で横軸の方向に移動させることができる。
【０１１５】
制御部１０は、撮影倍率、表示倍率および１画素のサイズに基づいて第１および第２のカーソルＬ１，Ｌ２間の画素数を距離に換算し、換算された距離を計測量表示領域Ｔｏに表示する。したがって、ユーザは、追尾結果時間変化線上の任意の２点に第１および第２のカーソルＬ１，Ｌ２をそれぞれ位置させることにより、追尾結果時間変化線上の２点間の距離（本例においては、ベルトコンベアＭのベルトＭ２の上部の略中央部分の振動幅）を解析することができる。
【０１１６】
制御部１０は、第３および第４のカーソルＬ３，Ｌ４間の画素数を時間に換算し、換算された時間を計測量表示領域Ｔｏに表示する。画素数から時間への換算は、表示倍率および撮影フレームレートに基づいて行われる。したがって、ユーザは、追尾結果時間変化線上の任意の２点に第３および第４のカーソルＬ３，Ｌ４をそれぞれ位置させることにより、追尾結果時間変化線上の２点間の時間を解析することができる。
【０１１７】
また、制御部１０は、第３および第４のカーソルＬ３，Ｌ４間の追尾点の変動の速度を算出し、算出された速度を計測量表示領域Ｔｏに表示する。第３のカーソルＬ３と追尾結果時間変化線との交点を第１の交点と呼び、第４のカーソルＬ３と追尾結果時間変化線との交点を第２の交点と呼ぶ。制御部１０は、追尾結果時間変化線上で、第１の交点から第２の交点に至るまでの縦軸の方向の画素数を距離に換算し、換算された距離を第３および第４のカーソルＬ３，Ｌ４間の画素数に相当する時間で除算することにより、追尾点の変動の速度を算出する。これにより、ユーザは追尾点の変動の速度（本例においては、ベルトコンベアＭのベルトＭ２の上部の略中央部分が振動する速度）を解析することができる。さらに、速度および時間から加速度を算出することができる。
【０１１８】
このように、ユーザは追尾結果時間変化線上の複数のカーソルＬ１〜Ｌ４の位置間に相当する追尾点の距離、時間、速度および加速度を容易に認識することができる。
【０１１９】
（４）追尾点の追尾処理
図１６、図１７、図１８および図１９は、動画追尾装置における動画中の追尾点の追尾処理を示すフローチャートである。図２０および図２１は、追尾点の追尾処理の実行中に画像表示領域Ｔａに表示される画像の遷移を示す図である。図２２は、追尾処理実行中に制御部１０のＲＡＭ１０ａに記憶されるデータを示す図である。制御部１０のＣＰＵは、記憶部４０に記憶される動画追尾プログラムに従って追尾処理を実行する。以下、図１６〜図２２を用いて制御部１０のＣＰＵ（以下、制御部１０と略記する。）による追尾点の追尾処理を説明する。
【０１２０】
図９の表示の状態で、ユーザが操作部４を用いて図１の記憶部４０に記憶された複数の動画ファイルのうちいずれかを選択する。それにより、制御部１０は、選択された動画ファイル中の複数フレームの画像データを読み出す（ステップＳ１）。この場合、読み出された複数フレームの画像データは図２２のＲＡＭ１０ａに記憶される。
【０１２１】
次に、制御部１０は、ＲＡＭ１０ａに記憶された画像データに基づく画像のうちユーザにより指定された画像（以下、初期画像と呼ぶ。）を、図１のビデオメモリ５０を介して画像表示領域Ｔａに表示する（ステップＳ２）。
【０１２２】
初期状態では、ＲＡＭ１０ａに記憶された第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として画像表示領域Ｔａに表示される。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃを操作することにより、初期画像を指定することができる。また、後述するように、追尾処理を再開させる場合には、ユーザにより指定された画像が初期画像として画像表示領域Ｔａに表示される。
【０１２３】
本例では、図２０（ａ）に示すように、第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として表示される。
【０１２４】
次に、制御部１０は、ユーザにより操作部４を用いて画像表示領域Ｔａ内の任意の位置が追尾点として指定されたか否かを判定する（ステップＳ３）。ユーザにより画像表示領域Ｔａ内の追尾点の位置が指定されていない場合、制御部１０は、ステップＳ２の処理に戻る。図２０（ｂ）に示すように、ユーザにより矢印のポインタで画像表示領域Ｔａ内の追尾点の位置が指定された場合、制御部１０は、指定された追尾点の位置に基づいて画像上でのシンボルＳ、テンプレートＴおよび追尾線Ｒの位置を決定する（ステップＳ４）。
【０１２５】
本例において、図２０（ｃ）に示すように、シンボルＳは三角形状を有し、テンプレートＴは矩形状を有する。追尾線Ｒは指定された追尾点を通るＹ方向の線分である。追尾線Ｒは、テンプレートＴのＹ方向のサイズよりも長い。シンボルＳの位置はユーザにより指定された追尾点の位置に一致する。テンプレートＴの中心は、シンボルＳの位置に一致する。追尾線Ｒは、全てのフレームの画像において追尾点を探索する範囲を示す。シンボルＳは、識別された追尾点の位置を示す。
【０１２６】
続いて、制御部１０は、決定されたシンボルＳの位置を示す位置データｓ１、テンプレートＴの位置を示す位置データｔｄおよび追尾線Ｒの位置を示す位置データｒｄを図２２に示すＲＡＭ１０ａに保存する（ステップＳ５）。また、制御部１０は、ＲＡＭ１０ａに記憶された位置データｓ１，ｔｄ，ｒｄに基づいて、画像表示領域ＴａにテンプレートＴ、シンボルＳおよび追尾線Ｒを表示する（ステップＳ６）。本例においては、図２０（ｄ）に示すように、追尾点であるベルトコンベアＭのベルトＭ２の上部の略中央部分にシンボルＳが表示される。また、シンボルＳを通るように追尾線Ｒが表示される。さらに、シンボルＳを取り囲むようにテンプレートＴが表示される。
【０１２７】
なお、シンボルＳの形状、テンプレートＴのサイズおよび追尾線Ｒの長さは、ユーザにより操作部４を用いて予め設定される。
【０１２８】
制御部１０は、ユーザによる操作部４の操作に基づいて、画像表示領域Ｔａ内の初期画像上でシンボルＳを移動させることができる。この場合、シンボルＳの移動に伴って、テンプレートＴおよび追尾線Ｒも移動する。また、制御部１０は、ユーザによる操作部４の操作に基づいて、テンプレートＴのサイズまたは追尾線Ｒの長さを変更することができる。
【０１２９】
さらに、制御部１０は、ユーザによる操作部４の操作に基づいて、同様の処理により、画像表示領域Ｔａの任意の位置に上記のシンボルＳ、テンプレートＴおよび追尾線Ｒとは異なる別のシンボル、テンプレートおよび追尾線を表示することができる。これにより、ユーザは、初期画像中に複数の追尾点を設定することができる。
【０１３０】
次に、制御部１０は、追尾動作の実行が指示されたか否かを判定する（ステップＳ７）。ここで、制御部１０は、ユーザが操作部４を用いて図９の追尾開始ボタンＴｈまたは図１４の追尾再開ボタンＴｊを操作したことを検出した場合、追尾動作の実行が指示されたと判定する。制御部１０は、追尾動作の実行が指示されない場合にはステップＳ２の処理に戻る。
【０１３１】
制御部１０は、追尾動作の実行が指示された場合、テンプレートＴ内の画像を基準画像データＲｅとしてＲＡＭ１０ａに記憶させる（ステップＳ８）。本例では、この時点で、制御部１０は、画像表示領域ＴａからテンプレートＴおよび追尾線Ｒの表示を消去する。その後、制御部１０は、追尾線Ｒに重なる一定数の画素からなる抽出範囲Ｆ（図１３参照）に含まれる画素列を画素列データｐ１としてＲＡＭ１０ａに記憶させる（ステップＳ９）。
【０１３２】
続いて、制御部１０は、画像表示領域Ｔａに次フレームの画像と以前のフレームの画像に対応するシンボルＳと表示する（ステップＳ１０）。本例では、図２０（ｅ）に示すように、制御部１０は、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳが表示される。また、制御部１０は、ＲＡＭ１０ａに記憶された位置データｓ１に基づいて画像表示領域Ｔｂに以前のフレームの画像Ｖ１に対応する追尾結果時間変化線を表示する（ステップＳ１１）。さらに、制御部１０は、ＲＡＭ１０ａに記憶された画素列データｐ１に基づいて画像表示領域Ｔｂに以前のフレームの画像Ｖ１に対応する画素列を表示する（ステップＳ１２）。
【０１３３】
ここで、制御部１０は、ＲＡＭ１０ａに記憶された基準画像データＲｅに基づいて、現フレームの画像の追尾線Ｒ上の追尾点の位置を識別する（ステップＳ１３）。本例では、図２０（ｅ）に示された第２フレームの画像Ｖ２のベルトＭ２の上部の略中央部分が追尾線Ｒ上で探索される。この場合、画像データｖ２のうち追尾線Ｒを含む画像部分に対応する部分のデータと基準画像データＲｅとのパターンマッチングによりベルトＭ２の上部の略中央部分の位置が識別される。
【０１３４】
続いて、制御部１０は、識別された追尾点の位置を新たなシンボルＳの位置として決定する（ステップＳ１４）。また、制御部１０は、新たなシンボルＳの位置を示す位置データｓ２をＲＡＭ１０ａに記憶させる（ステップＳ１５）。さらに、制御部１０は、抽出範囲Ｆ（図１３参照）に含まれる画素列を画素列データｐ２としてＲＡＭ１０ａに記憶させる（ステップＳ１６）。
【０１３５】
次に、制御部１０は、ＲＡＭ１０ａに記憶された新たな位置データｓ２に基づいて画像表示領域Ｔａに新たなシンボルＳを表示する（ステップＳ１７）。本例では、図２１（ａ）に示すように、第２フレームの画像Ｖ２上に第１フレームの画像Ｖ１に対応するシンボルＳおよび第２フレームの画像Ｖ２に対応するシンボルＳが表示される。また、制御部１０は、ＲＡＭ１０ａに記憶された新たな位置データｓ２に基づいて画像表示領域Ｔｂに新たな追尾結果時間変化線を表示する（ステップＳ１８）。さらに、制御部１０は、ＲＡＭ１０ａに記憶された新たな画素列データｐ２に基づいて画像表示領域Ｔｂに新たな画素列を表示する（ステップＳ１９）。
【０１３６】
次に、制御部１０は、画像表示領域Ｔａに複数フレームの画像のうち最終フレームの画像が表示されているか否かを判定する（ステップＳ２０）。
【０１３７】
画像表示領域Ｔａに最終フレームの画像が表示されていない場合、制御部１０は、一時停止が指示されたか否かを判定する（ステップＳ２１）。例えば、画像表示領域Ｔｂに表示されている追尾結果時間変化線が時空間画像の所定の画素値を有する画素上に表示されていない場合、ユーザは、追尾結果が適切でないと判断し、追尾停止ボタンＴｉを操作することができる。追尾停止ボタンＴｉが操作されたことを検出した場合、制御部１０は、一時停止が指示されたと判定する。
【０１３８】
一時停止が指示されていない場合には、制御部１０は、ステップＳ１０に戻り、ステップＳ１０〜Ｓ２０の処理を繰り返し実行する。本例では、図２１（ｂ）に示すように、画像表示領域Ｔａに第３フレームの画像Ｖ３が表示されるとともに、画像Ｖ３上に第１および第２フレームに対応するシンボルＳが表示される。また、画像表示領域Ｔｂに第１および第２フレームに対応する画素列が表示される。
【０１３９】
第３フレームの画像Ｖ３において追尾線Ｒ上で追尾点の位置が識別される。それにより、識別された追尾点の位置が新たなシンボルＳの位置として決定され、新たなシンボルＳの位置を示す位置データｓ３がＲＡＭ１０ａに記憶される。また、抽出範囲Ｆ（図１３参照）に含まれる画素列が画素列データｐ３としてＲＡＭ１０ａに記憶される。
【０１４０】
次いで、図２１（ｃ）に示すように、ＲＡＭ１０ａに記憶される位置データｓ３に基づいて第３フレームの画像Ｖ３上に新たなシンボルＳが表示される。また、ＲＡＭ１０ａに記憶される画素列データｐ３に基づいて画像表示領域Ｔｂに新たな画素列が表示される。
【０１４１】
ステップＳ２０において画像表示領域Ｔａに最終フレームの画像が表示されている場合またはステップＳ２１において一時停止が指示された場合には、制御部１０は、追尾動作の終了が指示されたか否かを判定する（ステップＳ２２）。例えば、図２１（ｄ）に示すように、ユーザは、画像表示領域Ｔａに表示される最終フレームの画像まで適切な一次元追尾が行われたと判断した場合、操作部４を用いて図１４の終了ボタンＴｋまたは解析ボタンＴｎを操作する。一方、追尾動作の実行後、または、追尾動作の実行中に一次元追尾が適切でないことに気付いた場合、ユーザは図１４の終了ボタンＴｋおよび解析ボタンＴｎを操作しない。
【０１４２】
制御部１０は、終了ボタンＴｋまたは解析ボタンＴｎが操作されたことを検出した場合、追尾動作の終了が指示されたと判定する。この場合、制御部１０は、ＲＡＭ１０ａに記憶されるシンボルＳの位置データを追尾結果として図１の記憶部４０に記憶させるとともに、時空間画像に対応する画素列データを記憶部４０に記憶させ（ステップＳ２３）、追尾処理を終了する。
【０１４３】
一方、ステップＳ２２において追尾動作の終了が指示されていない場合には、制御部１０は、ステップＳ２の処理に戻る。例えば、追尾動作の途中で一次元追尾が適切でなくなった場合、ステップＳ２において、ユーザは、操作部４を用いて図１４の逆再生ボタンＴｅまたはシークバーＴｆのスライダＴｇを操作することにより、一次元追尾が適切でなくなる前のフレームの画像を初期画像として指定することができる。また、ステップＳ３において、ユーザは、テンプレートＴのサイズおよび位置を変更することができる。ただし、追尾線Ｒの長さおよび位置を変更することができない。
【０１４４】
制御部１０は、ユーザによる操作部４の操作に基づいて、指定されたフレームの画像データに基づく画像を初期画像として画像表示領域Ｔａに表示する（ステップＳ２）。また、制御部１０は、指定されたフレームの画像より以前のフレームの画像に対応する位置データに基づいて画像表示領域Ｔｂに追尾結果時間変化線を表示する。さらに、制御部１０は、指定されたフレームの画像より以前のフレームの画像に対応する画素列データに基づいて画像表示領域Ｔｂに画素列を表示する。
【０１４５】
制御部１０は、ステップＳ２〜Ｓ２２の処理を繰り返す。これにより、追尾が適切でなくなった最初のフレームの画像または適切でなくなった直前のフレームの画像から追尾動作を再開することができる。これにより、図２１（ｄ）に示すように、全てのフレームの画像において追尾点であるベルトコンベアＭのベルトＭ２の上部の略中央部分に適切な追尾結果を示すシンボルＳが表示される。追尾結果を示す複数のシンボルＳにより、動画中の追尾点の軌跡が表示される。
【０１４６】
このように、複数フレームの画像のうち一の画像が初期画像として画像表示領域Ｔａに表示される。操作部４により初期画像内でシンボルＳ、テンプレートＴおよび追尾線Ｒが設定されかつ追尾開始ボタンＴｈが操作された場合、初期画像以降のフレームの画像について追尾動作が実行される。
【０１４７】
追尾動作の停止または終了後に、操作部４により複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合、新たな初期画像が画像表示領域Ｔａに表示される。また、操作部４により新たな初期画像内でシンボルＳおよびテンプレートＴが再設定されかつ追尾再開ボタンＴｊが操作された場合、新たな初期画像以降のフレームの画像について追尾動作が実行され、新たな初期画像以降のフレームの画像に対応する追尾結果時間変化線が新たな初期画像より前のフレームの画像に対応する追尾結果時間変化線に続けて画像表示領域Ｔｂに表示される。
【０１４８】
これにより、追尾動作の実行中に追尾点の追尾が不適切になった場合、任意のフレームの初期画像から追尾動作を再開することができる。そのため、追尾が不適切になった最初のフレームの画像または追尾が不適切になった直前のフレームの画像を新たな初期画像とすることにより、適切に追尾が行われた期間の追尾結果時間変化線を保持しつつ、追尾が不適切になった期間における追尾動作を再度実行することができる。
【０１４９】
例えば、追尾結果時間変化線の一部が時空間画像の所定の値を有する画素値から外れている場合に、ユーザは追尾結果（追尾線Ｒ上でのシンボルＳの位置）が不適切であると判断することができる。その場合、追尾が不適切になった期間における追尾動作を再度実行することができる。
【０１５０】
また、新たな初期画像においてシンボルＳおよびテンプレートＴを再設定することができるので、再開された追尾動作において各画像について適切に追尾動作が行われる確率が高くなる。したがって、追尾動作の全体の実行時間が短縮される。その結果、効率よく正確な追尾結果および追尾結果時間変化線を得ることが可能になる。
【０１５１】
（５）動画および追尾結果変化線の表示処理
図２３および図２４は、動画追尾装置における動画および追尾結果変化線の表示処理を示すフローチャートである。図２５は、表示処理実行中に制御部１０のＲＡＭ１０ａに記憶されるデータを示す図である。制御部１０のＣＰＵは、記憶部４０に記憶される表示プログラムに従って表示処理を実行する。以下、図２３〜図２５を用いて制御部１０による動画および追尾結果変化線の表示処理を説明する。
【０１５２】
図１５の表示の状態で、ユーザが操作部４を用いて解析ボタンＴｎを操作することにより、動画および追尾結果変化線の表示処理が開始される。または、ユーザが操作部４を用いてまたは図１の記憶部４０に記憶された追尾処理後の動画ファイルを選択することにより、動画および追尾結果変化線の表示処理が開始される。
【０１５３】
制御部１０は、選択された動画ファイル中の複数フレームの画像データを読み出す（ステップＳ３１）。この場合、読み出された複数フレームの画像データは図２５のＲＡＭ１０ａに記憶される。また、制御部１０は、読み出された複数フレームの画像データに対応する複数のシンボルＳの位置データおよび画素列データを読み出す（ステップＳ３２）。この場合、読み出された複数のシンボルＳの位置データおよび画素列データはＲＡＭ１０ａに記憶される。
【０１５４】
次に、制御部１０は、ＲＡＭ１０ａに記憶された画像データに基づく画像のうちユーザにより指定された初期画像を、図１のビデオメモリ５０を介して画像表示領域Ｔａに表示する（ステップＳ３３）。初期状態では、ＲＡＭ１０ａに記憶された第１フレームの画像データｖ１に基づく画像Ｖ１が初期画像として画像表示領域Ｔａに表示される。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃを操作することにより、初期画像を指定することができる。
【０１５５】
また、制御部１０は、複数のシンボルＳの位置データおよび画素列データに基づいて時間変化線および時空間画像を画像表示領域Ｔｂに表示する（ステップＳ３４）。ここで、制御部１０は、画像表示領域Ｔａに表示される初期画像のフレームに対応する現在表示位置バーＬの位置データｂｄに基づいて画像表示領域Ｔｂに現在表示位置バーＬを表示する（ステップＳ３５）。初期状態では、第１フレームに対応する位置に現在表示位置バーＬが表示される。ユーザは、現在表示位置バーＬを移動させることができる。
【０１５６】
制御部１０は、ユーザにより現在表示位置バーＬが移動されたか否かを判定する（ステップＳ３６）。現在表示位置バーＬが移動された場合、制御部１０は、移動後の現在表示位置バーＬの位置データｂｄを決定する（ステップＳ３７）。また、制御部１０は、決定された現在表示位置バーＬの位置データｂｄに対応するフレームの画像データを決定する（ステップＳ３８）。
【０１５７】
また、制御部１０は、決定された画像データに基づく画像を画像表示領域Ｔａに表示する（ステップＳ３９）。その後、制御部１０は、ステップＳ３６の処理に戻る。
【０１５８】
一方、ステップＳ３６において、現在表示位置バーＬが移動されていない場合、制御部１０は、ユーザにより別のフレームの画像の表示が指定されたか否かを判定する（ステップＳ４０）。ユーザは、シークバーＴｆ上でスライダＴｇを移動させることにより、または再生ボタンＴｃもしくは逆再生ボタンＴｅを操作することにより、別のフレームの画像の表示を指定することができる。ユーザにより別のフレームの画像の表示が指定されていない場合、制御部１０は、ステップＳ３６の処理に戻る。
【０１５９】
一方、ステップＳ４０において、ユーザにより別のフレームの画像の表示が指定された場合、制御部１０は、指定されたフレームの画像データを決定する（ステップＳ４１）。また、決定された画像データに対応する現在表示位置バーＬの位置を示す位置データｂｄを決定する（ステップＳ４２）。
【０１６０】
続いて、制御部１０は、決定された画像データに基づく画像を画像表示領域Ｔａに表示させる（ステップＳ４３）。また、制御部１０は、決定された位置データｂｄに基づいて画像表示領域Ｔｂに表示される現在表示位置バーＬを移動させる（ステップＳ４４）。その後、制御部１０は、ステップＳ３６の処理に戻る。
【０１６１】
これにより、画像表示領域Ｔａに表示される画像のフレームと現在表示位置バーＬの位置とが相互に連動される。その結果、現在表示位置バーＬを画像表示領域Ｔｂの追尾結果時間変化線上で移動させることにより、追尾結果時間変化線上の現在表示位置バーＬの位置に対応するフレームの画像を画像表示領域Ｔａに表示させることができる。また、画像表示領域Ｔａに表示される画像のフレームを変更することにより、変更後の画像のフレームに対応する追尾結果時間変化線の位置に現在表示位置バーＬを移動させることができる。
【０１６２】
（６）効果
本実施の形態に係る動画追尾装置においては、記憶部４０に記憶された各フレームの画像データに基づいて表示部２０の画像表示領域Ｔａに画像が表示される。操作部４により画像表示領域Ｔａに表示される画像内でシンボルＳ、テンプレートＴおよび追尾線Ｒの設定が行われ、追尾開始ボタンＴｈが操作された場合、設定された追尾線Ｒ上での追尾点の位置を識別する追尾動作が各フレームの画像において実行される。
【０１６３】
また、追尾結果時間変化線および時空間画像が表示部２０の画像表示領域Ｔｂに表示される。この追尾結果時間変化線は、複数フレームの画像における追尾動作により識別された追尾点の位置の時間変化を示す。したがって、ユーザは、画像表示領域Ｔｂに表示された追尾結果時間変化線を観察することにより、追尾線Ｒ上での追尾点の動きを容易に把握することができる。
【０１６４】
ユーザが、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることによりまたは再生ボタンＴｃもしくは逆再生ボタンＴｅを操作することにより、現在表示位置バーＬを操作して画像表示領域Ｔｂに表示される追尾結果時間変化線の時間軸方向の位置を指定すると、現在表示位置バーＬにより指定された位置に対応するフレームの画像が画像表示領域Ｔａに表示される。これにより、ユーザは、動画中での任意の時点の追尾点の状態を画像表示領域Ｔａに表示された画像により容易に観察することができる。
【０１６５】
同様に、ユーザが操作部４により画像表示領域Ｔａに表示させる画像のフレームを変更すると、変更後の画像のフレームに対応する時間軸方向の位置を指定するように現在表示位置バーＬが画像表示領域Ｔｂにおいて移動する。これにより、ユーザは、追尾結果時間変化線において任意のフレームの画像に対応する時間軸上の位置を容易に把握することができる。したがって、任意のフレームの画像における追尾点の時間変化を容易に認識することができる。
【０１６６】
（７）第１の変形例
図１６のステップＳ３，Ｓ４において、ユーザにより画像表示領域Ｔａ内の追尾点の位置が指定された場合、制御部１０は、指定された１つの追尾点の位置に基づいて画像上での１つのシンボルＳ、１つのテンプレートＴおよび１つの追尾線Ｒの位置を決定するが、これに限定されない。例えば、ユーザにより画像表示領域Ｔａ内の追尾点の位置が指定された場合、制御部１０は、指定された複数の追尾点の位置に対応する複数のシンボルＳ、複数のテンプレートＴおよび複数の追尾線Ｒの位置を画像上で決定してもよい。
【０１６７】
図２６は、第１の変形例における複数の追尾点を示す図である。図２６（ａ）の矢印のポインタで示すように、ユーザは、画像表示領域Ｔａに表示された画像上で追尾点を指定するために、操作部４を操作して線分Ｑ１を描くことができる。また、図２６（ｂ）矢印のポインタで示すように、ユーザは、画像表示領域Ｔａに表示された画像上で追尾点を指定するために、操作部４を操作して矩形枠Ｑ２を描くことができる。
【０１６８】
図２６（ａ）の線分Ｑ１が描かれた場合、制御部１０は、線分Ｑ１上に一定間隔で複数の追尾点を決定する。また、図２６（ｂ）の矩形枠Ｑ２が描かれた場合、制御部１０は矩形枠Ｑ２の長辺方向の二等分線上に一定間隔で複数の追尾点を決定する。このようにして、図２６（ｃ）に示すように、複数の追尾点が決定される。図２６（ｃ）の例では、５つの追尾点が決定されている。
【０１６９】
上記の例で、複数の追尾点の間隔が予め設定されていてもよい。この場合、追尾点の数は、描かれた線分Ｑ１の長さまたは矩形枠Ｑ２の長辺方向の二等分線の長さに応じて決定される。また、追尾点の数が予め設定されていてもよい。この場合、複数の追尾点の間隔は、描かれた線分Ｑ１の長さまたは矩形枠Ｑ２の長辺方向の二等分線の長さに応じて決定される。
【０１７０】
制御部１０は、決定された複数の追尾点の位置に基づいて画像上での複数のシンボルＳＡ〜ＳＥ、複数のテンプレートＴＡ〜ＴＥおよび複数の追尾線ＲＡ〜ＲＥの位置を決定する。複数のシンボルＳＡ〜ＳＥの形状、複数のテンプレートＴＡ〜ＴＥのサイズおよび複数の追尾線ＲＡ〜ＲＥの長さは、ユーザにより操作部４を用いて予め設定される。
【０１７１】
制御部１０は、ユーザによる操作部４の操作に基づいて、複数のテンプレートＴＡ〜ＴＥのサイズおよび位置ならびに複数の追尾線ＲＡ〜ＲＥの長さおよび位置を変更することができる。また、制御部１０は、１つのテンプレートのサイズまたは位置を変更した場合、その変更に連動して他のテンプレートのサイズまたは位置を同様に変更してもよい。さらに、制御部１０は、１つの追尾線の長さまたは位置を変更した場合、その変更に連動して他の追尾線の長さまたは位置を同様に変更してもよい。
【０１７２】
このように、第１の変形例に係る動画追尾装置においては、ユーザは画像表示領域Ｔａに表示される画像内で複数組のシンボルＳ、テンプレートＴおよび追尾線Ｒを容易に設定することができる。これにより、動画中の複数の追尾点の一次元追尾を容易に行うことができる。その結果、ユーザは、複数の追尾線Ｒ上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の複数の追尾点の状態を容易に観察することができる。
【０１７３】
（８）第２の変形例
図２７は、第２の変形例における複数の追尾点を示す図である。図２７には、矢印の向きに回転する円柱状のモータの回転軸Ｎの端面が示されている。図２７においては、矢印Ｘ，Ｙ示すように、互いに直交する二方向をＸ方向およびＹ方向と定義する。
【０１７４】
図２７（ａ）の矢印のポインタで示すように、ユーザは、画像表示領域Ｔａ内に表示される画像上で追尾点を指定するために、操作部４を操作してモータの回転軸Ｎの外周円上に複数の（本例では３つ）点Ｑ３を描くことができる。また、図２７（ｂ）の矢印のポインタで示すように、ユーザは、画像表示領域Ｔａ内に表示される画像上で追尾点を指定するために、操作部４を操作してモータの回転軸Ｎの外周円を挟むように２つの同心円Ｑ４を描くことができる。
【０１７５】
図２７（ａ）の複数の点Ｑ３が描かれた場合、制御部１０は、複数の点Ｑ３を通る仮想的な円上に所定の角度間隔で複数の追尾点を決定する。また、図２７（ｂ）の２つの同心円Ｑ４が描かれた場合、制御部１０は２つの同心円Ｑ４に挟まれる仮想的な円上に所定の角度間隔で複数の追尾点を決定する。仮想的な円は、モータの回転軸Ｎの外周円に略一致する。このようにして、図２７（ｃ）に示すように、複数の追尾点が決定される。図２７（ｃ）の例では、９０度の角度間隔で４つの追尾点が決定されている。
【０１７６】
上記の例で、角度間隔が予め設定されていてもよい。この場合、追尾点の数は、設定された角度間隔に応じて決定される。また、追尾点の数が予め設定されていてもよい。この場合、角度間隔は、設定された追尾点の数に応じて決定される。
【０１７７】
制御部１０は、決定された複数の追尾点の位置に基づいて画像上での複数のシンボルＳＡ〜ＳＤ、複数のテンプレートＴＡ〜ＴＤおよび複数の追尾線ＲＡ〜ＲＤの位置を決定する。複数のシンボルＳＡ〜ＳＤの形状、複数のテンプレートＴＡ〜ＴＤのサイズおよび複数の追尾線ＲＡ〜ＲＤの長さは、ユーザにより操作部４を用いて予め設定される。
【０１７８】
制御部１０は、ユーザによる操作部４の操作に基づいて、複数のテンプレートＴＡ〜ＴＤのサイズおよび位置ならびに複数の追尾線ＲＡ〜ＲＤの長さおよび位置を変更することができる。また、制御部１０は、１つのテンプレートのサイズまたは位置を変更した場合、その変更に連動して他のテンプレートのサイズまたは位置を同様に変更してもよい。さらに、制御部１０は、１つの追尾線の長さまたは位置を変更した場合、その変更に連動して他の追尾線の長さまたは位置を同様に変更してもよい。
【０１７９】
図２７（ｃ）においては、追尾線ＲＡ上の追尾点のＸ方向の変位をｘ１とし、追尾線ＲＢ上の追尾点のＸ方向の変位をｘ２とする。追尾線ＲＣ上の追尾点のＹ方向の変位をｙ１とし、追尾線ＲＤ上の追尾点のＹ方向の変位をｙ２とする。この場合、モータの回転軸ＮのＸ方向の変位ｘは、ｘ＝（ｘ１＋ｘ２）／２となり、モータの回転軸ＮのＹ方向の変位ｙは、ｙ＝（ｙ１＋ｙ２）／２となる。また、モータの回転軸Ｎの変位の大きさｒは、ｒ＝（ｘ２＋ｙ２）１／２となり、モータの回転軸Ｎの変位の方向θは、θ＝ｔａｎ−１（ｙ／ｘ）となる。
【０１８０】
制御部１０は、モータの回転軸ＮのＸ方向の変位ｘおよびＹ方向の変位ｙについての追尾結果時間変化線を画像表示領域Ｔｂに表示させる。また、制御部１０は、追尾線ＲＡ，ＲＢに重なる抽出範囲Ｆ（図１３参照）に含まれる画素列からなる時空間画像を画像表示領域Ｔｂに表示させる。さらに、制御部１０は、モータ回転軸のＮの変位の大きさｒおよびモータの回転軸Ｎの変位の方向θについての追尾結果時間変化線を画像表示領域Ｔｂに表示させてもよい。
【０１８１】
このように、第２の変形例に係る動画追尾装置においても、画像内で複数組のシンボルＳ、テンプレートＴおよび追尾線Ｒを容易に設定することができる。これにより、動画中の複数の追尾点の一次元追尾を容易に行うことができる。この場合、回転するモータ等の回転軸のＸ方向の変位、Ｙ方向の変位、回転軸の変位の大きさおよび回転軸の変位の方向についての追尾結果時間変化線および時空間画像を容易に表示させることができる。その結果、ユーザは、複数の追尾線Ｒ上での追尾点の動きを容易に把握することができるとともに、動画中での任意の時点の複数の追尾点の状態を容易に観察することができる。
【０１８２】
（９）他の実施の形態
（９−１）上記の実施の形態に係る動画追尾装置において、追尾線Ｒは指定された追尾点を通るＹ方向の線分であるが、これに限定されない。追尾線Ｒは指定された追尾点を通るＸ方向または斜め方向の線分であってもよく、追尾点を通る曲線であってもよい。
【０１８３】
（９−２）上記の実施の形態に係る動画追尾装置において、画像表示領域Ｔｂに追尾結果時間変化線および時空間画像が表示されるが、これに限定されない。画像表示領域Ｔｂに時空間画像が表示されなくてもよい。
【０１８４】
（９−３）上記の実施の形態に係る動画追尾装置では、画像表示領域Ｔｂに表示される追尾結果時間変化線において、画像表示領域Ｔａに表示される画像のフレームに対応する時間軸方向の位置が、現在表示位置バーＬにより指定されるが、これに限定されない。例えば、画像表示領域Ｔｂに表示される追尾結果時間変化線において、画像表示領域Ｔａに表示される画像のフレームに対応する時間軸方向の位置が、他の形状の指標により指定されてもよい。
【０１８５】
（１０）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１８６】
画像Ｖ１〜Ｖ８が画像の例であり、追尾線Ｒが追尾線の例であり、画像データｖ１〜ｖ８が画像データの例であり、記憶部４０が記憶部の例であり、画像表示領域Ｔａが第１の表示領域の例であり、画像表示領域Ｔｂが第２の表示領域の例であり、表示部２０が表示部の例である。制御部１０が制御部または処理装置の例であり、操作部４が操作部の例であり、追尾結果時間変化線が波形の例であり、現在表示位置バーＬが指標の例であり、距離、時間、速度または加速度が物理量の例である。
【０１８７】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１８８】
本発明は、種々の画像処理システム、画像処理方法および画像処理プログラムに有効に利用することができる。
【符号の説明】
【０１８９】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
ｂｄ，ｒｄ，ｓ１〜ｓ６，ｔｄ 位置データ
Ｆ 抽出範囲
ＦＡ〜ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２ 評価値
Ｌ 現在表示位置バー
Ｌ１〜Ｌ４ カーソル
Ｎ 回転軸
Ｍ ベルトコンベア
Ｍ１ ローラ
Ｍ２ ベルト
ｐ１〜ｐ６ 画素列データ
Ｑ１ 線分
Ｑ２ 矩形枠
Ｑ３ 点
Ｑ４ 同心円
Ｒ，ＲＡ〜ＲＥ 追尾線
Ｓ，ＳＡ〜ＳＥ シンボル
Ｓａ，Ｔａ，Ｔｂ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ，Ｔｃ 再生ボタン
Ｓｊ ファイルボタン
Ｓｙ 追尾ボタン
Ｔ，ＴＡ〜ＴＥ テンプレート
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ シークバー
Ｔｇ スライダ
Ｔｈ 追尾開始ボタン
Ｔｉ 追尾停止ボタン
Ｔｊ 追尾再開ボタン
Ｔｋ 終了ボタン
Ｔｎ 解析ボタン
Ｔｏ 計測量表示領域
ｖ１〜ｖ１４ 画像データ
Ｗ 被写体
【特許請求の範囲】
【請求項１】
複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾装置であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、
第１および第２の表示領域を有する表示部と、
前記記憶部に記憶された各フレームの画像データに基づいて前記第１の表示領域に画像を表示させる制御部と、
前記第１の表示領域に表示される画像内での追尾点および追尾線の設定ならびに追尾点の追尾に関する指示を行なうためにユーザにより操作される操作部とを備え、
前記制御部は、
前記操作部により設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行し、前記複数のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記第２の表示領域に表示させ、前記操作部により前記第２の表示領域に表示される前記波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を前記第１の表示領域に表示させることを特徴とする動画追尾装置。
【請求項２】
前記操作部は、前記第１の表示領域に表示される画像のフレームを変更可能であり、
前記制御部は、前記第２の表示領域に表示される前記波形において、前記第１の表示領域に表示される画像のフレームに対応する時間軸方向の位置を指定するための指標を前記第２の表示領域に表示させ、前記操作部による画像のフレームの変更の操作に基づいて、前記第１の表示領域に表示させる画像のフレームを変更するとともに、変更後の画像のフレームに対応する時間軸方向の位置を指定するように前記指標を前記第２の表示領域において移動させることを特徴とする請求項１記載の動画追尾装置。
【請求項３】
前記制御部は、各フレームの画像において前記追尾線に重なる一定数の画素からなる画素列を抽出し、複数のフレームの画像から抽出された画素列を前記複数のフレームに対応する時間の順に時間軸に沿って配列することにより時空間画像を作成し、作成された時空間画像を前記第２の表示領域の前記波形に重なるように表示させることを特徴とする請求項１または２記載の動画追尾装置。
【請求項４】
前記制御部は、前記複数フレームの画像のうち一の画像を初期画像として前記第１の表示領域に表示させ、前記操作部により前記初期画像内で前記追尾点および前記追尾線が設定されかつ追尾の開始が指示された場合に、前記初期画像以降のフレームの画像について前記追尾動作を実行し、前記追尾動作の停止または終了後に、前記操作部により前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記新たな初期画像を前記第１の表示領域に表示させ、前記操作部により前記新たな初期画像内で前記追尾点が再設定されかつ追尾の開始が指示された場合に、前記新たな初期画像以降のフレームの画像について前記追尾動作を実行し、前記新たな初期画像以降のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記新たな初期画像より前のフレームの画像に対応する波形に続けて前記第２の表示領域に表示させることを特徴とする請求項１〜３のいずれかに記載の動画追尾装置。
【請求項５】
前記操作部は、前記第２の表示領域に表示される前記波形の複数の位置を選択可能であり、
前記制御部は、前記操作部により選択された複数の位置に基づいて、追尾点の物理量を算出することを特徴とする請求項１〜４のいずれかに記載の動画追尾装置。
【請求項６】
前記操作部は、前記第１の表示領域に表示される画像内で複数組の追尾点および追尾線を設定可能であり、
前記制御部は、
前記操作部により複数組の追尾点および追尾線が設定された場合に、前記複数の追尾線上での追尾点の前記追尾動作を実行し、前記複数の追尾線についての前記追尾動作により識別された複数の追尾点の位置の時間変化をそれぞれ示す複数の波形を前記第２の表示領域に表示させることを特徴とする請求項１〜５のいずれかに記載の動画追尾装置。
【請求項７】
複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾方法であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、
前記記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させるステップと、
前記第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行するステップと、
前記複数のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記表示部の第２の表示領域に表示させるステップと、
前記第２の表示領域に表示される前記波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を前記第１の表示領域に表示させるステップとを含むことを特徴とする動画追尾方法。
【請求項８】
複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する追尾処理を処理装置に実行させる動画追尾プログラムであって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、
前記記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させる処理と、
前記第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行する処理と、
前記複数のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記表示部の第２の表示領域に表示させる処理と、
前記第２の表示領域に表示される前記波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を前記第１の表示領域に表示させる処理とを、
前記処理装置に実行させることを特徴とする動画追尾プログラム。
【請求項１】
複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾装置であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する記憶部と、
第１および第２の表示領域を有する表示部と、
前記記憶部に記憶された各フレームの画像データに基づいて前記第１の表示領域に画像を表示させる制御部と、
前記第１の表示領域に表示される画像内での追尾点および追尾線の設定ならびに追尾点の追尾に関する指示を行なうためにユーザにより操作される操作部とを備え、
前記制御部は、
前記操作部により設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行し、前記複数のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記第２の表示領域に表示させ、前記操作部により前記第２の表示領域に表示される前記波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を前記第１の表示領域に表示させることを特徴とする動画追尾装置。
【請求項２】
前記操作部は、前記第１の表示領域に表示される画像のフレームを変更可能であり、
前記制御部は、前記第２の表示領域に表示される前記波形において、前記第１の表示領域に表示される画像のフレームに対応する時間軸方向の位置を指定するための指標を前記第２の表示領域に表示させ、前記操作部による画像のフレームの変更の操作に基づいて、前記第１の表示領域に表示させる画像のフレームを変更するとともに、変更後の画像のフレームに対応する時間軸方向の位置を指定するように前記指標を前記第２の表示領域において移動させることを特徴とする請求項１記載の動画追尾装置。
【請求項３】
前記制御部は、各フレームの画像において前記追尾線に重なる一定数の画素からなる画素列を抽出し、複数のフレームの画像から抽出された画素列を前記複数のフレームに対応する時間の順に時間軸に沿って配列することにより時空間画像を作成し、作成された時空間画像を前記第２の表示領域の前記波形に重なるように表示させることを特徴とする請求項１または２記載の動画追尾装置。
【請求項４】
前記制御部は、前記複数フレームの画像のうち一の画像を初期画像として前記第１の表示領域に表示させ、前記操作部により前記初期画像内で前記追尾点および前記追尾線が設定されかつ追尾の開始が指示された場合に、前記初期画像以降のフレームの画像について前記追尾動作を実行し、前記追尾動作の停止または終了後に、前記操作部により前記複数フレームの画像のうちいずれかの画像を新たな初期画像として表示することが指示された場合に、前記新たな初期画像を前記第１の表示領域に表示させ、前記操作部により前記新たな初期画像内で前記追尾点が再設定されかつ追尾の開始が指示された場合に、前記新たな初期画像以降のフレームの画像について前記追尾動作を実行し、前記新たな初期画像以降のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記新たな初期画像より前のフレームの画像に対応する波形に続けて前記第２の表示領域に表示させることを特徴とする請求項１〜３のいずれかに記載の動画追尾装置。
【請求項５】
前記操作部は、前記第２の表示領域に表示される前記波形の複数の位置を選択可能であり、
前記制御部は、前記操作部により選択された複数の位置に基づいて、追尾点の物理量を算出することを特徴とする請求項１〜４のいずれかに記載の動画追尾装置。
【請求項６】
前記操作部は、前記第１の表示領域に表示される画像内で複数組の追尾点および追尾線を設定可能であり、
前記制御部は、
前記操作部により複数組の追尾点および追尾線が設定された場合に、前記複数の追尾線上での追尾点の前記追尾動作を実行し、前記複数の追尾線についての前記追尾動作により識別された複数の追尾点の位置の時間変化をそれぞれ示す複数の波形を前記第２の表示領域に表示させることを特徴とする請求項１〜５のいずれかに記載の動画追尾装置。
【請求項７】
複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する動画追尾方法であって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶するステップと、
前記記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させるステップと、
前記第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行するステップと、
前記複数のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記表示部の第２の表示領域に表示させるステップと、
前記第２の表示領域に表示される前記波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を前記第１の表示領域に表示させるステップとを含むことを特徴とする動画追尾方法。
【請求項８】
複数フレームの画像により構成される動画中の追尾点を一方向の追尾線上で追尾する追尾処理を処理装置に実行させる動画追尾プログラムであって、
前記複数フレームの画像を表示するための複数フレームの画像データを記憶する処理と、
前記記憶された各フレームの画像データに基づいて画像を表示部の第１の表示領域に表示させる処理と、
前記第１の表示領域に表示される画像内で追尾点および追尾線が設定された場合に、設定された追尾線上での追尾点の位置を識別する追尾動作を各フレームの画像において実行する処理と、
前記複数のフレームの画像における前記追尾動作により識別された追尾点の位置の時間変化を示す波形を前記表示部の第２の表示領域に表示させる処理と、
前記第２の表示領域に表示される前記波形の時間軸方向の位置が指定された場合に、指定された位置に対応するフレームの画像を前記第１の表示領域に表示させる処理とを、
前記処理装置に実行させることを特徴とする動画追尾プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−９９９７６（Ｐ２０１２−９９９７６Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４７０５（Ｐ２０１０−２４４７０５）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]