画像処理装置、画像処理方法および画像処理プログラム
【課題】簡単な構成で複数の動画中の対象物の状態を容易に比較することができる画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】第１および第２ファイルは、複数フレームの画像データおよび複数フレームの画像データにそれぞれ対応する複数の評価値からなる。表示部２０の一方の画像表示領域Ｓａ１に第１ファイルの各フレームの画像データに基づく画像が表示され、他方の画像表示領域Ｓａ２に第２ファイルの各フレームの画像データに基づく画像が表示される。波形表示領域Ｓｂに、第１ファイルの波形データに基づく第１波形ＷＬ１および第２ファイルの波形データに基づく第２波形ＷＬ２のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。第１波形ＷＬ１が第２波形ＷＬ２に対して相対的に時間軸上で移動され、一方の画像表示領域Ｓａ１に表示される画像のフレームが変更される。
【解決手段】第１および第２ファイルは、複数フレームの画像データおよび複数フレームの画像データにそれぞれ対応する複数の評価値からなる。表示部２０の一方の画像表示領域Ｓａ１に第１ファイルの各フレームの画像データに基づく画像が表示され、他方の画像表示領域Ｓａ２に第２ファイルの各フレームの画像データに基づく画像が表示される。波形表示領域Ｓｂに、第１ファイルの波形データに基づく第１波形ＷＬ１および第２ファイルの波形データに基づく第２波形ＷＬ２のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。第１波形ＷＬ１が第２波形ＷＬ２に対して相対的に時間軸上で移動され、一方の画像表示領域Ｓａ１に表示される画像のフレームが変更される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
研究室または製造現場等において、種々の被写体の動きを解析するために、高いフレームレートで被写体を撮影可能な高速撮影装置が用いられる（例えば、特許文献１参照）。
【０００３】
例えば、高速撮影装置によりベルトコンベアにより搬送される複数のワーク等の被写体が順次撮影される場合、互いに類似する複数の動画が取得される。複数の動画の撮影タイミングがずれていると、複数の動画を同時に再生しても複数の被写体の動きを比較することは難しい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、被写体の移動経路にセンサを配置し、センサの出力信号に応答して各被写体の撮影タイミングを決定することが考えられる。この場合、センサが必要となるため、高速撮影装置を用いたシステムの構成が複雑化する。また、各被写体が高速で動く場合には、センサの出力信号を用いても、高速撮影装置の撮影タイミングがずれる場合がある。
【０００６】
本発明の目的は、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）第１の発明に係る画像処理装置は、第１の対象物の動画を構成する複数フレームの第１の画像および第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理装置であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の第１の評価値、複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する記憶部と、第１の表示領域、第２の表示領域および第３の表示領域を有する表示部と、記憶部に記憶された各フレームの第１の画像データに基づいて第１の画像を第１の表示領域に表示させ、記憶部に記憶された各フレームの第２の画像データに基づいて第２の画像を第２の表示領域に表示させ、記憶部に記憶された複数の第１の評価値により形成される第１の波形および記憶部に記憶された複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に第３の表示領域に表示させる制御部と、第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるためにユーザにより操作される操作部とを備え、複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化し、制御部は、操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、第１の表示領域に表示させる第１の画像のフレームおよび第２の表示領域に表示させる第２の画像のフレームのいずれか一方を一方の波形の移動に基づいて変更するものである。
【０００８】
この画像処理装置においては、複数フレームの第１の画像データ、複数の第１の評価値、複数フレームの第２の画像データ、および複数の第２の評価値が記憶部に記憶される。
【０００９】
各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示され、各フレームの第２の画像データに基づいて第２の画像が表示部の第２の表示領域に表示される。また、複数の第１の評価値により形成される第１の波形および複数の第２の評価値により形成される第２の波形が時間軸上で移動可能に表示部の第３の表示領域に表示される。
【００１０】
複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化する。そのため、第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００１１】
ユーザは、操作部の操作により第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることができる。それにより、第１の表示領域に表示される第１の画像のフレームと第２の表示領域に表示される第２の画像のフレームとの対応関係を変更することができる。
【００１２】
したがって、ユーザは、第１の波形および第２の波形の同一または類似形状の部分を相対的に移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００１３】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【００１４】
（２）制御部は、第１および第２の波形の任意の位置を指定するための共通の指標を時間軸上で移動可能に第３の表示領域にさらに表示させ、指標により指定される第１の波形の位置と第１の表示領域に表示される第１の画像のフレームとが対応しかつ指標により指定される第２の波形の位置と第２の表示領域に表示される第２の画像のフレームとが対応する状態を保持するように第１、第２および第３の表示領域の表示を制御し、操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、上記の状態を保持するように第１、第２および第３の表示領域の表示を制御してもよい。
【００１５】
この場合、表示部の第３の表示領域に、第１および第２の波形の任意の位置を指定するための共通の指標が時間軸上で移動可能に表示される。操作部の操作に基づいて、第１および第２の波形のうち一方の波形が他方の波形に対して相対的に時間軸上で移動される。この場合においても、指標により指定される第１の波形の位置と第１の表示領域に表示される第１の画像のフレームとが対応しかつ指標により指定される第２の波形の位置と第２の表示領域に表示される第２の画像のフレームとが対応する状態が保持される。
【００１６】
第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００１７】
これにより、ユーザは、第１の波形および第２の波形の同一または類似形状の部分が重なるように第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００１８】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【００１９】
（３）操作部は、第１および第２の波形のうち一方の波形を時間軸上で移動させるように操作可能であり、制御部は、操作部による一方の波形の移動の操作に基づいて、第３の表示領域に表示される一方の波形および指標を時間軸上で移動させるとともに、第１および第２の表示領域のうち他方の波形に対応する表示領域の画像を変更してもよい。
【００２０】
この場合、ユーザは、操作部の操作により第１および第２の波形のうち一方の波形を時間軸上で移動させることができる。したがって、第１波形および第２波形の同一または類似形状の部分を時間軸上で容易に重ね合わせることができる。
【００２１】
（４）操作部は、第１および第２の表示領域のうち一方の表示領域に表示される画像のフレームの変更を操作可能であり、制御部は、操作部による画像の変更の操作に基づいて、一方の表示領域に表示される画像を変更するとともに、第１および第２の波形のうち他方の表示領域に対応する波形および指標を時間軸上で移動させてもよい。
【００２２】
この場合、ユーザは、操作部の操作により第１および第２の表示領域のうち一方の表示領域に表示される画像のフレームを変更させることにより、第１波形および第２波形の同一または類似形状の部分を時間軸上で容易に重ね合わせることができる。
【００２３】
（５）操作部は、第１の表示領域における動画の再生および第２の表示領域における動画の再生を指示可能であり、制御部は、操作部により動画の再生が指示された場合に、第１の表示領域に表示されている第１の画像以降の複数フレームの第１の画像を順次表示するとともに第２の表示領域に表示されている第２の画像以降の複数フレームの第２の画像を順次表示してもよい。
【００２４】
この場合、第１の表示領域における動画の再生および第２の表示領域における動画の再生が操作部により指示されることにより、第１の表示領域に表示されている第１の画像以降の複数フレームの第１の画像が順次表示されるとともに第２の表示領域に表示されている第２の画像以降の複数フレームの第２の画像が順次表示される。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することが可能となる。
【００２５】
（６）複数の第１の評価値は、複数フレームの第１の画像の特徴を示す値であり、複数の第２の評価値は、複数フレームの第２の画像の特徴を示す値であってもよい。
【００２６】
複数の第１の評価値は複数フレームの第１の画像から生成され、複数の第２の評価値は複数フレームの第２の画像から生成される。そのため、複数の第１の評価値および複数の第２の評価値を生成するための装置を別途設ける必要がない。これにより、画像処理装置を含むシステムの構成が簡素化される。
【００２７】
（７）複数フレームの第１の画像の特徴を示す値は、複数フレームの第１の画像の輝度に関する値であり、複数フレームの第２の画像の特徴を示す値は、複数フレームの第２の画像の輝度に関する値であってもよい。
【００２８】
第１の画像の輝度は第１の対象物の状態に応じて変化する。また、第２の画像の輝度は第２の対象物の状態に応じて変化する。そのため、第１の波形は第１の対象物の状態に応じて変化し、第２の波形は第２の対象物の状態に応じて変化する。したがって、第１の波形および第２の波形の同一または類似形状の部分が重なるように第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。
【００２９】
（８）複数の第１および第２の評価値は、第１および第２の対象物の状態を検出する検出装置の出力値であってもよい。
【００３０】
この場合、第１および第２の対象物の状態を検出装置により確実に検出することができる。したがって、第１の波形および第２の波形の同一または類似形状の部分が重なるように第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。
【００３１】
（９）第２の発明に係る画像処理方法は、第１の対象物の動画を構成する複数フレームの第１の画像および第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理方法であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の第１の評価値、複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶するステップと、表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示するステップと、記憶された各フレームの第１の画像データに基づいて第１の画像を第１の表示領域に表示させ、記憶された各フレームの第２の画像データに基づいて第２の画像を第２の表示領域に表示させ、記憶された複数の第１の評価値により形成される第１の波形および記憶部に記憶された複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に第３の表示領域に表示させるステップと、ユーザにより操作される操作部から第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付けるステップと、受け付けられた操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、第１の表示領域に表示させる第１の画像のフレームおよび第２の表示領域に表示させる第２の画像のフレームのいずれか一方を一方の波形の移動に基づいて変更するステップとを備え、複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化するものである。
【００３２】
この画像処理方法においては、複数フレームの第１の画像データ、複数の第１の評価値、複数フレームの第２の画像データ、および複数の第２の評価値が記憶される。
【００３３】
各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示され、各フレームの第２の画像データに基づいて第２の画像が表示部の第２の表示領域に表示される。また、複数の第１の評価値により形成される第１の波形および複数の第２の評価値により形成される第２の波形が時間軸上で移動可能に表示部の第３の表示領域に表示される。
【００３４】
複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化する。そのため、第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００３５】
ユーザにより操作部から操作部の操作により第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作が受け付けられる。受け付けられた操作部の操作に基づいて第１および第２の波形のうち一方の波形が他方の波形に対して相対的に時間軸上で移動される。また、第１の表示領域に表示される第１の画像のフレームおよび第２の表示領域に表示される第２の画像のフレームのいずれか一方が一方の波形の移動に基づいて変更される。これにより、ユーザは第１の表示領域に表示される第１の画像のフレームと第２の表示領域に表示される第２の画像のフレームとの対応関係を変更することができる。
【００３６】
したがって、ユーザは、第１の波形および第２の波形の同一または類似形状の部分を相対的に移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００３７】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【００３８】
（１０）第３の発明に係る画像処理プログラムは、第１の対象物の動画を構成する複数フレームの第１の画像および第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理を処理装置に実行させる画像処理プログラムあって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の第１の評価値、複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する処理と、表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示する処理と、記憶された各フレームの第１の画像データに基づいて第１の画像を第１の表示領域に表示させ、記憶された各フレームの第２の画像データに基づいて第２の画像を第２の表示領域に表示させ、記憶された複数の第１の評価値により形成される第１の波形および記憶部に記憶された複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に第３の表示領域に表示させる処理と、ユーザにより操作される操作部から第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付ける処理と、受け付けられた操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、第１の表示領域に表示させる第１の画像のフレームおよび第２の表示領域に表示させる第２の画像のフレームのいずれか一方を一方の波形の移動に基づいて変更する処理とを、処理装置に実行させ、複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化するものである。
【００３９】
この画像処理プログラムにおいては、複数フレームの第１の画像データ、複数の第１の評価値、複数フレームの第２の画像データ、および複数の第２の評価値が記憶される。
【００４０】
各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示され、各フレームの第２の画像データに基づいて第２の画像が表示部の第２の表示領域に表示される。また、複数の第１の評価値により形成される第１の波形および複数の第２の評価値により形成される第２の波形が時間軸上で移動可能に表示部の第３の表示領域に表示される。
【００４１】
複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化する。そのため、第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００４２】
ユーザにより操作部から操作部の操作により第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作が受け付けられる。受け付けられた操作部の操作に基づいて第１および第２の波形のうち一方の波形が他方の波形に対して相対的に時間軸上で移動される。また、第１の表示領域に表示される第１の画像のフレームおよび第２の表示領域に表示される第２の画像のフレームのいずれか一方が一方の波形の移動に基づいて変更される。これにより、ユーザは第１の表示領域に表示される第１の画像のフレームと第２の表示領域に表示される第２の画像のフレームとの対応関係を変更することができる。
【００４３】
したがって、ユーザは、第１の波形および第２の波形の同一または類似形状の部分を相対的に移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００４４】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【発明の効果】
【００４５】
本発明によれば、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施の形態に係る画像処理装置を備える画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】ファイル記憶処理により記憶部に記憶される動画ファイルの模式図である。
【図８】再生処理時の表示部の表示例を示す図である。
【図９】比較処理時における表示部の一表示例を示す図である。
【図１０】第１ファイルおよび第２ファイルに含まれる複数フレームの画像データ、複数フレームの画像、および複数の評価値の関係の一例を示す概念図である。
【図１１】図９の波形表示領域に表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。
【図１２】比較処理時における表示部の第１の操作例を示す図である。
【図１３】図１２の波形表示領域に表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。
【図１４】比較処理時における表示部の第２の操作例を示す図である。
【図１５】図１４の波形表示領域に表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。
【図１６】比較処理のフローチャートである。
【図１７】比較処理のフローチャートである。
【図１８】比較処理のフローチャートである。
【図１９】比較処理のフローチャートである。
【図２０】計測処理時における表示部の一表示例を示す図である。
【発明を実施するための形態】
【００４７】
以下、本発明の一実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る画像処理装置は表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００４８】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、本体部１、カメラ２、照明装置３および操作部４を備える。本体部１が本実施の形態に係る画像処理装置を構成する。本体部１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００４９】
本体部１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００５０】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００５１】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から本体部１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００５２】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００５３】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００５４】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００５５】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、本体部１と一体的に構成されてもよい。
【００５６】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００５７】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００５８】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る画像処理プログラムが記憶される。画像処理プログラムの詳細は後述する。
【００５９】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。複数の評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する値である。被写体Ｗの状態とは、被写体Ｗの位置、向き、明るさ、大きさ、形状または色等である。
【００６０】
評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００６１】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００６２】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００６３】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００６４】
なお、図１において、本体部１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、本体部１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００６５】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および本体部１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された画像処理プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００６６】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００６７】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０の画面上に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００６８】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。
【００６９】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００７０】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００７１】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００７２】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定めるものである。
【００７３】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００７４】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００７５】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００７６】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００７７】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答してトリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００７８】
録画ボタンＳｅは後述する録画処理の開始のためにユーザにより操作部４を用いて操作される。
【００７９】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００８０】
本体部１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００８１】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００８２】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００８３】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００８４】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００８５】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００８６】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００８７】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００８８】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００８９】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００９０】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００９１】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００９２】
ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００９３】
図７は、ファイル記憶処理により記憶部４０に記憶される動画ファイルの模式図である。
【００９４】
例えば図３の録画部３０の動画データ記憶領域３０Ａに画像データｖ１〜ｖ１２が記憶され、波形データ記憶領域３０Ｂに評価値ｉ１〜ｉ１２が記憶されている状態でファイル記憶処理が行われる。この場合、図７に示すように、画像データｖ１〜ｖ１２および評価値ｉ１〜ｉ１２、ならびにファイル情報ｆｉを含む動画ファイルＦＡが生成され、生成された動画ファイルＦＡが記憶部４０に記憶される。
【００９５】
なお、ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等が含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００９６】
（２−４）再生処理
次に、再生処理について説明する。再生処理とは、カメラ２から順次与えられる複数フレームの画像データ、録画部３０に記憶される複数フレームの画像データまたは記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうち任意の連続する複数フレームの画像データに基づいて表示部２０に動画を表示することをいう。
【００９７】
まず、記憶部４０に記憶された動画ファイル中の画像データに基づく画像の再生処理について説明する。
【００９８】
記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルの動画データを再生対象として選択することができる。
【００９９】
図８は、再生処理時の表示部２０の表示例を示す図である。図７に示すように、例えばユーザにより操作部４を用いて１つの動画ファイルが選択されると、図１の表示部２０には、図６の表示例と同様に、画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび再生ボタンＳｇが表示されるとともに、図６のファイルボタンＳｊに代えて比較ボタンＳｘが表示される。
【０１００】
ユーザにより操作部４を用いて再生ボタンＳｇが操作されると、制御部１０により再生処理が開始される。再生処理では、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイル中の複数フレームの画像データに基づいて動画が再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０１】
この場合、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、画像表示領域Ｓａに現在表示される画像のフレームに対応する評価値（以下、対応評価値と呼ぶ。）の位置に現在表示位置バーＬを表示させる。画像表示領域Ｓａに表示される画像のフレームが変化することにより対応評価値が変化すると、制御部１０は、現在表示位置バーＬを時間軸上で左右に移動させる。
【０１０２】
次に、録画処理の前の再生処理について説明する。録画処理の前には、制御部１０は、カメラ２から与えられる複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、複数フレームの画像データに基づく画像が図２の画像表示領域Ｓａに表示される。このようにして、カメラ２により撮影される被写体の動画が再生される。また、制御部１０は、波形収集部６０から与えられる波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０３】
さらに、録画処理終了時に録画部３０に記憶される画像データに基づく画像の再生処理について説明する。録画処理後に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されると、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される動画データに基づいて動画が再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０４】
ユーザにより操作部４を用いて比較ボタンＳｘが操作されることにより、後述する比較処理が開始される。
【０１０５】
（３）比較処理
（３−１）比較処理の概略
比較処理の概略を説明する。本実施の形態において、比較処理時には、後述するように、表示部２０に複数の画像表示領域および波形表示領域が表示される。複数の動画ファイルの動画データに基づいて、複数の動画が複数の画像表示領域にそれぞれ表示される。また、複数の動画ファイルの波形データに基づいて複数の波形のグラフが共通の波形表示領域に表示される。これにより、ユーザは、複数の動画および複数の波形のグラフを比較することができる。
【０１０６】
比較処理においては、ユーザが操作部４を操作することにより比較処理の対象となる複数の動画ファイルが選択される。比較処理の対象として２つの動画ファイルが選択される例を説明する。
【０１０７】
以下の説明において、比較処理の対象となる２つの動画ファイルをそれぞれ第１ファイルおよび第２ファイルと呼ぶ。また、第１ファイルの動画データに基づく動画を第１動画と呼び、第２ファイルの動画データに基づく動画を第２動画と呼ぶ。さらに、第１ファイルの波形データに基づいて波形表示領域に表示される波形のグラフを第１波形と呼び、第２ファイルの波形データに基づいて波形表示領域Ｓｂに表示される波形のグラフを第２波形と呼ぶ。
【０１０８】
なお、第１ファイルは、例えば図８を用いて説明した再生処理時に再生対象として選択された動画ファイルである。そのため、本例では、第１ファイルは比較処理前に予めユーザにより選択される。
【０１０９】
一方、第２ファイルは、例えば比較処理の開始時にユーザにより比較処理の対象として選択される動画ファイルである。図８の比較ボタンＳｘが操作されることにより比較処理が開始されると、記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより所望の動画ファイルを第２ファイルとして選択することができる。
【０１１０】
図９は比較処理時における表示部２０の一表示例を示す図であり、図１０は第１ファイルおよび第２ファイルに含まれる複数フレームの画像データ、複数フレームの画像、および複数の評価値の関係の一例を示す概念図である。図１１は図９の波形表示領域Ｓｂに表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。図１１においては、上段に第１波形のグラフが示され、下段に第２波形のグラフが示される。さらに、図１１の各グラフ上には、複数の評価値に対応する複数の画像データが示される。
【０１１１】
第１ファイルおよび第２ファイルが選択されることにより、図９に示すように、表示部２０の画面上には主として２つの画像表示領域Ｓａ１，Ｓａ２、波形表示領域Ｓｂ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、２つのシークバーＴｆ１，Ｔｆ２、同期ボタンＴｍ、比較終了ボタンＴｎおよび２つの操作対象指定ボタンＴｐ１，Ｔｐ２が表示される。２つのシークバーＴｆ１，Ｔｆ２は、それぞれ水平方向に移動可能なスライダＴｇ１，Ｔｇ２を有する。
【０１１２】
一方の画像表示領域Ｓａ１に第１ファイルの各フレームの画像データに基づく画像が表示され、他方の画像表示領域Ｓａ２に第２ファイルの各フレームの画像データに基づく画像が表示される。共通の波形表示領域Ｓｂに、第１ファイルの波形データに基づく第１波形ＷＬ１および第２ファイルの波形データに基づく第２波形ＷＬ２のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。
【０１１３】
波形表示領域Ｓｂのグラフ上には、第１波形ＷＬ１および第２波形ＷＬ２に対して共通の現在表示位置バーＬが表示される。共通の現在表示位置バーＬは第１波形ＷＬ１および第２波形ＷＬ２に交差する。
【０１１４】
比較処理時には、画像表示領域Ｓａ１に現在表示されている画像のフレームに対応する第１ファイルの対応評価値と、画像表示領域Ｓａ２に現在表示されている画像のフレームに対応する第２ファイルの対応評価値とが現在表示位置バーＬにより指定される。
【０１１５】
図１０の上段に第１ファイルに含まれる第１〜第７フレームの画像データｖａ１〜ｖａ７に対応する画像ＶＡ１〜ＶＡ７が左から右へ向かう時間軸に沿って順に示される。第１〜第７フレームの画像データｖａ１〜ｖａ７には、それぞれ第１〜第７番目の評価値ｉａ１〜ｉａ７が対応付けられている。本例の画像ＶＡ１〜ＶＡ７は、床ｂｔに向かって落下する被写体Ｗ１が撮影されることにより得られる。
【０１１６】
図１０の下段に第２ファイルに含まれる第１〜第７フレームの画像データｖｂ１〜ｖｂ７に対応する画像ＶＢ１〜ＶＢ７が左から右へ向かう時間軸に沿って順に示される。第１〜第７フレームの画像データｖｂ１〜ｖｂ７には、それぞれ第１〜第７番目の評価値ｉｂ１〜ｉｂ７が対応付けられている。本例の画像ＶＢ１〜ＶＢ７は、床ｂｔに向かって落下する被写体Ｗ２が撮影されることにより得られる。
【０１１７】
初期状態では、第１ファイルの第１〜第７フレームの画像データｖａ１〜ｖａ７と第２ファイルの第１〜第７フレームの画像データｖｂ１〜ｖｂ７とは、時間軸上でそれぞれ対応している。同様に、初期状態では、第１ファイルの第１〜第７番目の評価値ｉｂ１〜ｉｂ７と第２ファイルの第１〜第７番目の評価値ｉｂ１〜ｉｂ７とは、時間軸上でそれぞれ対応している。
【０１１８】
図９の例では、波形表示領域Ｓｂの時間軸上で時点ｔ３の位置に現在表示位置バーＬが表示される。この場合、図１１に示すように、第１ファイルの対応評価値は評価値ｉａ３である。これにより、図９の画像表示領域Ｓａ１には、第１ファイルの評価値ｉａ３に対応する第３フレームの画像データに基づく画像ＶＡ３（図１０）が表示される。
【０１１９】
また、図１１に示すように、第２ファイルの対応評価値は評価値ｉｂ３である。これにより、図９の画像表示領域Ｓａ２には、第２ファイルの評価値ｉｂ３に対応する第３フレームの画像データに基づく画像ＶＢ３（図１０）が表示される。
【０１２０】
ここで、図１０の上段に示すように、被写体Ｗ１が床ｂｔに衝突する瞬間の画像ＶＡ３は第１ファイルの第３フレームの画像データｖａ３に対応する。一方、図１０の下段に示すように、被写体Ｗ２が床ｂｔに衝突する瞬間の画像ＶＢ５は第２ファイルの第５フレームの画像データｖａ５に対応する。
【０１２１】
この場合、第１〜第７フレームの画像データｖａ１〜ｖａ７に基づく第１動画と第１〜第７フレームの画像データｖｂ１〜ｖｂ７に基づく第２動画とを同じフレームレートで同時に再生しても、被写体Ｗ１が床ｂｔに衝突する瞬間の画像ＶＡ３と被写体Ｗ２が床ｂｔに衝突する瞬間の画像ＶＢ５とは表示部２０の画像表示領域Ｓａ１，Ｓａ２に同時に表示されない。
【０１２２】
そこで、２つの画像表示領域Ｓａ１，Ｓａ２に同時に表示される画像のフレームの対応関係を変更する。すなわち、第１ファイルの第１〜第７フレームの画像データｖａ１〜ｖａ７と第２ファイルの第１〜第７フレームの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係を変更する。
【０１２３】
例えば、画像ＶＡ１〜ＶＡ７のそれぞれの表示タイミングを画像ＶＢ１〜ＶＢ７のそれぞれの表示タイミングに対して２フレーム分遅らせる。これにより、画像表示領域Ｓａ１に画像ＶＡ３を表示させると同時に、画像表示領域Ｓａ２に画像ＶＢ５を表示させることができる。
【０１２４】
（３−２）比較処理時における表示部の第１の操作例
図１２は比較処理時における表示部２０の第１の操作例を示す図であり、図１３は図１２の波形表示領域Ｓｂに表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。図１３においては、上段に第１波形のグラフが示され、下段に第２波形のグラフが示される。さらに、図１３の各グラフ上には、複数の評価値に対応する複数の画像データが示される。
【０１２５】
図１２の２つの操作対象指定ボタンＴｐ１，Ｔｐ２は、それぞれ第１ファイルおよび第２ファイルに対応する。比較処理時においては、ユーザにより操作部４を用いて操作対象指定ボタンＴｐ１が選択されることにより、第１ファイルに対して再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅおよびスライダＴｇ１の操作が有効となる。一方、ユーザにより操作部４を用いて操作対象指定ボタンＴｐ２が選択されることにより、第２ファイルに対して再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅおよびスライダＴｇ２の操作が有効となる。
【０１２６】
２つのシークバーＴｆ１，Ｔｆ２は、それぞれ第１ファイルおよび第２ファイルに対応する。上述のように、２つのシークバーＴｆ１，Ｔｆ２は、それぞれ水平方向に移動可能なスライダＴｇ１，Ｔｇ２を有する。操作対象指定ボタンＴｐ１の選択状態では、スライダＴｇ１の位置が現時点で波形表示領域Ｓｂに表示されている現在表示位置バーＬの時間軸上の位置に対応する。操作対象指定ボタンＴｐ２の選択状態では、スライダＴｇ２の位置が現時点で波形表示領域Ｓｂに表示されている現在表示位置バーＬの時間軸上の位置に対応する。
【０１２７】
操作対象指定ボタンＴｐ１の選択状態では、第１動画の再生が進むにつれて、スライダＴｇ１がシークバーＴｆ１上で一方向（本例では、表示部２０の画面の左から右）に移動する。第１動画の逆再生が進むにつれて、スライダＴｇ１がシークバーＴｆ１上で他方向（本例では、表示部２０の画面の右から左）に移動する。逆再生の詳細は後述する。
【０１２８】
同様に、操作対象指定ボタンＴｐ２の選択状態では、第２動画の再生が進むにつれて、スライダＴｇ２がシークバーＴｆ２上で一方向（本例では、表示部２０の画面の左から右）に移動する。第２動画の逆再生が進むにつれて、スライダＴｇ２がシークバーＴｆ２上で他方向（本例では、表示部２０の画面の右から左）に移動する。
【０１２９】
ここで、ユーザは、操作対象指定ボタンＴｐ１の選択状態で操作部４を用いてシークバーＴｆ１のスライダＴｇ１を移動させることにより、波形表示領域Ｓｂに現在表示されている第１波形ＷＬ１を現在表示位置バーＬとともに時間軸上で第２波形ＷＬ２に対して相対的に移動させることができる。
【０１３０】
また、ユーザは、操作対象指定ボタンＴｐ２の選択状態で操作部４を用いてシークバーＴｆ２のスライダＴｇ２を移動させることにより、波形表示領域Ｓｂに現在表示されている第２波形ＷＬ２を現在表示位置バーＬとともに時間軸上で第１波形ＷＬ１に対して相対的に移動させることができる。
【０１３１】
図９の表示部１０の表示状態から操作対象指定ボタンＴｐ１が選択された後、図１２に太い矢印で示すように、ユーザにより操作部４を用いてスライダＴｇ１がシークバーＴｆ１上で一方向（表示部２０の画面の左から右）に移動される。
【０１３２】
この場合、図１２に点線矢印で示すように、波形表示領域Ｓｂでは、スライダＴｇ１の移動とともに時間軸上で第１波形ＷＬ１および現在表示位置バーＬが第２波形ＷＬ２に対して相対的に移動する。
【０１３３】
図１２の例では、波形表示領域Ｓｂの時間軸上で時点ｔ３の位置から時点ｔ５の位置に現在表示位置バーＬが移動する。このとき、第１波形ＷＬ１は現在表示位置バーＬとともに移動するので、図１３に示すように第１ファイルの対応評価値は評価値ｉａ３で維持される。これにより、図１２の画像表示領域Ｓａ１には、第１ファイルの評価値ｉａ３に対応する第３フレームの画像データｖａ３に基づく画像ＶＡ３（図１０）が表示される。
【０１３４】
一方、第２波形ＷＬ２は移動しないので、図１３に示すように、第２ファイルの対応評価値は評価値ｉｂ３から評価値ｉｂ５に変化する。これにより、図１２の画像表示領域Ｓａ２には、第２ファイルの評価値ｉｂ５に対応する第５フレームの画像データｖｂ５に基づく画像ＶＢ５（図１０）が表示される。
【０１３５】
上記のように、波形表示領域Ｓｂにおいて時間軸上で第１波形ＷＬ１および現在表示位置バーＬがともに移動する場合、画像表示領域Ｓａ１に表示される画像のフレームは図９の状態から変化しない。一方、波形表示領域Ｓｂにおいて時間軸上で第２波形ＷＬ２が移動せずかつ現在表示位置バーＬが移動する場合、画像表示領域Ｓａ２に表示される画像のフレームは図９の状態から変化する。
【０１３６】
その結果、２つの画像表示領域Ｓａ１，Ｓａ２に同時に表示される画像のフレームの対応関係が変更される。すなわち、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が、図１１の状態から図１３の状態に変更される。
【０１３７】
このように、ユーザは操作部４を用いて操作対象指定ボタンＴｐ１およびスライダＴｇ１を操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１３８】
また、ユーザは操作部４を用いて操作対象指定ボタンＴｐ２およびスライダＴｇ２を操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１３９】
本例では、ユーザは、操作部４を用いて操作対象指定ボタンＴｐ１を操作した後、ユーザは波形表示領域Ｓｂに表示される第１波形ＷＬ１が第２波形ＷＬ２に重なるようにスライダＴｇ１を移動させる。それにより、画像表示領域Ｓａ１に画像ＶＡ３が表示されかつ画像表示領域Ｓａ２に画像ＶＢ５が表示されるように、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が変更される。
【０１４０】
その後、同期ボタンＴｍが操作される。これにより、第１ファイルの動画データに基づいて現時点で表示されている画像ＶＡ３以降の複数フレームの画像が画像表示領域Ｓａ１に順次表示されるとともに、第２ファイルの動画データに基づいて現時点で表示されている画像ＶＢ５以降の複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第１動画および第２動画が同時に再生される。以下、第１波形ＷＬ１および第２波形ＷＬ２の同一または類似形状の部分が重なり合った状態で第１動画および第２動画が同時に再生されることを同期再生と呼ぶ。同期再生によると、第１動画中の被写体Ｗ１の状態と第２動画中の被写体Ｗ２の状態とがほぼ同じタイミングで変化する。
【０１４１】
同期再生中にユーザにより操作部４を用いて逆再生ボタンＴｅが操作されることにより、第１動画および第２動画が同時に逆再生される。同期再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、第１動画および第２動画の再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで第１動画および第２動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで第１動画および第２動画が高速で逆再生される。同期再生時には、波形表示領域Ｓｂで現在表示位置バーＬが第１波形ＷＬ１および第２波形ＷＬ２に対して相対的に時間軸上を移動する。
【０１４２】
（３−３）比較処理時における表示部の第２の操作例
図１４は比較処理時における表示部２０の第２の操作例を示す図であり、図１５は図１４の波形表示領域Ｓｂに表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。図１５においては、上段に第１波形のグラフが示され、下段に第２波形のグラフが示される。さらに、図１５の各グラフ上には、複数の評価値に対応する複数の画像データが示される。
【０１４３】
図１４の操作対象指定ボタンＴｐ１の選択状態で、ユーザにより操作部４を用いて再生ボタンＴｃが操作される。この場合、第１ファイルの動画データに基づいて現時点で表示されている画像以降の複数フレームの画像が画像表示領域Ｓａ１に順次表示される。それにより、第１動画が再生される。また、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。この場合、第１ファイルの動画データに基づいて現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａ１に順次表示される。それにより、第１動画が逆再生される。
【０１４４】
第１動画の再生中または逆再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、第１動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで第１動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで第１動画が高速で逆再生される。
【０１４５】
操作対象指定ボタンＴｐ１の選択状態で第１動画が再生または逆再生される場合には、波形表示領域Ｓｂで現在表示位置バーＬおよび第２波形ＷＬ２が第１波形ＷＬ１に対して相対的に時間軸上を移動する。この場合、画像表示領域Ｓａ２に表示される画像は変化しない。
【０１４６】
一方、図１４の操作対象指定ボタンＴｐ２の選択状態で、ユーザにより操作部４を用いて再生ボタンＴｃが操作される。この場合、第２ファイルの動画データに基づいて現時点で表示されている画像以降の複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第２動画が再生される。また、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。この場合、第２ファイルの動画データに基づいて現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第２動画が逆再生される。
【０１４７】
第２動画の再生中または逆再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、第２動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで第２動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで第２動画が高速で逆再生される。
【０１４８】
操作対象指定ボタンＴｐ２の選択状態で第２動画が再生または逆再生される場合には、波形表示領域Ｓｂで現在表示位置バーＬおよび第１波形ＷＬ１が第２波形ＷＬ２に対して相対的に時間軸上を移動する。この場合、画像表示領域Ｓａ１に表示される画像は変化しない。
【０１４９】
図９の表示部１０の表示状態から操作対象指定ボタンＴｐ１が選択された後、図１４に太い矢印で示すように、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。
【０１５０】
この場合、図１４に点線矢印で示すように、波形表示領域Ｓｂでは、時間軸上で第２波形ＷＬ２および現在表示位置バーＬが第１波形ＷＬ１に対して相対的に移動する。
【０１５１】
図１４の例では、波形表示領域Ｓｂの時間軸上で時点ｔ３の位置から時点ｔ１の位置に現在表示位置バーＬが移動する。このとき、第２波形ＷＬ２は現在表示位置バーＬとともに移動するので、図１５に示すように第２ファイルの対応評価値は評価値ｉｂ３で維持される。これにより、図１４の画像表示領域Ｓａ２には、第２ファイルの評価値ｉｂ３に対応する第３フレームの画像データｖｂ３に基づく画像ＶＢ３（図１０）が表示される。
【０１５２】
一方、第１波形ＷＬ１は移動しないので、図１５に示すように、第１ファイルの対応評価値は評価値ｉｂ３から評価値ｉｂ１に変化する。これにより、図１４の画像表示領域Ｓａ１には、第１ファイルの評価値ｉａ１に対応する第１フレームの画像データｖａ１に基づく画像ＶＡ１（図１０）が表示される。
【０１５３】
上記のように、波形表示領域Ｓｂにおいて時間軸上で第２波形ＷＬ２および現在表示位置バーＬがともに移動する場合、画像表示領域Ｓａ２に表示される画像のフレームは図９の状態から変化しない。一方、波形表示領域Ｓｂにおいて時間軸上で第１波形ＷＬ１が移動せずかつ現在表示位置バーＬが移動する場合、画像表示領域Ｓａ１に表示される画像のフレームは図９の状態から変化する。
【０１５４】
その結果、２つの画像表示領域Ｓａ１，Ｓａ２に同時に表示される画像のフレームの対応関係が変更される。すなわち、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が、図１１の状態から図１５の状態に変更される。
【０１５５】
このように、ユーザは操作部４を用いて操作対象指定ボタンＴｐ１を操作するとともに再生ボタンＴｃまたは逆再生ボタンＴｅを操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１５６】
また、ユーザは操作部４を用いて操作対象指定ボタンＴｐ２を操作するとともに再生ボタンＴｃまたは逆再生ボタンＴｅを操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１５７】
本例では、ユーザは、操作部４を用いて操作対象指定ボタンＴｐ１を操作した後、波形表示領域Ｓｂに表示される第２波形ＷＬ２が第１波形ＷＬ１に重なるように逆再生ボタンＴｅを操作する。それにより、画像表示領域Ｓａ１に画像ＶＡ１が表示されかつ画像表示領域Ｓａ２に画像ＶＢ３が表示されるように、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が変更される。
【０１５８】
その後、同期ボタンＴｍが操作される。これにより、第１ファイルの動画データに基づいて現時点で表示されている画像ＶＡ１以降の複数フレームの画像が画像表示領域Ｓａ１に順次表示されるとともに、第２ファイルの動画データに基づいて現時点で表示されている画像ＶＢ３以降の複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第１波形ＷＬ１および第２波形ＷＬ２の同一または類似形状の部分が重なり合った状態で第１動画および第２動画が同時に再生される。すなわち、第１動画および第２動画が同期再生される。同期再生により、第１動画中の被写体Ｗ１の状態と第２動画中の被写体Ｗ２の状態とがほぼ同じタイミングで変化する。
【０１５９】
（３−４）比較処理フロー
図１６〜図１９は、比較処理のフローチャートである。上述のように、この比較処理は、再生処理時に、ユーザにより操作部４を用いて図８の比較ボタンＳｘが操作されることにより開始される。本実施の形態において、比較処理は記憶部４０に記憶される画像処理プログラムにより実行される処理の少なくとも一部を構成する。
【０１６０】
比較処理が開始されると、図１の制御部１０は、比較処理の対象となる複数の動画ファイルが選択されたか否かを判別する（ステップＳ１１）。上述のように、本例では２つの動画ファイルに対して比較処理が行われる。この場合、例えば制御部１０は、上記の第１ファイルおよび第２ファイルが選択されたか否かを判別する。
【０１６１】
第１ファイルおよび第２ファイルが選択された場合、制御部１０は、第１ファイルおよび第２ファイルの波形データに基づいて第１波形ＷＬ１（図９）および第２波形ＷＬ２（図９）のグラフを表示部２０の波形表示領域Ｓｂ（図９）に表示させる（ステップＳ１２）。
【０１６２】
また、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、時間軸の先頭の位置に現在表示位置バーＬを表示させる（ステップＳ１３）。
【０１６３】
また、制御部１０は、第１ファイルの先頭のフレームの画像データに基づく画像（現在表示位置バーＬにより指定される第１波形ＷＬ１の位置に対応するフレームの画像）を一方の画像表示領域Ｓａ１（図９）に表示させる（ステップＳ１４）。さらに、制御部１０は、第２ファイルの先頭のフレームの画像データに基づく画像（現在表示位置バーＬにより指定される第２波形ＷＬ２の位置に対応するフレームの画像）を他方の画像表示領域Ｓａ２（図９）に表示させる（ステップＳ１５）。
【０１６４】
次に、制御部１０は、図９の比較終了ボタンＴｎの操作により比較処理の終了が指令されたか否かを判別する（ステップＳ１６）。比較処理の終了が指令されることにより、制御部１０は、比較処理を終了する。
【０１６５】
比較処理の終了が指令されない場合、制御部１０は、図９の同期ボタンＴｍの操作により同期再生が指令されたか否かを判別する（ステップＳ２１）。
【０１６６】
同期再生が指令されない場合、制御部１０は、図９の操作対象指定ボタンＴｐ１または操作対象指定ボタンＴｐ２の操作により第１および第２のファイルのいずれが操作対象として選択されたかを判別する（ステップＳ２２）。
【０１６７】
以下の説明では、ステップＳ２２において選択された動画ファイルを操作ファイルと呼び、ステップＳ２２において選択されなかった動画ファイルを非操作ファイルと呼ぶ。また、操作ファイルの画像データに対応する画像を操作画像と呼び、操作ファイルの波形データに対応する波形を操作波形と呼ぶ。さらに、非操作ファイルの画像データに対応する画像を非操作画像と呼び、非操作ファイルの波形データに対応する波形を非操作波形と呼ぶ。また、操作画像が表示される画像表示領域を操作画像領域と呼び、非操作画像が表示される画像表示領域を非操作画像領域と呼ぶ。さらに、操作ファイルに対応するスライダを操作スライダと呼び、非操作ファイルに対応するスライダを非操作スライダと呼ぶ。
【０１６８】
ステップＳ２２において、操作対象が選択されない場合、すなわち図９の操作指定ボタンＴｐ１，Ｔｐ２のいずれもが選択されない場合、制御部１０は、ステップＳ１６の処理に戻る。
【０１６９】
一方、操作対象が選択された場合、制御部１０は、ユーザにより操作部４を用いて操作スライダが移動されたか否かを判別する（ステップＳ２３）。
【０１７０】
操作スライダが移動されない場合、制御部１０は、後述するステップＳ２６の処理に進む。
【０１７１】
操作スライダが移動された場合、制御部１０は、操作スライダの移動量に応じて波形表示領域Ｓｂの時間軸上で現在表示位置バーＬおよび操作波形を移動させる（ステップＳ２４）。また、制御部１０は、現在表示位置バーＬにより指定される非操作波形の位置に対応するフレームの非操作画像を非操作対象画像領域に表示させる（ステップＳ２５）。
【０１７２】
続いて、制御部１０は、図９の再生ボタンＴｃまたは逆再生ボタンＴｅの操作により動画の再生または逆再生が指令されたか否かを判別する（ステップＳ２６）。動画の再生または逆再生が指令されない場合、制御部１０は、上述のステップＳ１６の処理に戻る。
【０１７３】
動画の再生または逆再生が指令された場合、制御部１０は、操作ファイルの動画データに基づく動画を再生または逆再生する（ステップＳ２７）。また、制御部１０は、動画の再生または逆再生により操作画像領域に表示される操作画像のフレームに応じて波形表示領域Ｓｂの時間軸上で現在表示位置バーＬおよび非操作波形を移動させる（ステップＳ２８）。
【０１７４】
この状態で、制御部１０は、図９の一時停止ボタンＴｄの操作により再生または逆再生の停止が指令されたか否かを判別する（ステップＳ２９）。再生または逆再生の停止が指令された場合、制御部１０は、操作ファイルの動画データに基づく動画の再生または逆再生を停止してステップＳ１６の処理に戻る。
【０１７５】
上記のステップＳ２１において、同期再生が指令された場合、制御部１０は、波形表示領域Ｓｂの時間軸上で現在表示位置バーＬを移動させる（ステップＳ３１）。また、制御部１０は、第１ファイルの現在表示されている画像以降の複数フレームの画像データに基づく複数の画像を一方の画像表示領域Ｓａ１に順次表示させる（ステップＳ３２）。さらに、制御部１０は、第２ファイルの現在表示されている画像以降の複数フレームの画像データに基づく複数の画像を他方の画像表示領域Ｓａ２に順次表示させる（ステップＳ３３）。
【０１７６】
その後、制御部１０は、図９の一時停止ボタンＴｄの操作により同期再生の停止が指令されたか否かを判別する（ステップＳ３４）。同期再生の停止が指令された場合、制御部１０は、上記のステップＳ３１〜Ｓ３３の処理を停止し、ステップＳ１６の処理に戻る。
【０１７７】
なお、ステップＳ３４において、制御部１０は、同期再生の停止が指令されたか否かを判別する代わりに、一方および他方の画像表示領域Ｓａ１，Ｓａ２にそれぞれ第１ファイルおよび第２ファイルの最終フレームの画像データに基づく画像が表示されたか否かを判別してもよい。この場合、制御部１０は、一方および他方の画像表示領域Ｓａ１，Ｓａ２にそれぞれ最終のフレームの画像が表示されることによりステップＳ１６の処理に戻ってもよい。
【０１７８】
（３−５）効果
上述のように、波形データを構成する複数の評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する値である。第１波形ＷＬ１と第２波形ＷＬ２とが同一または類似形状の部分を有する場合、第１波形ＷＬ１の同一または類似形状の部分に対応するフレームの画像内の被写体Ｗ１と第２波形ＷＬ２の同一または類似形状の部分に対応するフレームの画像内の被写体Ｗ２とは、ほぼ同じ状態にある。
【０１７９】
ユーザは、操作部４の操作により波形表示領域Ｓｂに表示される第１波形ＷＬ１および第２波形ＷＬ２のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることができる。それにより、画像表示領域Ｓａ１に表示される画像のフレームと画像表示領域Ｓａ２に表示される画像のフレームとの対応関係を変更することができる。
【０１８０】
したがって、ユーザは、第１波形ＷＬ１および第２波形ＷＬ２の同一または類似形状の部分を相対的に移動させることにより、被写体Ｗ１，Ｗ２のほぼ同じ状態を含む２つの画像を２つの画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示させることが可能になる。それにより、被写体Ｗ１の状態と被写体Ｗ２の状態とが同じタイミングで変化するように第１動画および第２動画を再生することができる。
【０１８１】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物Ｗ１，Ｗ２の状態を容易に比較することができる。
【０１８２】
（４）他の実施の形態
（４−１）上記の例では、比較処理の対象となる動画ファイルの数は２つである。これに限らず、比較処理の対象となる動画ファイルの数は複数であればよく、３つであってもよいし、４つであってもよい。
【０１８３】
例えば、比較処理の対象となる動画ファイルの数が３つである場合には、表示部２０に３つの画像表示領域が表示され、３つの画像表示領域にそれぞれ３つの動画ファイルの動画データに基づいて各フレームの画像が表示される。また、波形表示領域Ｓｂに３つの動画ファイルの波形データに基づく３つの波形が表示される。
【０１８４】
（４−２）上記では、比較処理により複数の動画ファイルの動画データに基づいて複数の画像が比較され、複数の動画ファイルの波形データに基づく複数の波形が比較される。これに限らず、共通の動画ファイルの動画データおよび波形データに基づく複数のフレームの画像および複数の波形が互いに比較されてもよい。
【０１８５】
例えば、制御部１０は、上記のステップＳ１１において同一の動画ファイルが重複して選択されることにより、重複して選択された一の動画ファイルが第１ファイルおよび第２ファイルとして選択されたと判別してもよい。これにより、ユーザは１つの動画ファイルの波形データに基づく波形の複数の部分を互いに比較することができる。また、１つの動画ファイルの動画データに基づく動画の複数の部分を同期再生することができる。
【０１８６】
より具体的には、例えばユーザは第１〜第１００フレームの画像データを含む１つの動画ファイルにおいて、第１〜第５０フレームの画像データに対応する複数の評価値からなる波形と第５０〜第１００フレームの画像データに対応する複数の評価値からなる波形とを比較することができる。また、ユーザは第１〜第５０フレームの画像データに基づく動画と第５０〜第１００フレームの画像データに基づく動画とを同期再生することができる。
【０１８７】
（４−３）比較処理時には、図９に示すように、表示部２０に第１ファイルおよび第２ファイルにそれぞれ対応する２つのシークバーＴｆ１，Ｔｆ２が表示される。これに限らず、表示部２０には、１つのシークバーが表示されてもよい。この場合、例えば図９の操作対象指定ボタンＴｐ１が選択された場合に第１ファイルに対応するスライダＴｇ１がシークバー上に表示され、操作対象指定ボタンＴｐ２が選択された場合に第２ファイルに対応するスライダＴｇ２がシークバー上に表示されてもよい。さらに、図９の同期ボタンＴｍが操作された場合に、第１ファイルおよび第２ファイルに対して共通のスライダがシークバー上に表示されてもよい。
【０１８８】
上記の他、表示部２０には、第１ファイルおよび第２ファイルにそれぞれ対応する複数のスライダＴｇ１，Ｔｇ２を有する１つのシークバーが表示されてもよい。表示部２０に１つのシークバーのみが表示されることにより、表示部２０における画像の表示領域を拡大することができる。
【０１８９】
（４−４）図９の例では、比較処理時において、表示部２０の波形表示領域Ｓｂには第１波形ＷＬ１および第２波形ＷＬ２がそれぞれ実線および点線で示される。これに限らず、第１波形ＷＬ１および第２波形ＷＬ２は、いずれか一方が強調表示（ハイライト表示等）されてもよい。
【０１９０】
この場合、上記のステップＳ２２において選択された動画ファイルに対応する波形が強調表示されることにより、ユーザは操作対象ファイルおよび操作対象波形を容易に認識することができる。
【０１９１】
（４−５）図９の例では、表示部２０の波形表示領域Ｓｂに第１波形および第２波形が互いに重なるように表示される。これに限らず、表示部２０には、第１波形ＷＬ１および第２波形ＷＬ２にそれぞれ対応する２つの波形表示領域Ｓｂが多段表示されてもよい。この場合、第１波形ＷＬ１および第２波形ＷＬ２がそれぞれ２つの波形表示領域Ｓｂに表示されることにより、ユーザは第１波形ＷＬ１および第２波形ＷＬ２をそれぞれ明確に認識することができる。
【０１９２】
（４−６）上記のステップＳ２２において、制御部１０は、第１および第２のファイルのいずれかが操作対象として選択された場合に、操作対象ファイルに対応するシークバーおよびスライダをハイライト表示し、非操作対象ファイルに対応するシークバーおよびスライダをグレースケールまたは破線で表示してもよい。この場合、ユーザは操作対象ファイルおよび非操作対象ファイルを容易に認識することができる。
【０１９３】
（４−７）上述のように、評価値は、各フレームの画像の平均輝度値であってもよく、各フレームの画像の輝度値の総和であってもよく、あるフレームの画像の輝度値と各フレームの画像の輝度値との差分であってもよく、各フレーム内の輝度値の分散であってもよい。さらに、センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、評価値は測定対象物の温度、距離、圧力、加速度、または変位等の測定値であってもよい。
【０１９４】
１つの動画ファイルは、互いに異なる複数の波形データを含んでもよい。例えば、１つの動画ファイルは、複数フレームの画像の平均輝度値からなる波形データと、センサ６により所定の周期で測定された複数の測定値からなる波形データとを含んでもよい。
【０１９５】
上述の第１ファイルおよび第２ファイルがそれぞれ互いに異なる２つの波形データを含む場合には、図９の波形表示領域Ｓｂのグラフに、第１ファイルの２つの波形データに基づく２つの波形および第２ファイルの２つの波形データに基づく２つの波形が重畳表示されてもよい。
【０１９６】
または、第１ファイルおよび第２ファイルの一方の波形データに基づく２つの波形と、第１ファイルおよび第２ファイルの他方の波形データに基づく２つの波形とが、ユーザによる操作部４の操作に基づいて選択的に波形表示領域Ｓｂに表示されてもよい。
【０１９７】
これらの場合、ユーザは、表示部２０の波形表示領域Ｓｂに表示される複数の波形を視認することにより、第１動画および第２動画に関する多様な情報を認識することができる。
【０１９８】
（４−８）比較処理時に、第１ファイルおよび第２ファイルの同期再生が行われることにより、第１ファイルの動画データおよび波形データならびに第２ファイルの動画データおよび波形データを含む新たな動画ファイルが比較動画ファイルとして生成され、記憶部４０に記憶されてもよい。
【０１９９】
比較動画ファイルの生成時においては、例えば同期再生時に図９の画像表示領域Ｓａ１，Ｓａ２に同時に表示される２つの画像の関係に基づいて、第１ファイルの複数フレームの画像データと第２ファイルの複数フレームの画像データとが対応付けられるとともに第１ファイルの複数の評価値と第２ファイルの複数の評価値とが対応付けられてもよい。この場合、制御部１０により比較動画ファイルが読み込まれることにより、表示部２０の画面上で比較処理中の同期再生の状態が容易に再現される。
【０２００】
（４−９）制御部１０は、図１７のステップＳ２２の処理により第１ファイルおよび第２ファイルが操作対象として選択された後、ユーザによる操作部４の操作に基づいて操作対象波形または非操作波形を波形表示領域Ｓｂのグラフの時間軸上で移動させる。
【０２０１】
これに限らず、制御部１０は、比較処理が開始されることにより、第１ファイルの各フレームの画像データに対応する各評価値と第２ファイルの各フレームの画像データに対応する各評価値との相関値または差分値を算出し、算出された複数の相関値または差分値に基づいて波形表示領域Ｓｂのグラフの時間軸上で第１波形および第２波形を相対的に移動させてもよい。
【０２０２】
この場合、互いに類似する第１波形の一部分と第２波形の一部分とが、時間軸上の互いに異なる位置に存在する場合に、互いに類似する部分が重なるように時間軸上で第１波形と第２波形とが相対的に移動される。この場合、現在表示位置バーＬは、第１波形および第２波形の一方とともに時間軸上を移動してもよいし、時間軸上で停止してもよい。
【０２０３】
このようにして、比較処理が行われることにより波形表示領域Ｓｂの時間軸上で第１波形および第２波形が相対的に移動される。その結果、画像表示領域Ｓａ１に表示される画像のフレームと画像表示領域Ｓａ２に表示される画像のフレームとの対応関係が容易に変更される。
【０２０４】
（４−１０）比較処理中においては、動画中の被写体を追尾することにより動画中で移動する追尾対象の軌跡を表示する処理（以下、追尾処理と呼ぶ）が行われてもよい。追尾処理を行うために、ユーザは予め操作部４を用いて追尾設定を行う。
【０２０５】
追尾設定時に、ユーザは、例えば操作部４を用いていずれか一方の画像表示領域に表示される画像上で、追尾対象の画像としてのテンプレート、次フレームの画像において追尾対象を探索する範囲を示す探索範囲、および追尾対象が存在する位置を示すシンボルを指定する。このようにして追尾設定が行われた画像を含む動画が再生されることにより、動画を構成する複数フレームの画像の各々において追尾対象の位置が識別される。
【０２０６】
上述のように、比較処理時には２つの画像表示領域Ｓａ１，Ｓａ２において第１動画および第２動画がそれぞれ再生される。そのため、第１動画において被写体Ｗ１の追尾を行うと同時に第２動画において被写体Ｗ２の追尾を行う場合には、ユーザは２つの画像表示領域Ｓａ１，Ｓａ２に表示される２つの画像に対して同様の追尾設定をそれぞれ行う必要がある。
【０２０７】
そこで、比較処理中に複数の動画について追尾処理が行われる場合には、ユーザにより２つの画像表示領域Ｓａ１，Ｓａ２のうちの一方に表示される画像に対して追尾設定が行われることにより、他方の画像表示領域に表示される画像に対しても一方の画像表示領域に対する追尾設定と同じ内容の追尾設定が反映されてもよい。これにより、ユーザは比較処理中の追尾処理時に同内容の追尾設定を繰り返して行う必要がなくなる。
【０２０８】
（４−１１）比較処理中においては、第１動画中の被写体Ｗ１の特定部分の位置と第２動画中の被写体Ｗ２の特定部分の位置との間のずれ量を演算し、演算結果を表示する処理（以下、計測処理と呼ぶ）が行われてもよい。
【０２０９】
図２０は計測処理時における表示部２０の一表示例を示す図である。計測処理時において、ユーザにより操作部４を用いて一方の画像表示領域Ｓａ１内の所望の位置（本例では、画像ＶＡ１の被写体Ｗ１の一角部）が指定される。これにより、画像表示領域Ｓａ１内では画像ＶＡ１上の指定された位置にシンボルｍ１が表示される。このとき、他方の画像表示領域Ｓａ２内では、画像表示領域Ｓａ１におけるシンボルｍ１の位置に対応する位置にシンボルｍ２が表示される。
【０２１０】
続いて、ユーザにより操作部４を用いて他方の画像表示領域Ｓａ２内の所望の位置（本例では、画像ＶＢ３の被写体Ｗ２の一角部）が指定される。これにより、画像表示領域Ｓａ２内では画像ＶＢ３上の指定された位置にシンボルｎ１が表示される。このとき、一方の画像表示領域Ｓａ１内では、画像表示領域Ｓａ２におけるシンボルｎ１の位置に対応する位置にシンボルｎ２が表示される。
【０２１１】
この状態で、一方の画像表示領域Ｓａ１内に表示される２つのシンボルｍ１，ｎ２間の距離（または他方の画像表示領域Ｓａ２内に示される２つのシンボルｎ１，ｍ２間の距離）に基づいて被写体Ｗ１に対する被写体Ｗ２の実際のずれ量Ｑが制御部１０により演算される。演算結果が２つの画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される。
【０２１２】
これにより、ユーザは、第１動画中の被写体Ｗ１の特定部分の位置と第２動画中の被写体Ｗ２の特定部分の位置との間のずれ量を容易に計測することができる。
【０２１３】
（４−１２）第１動画の被写体Ｗ１の撮影フレームレートと第２動画の被写体Ｗ２の撮影フレームレートとが互いに異なる場合がある。この場合、第１動画および第２動画のうちの少なくとも一方の再生フレームレートは、ほぼ同じ撮影タイミングで取得された被写体Ｗ１，Ｗ２の各フレームの画像が同時に表示されるように調整されてもよい。再生フレームレートとは、単位時間当たりに表示部２０に表示される画像のフレーム数である。
【０２１４】
例えば、被写体Ｗ１および被写体Ｗ２の撮影フレームレートがそれぞれ１０００ｆｐｓおよび２５０ｆｐｓである場合、第１動画および第２動画の再生フレームレートをそれぞれ６０ｆｐｓおよび１５ｆｐｓに調整して同期再生を行う。これにより、表示部２０の画像表示領域Ｓａ１，Ｓａ２には、ほぼ同じ撮影タイミングで取得された被写体Ｗ１，Ｗ２の各フレームの画像が表示される。これにより、ユーザは第１動画および第２動画中の対象物Ｗ１，Ｗ２の状態の変化を正確に比較することができる。
【０２１５】
第１ファイルに含まれる複数の評価値のサンプリングレートと第２ファイルに含まれる複数の評価値のサンプリングレートとが互いに異なる場合がある。評価値のサンプリングレートとは、単位時間当たりに波形収集装置７により取得される評価値の数である。同期再生時には、制御部１０により第１ファイルに含まれる複数の評価値および第２ファイルに含まれる複数の評価値がそれぞれ一定周期で順次読み込まれる。それにより、波形表示領域Ｓｂにおける時間軸上で現在表示位置バーＬが移動される。
【０２１６】
この場合においても、同期再生時に、制御部１０が第１ファイルの複数の評価値の読み込み周期と第２ファイルの複数の評価値の読み込み周期とは、ほぼ同じサンプリングタイミングで取得された第１ファイルおよび第２ファイルの複数の評価値が同時に読み込まれるように調整してもよい。これにより、ユーザは第１動画および第２動画中の対象物Ｗ１，Ｗ２の状態の変化を正確に比較することができる。
【０２１７】
（５）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０２１８】
上記実施の形態においては、被写体Ｗ１が第１の対象物の例であり、画像ＶＡ１〜ＶＡ７および画像表示領域Ｓａ１に表示される被写体Ｗ１の画像が第１の画像の例であり、被写体Ｗ２が第２の対象物の例であり、画像ＶＢ１〜ＶＢ７および画像表示領域Ｓａ２に表示される被写体Ｗ２の画像が第２の画像の例である。
【０２１９】
また、本体部１が画像処理装置の例であり、画像データｖａ１〜ｖａ７および第１ファイルの動画データを構成する複数フレームの画像データが第１の画像データの例であり、評価値ｉａ１〜ｉａ７および第１ファイルの波形データを構成する複数の評価値が第１の評価値の例である。
【０２２０】
さらに、画像データｖｂ１〜ｖｂ７および第２ファイルの動画データを構成する複数フレームの画像データが第２の画像データの例であり、評価値ｉｂ１〜ｉｂ７および第２ファイルの波形データを構成する複数の評価値が第２の評価値の例であり、記憶部４０が記憶部の例である。
【０２２１】
また、画像表示領域Ｓａ１が第１の表示領域の例であり、画像表示領域Ｓａ２が第２の表示領域の例であり、波形表示領域Ｓｂが第３の表示領域の例であり、表示部２０が表示部の例であり、第１波形ＷＬ１が第１の波形の例であり、第２波形ＷＬ２が第２の波形の例である。
【０２２２】
さらに、センサ６，８および波形収集装置７が検出装置の例であり、制御部１０が制御部の例であり、操作部４が操作部の例であり、現在表示位置バーＬが共通の指標の例であり、制御部１０が処理装置の例である。
【０２２３】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０２２４】
本発明は、種々の画像処理に有効に利用することができる。
【符号の説明】
【０２２５】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
ｂｔ 床
ＦＡ，ＦＢ，ＦＣ，ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２，ｉａ１〜ｉａ７，ｉｂ１〜ｉｂ７ 評価値
Ｌ 現在表示位置バー
Ｓａ，Ｓａ１，Ｓａ２ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ 再生ボタン
Ｓｊ ファイルボタン
Ｓｘ 比較ボタン
Ｔｃ 再生ボタン
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ１，Ｔｆ２ シークバー
Ｔｇ１，Ｔｇ２ スライダ
Ｔｍ 同期ボタン
Ｔｎ 比較終了ボタン
Ｔｐ１，Ｔｐ２ 操作対象指定ボタン
ｔ１〜ｔ９ 時点
ＶＡ１〜ＶＡ７，ＶＢ１〜ＶＢ７ 画像
ｖ１〜ｖ１４，ｖａ１〜ｖａ７，ｖｂ１〜ｖｂ７ 画像データ
Ｗ，Ｗ１，Ｗ２ 被写体
ＷＬ１ 第１波形
ＷＬ２ 第２波形
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
研究室または製造現場等において、種々の被写体の動きを解析するために、高いフレームレートで被写体を撮影可能な高速撮影装置が用いられる（例えば、特許文献１参照）。
【０００３】
例えば、高速撮影装置によりベルトコンベアにより搬送される複数のワーク等の被写体が順次撮影される場合、互いに類似する複数の動画が取得される。複数の動画の撮影タイミングがずれていると、複数の動画を同時に再生しても複数の被写体の動きを比較することは難しい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、被写体の移動経路にセンサを配置し、センサの出力信号に応答して各被写体の撮影タイミングを決定することが考えられる。この場合、センサが必要となるため、高速撮影装置を用いたシステムの構成が複雑化する。また、各被写体が高速で動く場合には、センサの出力信号を用いても、高速撮影装置の撮影タイミングがずれる場合がある。
【０００６】
本発明の目的は、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）第１の発明に係る画像処理装置は、第１の対象物の動画を構成する複数フレームの第１の画像および第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理装置であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の第１の評価値、複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する記憶部と、第１の表示領域、第２の表示領域および第３の表示領域を有する表示部と、記憶部に記憶された各フレームの第１の画像データに基づいて第１の画像を第１の表示領域に表示させ、記憶部に記憶された各フレームの第２の画像データに基づいて第２の画像を第２の表示領域に表示させ、記憶部に記憶された複数の第１の評価値により形成される第１の波形および記憶部に記憶された複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に第３の表示領域に表示させる制御部と、第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるためにユーザにより操作される操作部とを備え、複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化し、制御部は、操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、第１の表示領域に表示させる第１の画像のフレームおよび第２の表示領域に表示させる第２の画像のフレームのいずれか一方を一方の波形の移動に基づいて変更するものである。
【０００８】
この画像処理装置においては、複数フレームの第１の画像データ、複数の第１の評価値、複数フレームの第２の画像データ、および複数の第２の評価値が記憶部に記憶される。
【０００９】
各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示され、各フレームの第２の画像データに基づいて第２の画像が表示部の第２の表示領域に表示される。また、複数の第１の評価値により形成される第１の波形および複数の第２の評価値により形成される第２の波形が時間軸上で移動可能に表示部の第３の表示領域に表示される。
【００１０】
複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化する。そのため、第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００１１】
ユーザは、操作部の操作により第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることができる。それにより、第１の表示領域に表示される第１の画像のフレームと第２の表示領域に表示される第２の画像のフレームとの対応関係を変更することができる。
【００１２】
したがって、ユーザは、第１の波形および第２の波形の同一または類似形状の部分を相対的に移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００１３】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【００１４】
（２）制御部は、第１および第２の波形の任意の位置を指定するための共通の指標を時間軸上で移動可能に第３の表示領域にさらに表示させ、指標により指定される第１の波形の位置と第１の表示領域に表示される第１の画像のフレームとが対応しかつ指標により指定される第２の波形の位置と第２の表示領域に表示される第２の画像のフレームとが対応する状態を保持するように第１、第２および第３の表示領域の表示を制御し、操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、上記の状態を保持するように第１、第２および第３の表示領域の表示を制御してもよい。
【００１５】
この場合、表示部の第３の表示領域に、第１および第２の波形の任意の位置を指定するための共通の指標が時間軸上で移動可能に表示される。操作部の操作に基づいて、第１および第２の波形のうち一方の波形が他方の波形に対して相対的に時間軸上で移動される。この場合においても、指標により指定される第１の波形の位置と第１の表示領域に表示される第１の画像のフレームとが対応しかつ指標により指定される第２の波形の位置と第２の表示領域に表示される第２の画像のフレームとが対応する状態が保持される。
【００１６】
第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００１７】
これにより、ユーザは、第１の波形および第２の波形の同一または類似形状の部分が重なるように第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００１８】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【００１９】
（３）操作部は、第１および第２の波形のうち一方の波形を時間軸上で移動させるように操作可能であり、制御部は、操作部による一方の波形の移動の操作に基づいて、第３の表示領域に表示される一方の波形および指標を時間軸上で移動させるとともに、第１および第２の表示領域のうち他方の波形に対応する表示領域の画像を変更してもよい。
【００２０】
この場合、ユーザは、操作部の操作により第１および第２の波形のうち一方の波形を時間軸上で移動させることができる。したがって、第１波形および第２波形の同一または類似形状の部分を時間軸上で容易に重ね合わせることができる。
【００２１】
（４）操作部は、第１および第２の表示領域のうち一方の表示領域に表示される画像のフレームの変更を操作可能であり、制御部は、操作部による画像の変更の操作に基づいて、一方の表示領域に表示される画像を変更するとともに、第１および第２の波形のうち他方の表示領域に対応する波形および指標を時間軸上で移動させてもよい。
【００２２】
この場合、ユーザは、操作部の操作により第１および第２の表示領域のうち一方の表示領域に表示される画像のフレームを変更させることにより、第１波形および第２波形の同一または類似形状の部分を時間軸上で容易に重ね合わせることができる。
【００２３】
（５）操作部は、第１の表示領域における動画の再生および第２の表示領域における動画の再生を指示可能であり、制御部は、操作部により動画の再生が指示された場合に、第１の表示領域に表示されている第１の画像以降の複数フレームの第１の画像を順次表示するとともに第２の表示領域に表示されている第２の画像以降の複数フレームの第２の画像を順次表示してもよい。
【００２４】
この場合、第１の表示領域における動画の再生および第２の表示領域における動画の再生が操作部により指示されることにより、第１の表示領域に表示されている第１の画像以降の複数フレームの第１の画像が順次表示されるとともに第２の表示領域に表示されている第２の画像以降の複数フレームの第２の画像が順次表示される。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することが可能となる。
【００２５】
（６）複数の第１の評価値は、複数フレームの第１の画像の特徴を示す値であり、複数の第２の評価値は、複数フレームの第２の画像の特徴を示す値であってもよい。
【００２６】
複数の第１の評価値は複数フレームの第１の画像から生成され、複数の第２の評価値は複数フレームの第２の画像から生成される。そのため、複数の第１の評価値および複数の第２の評価値を生成するための装置を別途設ける必要がない。これにより、画像処理装置を含むシステムの構成が簡素化される。
【００２７】
（７）複数フレームの第１の画像の特徴を示す値は、複数フレームの第１の画像の輝度に関する値であり、複数フレームの第２の画像の特徴を示す値は、複数フレームの第２の画像の輝度に関する値であってもよい。
【００２８】
第１の画像の輝度は第１の対象物の状態に応じて変化する。また、第２の画像の輝度は第２の対象物の状態に応じて変化する。そのため、第１の波形は第１の対象物の状態に応じて変化し、第２の波形は第２の対象物の状態に応じて変化する。したがって、第１の波形および第２の波形の同一または類似形状の部分が重なるように第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。
【００２９】
（８）複数の第１および第２の評価値は、第１および第２の対象物の状態を検出する検出装置の出力値であってもよい。
【００３０】
この場合、第１および第２の対象物の状態を検出装置により確実に検出することができる。したがって、第１の波形および第２の波形の同一または類似形状の部分が重なるように第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。
【００３１】
（９）第２の発明に係る画像処理方法は、第１の対象物の動画を構成する複数フレームの第１の画像および第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理方法であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の第１の評価値、複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶するステップと、表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示するステップと、記憶された各フレームの第１の画像データに基づいて第１の画像を第１の表示領域に表示させ、記憶された各フレームの第２の画像データに基づいて第２の画像を第２の表示領域に表示させ、記憶された複数の第１の評価値により形成される第１の波形および記憶部に記憶された複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に第３の表示領域に表示させるステップと、ユーザにより操作される操作部から第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付けるステップと、受け付けられた操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、第１の表示領域に表示させる第１の画像のフレームおよび第２の表示領域に表示させる第２の画像のフレームのいずれか一方を一方の波形の移動に基づいて変更するステップとを備え、複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化するものである。
【００３２】
この画像処理方法においては、複数フレームの第１の画像データ、複数の第１の評価値、複数フレームの第２の画像データ、および複数の第２の評価値が記憶される。
【００３３】
各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示され、各フレームの第２の画像データに基づいて第２の画像が表示部の第２の表示領域に表示される。また、複数の第１の評価値により形成される第１の波形および複数の第２の評価値により形成される第２の波形が時間軸上で移動可能に表示部の第３の表示領域に表示される。
【００３４】
複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化する。そのため、第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００３５】
ユーザにより操作部から操作部の操作により第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作が受け付けられる。受け付けられた操作部の操作に基づいて第１および第２の波形のうち一方の波形が他方の波形に対して相対的に時間軸上で移動される。また、第１の表示領域に表示される第１の画像のフレームおよび第２の表示領域に表示される第２の画像のフレームのいずれか一方が一方の波形の移動に基づいて変更される。これにより、ユーザは第１の表示領域に表示される第１の画像のフレームと第２の表示領域に表示される第２の画像のフレームとの対応関係を変更することができる。
【００３６】
したがって、ユーザは、第１の波形および第２の波形の同一または類似形状の部分を相対的に移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００３７】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【００３８】
（１０）第３の発明に係る画像処理プログラムは、第１の対象物の動画を構成する複数フレームの第１の画像および第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理を処理装置に実行させる画像処理プログラムあって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の第１の評価値、複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する処理と、表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示する処理と、記憶された各フレームの第１の画像データに基づいて第１の画像を第１の表示領域に表示させ、記憶された各フレームの第２の画像データに基づいて第２の画像を第２の表示領域に表示させ、記憶された複数の第１の評価値により形成される第１の波形および記憶部に記憶された複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に第３の表示領域に表示させる処理と、ユーザにより操作される操作部から第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付ける処理と、受け付けられた操作部の操作に基づいて、第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、第１の表示領域に表示させる第１の画像のフレームおよび第２の表示領域に表示させる第２の画像のフレームのいずれか一方を一方の波形の移動に基づいて変更する処理とを、処理装置に実行させ、複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化するものである。
【００３９】
この画像処理プログラムにおいては、複数フレームの第１の画像データ、複数の第１の評価値、複数フレームの第２の画像データ、および複数の第２の評価値が記憶される。
【００４０】
各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示され、各フレームの第２の画像データに基づいて第２の画像が表示部の第２の表示領域に表示される。また、複数の第１の評価値により形成される第１の波形および複数の第２の評価値により形成される第２の波形が時間軸上で移動可能に表示部の第３の表示領域に表示される。
【００４１】
複数の第１の評価値は第１の対象物の状態に応じて変化し、複数の第２の評価値は第２の対象物の状態に応じて変化する。そのため、第１の波形と第２の波形とが同一または類似形状の部分を有する場合、第１の波形の同一または類似形状の部分に対応するフレームの第１の画像内の第１の対象物と、第２の波形の同一または類似形状の部分に対応するフレームの第２の画像内の第２の対象物とは、ほぼ同じ状態にある。
【００４２】
ユーザにより操作部から操作部の操作により第３の表示領域に表示される第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作が受け付けられる。受け付けられた操作部の操作に基づいて第１および第２の波形のうち一方の波形が他方の波形に対して相対的に時間軸上で移動される。また、第１の表示領域に表示される第１の画像のフレームおよび第２の表示領域に表示される第２の画像のフレームのいずれか一方が一方の波形の移動に基づいて変更される。これにより、ユーザは第１の表示領域に表示される第１の画像のフレームと第２の表示領域に表示される第２の画像のフレームとの対応関係を変更することができる。
【００４３】
したがって、ユーザは、第１の波形および第２の波形の同一または類似形状の部分を相対的に移動させることにより、第１および第２の対象物のほぼ同じ状態を含む第１および第２の画像を第１および第２の表示領域にそれぞれ表示させることが可能になる。それにより、第１の対象物の状態と第２の対象物の状態とが同じタイミングで変化するように第１の対象物の動画および第２の対象物の動画を再生することができる。
【００４４】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【発明の効果】
【００４５】
本発明によれば、簡単な構成で複数の動画中の対象物の状態を容易に比較することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施の形態に係る画像処理装置を備える画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】ファイル記憶処理により記憶部に記憶される動画ファイルの模式図である。
【図８】再生処理時の表示部の表示例を示す図である。
【図９】比較処理時における表示部の一表示例を示す図である。
【図１０】第１ファイルおよび第２ファイルに含まれる複数フレームの画像データ、複数フレームの画像、および複数の評価値の関係の一例を示す概念図である。
【図１１】図９の波形表示領域に表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。
【図１２】比較処理時における表示部の第１の操作例を示す図である。
【図１３】図１２の波形表示領域に表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。
【図１４】比較処理時における表示部の第２の操作例を示す図である。
【図１５】図１４の波形表示領域に表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。
【図１６】比較処理のフローチャートである。
【図１７】比較処理のフローチャートである。
【図１８】比較処理のフローチャートである。
【図１９】比較処理のフローチャートである。
【図２０】計測処理時における表示部の一表示例を示す図である。
【発明を実施するための形態】
【００４７】
以下、本発明の一実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る画像処理装置は表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００４８】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、本体部１、カメラ２、照明装置３および操作部４を備える。本体部１が本実施の形態に係る画像処理装置を構成する。本体部１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００４９】
本体部１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００５０】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００５１】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から本体部１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００５２】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００５３】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００５４】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００５５】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、本体部１と一体的に構成されてもよい。
【００５６】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００５７】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００５８】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る画像処理プログラムが記憶される。画像処理プログラムの詳細は後述する。
【００５９】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。複数の評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する値である。被写体Ｗの状態とは、被写体Ｗの位置、向き、明るさ、大きさ、形状または色等である。
【００６０】
評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００６１】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００６２】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００６３】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００６４】
なお、図１において、本体部１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、本体部１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００６５】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および本体部１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された画像処理プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００６６】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００６７】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０の画面上に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００６８】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。
【００６９】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００７０】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００７１】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００７２】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定めるものである。
【００７３】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００７４】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００７５】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００７６】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００７７】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答してトリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００７８】
録画ボタンＳｅは後述する録画処理の開始のためにユーザにより操作部４を用いて操作される。
【００７９】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００８０】
本体部１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００８１】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００８２】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００８３】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００８４】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００８５】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００８６】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００８７】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００８８】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００８９】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００９０】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００９１】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００９２】
ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００９３】
図７は、ファイル記憶処理により記憶部４０に記憶される動画ファイルの模式図である。
【００９４】
例えば図３の録画部３０の動画データ記憶領域３０Ａに画像データｖ１〜ｖ１２が記憶され、波形データ記憶領域３０Ｂに評価値ｉ１〜ｉ１２が記憶されている状態でファイル記憶処理が行われる。この場合、図７に示すように、画像データｖ１〜ｖ１２および評価値ｉ１〜ｉ１２、ならびにファイル情報ｆｉを含む動画ファイルＦＡが生成され、生成された動画ファイルＦＡが記憶部４０に記憶される。
【００９５】
なお、ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等が含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００９６】
（２−４）再生処理
次に、再生処理について説明する。再生処理とは、カメラ２から順次与えられる複数フレームの画像データ、録画部３０に記憶される複数フレームの画像データまたは記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうち任意の連続する複数フレームの画像データに基づいて表示部２０に動画を表示することをいう。
【００９７】
まず、記憶部４０に記憶された動画ファイル中の画像データに基づく画像の再生処理について説明する。
【００９８】
記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルの動画データを再生対象として選択することができる。
【００９９】
図８は、再生処理時の表示部２０の表示例を示す図である。図７に示すように、例えばユーザにより操作部４を用いて１つの動画ファイルが選択されると、図１の表示部２０には、図６の表示例と同様に、画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび再生ボタンＳｇが表示されるとともに、図６のファイルボタンＳｊに代えて比較ボタンＳｘが表示される。
【０１００】
ユーザにより操作部４を用いて再生ボタンＳｇが操作されると、制御部１０により再生処理が開始される。再生処理では、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイル中の複数フレームの画像データに基づいて動画が再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０１】
この場合、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、画像表示領域Ｓａに現在表示される画像のフレームに対応する評価値（以下、対応評価値と呼ぶ。）の位置に現在表示位置バーＬを表示させる。画像表示領域Ｓａに表示される画像のフレームが変化することにより対応評価値が変化すると、制御部１０は、現在表示位置バーＬを時間軸上で左右に移動させる。
【０１０２】
次に、録画処理の前の再生処理について説明する。録画処理の前には、制御部１０は、カメラ２から与えられる複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、複数フレームの画像データに基づく画像が図２の画像表示領域Ｓａに表示される。このようにして、カメラ２により撮影される被写体の動画が再生される。また、制御部１０は、波形収集部６０から与えられる波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０３】
さらに、録画処理終了時に録画部３０に記憶される画像データに基づく画像の再生処理について説明する。録画処理後に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されると、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される動画データに基づいて動画が再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０４】
ユーザにより操作部４を用いて比較ボタンＳｘが操作されることにより、後述する比較処理が開始される。
【０１０５】
（３）比較処理
（３−１）比較処理の概略
比較処理の概略を説明する。本実施の形態において、比較処理時には、後述するように、表示部２０に複数の画像表示領域および波形表示領域が表示される。複数の動画ファイルの動画データに基づいて、複数の動画が複数の画像表示領域にそれぞれ表示される。また、複数の動画ファイルの波形データに基づいて複数の波形のグラフが共通の波形表示領域に表示される。これにより、ユーザは、複数の動画および複数の波形のグラフを比較することができる。
【０１０６】
比較処理においては、ユーザが操作部４を操作することにより比較処理の対象となる複数の動画ファイルが選択される。比較処理の対象として２つの動画ファイルが選択される例を説明する。
【０１０７】
以下の説明において、比較処理の対象となる２つの動画ファイルをそれぞれ第１ファイルおよび第２ファイルと呼ぶ。また、第１ファイルの動画データに基づく動画を第１動画と呼び、第２ファイルの動画データに基づく動画を第２動画と呼ぶ。さらに、第１ファイルの波形データに基づいて波形表示領域に表示される波形のグラフを第１波形と呼び、第２ファイルの波形データに基づいて波形表示領域Ｓｂに表示される波形のグラフを第２波形と呼ぶ。
【０１０８】
なお、第１ファイルは、例えば図８を用いて説明した再生処理時に再生対象として選択された動画ファイルである。そのため、本例では、第１ファイルは比較処理前に予めユーザにより選択される。
【０１０９】
一方、第２ファイルは、例えば比較処理の開始時にユーザにより比較処理の対象として選択される動画ファイルである。図８の比較ボタンＳｘが操作されることにより比較処理が開始されると、記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより所望の動画ファイルを第２ファイルとして選択することができる。
【０１１０】
図９は比較処理時における表示部２０の一表示例を示す図であり、図１０は第１ファイルおよび第２ファイルに含まれる複数フレームの画像データ、複数フレームの画像、および複数の評価値の関係の一例を示す概念図である。図１１は図９の波形表示領域Ｓｂに表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。図１１においては、上段に第１波形のグラフが示され、下段に第２波形のグラフが示される。さらに、図１１の各グラフ上には、複数の評価値に対応する複数の画像データが示される。
【０１１１】
第１ファイルおよび第２ファイルが選択されることにより、図９に示すように、表示部２０の画面上には主として２つの画像表示領域Ｓａ１，Ｓａ２、波形表示領域Ｓｂ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、２つのシークバーＴｆ１，Ｔｆ２、同期ボタンＴｍ、比較終了ボタンＴｎおよび２つの操作対象指定ボタンＴｐ１，Ｔｐ２が表示される。２つのシークバーＴｆ１，Ｔｆ２は、それぞれ水平方向に移動可能なスライダＴｇ１，Ｔｇ２を有する。
【０１１２】
一方の画像表示領域Ｓａ１に第１ファイルの各フレームの画像データに基づく画像が表示され、他方の画像表示領域Ｓａ２に第２ファイルの各フレームの画像データに基づく画像が表示される。共通の波形表示領域Ｓｂに、第１ファイルの波形データに基づく第１波形ＷＬ１および第２ファイルの波形データに基づく第２波形ＷＬ２のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。
【０１１３】
波形表示領域Ｓｂのグラフ上には、第１波形ＷＬ１および第２波形ＷＬ２に対して共通の現在表示位置バーＬが表示される。共通の現在表示位置バーＬは第１波形ＷＬ１および第２波形ＷＬ２に交差する。
【０１１４】
比較処理時には、画像表示領域Ｓａ１に現在表示されている画像のフレームに対応する第１ファイルの対応評価値と、画像表示領域Ｓａ２に現在表示されている画像のフレームに対応する第２ファイルの対応評価値とが現在表示位置バーＬにより指定される。
【０１１５】
図１０の上段に第１ファイルに含まれる第１〜第７フレームの画像データｖａ１〜ｖａ７に対応する画像ＶＡ１〜ＶＡ７が左から右へ向かう時間軸に沿って順に示される。第１〜第７フレームの画像データｖａ１〜ｖａ７には、それぞれ第１〜第７番目の評価値ｉａ１〜ｉａ７が対応付けられている。本例の画像ＶＡ１〜ＶＡ７は、床ｂｔに向かって落下する被写体Ｗ１が撮影されることにより得られる。
【０１１６】
図１０の下段に第２ファイルに含まれる第１〜第７フレームの画像データｖｂ１〜ｖｂ７に対応する画像ＶＢ１〜ＶＢ７が左から右へ向かう時間軸に沿って順に示される。第１〜第７フレームの画像データｖｂ１〜ｖｂ７には、それぞれ第１〜第７番目の評価値ｉｂ１〜ｉｂ７が対応付けられている。本例の画像ＶＢ１〜ＶＢ７は、床ｂｔに向かって落下する被写体Ｗ２が撮影されることにより得られる。
【０１１７】
初期状態では、第１ファイルの第１〜第７フレームの画像データｖａ１〜ｖａ７と第２ファイルの第１〜第７フレームの画像データｖｂ１〜ｖｂ７とは、時間軸上でそれぞれ対応している。同様に、初期状態では、第１ファイルの第１〜第７番目の評価値ｉｂ１〜ｉｂ７と第２ファイルの第１〜第７番目の評価値ｉｂ１〜ｉｂ７とは、時間軸上でそれぞれ対応している。
【０１１８】
図９の例では、波形表示領域Ｓｂの時間軸上で時点ｔ３の位置に現在表示位置バーＬが表示される。この場合、図１１に示すように、第１ファイルの対応評価値は評価値ｉａ３である。これにより、図９の画像表示領域Ｓａ１には、第１ファイルの評価値ｉａ３に対応する第３フレームの画像データに基づく画像ＶＡ３（図１０）が表示される。
【０１１９】
また、図１１に示すように、第２ファイルの対応評価値は評価値ｉｂ３である。これにより、図９の画像表示領域Ｓａ２には、第２ファイルの評価値ｉｂ３に対応する第３フレームの画像データに基づく画像ＶＢ３（図１０）が表示される。
【０１２０】
ここで、図１０の上段に示すように、被写体Ｗ１が床ｂｔに衝突する瞬間の画像ＶＡ３は第１ファイルの第３フレームの画像データｖａ３に対応する。一方、図１０の下段に示すように、被写体Ｗ２が床ｂｔに衝突する瞬間の画像ＶＢ５は第２ファイルの第５フレームの画像データｖａ５に対応する。
【０１２１】
この場合、第１〜第７フレームの画像データｖａ１〜ｖａ７に基づく第１動画と第１〜第７フレームの画像データｖｂ１〜ｖｂ７に基づく第２動画とを同じフレームレートで同時に再生しても、被写体Ｗ１が床ｂｔに衝突する瞬間の画像ＶＡ３と被写体Ｗ２が床ｂｔに衝突する瞬間の画像ＶＢ５とは表示部２０の画像表示領域Ｓａ１，Ｓａ２に同時に表示されない。
【０１２２】
そこで、２つの画像表示領域Ｓａ１，Ｓａ２に同時に表示される画像のフレームの対応関係を変更する。すなわち、第１ファイルの第１〜第７フレームの画像データｖａ１〜ｖａ７と第２ファイルの第１〜第７フレームの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係を変更する。
【０１２３】
例えば、画像ＶＡ１〜ＶＡ７のそれぞれの表示タイミングを画像ＶＢ１〜ＶＢ７のそれぞれの表示タイミングに対して２フレーム分遅らせる。これにより、画像表示領域Ｓａ１に画像ＶＡ３を表示させると同時に、画像表示領域Ｓａ２に画像ＶＢ５を表示させることができる。
【０１２４】
（３−２）比較処理時における表示部の第１の操作例
図１２は比較処理時における表示部２０の第１の操作例を示す図であり、図１３は図１２の波形表示領域Ｓｂに表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。図１３においては、上段に第１波形のグラフが示され、下段に第２波形のグラフが示される。さらに、図１３の各グラフ上には、複数の評価値に対応する複数の画像データが示される。
【０１２５】
図１２の２つの操作対象指定ボタンＴｐ１，Ｔｐ２は、それぞれ第１ファイルおよび第２ファイルに対応する。比較処理時においては、ユーザにより操作部４を用いて操作対象指定ボタンＴｐ１が選択されることにより、第１ファイルに対して再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅおよびスライダＴｇ１の操作が有効となる。一方、ユーザにより操作部４を用いて操作対象指定ボタンＴｐ２が選択されることにより、第２ファイルに対して再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅおよびスライダＴｇ２の操作が有効となる。
【０１２６】
２つのシークバーＴｆ１，Ｔｆ２は、それぞれ第１ファイルおよび第２ファイルに対応する。上述のように、２つのシークバーＴｆ１，Ｔｆ２は、それぞれ水平方向に移動可能なスライダＴｇ１，Ｔｇ２を有する。操作対象指定ボタンＴｐ１の選択状態では、スライダＴｇ１の位置が現時点で波形表示領域Ｓｂに表示されている現在表示位置バーＬの時間軸上の位置に対応する。操作対象指定ボタンＴｐ２の選択状態では、スライダＴｇ２の位置が現時点で波形表示領域Ｓｂに表示されている現在表示位置バーＬの時間軸上の位置に対応する。
【０１２７】
操作対象指定ボタンＴｐ１の選択状態では、第１動画の再生が進むにつれて、スライダＴｇ１がシークバーＴｆ１上で一方向（本例では、表示部２０の画面の左から右）に移動する。第１動画の逆再生が進むにつれて、スライダＴｇ１がシークバーＴｆ１上で他方向（本例では、表示部２０の画面の右から左）に移動する。逆再生の詳細は後述する。
【０１２８】
同様に、操作対象指定ボタンＴｐ２の選択状態では、第２動画の再生が進むにつれて、スライダＴｇ２がシークバーＴｆ２上で一方向（本例では、表示部２０の画面の左から右）に移動する。第２動画の逆再生が進むにつれて、スライダＴｇ２がシークバーＴｆ２上で他方向（本例では、表示部２０の画面の右から左）に移動する。
【０１２９】
ここで、ユーザは、操作対象指定ボタンＴｐ１の選択状態で操作部４を用いてシークバーＴｆ１のスライダＴｇ１を移動させることにより、波形表示領域Ｓｂに現在表示されている第１波形ＷＬ１を現在表示位置バーＬとともに時間軸上で第２波形ＷＬ２に対して相対的に移動させることができる。
【０１３０】
また、ユーザは、操作対象指定ボタンＴｐ２の選択状態で操作部４を用いてシークバーＴｆ２のスライダＴｇ２を移動させることにより、波形表示領域Ｓｂに現在表示されている第２波形ＷＬ２を現在表示位置バーＬとともに時間軸上で第１波形ＷＬ１に対して相対的に移動させることができる。
【０１３１】
図９の表示部１０の表示状態から操作対象指定ボタンＴｐ１が選択された後、図１２に太い矢印で示すように、ユーザにより操作部４を用いてスライダＴｇ１がシークバーＴｆ１上で一方向（表示部２０の画面の左から右）に移動される。
【０１３２】
この場合、図１２に点線矢印で示すように、波形表示領域Ｓｂでは、スライダＴｇ１の移動とともに時間軸上で第１波形ＷＬ１および現在表示位置バーＬが第２波形ＷＬ２に対して相対的に移動する。
【０１３３】
図１２の例では、波形表示領域Ｓｂの時間軸上で時点ｔ３の位置から時点ｔ５の位置に現在表示位置バーＬが移動する。このとき、第１波形ＷＬ１は現在表示位置バーＬとともに移動するので、図１３に示すように第１ファイルの対応評価値は評価値ｉａ３で維持される。これにより、図１２の画像表示領域Ｓａ１には、第１ファイルの評価値ｉａ３に対応する第３フレームの画像データｖａ３に基づく画像ＶＡ３（図１０）が表示される。
【０１３４】
一方、第２波形ＷＬ２は移動しないので、図１３に示すように、第２ファイルの対応評価値は評価値ｉｂ３から評価値ｉｂ５に変化する。これにより、図１２の画像表示領域Ｓａ２には、第２ファイルの評価値ｉｂ５に対応する第５フレームの画像データｖｂ５に基づく画像ＶＢ５（図１０）が表示される。
【０１３５】
上記のように、波形表示領域Ｓｂにおいて時間軸上で第１波形ＷＬ１および現在表示位置バーＬがともに移動する場合、画像表示領域Ｓａ１に表示される画像のフレームは図９の状態から変化しない。一方、波形表示領域Ｓｂにおいて時間軸上で第２波形ＷＬ２が移動せずかつ現在表示位置バーＬが移動する場合、画像表示領域Ｓａ２に表示される画像のフレームは図９の状態から変化する。
【０１３６】
その結果、２つの画像表示領域Ｓａ１，Ｓａ２に同時に表示される画像のフレームの対応関係が変更される。すなわち、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が、図１１の状態から図１３の状態に変更される。
【０１３７】
このように、ユーザは操作部４を用いて操作対象指定ボタンＴｐ１およびスライダＴｇ１を操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１３８】
また、ユーザは操作部４を用いて操作対象指定ボタンＴｐ２およびスライダＴｇ２を操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１３９】
本例では、ユーザは、操作部４を用いて操作対象指定ボタンＴｐ１を操作した後、ユーザは波形表示領域Ｓｂに表示される第１波形ＷＬ１が第２波形ＷＬ２に重なるようにスライダＴｇ１を移動させる。それにより、画像表示領域Ｓａ１に画像ＶＡ３が表示されかつ画像表示領域Ｓａ２に画像ＶＢ５が表示されるように、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が変更される。
【０１４０】
その後、同期ボタンＴｍが操作される。これにより、第１ファイルの動画データに基づいて現時点で表示されている画像ＶＡ３以降の複数フレームの画像が画像表示領域Ｓａ１に順次表示されるとともに、第２ファイルの動画データに基づいて現時点で表示されている画像ＶＢ５以降の複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第１動画および第２動画が同時に再生される。以下、第１波形ＷＬ１および第２波形ＷＬ２の同一または類似形状の部分が重なり合った状態で第１動画および第２動画が同時に再生されることを同期再生と呼ぶ。同期再生によると、第１動画中の被写体Ｗ１の状態と第２動画中の被写体Ｗ２の状態とがほぼ同じタイミングで変化する。
【０１４１】
同期再生中にユーザにより操作部４を用いて逆再生ボタンＴｅが操作されることにより、第１動画および第２動画が同時に逆再生される。同期再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、第１動画および第２動画の再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで第１動画および第２動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで第１動画および第２動画が高速で逆再生される。同期再生時には、波形表示領域Ｓｂで現在表示位置バーＬが第１波形ＷＬ１および第２波形ＷＬ２に対して相対的に時間軸上を移動する。
【０１４２】
（３−３）比較処理時における表示部の第２の操作例
図１４は比較処理時における表示部２０の第２の操作例を示す図であり、図１５は図１４の波形表示領域Ｓｂに表示される第１波形および第２波形の一部をそれぞれ拡大したグラフである。図１５においては、上段に第１波形のグラフが示され、下段に第２波形のグラフが示される。さらに、図１５の各グラフ上には、複数の評価値に対応する複数の画像データが示される。
【０１４３】
図１４の操作対象指定ボタンＴｐ１の選択状態で、ユーザにより操作部４を用いて再生ボタンＴｃが操作される。この場合、第１ファイルの動画データに基づいて現時点で表示されている画像以降の複数フレームの画像が画像表示領域Ｓａ１に順次表示される。それにより、第１動画が再生される。また、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。この場合、第１ファイルの動画データに基づいて現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａ１に順次表示される。それにより、第１動画が逆再生される。
【０１４４】
第１動画の再生中または逆再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、第１動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで第１動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで第１動画が高速で逆再生される。
【０１４５】
操作対象指定ボタンＴｐ１の選択状態で第１動画が再生または逆再生される場合には、波形表示領域Ｓｂで現在表示位置バーＬおよび第２波形ＷＬ２が第１波形ＷＬ１に対して相対的に時間軸上を移動する。この場合、画像表示領域Ｓａ２に表示される画像は変化しない。
【０１４６】
一方、図１４の操作対象指定ボタンＴｐ２の選択状態で、ユーザにより操作部４を用いて再生ボタンＴｃが操作される。この場合、第２ファイルの動画データに基づいて現時点で表示されている画像以降の複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第２動画が再生される。また、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。この場合、第２ファイルの動画データに基づいて現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第２動画が逆再生される。
【０１４７】
第２動画の再生中または逆再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、第２動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで第２動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで第２動画が高速で逆再生される。
【０１４８】
操作対象指定ボタンＴｐ２の選択状態で第２動画が再生または逆再生される場合には、波形表示領域Ｓｂで現在表示位置バーＬおよび第１波形ＷＬ１が第２波形ＷＬ２に対して相対的に時間軸上を移動する。この場合、画像表示領域Ｓａ１に表示される画像は変化しない。
【０１４９】
図９の表示部１０の表示状態から操作対象指定ボタンＴｐ１が選択された後、図１４に太い矢印で示すように、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。
【０１５０】
この場合、図１４に点線矢印で示すように、波形表示領域Ｓｂでは、時間軸上で第２波形ＷＬ２および現在表示位置バーＬが第１波形ＷＬ１に対して相対的に移動する。
【０１５１】
図１４の例では、波形表示領域Ｓｂの時間軸上で時点ｔ３の位置から時点ｔ１の位置に現在表示位置バーＬが移動する。このとき、第２波形ＷＬ２は現在表示位置バーＬとともに移動するので、図１５に示すように第２ファイルの対応評価値は評価値ｉｂ３で維持される。これにより、図１４の画像表示領域Ｓａ２には、第２ファイルの評価値ｉｂ３に対応する第３フレームの画像データｖｂ３に基づく画像ＶＢ３（図１０）が表示される。
【０１５２】
一方、第１波形ＷＬ１は移動しないので、図１５に示すように、第１ファイルの対応評価値は評価値ｉｂ３から評価値ｉｂ１に変化する。これにより、図１４の画像表示領域Ｓａ１には、第１ファイルの評価値ｉａ１に対応する第１フレームの画像データｖａ１に基づく画像ＶＡ１（図１０）が表示される。
【０１５３】
上記のように、波形表示領域Ｓｂにおいて時間軸上で第２波形ＷＬ２および現在表示位置バーＬがともに移動する場合、画像表示領域Ｓａ２に表示される画像のフレームは図９の状態から変化しない。一方、波形表示領域Ｓｂにおいて時間軸上で第１波形ＷＬ１が移動せずかつ現在表示位置バーＬが移動する場合、画像表示領域Ｓａ１に表示される画像のフレームは図９の状態から変化する。
【０１５４】
その結果、２つの画像表示領域Ｓａ１，Ｓａ２に同時に表示される画像のフレームの対応関係が変更される。すなわち、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が、図１１の状態から図１５の状態に変更される。
【０１５５】
このように、ユーザは操作部４を用いて操作対象指定ボタンＴｐ１を操作するとともに再生ボタンＴｃまたは逆再生ボタンＴｅを操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１５６】
また、ユーザは操作部４を用いて操作対象指定ボタンＴｐ２を操作するとともに再生ボタンＴｃまたは逆再生ボタンＴｅを操作することにより、画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される画像のフレームの対応関係を変更することができる。
【０１５７】
本例では、ユーザは、操作部４を用いて操作対象指定ボタンＴｐ１を操作した後、波形表示領域Ｓｂに表示される第２波形ＷＬ２が第１波形ＷＬ１に重なるように逆再生ボタンＴｅを操作する。それにより、画像表示領域Ｓａ１に画像ＶＡ１が表示されかつ画像表示領域Ｓａ２に画像ＶＢ３が表示されるように、第１ファイルの画像データｖａ１〜ｖａ７と第２ファイルの画像データｖｂ１〜ｖｂ７との時間軸上での対応関係が変更される。
【０１５８】
その後、同期ボタンＴｍが操作される。これにより、第１ファイルの動画データに基づいて現時点で表示されている画像ＶＡ１以降の複数フレームの画像が画像表示領域Ｓａ１に順次表示されるとともに、第２ファイルの動画データに基づいて現時点で表示されている画像ＶＢ３以降の複数フレームの画像が画像表示領域Ｓａ２に順次表示される。それにより、第１波形ＷＬ１および第２波形ＷＬ２の同一または類似形状の部分が重なり合った状態で第１動画および第２動画が同時に再生される。すなわち、第１動画および第２動画が同期再生される。同期再生により、第１動画中の被写体Ｗ１の状態と第２動画中の被写体Ｗ２の状態とがほぼ同じタイミングで変化する。
【０１５９】
（３−４）比較処理フロー
図１６〜図１９は、比較処理のフローチャートである。上述のように、この比較処理は、再生処理時に、ユーザにより操作部４を用いて図８の比較ボタンＳｘが操作されることにより開始される。本実施の形態において、比較処理は記憶部４０に記憶される画像処理プログラムにより実行される処理の少なくとも一部を構成する。
【０１６０】
比較処理が開始されると、図１の制御部１０は、比較処理の対象となる複数の動画ファイルが選択されたか否かを判別する（ステップＳ１１）。上述のように、本例では２つの動画ファイルに対して比較処理が行われる。この場合、例えば制御部１０は、上記の第１ファイルおよび第２ファイルが選択されたか否かを判別する。
【０１６１】
第１ファイルおよび第２ファイルが選択された場合、制御部１０は、第１ファイルおよび第２ファイルの波形データに基づいて第１波形ＷＬ１（図９）および第２波形ＷＬ２（図９）のグラフを表示部２０の波形表示領域Ｓｂ（図９）に表示させる（ステップＳ１２）。
【０１６２】
また、制御部１０は、波形表示領域Ｓｂの波形のグラフ上で、時間軸の先頭の位置に現在表示位置バーＬを表示させる（ステップＳ１３）。
【０１６３】
また、制御部１０は、第１ファイルの先頭のフレームの画像データに基づく画像（現在表示位置バーＬにより指定される第１波形ＷＬ１の位置に対応するフレームの画像）を一方の画像表示領域Ｓａ１（図９）に表示させる（ステップＳ１４）。さらに、制御部１０は、第２ファイルの先頭のフレームの画像データに基づく画像（現在表示位置バーＬにより指定される第２波形ＷＬ２の位置に対応するフレームの画像）を他方の画像表示領域Ｓａ２（図９）に表示させる（ステップＳ１５）。
【０１６４】
次に、制御部１０は、図９の比較終了ボタンＴｎの操作により比較処理の終了が指令されたか否かを判別する（ステップＳ１６）。比較処理の終了が指令されることにより、制御部１０は、比較処理を終了する。
【０１６５】
比較処理の終了が指令されない場合、制御部１０は、図９の同期ボタンＴｍの操作により同期再生が指令されたか否かを判別する（ステップＳ２１）。
【０１６６】
同期再生が指令されない場合、制御部１０は、図９の操作対象指定ボタンＴｐ１または操作対象指定ボタンＴｐ２の操作により第１および第２のファイルのいずれが操作対象として選択されたかを判別する（ステップＳ２２）。
【０１６７】
以下の説明では、ステップＳ２２において選択された動画ファイルを操作ファイルと呼び、ステップＳ２２において選択されなかった動画ファイルを非操作ファイルと呼ぶ。また、操作ファイルの画像データに対応する画像を操作画像と呼び、操作ファイルの波形データに対応する波形を操作波形と呼ぶ。さらに、非操作ファイルの画像データに対応する画像を非操作画像と呼び、非操作ファイルの波形データに対応する波形を非操作波形と呼ぶ。また、操作画像が表示される画像表示領域を操作画像領域と呼び、非操作画像が表示される画像表示領域を非操作画像領域と呼ぶ。さらに、操作ファイルに対応するスライダを操作スライダと呼び、非操作ファイルに対応するスライダを非操作スライダと呼ぶ。
【０１６８】
ステップＳ２２において、操作対象が選択されない場合、すなわち図９の操作指定ボタンＴｐ１，Ｔｐ２のいずれもが選択されない場合、制御部１０は、ステップＳ１６の処理に戻る。
【０１６９】
一方、操作対象が選択された場合、制御部１０は、ユーザにより操作部４を用いて操作スライダが移動されたか否かを判別する（ステップＳ２３）。
【０１７０】
操作スライダが移動されない場合、制御部１０は、後述するステップＳ２６の処理に進む。
【０１７１】
操作スライダが移動された場合、制御部１０は、操作スライダの移動量に応じて波形表示領域Ｓｂの時間軸上で現在表示位置バーＬおよび操作波形を移動させる（ステップＳ２４）。また、制御部１０は、現在表示位置バーＬにより指定される非操作波形の位置に対応するフレームの非操作画像を非操作対象画像領域に表示させる（ステップＳ２５）。
【０１７２】
続いて、制御部１０は、図９の再生ボタンＴｃまたは逆再生ボタンＴｅの操作により動画の再生または逆再生が指令されたか否かを判別する（ステップＳ２６）。動画の再生または逆再生が指令されない場合、制御部１０は、上述のステップＳ１６の処理に戻る。
【０１７３】
動画の再生または逆再生が指令された場合、制御部１０は、操作ファイルの動画データに基づく動画を再生または逆再生する（ステップＳ２７）。また、制御部１０は、動画の再生または逆再生により操作画像領域に表示される操作画像のフレームに応じて波形表示領域Ｓｂの時間軸上で現在表示位置バーＬおよび非操作波形を移動させる（ステップＳ２８）。
【０１７４】
この状態で、制御部１０は、図９の一時停止ボタンＴｄの操作により再生または逆再生の停止が指令されたか否かを判別する（ステップＳ２９）。再生または逆再生の停止が指令された場合、制御部１０は、操作ファイルの動画データに基づく動画の再生または逆再生を停止してステップＳ１６の処理に戻る。
【０１７５】
上記のステップＳ２１において、同期再生が指令された場合、制御部１０は、波形表示領域Ｓｂの時間軸上で現在表示位置バーＬを移動させる（ステップＳ３１）。また、制御部１０は、第１ファイルの現在表示されている画像以降の複数フレームの画像データに基づく複数の画像を一方の画像表示領域Ｓａ１に順次表示させる（ステップＳ３２）。さらに、制御部１０は、第２ファイルの現在表示されている画像以降の複数フレームの画像データに基づく複数の画像を他方の画像表示領域Ｓａ２に順次表示させる（ステップＳ３３）。
【０１７６】
その後、制御部１０は、図９の一時停止ボタンＴｄの操作により同期再生の停止が指令されたか否かを判別する（ステップＳ３４）。同期再生の停止が指令された場合、制御部１０は、上記のステップＳ３１〜Ｓ３３の処理を停止し、ステップＳ１６の処理に戻る。
【０１７７】
なお、ステップＳ３４において、制御部１０は、同期再生の停止が指令されたか否かを判別する代わりに、一方および他方の画像表示領域Ｓａ１，Ｓａ２にそれぞれ第１ファイルおよび第２ファイルの最終フレームの画像データに基づく画像が表示されたか否かを判別してもよい。この場合、制御部１０は、一方および他方の画像表示領域Ｓａ１，Ｓａ２にそれぞれ最終のフレームの画像が表示されることによりステップＳ１６の処理に戻ってもよい。
【０１７８】
（３−５）効果
上述のように、波形データを構成する複数の評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する値である。第１波形ＷＬ１と第２波形ＷＬ２とが同一または類似形状の部分を有する場合、第１波形ＷＬ１の同一または類似形状の部分に対応するフレームの画像内の被写体Ｗ１と第２波形ＷＬ２の同一または類似形状の部分に対応するフレームの画像内の被写体Ｗ２とは、ほぼ同じ状態にある。
【０１７９】
ユーザは、操作部４の操作により波形表示領域Ｓｂに表示される第１波形ＷＬ１および第２波形ＷＬ２のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させることができる。それにより、画像表示領域Ｓａ１に表示される画像のフレームと画像表示領域Ｓａ２に表示される画像のフレームとの対応関係を変更することができる。
【０１８０】
したがって、ユーザは、第１波形ＷＬ１および第２波形ＷＬ２の同一または類似形状の部分を相対的に移動させることにより、被写体Ｗ１，Ｗ２のほぼ同じ状態を含む２つの画像を２つの画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示させることが可能になる。それにより、被写体Ｗ１の状態と被写体Ｗ２の状態とが同じタイミングで変化するように第１動画および第２動画を再生することができる。
【０１８１】
これらの結果、ユーザは、簡単な構成で複数の動画中の対象物Ｗ１，Ｗ２の状態を容易に比較することができる。
【０１８２】
（４）他の実施の形態
（４−１）上記の例では、比較処理の対象となる動画ファイルの数は２つである。これに限らず、比較処理の対象となる動画ファイルの数は複数であればよく、３つであってもよいし、４つであってもよい。
【０１８３】
例えば、比較処理の対象となる動画ファイルの数が３つである場合には、表示部２０に３つの画像表示領域が表示され、３つの画像表示領域にそれぞれ３つの動画ファイルの動画データに基づいて各フレームの画像が表示される。また、波形表示領域Ｓｂに３つの動画ファイルの波形データに基づく３つの波形が表示される。
【０１８４】
（４−２）上記では、比較処理により複数の動画ファイルの動画データに基づいて複数の画像が比較され、複数の動画ファイルの波形データに基づく複数の波形が比較される。これに限らず、共通の動画ファイルの動画データおよび波形データに基づく複数のフレームの画像および複数の波形が互いに比較されてもよい。
【０１８５】
例えば、制御部１０は、上記のステップＳ１１において同一の動画ファイルが重複して選択されることにより、重複して選択された一の動画ファイルが第１ファイルおよび第２ファイルとして選択されたと判別してもよい。これにより、ユーザは１つの動画ファイルの波形データに基づく波形の複数の部分を互いに比較することができる。また、１つの動画ファイルの動画データに基づく動画の複数の部分を同期再生することができる。
【０１８６】
より具体的には、例えばユーザは第１〜第１００フレームの画像データを含む１つの動画ファイルにおいて、第１〜第５０フレームの画像データに対応する複数の評価値からなる波形と第５０〜第１００フレームの画像データに対応する複数の評価値からなる波形とを比較することができる。また、ユーザは第１〜第５０フレームの画像データに基づく動画と第５０〜第１００フレームの画像データに基づく動画とを同期再生することができる。
【０１８７】
（４−３）比較処理時には、図９に示すように、表示部２０に第１ファイルおよび第２ファイルにそれぞれ対応する２つのシークバーＴｆ１，Ｔｆ２が表示される。これに限らず、表示部２０には、１つのシークバーが表示されてもよい。この場合、例えば図９の操作対象指定ボタンＴｐ１が選択された場合に第１ファイルに対応するスライダＴｇ１がシークバー上に表示され、操作対象指定ボタンＴｐ２が選択された場合に第２ファイルに対応するスライダＴｇ２がシークバー上に表示されてもよい。さらに、図９の同期ボタンＴｍが操作された場合に、第１ファイルおよび第２ファイルに対して共通のスライダがシークバー上に表示されてもよい。
【０１８８】
上記の他、表示部２０には、第１ファイルおよび第２ファイルにそれぞれ対応する複数のスライダＴｇ１，Ｔｇ２を有する１つのシークバーが表示されてもよい。表示部２０に１つのシークバーのみが表示されることにより、表示部２０における画像の表示領域を拡大することができる。
【０１８９】
（４−４）図９の例では、比較処理時において、表示部２０の波形表示領域Ｓｂには第１波形ＷＬ１および第２波形ＷＬ２がそれぞれ実線および点線で示される。これに限らず、第１波形ＷＬ１および第２波形ＷＬ２は、いずれか一方が強調表示（ハイライト表示等）されてもよい。
【０１９０】
この場合、上記のステップＳ２２において選択された動画ファイルに対応する波形が強調表示されることにより、ユーザは操作対象ファイルおよび操作対象波形を容易に認識することができる。
【０１９１】
（４−５）図９の例では、表示部２０の波形表示領域Ｓｂに第１波形および第２波形が互いに重なるように表示される。これに限らず、表示部２０には、第１波形ＷＬ１および第２波形ＷＬ２にそれぞれ対応する２つの波形表示領域Ｓｂが多段表示されてもよい。この場合、第１波形ＷＬ１および第２波形ＷＬ２がそれぞれ２つの波形表示領域Ｓｂに表示されることにより、ユーザは第１波形ＷＬ１および第２波形ＷＬ２をそれぞれ明確に認識することができる。
【０１９２】
（４−６）上記のステップＳ２２において、制御部１０は、第１および第２のファイルのいずれかが操作対象として選択された場合に、操作対象ファイルに対応するシークバーおよびスライダをハイライト表示し、非操作対象ファイルに対応するシークバーおよびスライダをグレースケールまたは破線で表示してもよい。この場合、ユーザは操作対象ファイルおよび非操作対象ファイルを容易に認識することができる。
【０１９３】
（４−７）上述のように、評価値は、各フレームの画像の平均輝度値であってもよく、各フレームの画像の輝度値の総和であってもよく、あるフレームの画像の輝度値と各フレームの画像の輝度値との差分であってもよく、各フレーム内の輝度値の分散であってもよい。さらに、センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、評価値は測定対象物の温度、距離、圧力、加速度、または変位等の測定値であってもよい。
【０１９４】
１つの動画ファイルは、互いに異なる複数の波形データを含んでもよい。例えば、１つの動画ファイルは、複数フレームの画像の平均輝度値からなる波形データと、センサ６により所定の周期で測定された複数の測定値からなる波形データとを含んでもよい。
【０１９５】
上述の第１ファイルおよび第２ファイルがそれぞれ互いに異なる２つの波形データを含む場合には、図９の波形表示領域Ｓｂのグラフに、第１ファイルの２つの波形データに基づく２つの波形および第２ファイルの２つの波形データに基づく２つの波形が重畳表示されてもよい。
【０１９６】
または、第１ファイルおよび第２ファイルの一方の波形データに基づく２つの波形と、第１ファイルおよび第２ファイルの他方の波形データに基づく２つの波形とが、ユーザによる操作部４の操作に基づいて選択的に波形表示領域Ｓｂに表示されてもよい。
【０１９７】
これらの場合、ユーザは、表示部２０の波形表示領域Ｓｂに表示される複数の波形を視認することにより、第１動画および第２動画に関する多様な情報を認識することができる。
【０１９８】
（４−８）比較処理時に、第１ファイルおよび第２ファイルの同期再生が行われることにより、第１ファイルの動画データおよび波形データならびに第２ファイルの動画データおよび波形データを含む新たな動画ファイルが比較動画ファイルとして生成され、記憶部４０に記憶されてもよい。
【０１９９】
比較動画ファイルの生成時においては、例えば同期再生時に図９の画像表示領域Ｓａ１，Ｓａ２に同時に表示される２つの画像の関係に基づいて、第１ファイルの複数フレームの画像データと第２ファイルの複数フレームの画像データとが対応付けられるとともに第１ファイルの複数の評価値と第２ファイルの複数の評価値とが対応付けられてもよい。この場合、制御部１０により比較動画ファイルが読み込まれることにより、表示部２０の画面上で比較処理中の同期再生の状態が容易に再現される。
【０２００】
（４−９）制御部１０は、図１７のステップＳ２２の処理により第１ファイルおよび第２ファイルが操作対象として選択された後、ユーザによる操作部４の操作に基づいて操作対象波形または非操作波形を波形表示領域Ｓｂのグラフの時間軸上で移動させる。
【０２０１】
これに限らず、制御部１０は、比較処理が開始されることにより、第１ファイルの各フレームの画像データに対応する各評価値と第２ファイルの各フレームの画像データに対応する各評価値との相関値または差分値を算出し、算出された複数の相関値または差分値に基づいて波形表示領域Ｓｂのグラフの時間軸上で第１波形および第２波形を相対的に移動させてもよい。
【０２０２】
この場合、互いに類似する第１波形の一部分と第２波形の一部分とが、時間軸上の互いに異なる位置に存在する場合に、互いに類似する部分が重なるように時間軸上で第１波形と第２波形とが相対的に移動される。この場合、現在表示位置バーＬは、第１波形および第２波形の一方とともに時間軸上を移動してもよいし、時間軸上で停止してもよい。
【０２０３】
このようにして、比較処理が行われることにより波形表示領域Ｓｂの時間軸上で第１波形および第２波形が相対的に移動される。その結果、画像表示領域Ｓａ１に表示される画像のフレームと画像表示領域Ｓａ２に表示される画像のフレームとの対応関係が容易に変更される。
【０２０４】
（４−１０）比較処理中においては、動画中の被写体を追尾することにより動画中で移動する追尾対象の軌跡を表示する処理（以下、追尾処理と呼ぶ）が行われてもよい。追尾処理を行うために、ユーザは予め操作部４を用いて追尾設定を行う。
【０２０５】
追尾設定時に、ユーザは、例えば操作部４を用いていずれか一方の画像表示領域に表示される画像上で、追尾対象の画像としてのテンプレート、次フレームの画像において追尾対象を探索する範囲を示す探索範囲、および追尾対象が存在する位置を示すシンボルを指定する。このようにして追尾設定が行われた画像を含む動画が再生されることにより、動画を構成する複数フレームの画像の各々において追尾対象の位置が識別される。
【０２０６】
上述のように、比較処理時には２つの画像表示領域Ｓａ１，Ｓａ２において第１動画および第２動画がそれぞれ再生される。そのため、第１動画において被写体Ｗ１の追尾を行うと同時に第２動画において被写体Ｗ２の追尾を行う場合には、ユーザは２つの画像表示領域Ｓａ１，Ｓａ２に表示される２つの画像に対して同様の追尾設定をそれぞれ行う必要がある。
【０２０７】
そこで、比較処理中に複数の動画について追尾処理が行われる場合には、ユーザにより２つの画像表示領域Ｓａ１，Ｓａ２のうちの一方に表示される画像に対して追尾設定が行われることにより、他方の画像表示領域に表示される画像に対しても一方の画像表示領域に対する追尾設定と同じ内容の追尾設定が反映されてもよい。これにより、ユーザは比較処理中の追尾処理時に同内容の追尾設定を繰り返して行う必要がなくなる。
【０２０８】
（４−１１）比較処理中においては、第１動画中の被写体Ｗ１の特定部分の位置と第２動画中の被写体Ｗ２の特定部分の位置との間のずれ量を演算し、演算結果を表示する処理（以下、計測処理と呼ぶ）が行われてもよい。
【０２０９】
図２０は計測処理時における表示部２０の一表示例を示す図である。計測処理時において、ユーザにより操作部４を用いて一方の画像表示領域Ｓａ１内の所望の位置（本例では、画像ＶＡ１の被写体Ｗ１の一角部）が指定される。これにより、画像表示領域Ｓａ１内では画像ＶＡ１上の指定された位置にシンボルｍ１が表示される。このとき、他方の画像表示領域Ｓａ２内では、画像表示領域Ｓａ１におけるシンボルｍ１の位置に対応する位置にシンボルｍ２が表示される。
【０２１０】
続いて、ユーザにより操作部４を用いて他方の画像表示領域Ｓａ２内の所望の位置（本例では、画像ＶＢ３の被写体Ｗ２の一角部）が指定される。これにより、画像表示領域Ｓａ２内では画像ＶＢ３上の指定された位置にシンボルｎ１が表示される。このとき、一方の画像表示領域Ｓａ１内では、画像表示領域Ｓａ２におけるシンボルｎ１の位置に対応する位置にシンボルｎ２が表示される。
【０２１１】
この状態で、一方の画像表示領域Ｓａ１内に表示される２つのシンボルｍ１，ｎ２間の距離（または他方の画像表示領域Ｓａ２内に示される２つのシンボルｎ１，ｍ２間の距離）に基づいて被写体Ｗ１に対する被写体Ｗ２の実際のずれ量Ｑが制御部１０により演算される。演算結果が２つの画像表示領域Ｓａ１，Ｓａ２にそれぞれ表示される。
【０２１２】
これにより、ユーザは、第１動画中の被写体Ｗ１の特定部分の位置と第２動画中の被写体Ｗ２の特定部分の位置との間のずれ量を容易に計測することができる。
【０２１３】
（４−１２）第１動画の被写体Ｗ１の撮影フレームレートと第２動画の被写体Ｗ２の撮影フレームレートとが互いに異なる場合がある。この場合、第１動画および第２動画のうちの少なくとも一方の再生フレームレートは、ほぼ同じ撮影タイミングで取得された被写体Ｗ１，Ｗ２の各フレームの画像が同時に表示されるように調整されてもよい。再生フレームレートとは、単位時間当たりに表示部２０に表示される画像のフレーム数である。
【０２１４】
例えば、被写体Ｗ１および被写体Ｗ２の撮影フレームレートがそれぞれ１０００ｆｐｓおよび２５０ｆｐｓである場合、第１動画および第２動画の再生フレームレートをそれぞれ６０ｆｐｓおよび１５ｆｐｓに調整して同期再生を行う。これにより、表示部２０の画像表示領域Ｓａ１，Ｓａ２には、ほぼ同じ撮影タイミングで取得された被写体Ｗ１，Ｗ２の各フレームの画像が表示される。これにより、ユーザは第１動画および第２動画中の対象物Ｗ１，Ｗ２の状態の変化を正確に比較することができる。
【０２１５】
第１ファイルに含まれる複数の評価値のサンプリングレートと第２ファイルに含まれる複数の評価値のサンプリングレートとが互いに異なる場合がある。評価値のサンプリングレートとは、単位時間当たりに波形収集装置７により取得される評価値の数である。同期再生時には、制御部１０により第１ファイルに含まれる複数の評価値および第２ファイルに含まれる複数の評価値がそれぞれ一定周期で順次読み込まれる。それにより、波形表示領域Ｓｂにおける時間軸上で現在表示位置バーＬが移動される。
【０２１６】
この場合においても、同期再生時に、制御部１０が第１ファイルの複数の評価値の読み込み周期と第２ファイルの複数の評価値の読み込み周期とは、ほぼ同じサンプリングタイミングで取得された第１ファイルおよび第２ファイルの複数の評価値が同時に読み込まれるように調整してもよい。これにより、ユーザは第１動画および第２動画中の対象物Ｗ１，Ｗ２の状態の変化を正確に比較することができる。
【０２１７】
（５）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０２１８】
上記実施の形態においては、被写体Ｗ１が第１の対象物の例であり、画像ＶＡ１〜ＶＡ７および画像表示領域Ｓａ１に表示される被写体Ｗ１の画像が第１の画像の例であり、被写体Ｗ２が第２の対象物の例であり、画像ＶＢ１〜ＶＢ７および画像表示領域Ｓａ２に表示される被写体Ｗ２の画像が第２の画像の例である。
【０２１９】
また、本体部１が画像処理装置の例であり、画像データｖａ１〜ｖａ７および第１ファイルの動画データを構成する複数フレームの画像データが第１の画像データの例であり、評価値ｉａ１〜ｉａ７および第１ファイルの波形データを構成する複数の評価値が第１の評価値の例である。
【０２２０】
さらに、画像データｖｂ１〜ｖｂ７および第２ファイルの動画データを構成する複数フレームの画像データが第２の画像データの例であり、評価値ｉｂ１〜ｉｂ７および第２ファイルの波形データを構成する複数の評価値が第２の評価値の例であり、記憶部４０が記憶部の例である。
【０２２１】
また、画像表示領域Ｓａ１が第１の表示領域の例であり、画像表示領域Ｓａ２が第２の表示領域の例であり、波形表示領域Ｓｂが第３の表示領域の例であり、表示部２０が表示部の例であり、第１波形ＷＬ１が第１の波形の例であり、第２波形ＷＬ２が第２の波形の例である。
【０２２２】
さらに、センサ６，８および波形収集装置７が検出装置の例であり、制御部１０が制御部の例であり、操作部４が操作部の例であり、現在表示位置バーＬが共通の指標の例であり、制御部１０が処理装置の例である。
【０２２３】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０２２４】
本発明は、種々の画像処理に有効に利用することができる。
【符号の説明】
【０２２５】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
ｂｔ 床
ＦＡ，ＦＢ，ＦＣ，ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２，ｉａ１〜ｉａ７，ｉｂ１〜ｉｂ７ 評価値
Ｌ 現在表示位置バー
Ｓａ，Ｓａ１，Ｓａ２ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ 再生ボタン
Ｓｊ ファイルボタン
Ｓｘ 比較ボタン
Ｔｃ 再生ボタン
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ１，Ｔｆ２ シークバー
Ｔｇ１，Ｔｇ２ スライダ
Ｔｍ 同期ボタン
Ｔｎ 比較終了ボタン
Ｔｐ１，Ｔｐ２ 操作対象指定ボタン
ｔ１〜ｔ９ 時点
ＶＡ１〜ＶＡ７，ＶＢ１〜ＶＢ７ 画像
ｖ１〜ｖ１４，ｖａ１〜ｖａ７，ｖｂ１〜ｖｂ７ 画像データ
Ｗ，Ｗ１，Ｗ２ 被写体
ＷＬ１ 第１波形
ＷＬ２ 第２波形
【特許請求の範囲】
【請求項１】
第１の対象物の動画を構成する複数フレームの第１の画像および前記第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理装置であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の第１の評価値、前記複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および前記複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する記憶部と、
第１の表示領域、第２の表示領域および第３の表示領域を有する表示部と、
前記記憶部に記憶された各フレームの第１の画像データに基づいて第１の画像を前記第１の表示領域に表示させ、前記記憶部に記憶された各フレームの第２の画像データに基づいて第２の画像を前記第２の表示領域に表示させ、前記記憶部に記憶された前記複数の第１の評価値により形成される第１の波形および前記記憶部に記憶された前記複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に前記第３の表示領域に表示させる制御部と、
前記第３の表示領域に表示される前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるためにユーザにより操作される操作部とを備え、
前記複数の第１の評価値は前記第１の対象物の状態に応じて変化し、前記複数の第２の評価値は前記第２の対象物の状態に応じて変化し、
前記制御部は、前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記第１の表示領域に表示させる第１の画像のフレームおよび前記第２の表示領域に表示させる第２の画像のフレームのいずれか一方を前記一方の波形の移動に基づいて変更することを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記第１および第２の波形の任意の位置を指定するための共通の指標を時間軸上で移動可能に前記第３の表示領域にさらに表示させ、前記指標により指定される前記第１の波形の位置と前記第１の表示領域に表示される第１の画像のフレームとが対応しかつ前記指標により指定される前記第２の波形の位置と前記第２の表示領域に表示される第２の画像のフレームとが対応する状態を保持するように前記第１、第２および第３の表示領域の表示を制御し、前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記状態を保持するように前記第１、第２および第３の表示領域の表示を制御する請求項１記載の画像処理装置。
【請求項３】
前記操作部は、前記第１および第２の波形のうち一方の波形を時間軸上で移動させるように操作可能であり、
前記制御部は、前記操作部による一方の波形の移動の操作に基づいて、前記第３の表示領域に表示される前記一方の波形および前記指標を時間軸上で移動させるとともに、前記第１および第２の表示領域のうち他方の波形に対応する表示領域の画像を変更することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記操作部は、前記第１および第２の表示領域のうち一方の表示領域に表示される画像のフレームの変更を操作可能であり、
前記制御部は、前記操作部による画像の変更の操作に基づいて、前記一方の表示領域に表示される画像を変更するとともに、前記第１および第２の波形のうち他方の表示領域に対応する波形および前記指標を時間軸上で移動させることを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記操作部は、前記第１の表示領域における動画の再生および前記第２の表示領域における動画の再生を指示可能であり、
前記制御部は、前記操作部により動画の再生が指示された場合に、前記第１の表示領域に表示されている第１の画像以降の複数フレームの第１の画像を順次表示するとともに前記第２の表示領域に表示されている第２の画像以降の複数フレームの第２の画像を順次表示する請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記複数の第１の評価値は、前記複数フレームの第１の画像の特徴を示す値であり、前記複数の第２の評価値は、前記複数フレームの第２の画像の特徴を示す値である請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記複数フレームの第１の画像の特徴を示す値は、前記複数フレームの第１の画像の輝度に関する値であり、前記複数フレームの第２の画像の特徴を示す値は、前記複数フレームの第２の画像の輝度に関する値である請求項６記載の画像処理装置。
【請求項８】
前記複数の第１および第２の評価値は、前記第１および第２の対象物の状態を検出する検出装置の出力値である請求項１〜５のいずれかに記載の画像処理装置。
【請求項９】
第１の対象物の動画を構成する複数フレームの第１の画像および前記第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理方法であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の第１の評価値、前記複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および前記複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶するステップと、
表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示するステップと、
前記記憶された各フレームの第１の画像データに基づいて第１の画像を前記第１の表示領域に表示させ、前記記憶された各フレームの第２の画像データに基づいて第２の画像を前記第２の表示領域に表示させ、前記記憶された前記複数の第１の評価値により形成される第１の波形および前記記憶部に記憶された前記複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に前記第３の表示領域に表示させるステップと、
ユーザにより操作される操作部から前記第３の表示領域に表示される前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付けるステップと、
前記受け付けられた前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記第１の表示領域に表示させる第１の画像のフレームおよび前記第２の表示領域に表示させる第２の画像のフレームのいずれか一方を前記一方の波形の移動に基づいて変更するステップとを備え、
前記複数の第１の評価値は前記第１の対象物の状態に応じて変化し、前記複数の第２の評価値は前記第２の対象物の状態に応じて変化することを特徴とする画像処理方法。
【請求項１０】
第１の対象物の動画を構成する複数フレームの第１の画像および前記第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理を処理装置に実行させる画像処理プログラムあって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の第１の評価値、前記複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および前記複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する処理と、
表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示する処理と、
前記記憶された各フレームの第１の画像データに基づいて第１の画像を前記第１の表示領域に表示させ、前記記憶された各フレームの第２の画像データに基づいて第２の画像を前記第２の表示領域に表示させ、前記記憶された前記複数の第１の評価値により形成される第１の波形および前記記憶部に記憶された前記複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に前記第３の表示領域に表示させる処理と、
ユーザにより操作される操作部から前記第３の表示領域に表示される前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付ける処理と、
前記受け付けられた前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記第１の表示領域に表示させる第１の画像のフレームおよび前記第２の表示領域に表示させる第２の画像のフレームのいずれか一方を前記一方の波形の移動に基づいて変更する処理とを、
前記処理装置に実行させ、
前記複数の第１の評価値は前記第１の対象物の状態に応じて変化し、前記複数の第２の評価値は前記第２の対象物の状態に応じて変化することを特徴とする画像処理プログラム。
【請求項１】
第１の対象物の動画を構成する複数フレームの第１の画像および前記第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理装置であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の第１の評価値、前記複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および前記複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する記憶部と、
第１の表示領域、第２の表示領域および第３の表示領域を有する表示部と、
前記記憶部に記憶された各フレームの第１の画像データに基づいて第１の画像を前記第１の表示領域に表示させ、前記記憶部に記憶された各フレームの第２の画像データに基づいて第２の画像を前記第２の表示領域に表示させ、前記記憶部に記憶された前記複数の第１の評価値により形成される第１の波形および前記記憶部に記憶された前記複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に前記第３の表示領域に表示させる制御部と、
前記第３の表示領域に表示される前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるためにユーザにより操作される操作部とを備え、
前記複数の第１の評価値は前記第１の対象物の状態に応じて変化し、前記複数の第２の評価値は前記第２の対象物の状態に応じて変化し、
前記制御部は、前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記第１の表示領域に表示させる第１の画像のフレームおよび前記第２の表示領域に表示させる第２の画像のフレームのいずれか一方を前記一方の波形の移動に基づいて変更することを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記第１および第２の波形の任意の位置を指定するための共通の指標を時間軸上で移動可能に前記第３の表示領域にさらに表示させ、前記指標により指定される前記第１の波形の位置と前記第１の表示領域に表示される第１の画像のフレームとが対応しかつ前記指標により指定される前記第２の波形の位置と前記第２の表示領域に表示される第２の画像のフレームとが対応する状態を保持するように前記第１、第２および第３の表示領域の表示を制御し、前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記状態を保持するように前記第１、第２および第３の表示領域の表示を制御する請求項１記載の画像処理装置。
【請求項３】
前記操作部は、前記第１および第２の波形のうち一方の波形を時間軸上で移動させるように操作可能であり、
前記制御部は、前記操作部による一方の波形の移動の操作に基づいて、前記第３の表示領域に表示される前記一方の波形および前記指標を時間軸上で移動させるとともに、前記第１および第２の表示領域のうち他方の波形に対応する表示領域の画像を変更することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記操作部は、前記第１および第２の表示領域のうち一方の表示領域に表示される画像のフレームの変更を操作可能であり、
前記制御部は、前記操作部による画像の変更の操作に基づいて、前記一方の表示領域に表示される画像を変更するとともに、前記第１および第２の波形のうち他方の表示領域に対応する波形および前記指標を時間軸上で移動させることを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記操作部は、前記第１の表示領域における動画の再生および前記第２の表示領域における動画の再生を指示可能であり、
前記制御部は、前記操作部により動画の再生が指示された場合に、前記第１の表示領域に表示されている第１の画像以降の複数フレームの第１の画像を順次表示するとともに前記第２の表示領域に表示されている第２の画像以降の複数フレームの第２の画像を順次表示する請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記複数の第１の評価値は、前記複数フレームの第１の画像の特徴を示す値であり、前記複数の第２の評価値は、前記複数フレームの第２の画像の特徴を示す値である請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記複数フレームの第１の画像の特徴を示す値は、前記複数フレームの第１の画像の輝度に関する値であり、前記複数フレームの第２の画像の特徴を示す値は、前記複数フレームの第２の画像の輝度に関する値である請求項６記載の画像処理装置。
【請求項８】
前記複数の第１および第２の評価値は、前記第１および第２の対象物の状態を検出する検出装置の出力値である請求項１〜５のいずれかに記載の画像処理装置。
【請求項９】
第１の対象物の動画を構成する複数フレームの第１の画像および前記第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理方法であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の第１の評価値、前記複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および前記複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶するステップと、
表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示するステップと、
前記記憶された各フレームの第１の画像データに基づいて第１の画像を前記第１の表示領域に表示させ、前記記憶された各フレームの第２の画像データに基づいて第２の画像を前記第２の表示領域に表示させ、前記記憶された前記複数の第１の評価値により形成される第１の波形および前記記憶部に記憶された前記複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に前記第３の表示領域に表示させるステップと、
ユーザにより操作される操作部から前記第３の表示領域に表示される前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付けるステップと、
前記受け付けられた前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記第１の表示領域に表示させる第１の画像のフレームおよび前記第２の表示領域に表示させる第２の画像のフレームのいずれか一方を前記一方の波形の移動に基づいて変更するステップとを備え、
前記複数の第１の評価値は前記第１の対象物の状態に応じて変化し、前記複数の第２の評価値は前記第２の対象物の状態に応じて変化することを特徴とする画像処理方法。
【請求項１０】
第１の対象物の動画を構成する複数フレームの第１の画像および前記第１の対象物と同じまたは異なる第２の対象物の動画を構成する複数フレームの第２の画像を表示するための画像処理を処理装置に実行させる画像処理プログラムあって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の第１の評価値、前記複数フレームの第２の画像を表示するための複数フレームの第２の画像データ、および前記複数フレームの第２の画像データに対応付けられた複数の第２の評価値を記憶する処理と、
表示部に第１の表示領域、第２の表示領域および第３の表示領域を表示する処理と、
前記記憶された各フレームの第１の画像データに基づいて第１の画像を前記第１の表示領域に表示させ、前記記憶された各フレームの第２の画像データに基づいて第２の画像を前記第２の表示領域に表示させ、前記記憶された前記複数の第１の評価値により形成される第１の波形および前記記憶部に記憶された前記複数の第２の評価値により形成される第２の波形を時間軸上で移動可能に前記第３の表示領域に表示させる処理と、
ユーザにより操作される操作部から前記第３の表示領域に表示される前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させる操作を受け付ける処理と、
前記受け付けられた前記操作部の操作に基づいて、前記第１および第２の波形のうち一方の波形を他方の波形に対して相対的に時間軸上で移動させるとともに、前記第１の表示領域に表示させる第１の画像のフレームおよび前記第２の表示領域に表示させる第２の画像のフレームのいずれか一方を前記一方の波形の移動に基づいて変更する処理とを、
前記処理装置に実行させ、
前記複数の第１の評価値は前記第１の対象物の状態に応じて変化し、前記複数の第２の評価値は前記第２の対象物の状態に応じて変化することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−９９９７２（Ｐ２０１２−９９９７２Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４７０１（Ｐ２０１０−２４４７０１）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]