画像処理装置、画像処理方法および画像処理プログラム
【課題】被写体の特定の状態を示す画像を迅速かつ容易に検索することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】記憶部には、複数フレームの画像を表示するための複数フレームの画像データおよび複数フレームの画像データに対応付けられた複数の評価値が記憶される。記憶された複数フレームの画像データのうちの一部のフレームの画像データが選択される。表示部２０の画像表示領域Ｓａに各フレームの画像データに基づく画像が表示される。表示部２０のサムネイル表示領域Ｓｋには、選択されたフレームの画像データに対応するサムネイル画像ＳＶ３，ＳＶ９が表示される。２つのサムネイル画像ＳＶ３，ＳＶ９のうち一方のサムネイル画像ＳＶ３が選択されることにより、サムネイル画像ＳＶ３に対応する第３フレームの画像が画像表示領域Ｓａに表示される。
【解決手段】記憶部には、複数フレームの画像を表示するための複数フレームの画像データおよび複数フレームの画像データに対応付けられた複数の評価値が記憶される。記憶された複数フレームの画像データのうちの一部のフレームの画像データが選択される。表示部２０の画像表示領域Ｓａに各フレームの画像データに基づく画像が表示される。表示部２０のサムネイル表示領域Ｓｋには、選択されたフレームの画像データに対応するサムネイル画像ＳＶ３，ＳＶ９が表示される。２つのサムネイル画像ＳＶ３，ＳＶ９のうち一方のサムネイル画像ＳＶ３が選択されることにより、サムネイル画像ＳＶ３に対応する第３フレームの画像が画像表示領域Ｓａに表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
研究室または製造現場等において、種々の被写体（ワークまたは装置等）の動きを解析するために、高いフレームレートで被写体を撮影可能な高速撮影装置が用いられる。カメラによって被写体が撮影されることにより、複数フレームの画像に対応する複数フレームの画像データが連続的に取得され、取得された複数フレームの画像データが動画データとして記憶部に記憶される。記憶部に記憶された画像データに基づいて複数のフレームの画像が被写体の動画として液晶ディスプレイパネル等の表示部に表示される。このような動画を用いて被写体の動きの解析が行われる（例えば、特許文献１参照）。
【０００３】
特許文献１に記載される高速撮影装置においては、被写体の撮影時に複数フレームの画像が高速録画され、録画された複数フレームの画像が撮影時よりも低いフレームレートでスロー再生される。これにより、高速撮影装置を用いて被写体を撮影することにより、人が視認できないような瞬間的な被写体の動きを観察することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
瞬間的な被写体の特定の動きを観察する場合には、観察対象となる被写体の特定の動きが確実に録画されるように、十分に長い録画時間が設定される。そのため、録画された複数フレームの画像の中から被写体の特定の動きを含む部分を検索するために、録画された画像を長い時間再生する必要がある。
【０００６】
本発明の目的は、被写体の特定の状態を示す画像を迅速かつ容易に検索することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）第１の発明に係る画像処理装置は、対象物の動画を構成する複数フレームの第１の画像を表示するための画像処理装置であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する記憶部と、第１の表示領域および第２の表示領域を有する表示部と、記憶部に記憶された各フレームの第１の画像データに基づく第１の画像を第１の表示領域に表示させ、記憶部に記憶される複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択し、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、生成された第２の画像データに基づく第２の画像を第２の表示領域に表示させる制御部と、第２の表示領域に表示された第２の画像を選択するためにユーザにより操作される操作部とを備え、複数の評価値は対象物の状態に応じて変化する値であり、第２の画像は、対応する第１の画像と等価な画像であり、制御部は、操作部により第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を第１の表示領域に表示させるものである。
【０００８】
この画像処理装置においては、記憶部に記憶された各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示される。記憶部に記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データが選択される。複数の評価値は対象物の状態に応じて変化する。そのため、一部のフレームの第１の画像データは対象物の状態に基づいて選択される。選択されたフレームの第１の画像データに対応する第２の画像データが生成される。生成された第２の画像データに基づいて対応する第１の画像と等価な第２の画像が第２の表示領域に表示される。
【０００９】
ユーザは、第２の表示領域に表示された第２の画像を操作部の操作により選択することができる。選択された第２の画像に対応する第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【００１０】
（２）制御部は、複数の評価値のうち予め定められた特徴を示す評価値に対応するフレームの第１の画像データを選択してもよい。
【００１１】
この場合、選択される一部のフレームの第１の画像データに基づく第１の画像は、対象物の予め定められた状態を示す。これにより、第２の表示領域には、対象物の予め定められた状態を示す第１の画像と等価な第２の画像が表示される。その結果、ユーザは対象物の予め定められた状態を示す画像を迅速かつ容易に検索することが可能となる。
【００１２】
（３）第２の画像は、対応する第１の画像の縮小画像であってもよい。
【００１３】
この場合、複数フレームの第１の画像データが選択された場合に、複数の第２の画像を第２の表示領域に一覧表示させることができる。それにより、ユーザは、複数の第２の画像を視認することにより、対象物の所望の状態を示す第１の画像を第１の表示領域に容易に表示させることができる。
【００１４】
（４）表示部は、第３の表示領域をさらに有し、制御部は、記憶部に記憶された複数の評価値により形成される波形を第３の表示領域に表示させるとともに、第２の表示領域に表示された第２の画像に対応する第１の画像のフレームを特定し、波形において特定されたフレームの第１の画像に対応する位置を指定する指標を第３の表示領域に表示させてもよい。
【００１５】
この場合、複数の評価値により形成される波形が指標とともに第３の表示領域に表示される。また、第２の表示領域に表示された第２の画像に対応する第１の画像のフレームが特定される。特定されたフレームの第１の画像に対応する波形上の位置が指標により指定される。
【００１６】
これにより、ユーザは、波形を視認することにより複数フレームの第１画像で示される対象物の状態の変化を認識することができる。また、ユーザは、指標により指定される波形上の位置を視認することにより、特定されたフレームの第１の画像に対応する対象物の状態を容易に認識することができる。
【００１７】
（５）操作部は、第３の表示領域に表示された指標を選択可能であり、制御部は、操作部により第３の表示領域に表示された指標が選択された場合に、選択された指標により指定される波形の位置に対応する第１の画像のフレームを特定し、特定されたフレームの第１の画像を第１の表示領域に表示させてもよい。
【００１８】
この場合、ユーザは第３の表示領域に表示された指標を操作部の操作により選択することができる。選択された指標により指定される波形上の位置に対応するフレームの第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【００１９】
（６）複数の評価値は、複数フレームの第１の画像の特徴を示す値であってもよい。
【００２０】
複数の評価値は複数フレームの第１の画像から生成される。そのため、複数の評価値を生成するための装置を別途設ける必要がない。これにより、画像処理装置を含むシステムの構成が簡素化される。
【００２１】
（７）複数フレームの画像の特徴を示す値は、複数フレームの画像の輝度に関する値であってもよい。
【００２２】
第１の画像の輝度は対象物の状態に応じて変化する。そのため、複数の評価値は対象物の状態に応じて変化する。したがって、複数フレームの第１の画像の輝度に関する値に基づいて、対象物の特定の状態に対応する一部のフレームの第１の画像データが容易にかつ適切に選択される。
【００２３】
（８）複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であってもよい。
【００２４】
この場合、対象物の状態を検出手段により確実に検出することができる。したがって、検出手段の出力値に基づいて、対象物の特定の状態に対応する一部のフレームの第１の画像データが容易にかつ適切に選択される。
【００２５】
（９）操作部は、動画の再生および逆再生を指示可能であり、制御部は、操作部により動画の再生または逆再生が指示された場合に、記憶部に記憶された複数の第１の画像データに基づいて、第１の表示領域に表示された第１の画像を基準として複数のフレームの画像を順次表示させてもよい。
【００２６】
この場合、ユーザは動画の再生および逆再生を指示することができる。動画の再生または逆再生が指示されることにより、記憶部に記憶された複数の第１の画像データに基づいて、第１の表示領域に表示された第１の画像を基準として複数のフレームの画像が順次表示される。これにより、動画を再生または逆再生することができる。したがって、ユーザは、対象物の特定の状態およびその前後の状態を容易に観察することができる。
【００２７】
（１０）制御部は、記憶部に記憶される複数の評価値に基づいて複数フレームの第１の画像データのうちの予め定められた数以下の数のフレームの第１の画像データを選択してもよい。
【００２８】
この場合、選択される第１の画像データのフレーム数は予め定められた数を超えない。これにより、複数の第２の画像を一定以上のサイズで第２の表示領域に表示させることができる。したがって、ユーザは各第２の画像中の対象物の状態を容易に観察することができる。
【００２９】
（１１）制御部は、複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の評価値、選択された第１の画像データを示すデータおよび選択された第１の画像データに対応する第２の画像データを含む動画ファイルを生成し、生成された動画ファイルを記憶部に記憶させてもよい。
【００３０】
この場合、複数フレームの第１の画像データ、複数の評価値、選択された第１の画像データを示すデータおよび第２の画像データを動画ファイルとして一体的に取り扱うことができる。したがって、複数フレームの第１の画像データ、複数の評価値、選択された第１の画像データを示すデータおよび第２の画像データの取り扱いが容易になる。
【００３１】
（１２）第２の発明に係る画像処理方法は、対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理方法であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび複数フレームの第１の画像データに対応付けられた複数の評価値を記憶するステップと、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、生成された第２の画像データに基づく第２の画像を表示部の第２の表示領域に表示させるステップと、第２の表示領域に表示された第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を表示部の第１の表示領域に表示させるステップとを備え、複数の評価値は対象物の状態に応じて変化する値であり、第２の画像は、対応する第１の画像と等価な画像であるものである。
【００３２】
この画像処理方法においては、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データが選択される。複数の評価値は対象物の状態に応じて変化する。そのため、一部のフレームの第１の画像データは対象物の状態に基づいて選択される。選択されたフレームの第１の画像データに対応する第２の画像データが生成される。生成された第２の画像データに基づいて対応する第１の画像と等価な第２の画像が第２の表示領域に表示される。
【００３３】
第２の表示領域に表示された第２の画像が選択される。選択された第２の画像に対応する第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【００３４】
（１３）第３の発明に係る画像処理プログラムは、対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理を処理装置に実行させる画像処理プログラムあって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する処理と、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、生成された第２の画像データに基づく第２の画像を表示部の第２の表示領域に表示させる処理と、第２の表示領域に表示された第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を表示部の第１の表示領域に表示させる処理とを、処理装置に実行させ、複数の評価値は対象物の状態に応じて変化する値であり、第２の画像は、対応する第１の画像と等価な画像であるものである。
【００３５】
この画像処理プログラムにおいては、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データが選択される。複数の評価値は対象物の状態に応じて変化する。そのため、一部のフレームの第１の画像データは対象物の状態に基づいて選択される。選択されたフレームの第１の画像データに対応する第２の画像データが生成される。生成された第２の画像データに基づいて対応する第１の画像と等価な第２の画像が第２の表示領域に表示される。
【００３６】
第２の表示領域に表示された第２の画像が選択される。選択された第２の画像に対応する第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【発明の効果】
【００３７】
本発明によれば、被写体の特定の状態を示す画像を迅速かつ容易に検索することが可能となる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】動画データ記憶領域に記憶された複数フレームの画像データと複数フレームの画像データに基づく複数フレームの画像と波形データ記憶領域に記憶された複数の評価値との関係の一例を示す概念図である。
【図８】ファイル記憶処理により生成される動画ファイルの模式図である。
【図９】選択再生処理時における表示部の一表示例を示す図である。
【図１０】選択再生処理時における表示部の一表示例を示す図である。
【図１１】選択再生処理時における表示部の一表示例を示す図である。
【図１２】ファイル記憶処理のフローチャートである。
【図１３】選択再生処理のフローチャートである。
【図１４】選択再生処理のフローチャートである。
【図１５】選択再生処理のフローチャートである。
【図１６】選択再生処理時における表示部の他の表示例を示す図である。
【発明を実施するための形態】
【００３９】
以下、本発明の一実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る画像処理装置は表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００４０】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、画像処理装置１、カメラ２、照明装置３および操作部４を備える。画像処理装置１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００４１】
画像処理装置１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００４２】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００４３】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から画像処理装置１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００４４】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００４５】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００４６】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００４７】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、画像処理装置１と一体的に構成されてもよい。
【００４８】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４９】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００５０】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る画像処理プログラムが記憶される。画像処理プログラムの詳細は後述する。
【００５１】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。複数の評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する値である。被写体Ｗの状態とは、被写体Ｗの位置、向き、明るさ、大きさ、形状または色等である。
【００５２】
評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。さらに、評価値は、基準となるフレームの画像の輝度値の総和と各フレームの画像の輝度値の総和との差分であってもよい。
【００５３】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００５４】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５５】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５６】
なお、図１において、画像処理装置１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、画像処理装置１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５７】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および画像処理装置１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された画像処理プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５８】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５９】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００６０】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。
【００６１】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００６２】
また、本実施の形態では、例えばユーザにより操作部４が操作されることにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００６３】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００６４】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定めるものである。
【００６５】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６６】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６７】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６８】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６９】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００７０】
ユーザにより操作部４を用いて録画ボタンＳｅが操作されると、制御部１０により後述する録画処理が開始される。
【００７１】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００７２】
画像処理装置１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００７３】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００７４】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００７５】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００７６】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００７７】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７８】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７９】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００８０】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００８１】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００８２】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００８３】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画処理終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００８４】
ユーザが操作部４を用いてファイルボタンＳｊを操作することにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理時には、制御部１０により、波形データ記憶領域３０Ｂに記憶された波形データに基づいて動画データ記憶領域３０Ａに記憶された複数フレームの画像データから一部のフレームの画像データが選択される。また、ファイル記憶処理により録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００８５】
条件設定領域Ｓｃには、上述の入力枠Ｓｃ１〜Ｓｃ５に加えて、ファイル記憶処理時に選択される画像データのフレーム数の上限値（以下、選択上限数と呼ぶ）を入力するための入力枠Ｓｃ６がさらに表示される。入力枠Ｓｃ６に入力された値に基づいて、制御部１０により選択上限数が設定される。
【００８６】
ファイル記憶処理の詳細を具体例とともに説明する。図７は動画データ記憶領域３０Ａに記憶された複数フレームの画像データと複数フレームの画像データに基づく複数フレームの画像と波形データ記憶領域３０Ｂに記憶された複数の評価値との関係の一例を示す概念図である。
【００８７】
図３の録画部３０の動画データ記憶領域３０Ａに図７の画像データｖ１〜ｖ１０が記憶され、波形データ記憶領域３０Ｂに図７の評価値ｉ１〜ｉ１０が記憶される。
【００８８】
図７の上段に第１〜第５フレームの画像データｖ１〜ｖ５に対応する画像Ｖ１〜Ｖ５が左から右へ向かう時間軸に沿って順に示される。図７の下段に第６〜第１０フレームの画像データｖ６〜ｖ１０に対応する画像Ｖ６〜Ｖ１０が左から右へ向かう時間軸に沿って順に示される。本例の画像Ｖ１〜Ｖ１０は、ベルトコンベアＢＣにより所定の間隔をおいて搬送される２つの被写体Ｗ１，Ｗ２が撮影されることにより得られる。
【００８９】
図７において、時間軸は上段の右端から下段の左端につながる。第１〜第１０フレームの画像データｖ１〜ｖ１０には、それぞれ第１〜第１０番目の評価値ｉ１〜ｉ１０が対応付けられる。第１〜第１０フレームの画像Ｖ１〜Ｖ１０の下部に第１〜第１０番目の評価値ｉ１〜ｉ１０により形成される波形のグラフが示される。
【００９０】
図７の例では、画像Ｖ２，Ｖ３，Ｖ４，Ｖ８，Ｖ９，Ｖ１０にベルトコンベアＢＣにより搬送される被写体Ｗ１，Ｗ２の一部または全体が含まれる。本例では、各評価値は、第１フレームの画像の輝度値の総和と各フレームの画像の輝度値の総和との差分である。この場合には、被写体Ｗ１，Ｗ２の全体を含む画像Ｖ３，Ｖ９に対応する評価値ｉ３，ｉ９が最も大きくなる。
【００９１】
図８は、ファイル記憶処理により生成される動画ファイルの模式図である。上記のファイル記憶処理時においては、例えば、図６の入力枠Ｓｃ６に“２”が入力されることにより、制御部１０により選択上限数が２に設定される。制御部１０は、複数フレームの画像データｖ１〜ｖ１０を録画部３０の動画データ記憶領域３０Ａから取得するとともに複数フレームの画像データｖ１〜ｖ１０にそれぞれ対応する評価値ｉ１〜ｉ１０を録画部３０の波形データ記憶領域３０Ｂから取得する。
【００９２】
制御部１０は、取得された評価値の中から予め定められた特徴を示す１または複数の評価値を抽出する。予め定められた特徴は、複数の評価値の大きさの関係に基づいて定められてもよいし、特定のしきい値と複数の評価値の大きさとの関係に基づいて定められてもよい。
【００９３】
本例では、複数の評価値のうち最も大きい評価値から大きい順に選択上限数分の評価値が抽出される。これにより、本例では２個の評価値ｉ３，ｉ９が抽出される。
【００９４】
続いて、制御部１０は、抽出された評価値に対応するフレームの画像データを示すブックマークデータを生成する。本例では２個の評価値ｉ３，ｉ９に対応する画像データｖ３，ｖ９をそれぞれ示すブックマークデータｂｄ１，ｂｄ２が生成される。
【００９５】
さらに、制御部１０は、ブックマークデータにより示される画像データを特徴画像データとして生成する。本例では、画像データｖ３，ｖ９に対応する特徴画像データｓｖ３，ｓｖ９が生成される。
【００９６】
特徴画像データは、対応する画像データに基づく画像（以下、原画像と呼ぶ）に等価な画像を表示部２０に表示するためのデータである。原画像に等価な画像とは、当該等価な画像に対応する原画像を特定可能な画像である。例えば、原画像に等価な画像は、原画像を縦方向および横方向に一定の縮小率で縮小することにより得られる縮小画像（以下、サムネイル画像と呼ぶ）、原画像を縦方向および横方向に一定の拡大率で拡大することにより得られる拡大画像、および原画像を縦方向および横方向にそれぞれ異なる拡縮率で拡大または縮小することにより得られる画像等が含まれる。また、原画像に等価な画像は、原画像を傾斜させるとともに拡大または縮小させることにより得られる画像であってもよい。
【００９７】
図８に示すように、制御部１０は、画像データｖ１〜ｖ１０、評価値ｉ１〜ｉ１０およびファイル情報ｆｉを含む動画ファイルＦＡを生成する。本例では、ファイル情報ｆｉに上述のブックマークデータｂｄ１，ｂｄ２および特徴画像データｓｖ３，ｓｖ９が含まれる。このようにして生成された動画ファイルＦＡが記憶部４０に記憶される。
【００９８】
ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等がさらに含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００９９】
本実施の形態において、上記の動画ファイルはＡＶＩ（Audio Video Interleave）、ＷＭＶ（Windows(登録商標) Media Video）またはＭＰＥＧ（Moving Picture Experts Group）等のコンテナフォーマットで生成される。この場合、ブックマークデータｂｄ１，ｂｄ２および特徴画像データｓｖ３，ｓｖ９は、メタデータとして動画ファイルに含まれてもよい。
【０１００】
（２−４）録画部再生処理
次に、録画部再生処理について説明する。本実施の形態における録画部再生処理では、主として録画部３０に記憶される動画データに基づく複数フレームの画像が表示部２０に動画として表示される。
【０１０１】
録画処理終了後かつファイル記憶処理前に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されることにより、制御部１０により動画データ記憶領域３０Ａ内の複数フレームの画像データがビデオメモリ５０に順次記憶される。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、動画データ記憶領域３０Ａ内の複数フレームの画像データに基づいて動画が再生される。
【０１０２】
また、制御部１０により波形データ記憶領域３０Ｂ内の波形データがビデオメモリ５０に記憶される。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０３】
（２−５）選択再生処理
次に、選択再生処理について説明する。本実施の形態における選択再生処理では、主として記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうちサムネイル画像を用いて選択されたフレームの画像以降の複数フレームの画像が表示部２０に動画として表示される。
【０１０４】
ファイル記憶処理により記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルを対象ファイルとして選択することができる。対象ファイルが選択されることにより選択再生処理が開始される。
【０１０５】
図９〜図１１は、選択再生処理時における表示部２０の一表示例を示す図である。本例では、ユーザにより操作部４を用いて図８の動画ファイルＦＡが対象ファイルとして選択される。
【０１０６】
この場合、図９に示すように、図１の表示部２０には、主として画像表示領域Ｓａ、波形表示領域Ｓｂ、サムネイル表示領域Ｓｋ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、シークバーＴｆおよび終了ボタンＴｘが表示される。２つのシークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。
【０１０７】
画像表示領域Ｓａに対象ファイルの各フレームの画像データに基づく画像が表示される。波形表示領域Ｓｂに、対象ファイルの波形データに基づく波形ＷＬのグラフが表示される。波形ＷＬのグラフの横軸は時間軸であり、縦軸は評価値を示す。
【０１０８】
波形表示領域Ｓｂのグラフ上には、波形ＷＬに交差するように縦軸と平行な現在表示位置バーＬが表示される。これにより、選択再生処理時には、画像表示領域Ｓａに現在表示されている画像のフレームに対応する評価値が現在表示位置バーＬにより指定される。図９の例では、波形表示領域Ｓｂの時間軸上の時点ｔ１の位置に現在表示位置バーＬが表示される。
【０１０９】
本例では、対象ファイルには、第３フレームの画像データｖ３を示すブックマークデータｂｄ１および第９フレームの画像データｖ９を示すブックマークデータｂｄ２が含まれる。
【０１１０】
この場合、波形表示領域Ｓｂのグラフ上には、２つのブックマークデータｂｄ１，ｂｄ２にそれぞれ対応するブックマークバーＳＬ１，ＳＬ２が表示される。ブックマークバーＳＬ１，ＳＬ２は、それぞれ縦軸と平行であり波形ＷＬに交差する。波形ＷＬにおける画像データｖ３および画像データｖ９に対応する位置がブックマークバーＳＬ１，ＳＬ２により指定される。図９の例では、波形表示領域Ｓｂの時間軸上の時点ｔ３，ｔ９の位置にブックマークバーＳＬ１，ＳＬ２がそれぞれ表示される。
【０１１１】
サムネイル表示領域Ｓｋには、サムネイル画像ＳＶ３，ＳＶ９が一覧表示される。サムネイル画像ＳＶ３，ＳＶ９は、それぞれブックマークデータｂｄ１，ｂｄ２により示される第３フレームおよび第９フレームの画像データｖ３，ｖ９に対応する画像Ｖ３，Ｖ９の縮小画像である。さらに、サムネイル表示領域Ｓｋにおいて、サムネイル画像ＳＶ３，ＳＶ９の下部には、波形表示領域Ｓｂに表示されるブックマークバーＳＬ１，ＳＬ２の位置（本例では、時点ｔ３，ｔ９）が表示される。
【０１１２】
上述のように、シークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。スライダＴｇの位置は、現時点で波形表示領域Ｓｂに表示されている現在表示位置バーＬの時間軸上の位置に対応する。
【０１１３】
図９の例では、シークバーＴｆ上にブックマークデータｂｄ１，ｂｄ２にそれぞれ対応するブックマークフラグＳＦ１，ＳＦ２が表示される。ブックマークフラグＳＦ１，ＳＦ２の位置は、ブックマークデータｂｄ１，ｂｄ２によりそれぞれ示される第３フレームおよび第９フレームの画像データｖ３，ｖ９の時間軸上の位置に対応する。
【０１１４】
ユーザにより操作部４を用いて再生ボタンＴｃが操作される。この場合、対象ファイルの動画データに基づいて現時点で表示されている画像以降の複数フレームの画像が画像表示領域Ｓａに順次表示される。それにより、動画が再生される。
【０１１５】
動画の再生が進むにつれて、現在表示位置バーＬが波形表示領域Ｓｂの時間軸上で一方向（本例では、表示部２０の画面の左から右）に移動するとともにスライダＴｇがシークバーＴｆ上で一方向（本例では、表示部２０の画面の左から右）に移動する。
【０１１６】
また、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。この場合、対象ファイルの動画データに基づいて現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａに順次表示される。それにより、動画が逆再生される。
【０１１７】
動画の逆再生が進むにつれて、現在表示位置バーＬが波形表示領域Ｓｂの時間軸上で他方向（本例では、表示部２０の画面の右から左）に移動するとともにスライダＴｇ１がシークバーＴｆ１上で他方向（本例では、表示部２０の画面の右から左）に移動する。
【０１１８】
動画の再生中または逆再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで動画が高速で逆再生される。
【０１１９】
ここで、選択再生処理時において、ユーザは操作部４を用いてサムネイル表示領域Ｓｋに表示される２つのサムネイル画像ＳＶ３，ＳＶ９のうち１つおよび波形表示領域Ｓｂに表示されるブックマークバーＳＬ１，ＳＬ２のうち１つをそれぞれ選択することができる。
【０１２０】
図９の例では、画像表示領域Ｓａに第１フレームの画像Ｖ１が表示され、波形表示領域Ｓｂの時間軸上の時点ｔ１の位置に現在表示位置バーＬが表示され、シークバーＴｆ上の一端部にスライダＴｇが表示されている。この状態で、ユーザにより操作部４を用いて一方のサムネイル画像ＳＶ３が選択される。
【０１２１】
それにより、図１０に示すように、画像表示領域Ｓａに、第１フレームの画像Ｖ１に代えてサムネイル画像ＳＶ３に対応する第３フレームの画像Ｖ３が表示される。また、図１０に点線矢印で示すように、波形表示領域Ｓｂの時間軸上で、現在表示位置バーＬが時点ｔ１の位置からブックマークバーＳＬ１が位置する時点ｔ３の位置まで移動する。さらに、図１０に点線矢印で示すように、シークバーＴｆ上で、スライダＴｇがシークバーＴｆの一端部からブックマークフラグＳＦ１の表示位置まで移動する。
【０１２２】
この状態で、再生ボタンＴｃが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ３以降の複数フレームの画像が画像表示領域Ｓａに順次表示される。一方、逆再生ボタンＴｅが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ３から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａに順次表示される。
【０１２３】
このようにして、ユーザは、サムネイル画像ＳＶ３に対応する画像Ｖ３を基準として前後の動画を再生または逆再生することができる。
【０１２４】
サムネイル表示領域Ｓｋに表示される一方のサムネイル画像ＳＶ３および波形表示領域Ｓｂに表示される一方のブックマークバーＳＬ１は、それぞれブックマークデータｂｄ１に基づいて表示される。
【０１２５】
そのため、一方のサムネイル画像ＳＶ３が選択される代わりに、ユーザにより一方のブックマークバーＳＬ１が選択される場合にも、画像表示領域Ｓａに表示される画像、波形表示領域Ｓｂの時間軸上の現在表示位置バーＬの位置およびシークバーＴｆ上のスライダＴｇの位置が上記と同様に変更される。
【０１２６】
さらに、図１０の状態で、ユーザにより操作部４を用いて他方のサムネイル画像ＳＶ９が選択される。
【０１２７】
それにより、図１１に示すように、画像表示領域Ｓａに、第３フレームの画像Ｖ３に代えてサムネイル画像ＳＶ９に対応する第９フレームの画像Ｖ９が表示される。また、図１１に点線矢印で示すように、波形表示領域Ｓｂの時間軸上で、現在表示位置バーＬが時点ｔ３の位置からブックマークバーＳＬ２が位置する時点ｔ９の位置まで移動する。さらに、図１１に点線矢印で示すように、シークバーＴｆ上で、スライダＴｇがブックマークフラグＳＦ１の表示位置からブックマークフラグＳＦ２の表示位置まで移動する。
【０１２８】
この状態で、再生ボタンＴｃが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ９以降の複数フレームの画像が画像表示領域Ｓａに順次表示される。一方、逆再生ボタンＴｅが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ９から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａに順次表示される。
【０１２９】
これにより、ユーザは、サムネイル画像ＳＶ９に対応する画像Ｖ９を基準として前後の動画を再生または逆再生することができる。
【０１３０】
サムネイル表示領域Ｓｋに表示される他方のサムネイル画像ＳＶ９および波形表示領域Ｓｂに表示される他方のブックマークバーＳＬ２は、それぞれブックマークデータｂｄ２に基づいて表示される。
【０１３１】
そのため、他方のサムネイル画像ＳＶ９が操作される代わりに、ユーザにより他方のブックマークバーＳＬ２が操作される場合にも、画像表示領域Ｓａに表示される画像、波形表示領域Ｓｂの時間軸上の現在表示位置バーＬの位置およびシークバーＴｆ上のスライダＴｇの位置が上記と同様に変更される。
【０１３２】
選択再生処理時において、ユーザは操作部４を操作することによりシークバーＴｆ上のスライダＴｇを移動させることができる。例えば、ユーザは、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることにより、画像表示領域Ｓａに表示される画像および波形表示領域Ｓｂの時間軸上の現在表示位置バーＬの位置を上記と同様に変更することができる。
【０１３３】
これにより、ユーザは、シークバーＴｆ上のスライダＴｇをブックマークフラグＳＦ１，ＳＦ２の位置に移動させることにより、被写体Ｗ１，Ｗ２を含む画像Ｖ３，Ｖ９を容易に画像表示領域Ｓａに表示させることができる。また、画像Ｖ３，Ｖ９を基準として前後の動画を再生または逆再生することができる。
【０１３４】
ユーザにより操作部４を用いて図９〜図１１の終了ボタンＴｘが操作されると、選択再生処理が終了する。
【０１３５】
上記では、図６の入力枠Ｓｃ６に“２”が入力される例を説明したが、図６の入力枠Ｓｃ６には２以外の自然数が入力されてもよい。例えばｎを任意の自然数とした場合に、入力枠Ｓｃ６にｎが入力されると、制御部１０により選択上限数が“ｎ”に設定される。
【０１３６】
そのため、ファイル記憶処理時には、波形データ記憶領域３０Ｂに記憶された波形データに基づいてｎ個のフレームの画像データが選択され、選択されたｎ個のフレームの画像データを示すｎ個のブックマークデータが生成される。
【０１３７】
これにより、再生処理時には、ｎ個のブックマークデータにより示されるｎ個のフレームの画像データに対応するｎ個のサムネイル画像がサムネイル表示領域Ｓｋに表示される。
【０１３８】
（２−６）ファイル記憶処理フロー
図１２は、ファイル記憶処理のフローチャートである。上述のように、ファイル記憶処理は、録画処理終了時に、ユーザにより操作部４を用いて図６のファイルボタンＳｊが操作されることにより開始される。制御部１０は、記憶部４０に記憶される画像処理プログラムを実行することによりファイル記憶処理を行う。
【０１３９】
ファイル記憶処理が開始されることにより、図１の制御部１０は、図１の録画部３０に記憶された複数の評価値を取得し、取得された複数の評価値の中から予め定められた特徴を示す１または複数の評価値を抽出する（ステップＳ１１）。
【０１４０】
次に、制御部１０は、抽出された評価値に対応するフレームの画像データを示すブックマークデータを生成する（ステップＳ１２）。また、制御部１０は、ブックマークデータにより示される画像データに対応する特徴画像データを生成する（ステップＳ１３）。
【０１４１】
続いて、制御部１０は、録画部３０に記憶された複数フレームの画像データ、複数の評価値、生成されたブックマークデータおよび生成された特徴画像データを含む動画ファイルを生成し（ステップＳ１４）、生成された動画ファイルを記憶部４０に記憶する（ステップＳ１５）。これにより、ファイル記憶処理が終了する。
【０１４２】
（２−７）選択再生処理フロー
図１３〜図１５は、選択再生処理のフローチャートである。上述のように、選択再生処理は、ユーザにより操作部４を用いて記憶部４０に記憶された複数の動画ファイルから対象ファイルが選択されることにより開始される。制御部１０は、記憶部４０に記憶される画像処理プログラムを実行することにより選択再生処理を行う。
【０１４３】
選択再生処理が開始されることにより、図１の制御部１０は、対象ファイルの波形データに基づいて波形ＷＬ（図９）のグラフを波形表示領域Ｓｂに表示させる（ステップＳ２１）。
【０１４４】
また、制御部１０は、波形表示領域Ｓｂの波形ＷＬのグラフ上で、時間軸の先頭の位置に現在表示位置バーＬを表示させる（ステップＳ２２）。
【０１４５】
また、制御部１０は、対象ファイルの先頭のフレームの画像データに基づく画像（現在表示位置バーＬにより指定される波形ＷＬの位置に対応するフレームの画像）を画像表示領域Ｓａ（図９）に表示させる（ステップＳ２３）。
【０１４６】
続いて、制御部１０は、対象ファイルのファイル情報ｆｉにブックマークデータｂｄ１，ｂｄ２（図８）が存在するか否かを判別する（ステップＳ３１）。ブックマークデータｂｄ１，ｂｄ２が存在しない場合、制御部１０は、後述するステップＳ４１の処理に進む。
【０１４７】
一方、ブックマークデータｂｄ１，ｂｄ２が存在する場合、制御部１０は、ファイル情報ｆｉに含まれる特徴画像データｓｖ３，ｓｖ９（図８）に基づいてサムネイル画像をサムネイル表示領域Ｓｋに表示させる（ステップＳ３２）。
【０１４８】
また、制御部１０は、ブックマークデータｂｄ１，ｂｄ２によりそれぞれ示されるフレームの画像データに対応するシークバーＴｆ上の位置に、それぞれブックマークフラグＳＦ１，ＳＦ２を表示させる（ステップＳ３３）。
【０１４９】
さらに、制御部１０は、波形表示領域Ｓｂの波形ＷＬのグラフにおいて、ブックマークデータｂｄ１，ｂｄ２によりそれぞれ示されるフレームの画像データに対応する時間軸上の位置に、それぞれブックマークバーＳＬ１，ＳＬ２を表示させる（ステップＳ３４）。
【０１５０】
続いて、制御部１０は、図９のサムネイル表示領域Ｓｋに一覧表示されるサムネイル画像ＳＶ３，ＳＶ９のうち１つまたは波形表示領域Ｓｂに表示されるブックマークバーＳＬ１，ＳＬ２のうち１つが選択されたか否かを判別する（ステップＳ４１）。サムネイル画像ＳＶ３，ＳＶ９、およびブックマークバーＳＬ１，ＳＬ２のいずれも選択されない場合、制御部１０は後述するステップＳ５１の処理に進む。
【０１５１】
サムネイル画像ＳＶ３，ＳＶ９のうち１つまたはブックマークバーＳＬ１，ＳＬ２のうち１つが選択された場合、制御部１０は、選択されたサムネイル画像または選択されたブックマークバーに対応するフレームの画像を画像データに基づいて画像表示領域Ｓａに表示させる（ステップＳ４２）。
【０１５２】
また、制御部１０は、選択されたサムネイル画像または選択されたブックマークバーに対応するブックマークフラグの位置にシークバーＴｆ上でスライダＴｇを移動させる（ステップＳ４３）。
【０１５３】
さらに、制御部１０は、波形表示領域Ｓｂにおいて、選択されたサムネイル画像または選択されたブックマークバーに対応するブックマークバーの位置に波形ＷＬのグラフの時間軸上で現在表示位置バーＬを移動させる（ステップＳ４４）。
【０１５４】
続いて、制御部１０は、図９の再生ボタンＴｃまたは逆再生ボタンＴｅの操作により動画の再生または逆再生が指令されたか否かを判別する（ステップＳ５１）。動画の再生および逆再生が指令されない場合、制御部１０は、後述するステップＳ５７の処理に進む。
【０１５５】
動画の再生または逆再生が指令された場合、制御部１０は、対象ファイルの動画データに基づく動画を再生または逆再生する（ステップＳ５２）。また、制御部１０は、動画の再生または逆再生により画像表示領域Ｓａに表示される画像のフレームに応じてシークバーＴｆ上でスライダＴｇを移動させ（ステップＳ５３）、波形表示領域Ｓｂの時間軸上で現在表示位置バーＬを移動させる（ステップＳ５４）。
【０１５６】
この状態で、制御部１０は、図９の一時停止ボタンＴｄの操作により再生または逆再生の停止が指令されたか否かを判別する（ステップＳ５５）。再生または逆再生の停止が指令された場合、制御部１０は、対象ファイルの動画データに基づく動画の再生または逆再生を停止する（ステップＳ５６）。
【０１５７】
その後、制御部１０は、図９の終了ボタンＴｘの操作により、選択再生処理の終了が指令されたか否かを判別する（ステップＳ５７）。選択再生処理の終了が指令されることにより、制御部１０は、選択再生処理を終了する。一方、選択再生処理の終了が指令されない場合、制御部１０は、上記のステップＳ４１の処理に戻る。
【０１５８】
なお、上述のように、ブックマークデータおよび特徴画像データがメタデータとして動画ファイルに含まれる場合、上記の選択再生処理を実行する機能を有さない画像処理装置１であっても動画の再生および逆再生が可能であるが、表示部２０には動画のみが表示される。したがって、波形ＷＬのグラフ、ブックマークバーおよびサムネイル画像は表示部２０の画面上に表示されない。
【０１５９】
（２−８）効果
本実施の形態に係る画像処理装置１においては、選択再生処理時に、対象ファイルが選択されることにより、対象ファイルの複数の評価値ｉ１〜ｉ９（図７）のうち予め定められた特徴を示す評価値ｉ３，ｉ９（図７）が抽出される。抽出された評価値ｉ３，ｉ９に基づいて複数フレームの画像データｖ１〜ｖ１０のうちの一部のフレームの画像データｖ３，ｖ９が選択される。選択された画像データｖ３，ｖ９に対応する特徴画像データｓｖ３，ｓｖ９が生成される。特徴画像データｓｖ３，ｓｖ９に基づくサムネイル画像ＳＶ３，ＳＶ９がサムネイル表示領域Ｓｋに一覧表示される。
【０１６０】
ここで、評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する。そのため、選択された画像データｖ３，ｖ９に基づく画像Ｖ３，Ｖ４は被写体Ｗの特定の状態を示す。
【０１６１】
ユーザにより操作部４を用いてサムネイル表示領域Ｓｋに表示されたサムネイル画像ＳＶ３，ＳＶ９のいずれかが選択されると、選択されたサムネイル画像に対応する画像が画像表示領域Ｓａに表示される。この状態で、ユーザは、操作部４を用いて再生ボタンＴｃを操作することにより、被写体Ｗの特定の状態を示す動画を迅速かつ容易に再生することができる。
【０１６２】
また、表示部２０の波形表示領域Ｓｂには、複数の評価値ｉ１〜ｉ１０により形成される波形ＷＬのグラフが表示される。このグラフの時間軸上には、選択された画像データｖ３，ｖ９に対応するブックマークバーＳＬ１，ＳＬ２が表示される。波形ＷＬにおける画像データｖ３，ｖ９に対応する位置がブックマークバーＳＬ１，ＳＬ２により指定される。
【０１６３】
これにより、ユーザは、波形ＷＬを視認することにより複数フレームの画像Ｖ１〜Ｖ１０で示される被写体Ｗの状態を認識することができる。さらに、ユーザにより操作部４を用いてブックマークバーＳＬ１，ＳＬ２のうち１つが選択されると、選択されたブックマークバーに対応する画像が画像表示領域Ｓａに表示される。この状態で、ユーザは、操作部４を用いて再生ボタンＴｃを操作することにより、被写体Ｗの特定の状態を示す動画を迅速かつ容易に再生することができる。
【０１６４】
（３）その他
選択再生処理時には、ユーザによる操作部４の操作に基づいて複数フレームの画像データのうちの一部のフレームの画像データが新たに選択されてもよい。この場合、ユーザにより選択された一部のフレームの画像データを示すブックマークデータおよびブックマークデータに対応する特徴画像データが制御部１０により生成される。
【０１６５】
図１６は、選択再生処理時における表示部２０の他の表示例を示す図である。図１６の表示例では、図９〜図１１の表示例に対して表示部２０にさらにブックマークボタンＴｙおよびファイルボタンＳｊが表示される。
【０１６６】
図９〜図１１の表示例で示したように、波形ＷＬのグラフの時間軸上に２つのブックマークバーＳＬ１，ＳＬ２が表示され、サムネイル表示領域Ｓｋに２つのサムネイル画像ＳＶ３，ＳＶ９が一覧表示された状態で、ユーザにより操作部４を用いてブックマークボタンＴｙが操作される。
【０１６７】
これにより、操作部４により波形ＷＬのグラフの時間軸上の任意の位置またはシークバーＴｆ上の任意の位置が指定可能となる。この状態で、ユーザにより操作部４を用いて波形ＷＬのグラフの時間軸上の例えば時点ｔ６の位置が指定される。
【０１６８】
この場合、制御部１０は、複数フレームの画像データのうちユーザにより指定された時間軸上の位置に対応するフレームの画像データｖ６を選択し、画像データｖ６を示すブックマークデータおよびブックマークデータに対応する特徴画像データを生成する。また、制御部１０は、波形ＷＬのグラフの時間軸上の時点ｔ６の位置に新たなブックマークバーＳＬ３を表示させる。さらに、制御部１０は、生成された特徴画像データに基づいてサムネイル表示領域Ｓｋに新たなサムネイル画像ＳＶ６を表示させる。
【０１６９】
この状態で、ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０は、新たに生成されたブックマークデータおよび特徴画像データをさらに含む動画ファイルを生成し、生成された動画ファイルを記憶部４０に記憶する。
【０１７０】
このように、本例では、ユーザによる操作部４の操作に基づいて、制御部１０によりブックマークデータおよび特徴画像データが生成される。この場合、ユーザは、被写体Ｗの状態によらず所望の画像を迅速かつ容易に検索することが可能となる。
【０１７１】
（４）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１７２】
上記実施の形態においては、被写体Ｗが対象物の例であり、画像データｖ１〜ｖ１０が複数フレームの第１の画像データの例であり、特徴画像データｓｖ３，ｓｖ９が複数フレームの第２の画像データの例であり、画像Ｖ１〜Ｖ１０が複数フレームの第１の画像の例である。
【０１７３】
また、画像処理装置１が画像処理装置の例であり、評価値ｉ１〜ｉ１０が複数の評価値の例であり、記憶部４０が記憶部の例であり、画像表示領域Ｓａが第１の表示領域の例であり、サムネイル表示領域Ｓｋが第２の表示領域の例であり、表示部２０が表示部の例である。
【０１７４】
さらに、サムネイル画像ＳＶ３，ＳＶ６，ＳＶ９が第２の画像の例であり、制御部１０が制御部の例であり、操作部４が操作部の例であり、波形表示領域Ｓｂが第３の表示領域の例であり、波形ＷＬが波形の例であり、ブックマークバーＳＬ１，ＳＬ２，ＳＬ３が指標の例である。
【０１７５】
また、センサ６，８および波形収集装置７が検出手段の例であり、選択上限数が予め定められた数の例であり、ブックマークデータｂｄ１，ｂｄ２が選択された第１の画像データを示すデータの例であり、動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが動画ファイルの例であり、制御部１０が処理装置の例である。
【０１７６】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１７７】
本発明は、種々の画像処理に有効に利用することができる。
【符号の説明】
【０１７８】
１ 画像処理装置
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ｂｄ１，ｂｄ２ ブックマークデータ
ＢＳ バス
ＦＡ，ＦＢ，ＦＣ，ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２ 評価値
Ｌ 現在表示位置バー
Ｓａ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ６ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ，Ｔｃ 再生ボタン
Ｓｊ ファイルボタン
Ｓｋ サムネイル表示領域
ＳＬ１，ＳＬ２，ＳＬ３ ブックマークバー
ＳＶ３，ＳＶ６，ＳＶ９ サムネイル画像
ｓｖ３，ｓｖ９ 特徴画像データ
ｔ１〜ｔ１０ 時点
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ シークバー
Ｔｇ スライダ
Ｔｘ 終了ボタン
Ｔｙ ブックマークボタン
Ｖ１〜Ｖ１０ 画像
ｖ１〜ｖ１０ 画像データ
Ｗ 被写体
ＷＬ 波形
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
研究室または製造現場等において、種々の被写体（ワークまたは装置等）の動きを解析するために、高いフレームレートで被写体を撮影可能な高速撮影装置が用いられる。カメラによって被写体が撮影されることにより、複数フレームの画像に対応する複数フレームの画像データが連続的に取得され、取得された複数フレームの画像データが動画データとして記憶部に記憶される。記憶部に記憶された画像データに基づいて複数のフレームの画像が被写体の動画として液晶ディスプレイパネル等の表示部に表示される。このような動画を用いて被写体の動きの解析が行われる（例えば、特許文献１参照）。
【０００３】
特許文献１に記載される高速撮影装置においては、被写体の撮影時に複数フレームの画像が高速録画され、録画された複数フレームの画像が撮影時よりも低いフレームレートでスロー再生される。これにより、高速撮影装置を用いて被写体を撮影することにより、人が視認できないような瞬間的な被写体の動きを観察することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
瞬間的な被写体の特定の動きを観察する場合には、観察対象となる被写体の特定の動きが確実に録画されるように、十分に長い録画時間が設定される。そのため、録画された複数フレームの画像の中から被写体の特定の動きを含む部分を検索するために、録画された画像を長い時間再生する必要がある。
【０００６】
本発明の目的は、被写体の特定の状態を示す画像を迅速かつ容易に検索することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）第１の発明に係る画像処理装置は、対象物の動画を構成する複数フレームの第１の画像を表示するための画像処理装置であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する記憶部と、第１の表示領域および第２の表示領域を有する表示部と、記憶部に記憶された各フレームの第１の画像データに基づく第１の画像を第１の表示領域に表示させ、記憶部に記憶される複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択し、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、生成された第２の画像データに基づく第２の画像を第２の表示領域に表示させる制御部と、第２の表示領域に表示された第２の画像を選択するためにユーザにより操作される操作部とを備え、複数の評価値は対象物の状態に応じて変化する値であり、第２の画像は、対応する第１の画像と等価な画像であり、制御部は、操作部により第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を第１の表示領域に表示させるものである。
【０００８】
この画像処理装置においては、記憶部に記憶された各フレームの第１の画像データに基づいて第１の画像が表示部の第１の表示領域に表示される。記憶部に記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データが選択される。複数の評価値は対象物の状態に応じて変化する。そのため、一部のフレームの第１の画像データは対象物の状態に基づいて選択される。選択されたフレームの第１の画像データに対応する第２の画像データが生成される。生成された第２の画像データに基づいて対応する第１の画像と等価な第２の画像が第２の表示領域に表示される。
【０００９】
ユーザは、第２の表示領域に表示された第２の画像を操作部の操作により選択することができる。選択された第２の画像に対応する第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【００１０】
（２）制御部は、複数の評価値のうち予め定められた特徴を示す評価値に対応するフレームの第１の画像データを選択してもよい。
【００１１】
この場合、選択される一部のフレームの第１の画像データに基づく第１の画像は、対象物の予め定められた状態を示す。これにより、第２の表示領域には、対象物の予め定められた状態を示す第１の画像と等価な第２の画像が表示される。その結果、ユーザは対象物の予め定められた状態を示す画像を迅速かつ容易に検索することが可能となる。
【００１２】
（３）第２の画像は、対応する第１の画像の縮小画像であってもよい。
【００１３】
この場合、複数フレームの第１の画像データが選択された場合に、複数の第２の画像を第２の表示領域に一覧表示させることができる。それにより、ユーザは、複数の第２の画像を視認することにより、対象物の所望の状態を示す第１の画像を第１の表示領域に容易に表示させることができる。
【００１４】
（４）表示部は、第３の表示領域をさらに有し、制御部は、記憶部に記憶された複数の評価値により形成される波形を第３の表示領域に表示させるとともに、第２の表示領域に表示された第２の画像に対応する第１の画像のフレームを特定し、波形において特定されたフレームの第１の画像に対応する位置を指定する指標を第３の表示領域に表示させてもよい。
【００１５】
この場合、複数の評価値により形成される波形が指標とともに第３の表示領域に表示される。また、第２の表示領域に表示された第２の画像に対応する第１の画像のフレームが特定される。特定されたフレームの第１の画像に対応する波形上の位置が指標により指定される。
【００１６】
これにより、ユーザは、波形を視認することにより複数フレームの第１画像で示される対象物の状態の変化を認識することができる。また、ユーザは、指標により指定される波形上の位置を視認することにより、特定されたフレームの第１の画像に対応する対象物の状態を容易に認識することができる。
【００１７】
（５）操作部は、第３の表示領域に表示された指標を選択可能であり、制御部は、操作部により第３の表示領域に表示された指標が選択された場合に、選択された指標により指定される波形の位置に対応する第１の画像のフレームを特定し、特定されたフレームの第１の画像を第１の表示領域に表示させてもよい。
【００１８】
この場合、ユーザは第３の表示領域に表示された指標を操作部の操作により選択することができる。選択された指標により指定される波形上の位置に対応するフレームの第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【００１９】
（６）複数の評価値は、複数フレームの第１の画像の特徴を示す値であってもよい。
【００２０】
複数の評価値は複数フレームの第１の画像から生成される。そのため、複数の評価値を生成するための装置を別途設ける必要がない。これにより、画像処理装置を含むシステムの構成が簡素化される。
【００２１】
（７）複数フレームの画像の特徴を示す値は、複数フレームの画像の輝度に関する値であってもよい。
【００２２】
第１の画像の輝度は対象物の状態に応じて変化する。そのため、複数の評価値は対象物の状態に応じて変化する。したがって、複数フレームの第１の画像の輝度に関する値に基づいて、対象物の特定の状態に対応する一部のフレームの第１の画像データが容易にかつ適切に選択される。
【００２３】
（８）複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であってもよい。
【００２４】
この場合、対象物の状態を検出手段により確実に検出することができる。したがって、検出手段の出力値に基づいて、対象物の特定の状態に対応する一部のフレームの第１の画像データが容易にかつ適切に選択される。
【００２５】
（９）操作部は、動画の再生および逆再生を指示可能であり、制御部は、操作部により動画の再生または逆再生が指示された場合に、記憶部に記憶された複数の第１の画像データに基づいて、第１の表示領域に表示された第１の画像を基準として複数のフレームの画像を順次表示させてもよい。
【００２６】
この場合、ユーザは動画の再生および逆再生を指示することができる。動画の再生または逆再生が指示されることにより、記憶部に記憶された複数の第１の画像データに基づいて、第１の表示領域に表示された第１の画像を基準として複数のフレームの画像が順次表示される。これにより、動画を再生または逆再生することができる。したがって、ユーザは、対象物の特定の状態およびその前後の状態を容易に観察することができる。
【００２７】
（１０）制御部は、記憶部に記憶される複数の評価値に基づいて複数フレームの第１の画像データのうちの予め定められた数以下の数のフレームの第１の画像データを選択してもよい。
【００２８】
この場合、選択される第１の画像データのフレーム数は予め定められた数を超えない。これにより、複数の第２の画像を一定以上のサイズで第２の表示領域に表示させることができる。したがって、ユーザは各第２の画像中の対象物の状態を容易に観察することができる。
【００２９】
（１１）制御部は、複数フレームの第１の画像データ、複数フレームの第１の画像データに対応付けられた複数の評価値、選択された第１の画像データを示すデータおよび選択された第１の画像データに対応する第２の画像データを含む動画ファイルを生成し、生成された動画ファイルを記憶部に記憶させてもよい。
【００３０】
この場合、複数フレームの第１の画像データ、複数の評価値、選択された第１の画像データを示すデータおよび第２の画像データを動画ファイルとして一体的に取り扱うことができる。したがって、複数フレームの第１の画像データ、複数の評価値、選択された第１の画像データを示すデータおよび第２の画像データの取り扱いが容易になる。
【００３１】
（１２）第２の発明に係る画像処理方法は、対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理方法であって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび複数フレームの第１の画像データに対応付けられた複数の評価値を記憶するステップと、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、生成された第２の画像データに基づく第２の画像を表示部の第２の表示領域に表示させるステップと、第２の表示領域に表示された第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を表示部の第１の表示領域に表示させるステップとを備え、複数の評価値は対象物の状態に応じて変化する値であり、第２の画像は、対応する第１の画像と等価な画像であるものである。
【００３２】
この画像処理方法においては、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データが選択される。複数の評価値は対象物の状態に応じて変化する。そのため、一部のフレームの第１の画像データは対象物の状態に基づいて選択される。選択されたフレームの第１の画像データに対応する第２の画像データが生成される。生成された第２の画像データに基づいて対応する第１の画像と等価な第２の画像が第２の表示領域に表示される。
【００３３】
第２の表示領域に表示された第２の画像が選択される。選択された第２の画像に対応する第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【００３４】
（１３）第３の発明に係る画像処理プログラムは、対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理を処理装置に実行させる画像処理プログラムあって、複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する処理と、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、生成された第２の画像データに基づく第２の画像を表示部の第２の表示領域に表示させる処理と、第２の表示領域に表示された第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を表示部の第１の表示領域に表示させる処理とを、処理装置に実行させ、複数の評価値は対象物の状態に応じて変化する値であり、第２の画像は、対応する第１の画像と等価な画像であるものである。
【００３５】
この画像処理プログラムにおいては、記憶された複数の評価値に基づいて複数フレームの第１の画像データのうちの一部のフレームの第１の画像データが選択される。複数の評価値は対象物の状態に応じて変化する。そのため、一部のフレームの第１の画像データは対象物の状態に基づいて選択される。選択されたフレームの第１の画像データに対応する第２の画像データが生成される。生成された第２の画像データに基づいて対応する第１の画像と等価な第２の画像が第２の表示領域に表示される。
【００３６】
第２の表示領域に表示された第２の画像が選択される。選択された第２の画像に対応する第１の画像が第１の表示領域に表示される。これにより、ユーザは対象物の特定の状態を示す第１の画像を迅速かつ容易に検索することが可能となる。
【発明の効果】
【００３７】
本発明によれば、被写体の特定の状態を示す画像を迅速かつ容易に検索することが可能となる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理中の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理中の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】動画データ記憶領域に記憶された複数フレームの画像データと複数フレームの画像データに基づく複数フレームの画像と波形データ記憶領域に記憶された複数の評価値との関係の一例を示す概念図である。
【図８】ファイル記憶処理により生成される動画ファイルの模式図である。
【図９】選択再生処理時における表示部の一表示例を示す図である。
【図１０】選択再生処理時における表示部の一表示例を示す図である。
【図１１】選択再生処理時における表示部の一表示例を示す図である。
【図１２】ファイル記憶処理のフローチャートである。
【図１３】選択再生処理のフローチャートである。
【図１４】選択再生処理のフローチャートである。
【図１５】選択再生処理のフローチャートである。
【図１６】選択再生処理時における表示部の他の表示例を示す図である。
【発明を実施するための形態】
【００３９】
以下、本発明の一実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る画像処理装置は表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００４０】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、画像処理装置１、カメラ２、照明装置３および操作部４を備える。画像処理装置１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００４１】
画像処理装置１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００４２】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。
【００４３】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から画像処理装置１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００４４】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００４５】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００４６】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００４７】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、画像処理装置１と一体的に構成されてもよい。
【００４８】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数の画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４９】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００５０】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る画像処理プログラムが記憶される。画像処理プログラムの詳細は後述する。
【００５１】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。複数の評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する値である。被写体Ｗの状態とは、被写体Ｗの位置、向き、明るさ、大きさ、形状または色等である。
【００５２】
評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。さらに、評価値は、基準となるフレームの画像の輝度値の総和と各フレームの画像の輝度値の総和との差分であってもよい。
【００５３】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００５４】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５５】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５６】
なお、図１において、画像処理装置１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、画像処理装置１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５７】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）およびＲＡＭから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および画像処理装置１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された画像処理プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５８】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５９】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃおよび録画ボタンＳｅが表示される。
【００６０】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は時間軸であり、縦軸は評価値を示す。
【００６１】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００６２】
また、本実施の形態では、例えばユーザにより操作部４が操作されることにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００６３】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００６４】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定めるものである。
【００６５】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６６】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６７】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６８】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６９】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００７０】
ユーザにより操作部４を用いて録画ボタンＳｅが操作されると、制御部１０により後述する録画処理が開始される。
【００７１】
（２−２）録画処理
図３は、録画処理中の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００７２】
画像処理装置１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００７３】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００７４】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００７５】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００７６】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００７７】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７８】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７９】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００８０】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００８１】
図５は、録画処理中の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００８２】
ユーザにより操作部４を用いてトリガボタンＳｆが操作されると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００８３】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画処理終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００８４】
ユーザが操作部４を用いてファイルボタンＳｊを操作することにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理時には、制御部１０により、波形データ記憶領域３０Ｂに記憶された波形データに基づいて動画データ記憶領域３０Ａに記憶された複数フレームの画像データから一部のフレームの画像データが選択される。また、ファイル記憶処理により録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００８５】
条件設定領域Ｓｃには、上述の入力枠Ｓｃ１〜Ｓｃ５に加えて、ファイル記憶処理時に選択される画像データのフレーム数の上限値（以下、選択上限数と呼ぶ）を入力するための入力枠Ｓｃ６がさらに表示される。入力枠Ｓｃ６に入力された値に基づいて、制御部１０により選択上限数が設定される。
【００８６】
ファイル記憶処理の詳細を具体例とともに説明する。図７は動画データ記憶領域３０Ａに記憶された複数フレームの画像データと複数フレームの画像データに基づく複数フレームの画像と波形データ記憶領域３０Ｂに記憶された複数の評価値との関係の一例を示す概念図である。
【００８７】
図３の録画部３０の動画データ記憶領域３０Ａに図７の画像データｖ１〜ｖ１０が記憶され、波形データ記憶領域３０Ｂに図７の評価値ｉ１〜ｉ１０が記憶される。
【００８８】
図７の上段に第１〜第５フレームの画像データｖ１〜ｖ５に対応する画像Ｖ１〜Ｖ５が左から右へ向かう時間軸に沿って順に示される。図７の下段に第６〜第１０フレームの画像データｖ６〜ｖ１０に対応する画像Ｖ６〜Ｖ１０が左から右へ向かう時間軸に沿って順に示される。本例の画像Ｖ１〜Ｖ１０は、ベルトコンベアＢＣにより所定の間隔をおいて搬送される２つの被写体Ｗ１，Ｗ２が撮影されることにより得られる。
【００８９】
図７において、時間軸は上段の右端から下段の左端につながる。第１〜第１０フレームの画像データｖ１〜ｖ１０には、それぞれ第１〜第１０番目の評価値ｉ１〜ｉ１０が対応付けられる。第１〜第１０フレームの画像Ｖ１〜Ｖ１０の下部に第１〜第１０番目の評価値ｉ１〜ｉ１０により形成される波形のグラフが示される。
【００９０】
図７の例では、画像Ｖ２，Ｖ３，Ｖ４，Ｖ８，Ｖ９，Ｖ１０にベルトコンベアＢＣにより搬送される被写体Ｗ１，Ｗ２の一部または全体が含まれる。本例では、各評価値は、第１フレームの画像の輝度値の総和と各フレームの画像の輝度値の総和との差分である。この場合には、被写体Ｗ１，Ｗ２の全体を含む画像Ｖ３，Ｖ９に対応する評価値ｉ３，ｉ９が最も大きくなる。
【００９１】
図８は、ファイル記憶処理により生成される動画ファイルの模式図である。上記のファイル記憶処理時においては、例えば、図６の入力枠Ｓｃ６に“２”が入力されることにより、制御部１０により選択上限数が２に設定される。制御部１０は、複数フレームの画像データｖ１〜ｖ１０を録画部３０の動画データ記憶領域３０Ａから取得するとともに複数フレームの画像データｖ１〜ｖ１０にそれぞれ対応する評価値ｉ１〜ｉ１０を録画部３０の波形データ記憶領域３０Ｂから取得する。
【００９２】
制御部１０は、取得された評価値の中から予め定められた特徴を示す１または複数の評価値を抽出する。予め定められた特徴は、複数の評価値の大きさの関係に基づいて定められてもよいし、特定のしきい値と複数の評価値の大きさとの関係に基づいて定められてもよい。
【００９３】
本例では、複数の評価値のうち最も大きい評価値から大きい順に選択上限数分の評価値が抽出される。これにより、本例では２個の評価値ｉ３，ｉ９が抽出される。
【００９４】
続いて、制御部１０は、抽出された評価値に対応するフレームの画像データを示すブックマークデータを生成する。本例では２個の評価値ｉ３，ｉ９に対応する画像データｖ３，ｖ９をそれぞれ示すブックマークデータｂｄ１，ｂｄ２が生成される。
【００９５】
さらに、制御部１０は、ブックマークデータにより示される画像データを特徴画像データとして生成する。本例では、画像データｖ３，ｖ９に対応する特徴画像データｓｖ３，ｓｖ９が生成される。
【００９６】
特徴画像データは、対応する画像データに基づく画像（以下、原画像と呼ぶ）に等価な画像を表示部２０に表示するためのデータである。原画像に等価な画像とは、当該等価な画像に対応する原画像を特定可能な画像である。例えば、原画像に等価な画像は、原画像を縦方向および横方向に一定の縮小率で縮小することにより得られる縮小画像（以下、サムネイル画像と呼ぶ）、原画像を縦方向および横方向に一定の拡大率で拡大することにより得られる拡大画像、および原画像を縦方向および横方向にそれぞれ異なる拡縮率で拡大または縮小することにより得られる画像等が含まれる。また、原画像に等価な画像は、原画像を傾斜させるとともに拡大または縮小させることにより得られる画像であってもよい。
【００９７】
図８に示すように、制御部１０は、画像データｖ１〜ｖ１０、評価値ｉ１〜ｉ１０およびファイル情報ｆｉを含む動画ファイルＦＡを生成する。本例では、ファイル情報ｆｉに上述のブックマークデータｂｄ１，ｂｄ２および特徴画像データｓｖ３，ｓｖ９が含まれる。このようにして生成された動画ファイルＦＡが記憶部４０に記憶される。
【００９８】
ファイル情報ｆｉには、例えばファイル名およびデータの保存形式を示す情報等がさらに含まれる。上記の録画処理およびファイル記憶処理が繰り返されることにより、図１の記憶部４０内に複数の動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが記憶される。
【００９９】
本実施の形態において、上記の動画ファイルはＡＶＩ（Audio Video Interleave）、ＷＭＶ（Windows(登録商標) Media Video）またはＭＰＥＧ（Moving Picture Experts Group）等のコンテナフォーマットで生成される。この場合、ブックマークデータｂｄ１，ｂｄ２および特徴画像データｓｖ３，ｓｖ９は、メタデータとして動画ファイルに含まれてもよい。
【０１００】
（２−４）録画部再生処理
次に、録画部再生処理について説明する。本実施の形態における録画部再生処理では、主として録画部３０に記憶される動画データに基づく複数フレームの画像が表示部２０に動画として表示される。
【０１０１】
録画処理終了後かつファイル記憶処理前に、ユーザにより操作部４を用いて図６の再生ボタンＳｇが操作されることにより、制御部１０により動画データ記憶領域３０Ａ内の複数フレームの画像データがビデオメモリ５０に順次記憶される。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、動画データ記憶領域３０Ａ内の複数フレームの画像データに基づいて動画が再生される。
【０１０２】
また、制御部１０により波形データ記憶領域３０Ｂ内の波形データがビデオメモリ５０に記憶される。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【０１０３】
（２−５）選択再生処理
次に、選択再生処理について説明する。本実施の形態における選択再生処理では、主として記憶部４０に記憶される動画ファイル中の複数フレームの画像データのうちサムネイル画像を用いて選択されたフレームの画像以降の複数フレームの画像が表示部２０に動画として表示される。
【０１０４】
ファイル記憶処理により記憶部４０に記憶された複数の動画ファイルにそれぞれ対応するアイコンが図１の表示部２０に表示される。この場合、ユーザは、操作部４を用いて表示部２０に表示される複数のアイコンのいずれかを選択することにより、記憶部４０に記憶された複数の動画ファイルのうち選択された動画ファイルを対象ファイルとして選択することができる。対象ファイルが選択されることにより選択再生処理が開始される。
【０１０５】
図９〜図１１は、選択再生処理時における表示部２０の一表示例を示す図である。本例では、ユーザにより操作部４を用いて図８の動画ファイルＦＡが対象ファイルとして選択される。
【０１０６】
この場合、図９に示すように、図１の表示部２０には、主として画像表示領域Ｓａ、波形表示領域Ｓｂ、サムネイル表示領域Ｓｋ、再生ボタンＴｃ、一時停止ボタンＴｄ、逆再生ボタンＴｅ、シークバーＴｆおよび終了ボタンＴｘが表示される。２つのシークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。
【０１０７】
画像表示領域Ｓａに対象ファイルの各フレームの画像データに基づく画像が表示される。波形表示領域Ｓｂに、対象ファイルの波形データに基づく波形ＷＬのグラフが表示される。波形ＷＬのグラフの横軸は時間軸であり、縦軸は評価値を示す。
【０１０８】
波形表示領域Ｓｂのグラフ上には、波形ＷＬに交差するように縦軸と平行な現在表示位置バーＬが表示される。これにより、選択再生処理時には、画像表示領域Ｓａに現在表示されている画像のフレームに対応する評価値が現在表示位置バーＬにより指定される。図９の例では、波形表示領域Ｓｂの時間軸上の時点ｔ１の位置に現在表示位置バーＬが表示される。
【０１０９】
本例では、対象ファイルには、第３フレームの画像データｖ３を示すブックマークデータｂｄ１および第９フレームの画像データｖ９を示すブックマークデータｂｄ２が含まれる。
【０１１０】
この場合、波形表示領域Ｓｂのグラフ上には、２つのブックマークデータｂｄ１，ｂｄ２にそれぞれ対応するブックマークバーＳＬ１，ＳＬ２が表示される。ブックマークバーＳＬ１，ＳＬ２は、それぞれ縦軸と平行であり波形ＷＬに交差する。波形ＷＬにおける画像データｖ３および画像データｖ９に対応する位置がブックマークバーＳＬ１，ＳＬ２により指定される。図９の例では、波形表示領域Ｓｂの時間軸上の時点ｔ３，ｔ９の位置にブックマークバーＳＬ１，ＳＬ２がそれぞれ表示される。
【０１１１】
サムネイル表示領域Ｓｋには、サムネイル画像ＳＶ３，ＳＶ９が一覧表示される。サムネイル画像ＳＶ３，ＳＶ９は、それぞれブックマークデータｂｄ１，ｂｄ２により示される第３フレームおよび第９フレームの画像データｖ３，ｖ９に対応する画像Ｖ３，Ｖ９の縮小画像である。さらに、サムネイル表示領域Ｓｋにおいて、サムネイル画像ＳＶ３，ＳＶ９の下部には、波形表示領域Ｓｂに表示されるブックマークバーＳＬ１，ＳＬ２の位置（本例では、時点ｔ３，ｔ９）が表示される。
【０１１２】
上述のように、シークバーＴｆは、水平方向に移動可能なスライダＴｇを有する。スライダＴｇの位置は、現時点で波形表示領域Ｓｂに表示されている現在表示位置バーＬの時間軸上の位置に対応する。
【０１１３】
図９の例では、シークバーＴｆ上にブックマークデータｂｄ１，ｂｄ２にそれぞれ対応するブックマークフラグＳＦ１，ＳＦ２が表示される。ブックマークフラグＳＦ１，ＳＦ２の位置は、ブックマークデータｂｄ１，ｂｄ２によりそれぞれ示される第３フレームおよび第９フレームの画像データｖ３，ｖ９の時間軸上の位置に対応する。
【０１１４】
ユーザにより操作部４を用いて再生ボタンＴｃが操作される。この場合、対象ファイルの動画データに基づいて現時点で表示されている画像以降の複数フレームの画像が画像表示領域Ｓａに順次表示される。それにより、動画が再生される。
【０１１５】
動画の再生が進むにつれて、現在表示位置バーＬが波形表示領域Ｓｂの時間軸上で一方向（本例では、表示部２０の画面の左から右）に移動するとともにスライダＴｇがシークバーＴｆ上で一方向（本例では、表示部２０の画面の左から右）に移動する。
【０１１６】
また、ユーザにより操作部４を用いて逆再生ボタンＴｅが操作される。この場合、対象ファイルの動画データに基づいて現時点で表示されている画像から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａに順次表示される。それにより、動画が逆再生される。
【０１１７】
動画の逆再生が進むにつれて、現在表示位置バーＬが波形表示領域Ｓｂの時間軸上で他方向（本例では、表示部２０の画面の右から左）に移動するとともにスライダＴｇ１がシークバーＴｆ１上で他方向（本例では、表示部２０の画面の右から左）に移動する。
【０１１８】
動画の再生中または逆再生中にユーザにより操作部４を用いて一時停止ボタンＴｄが操作されることにより、動画の再生または逆再生が一時停止する。また、ユーザが再生ボタンＴｃを操作し続けることにより、操作が解除されるまで動画が高速で再生される。ユーザが逆再生ボタンＴｅを操作し続けることにより、操作が解除されるまで動画が高速で逆再生される。
【０１１９】
ここで、選択再生処理時において、ユーザは操作部４を用いてサムネイル表示領域Ｓｋに表示される２つのサムネイル画像ＳＶ３，ＳＶ９のうち１つおよび波形表示領域Ｓｂに表示されるブックマークバーＳＬ１，ＳＬ２のうち１つをそれぞれ選択することができる。
【０１２０】
図９の例では、画像表示領域Ｓａに第１フレームの画像Ｖ１が表示され、波形表示領域Ｓｂの時間軸上の時点ｔ１の位置に現在表示位置バーＬが表示され、シークバーＴｆ上の一端部にスライダＴｇが表示されている。この状態で、ユーザにより操作部４を用いて一方のサムネイル画像ＳＶ３が選択される。
【０１２１】
それにより、図１０に示すように、画像表示領域Ｓａに、第１フレームの画像Ｖ１に代えてサムネイル画像ＳＶ３に対応する第３フレームの画像Ｖ３が表示される。また、図１０に点線矢印で示すように、波形表示領域Ｓｂの時間軸上で、現在表示位置バーＬが時点ｔ１の位置からブックマークバーＳＬ１が位置する時点ｔ３の位置まで移動する。さらに、図１０に点線矢印で示すように、シークバーＴｆ上で、スライダＴｇがシークバーＴｆの一端部からブックマークフラグＳＦ１の表示位置まで移動する。
【０１２２】
この状態で、再生ボタンＴｃが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ３以降の複数フレームの画像が画像表示領域Ｓａに順次表示される。一方、逆再生ボタンＴｅが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ３から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａに順次表示される。
【０１２３】
このようにして、ユーザは、サムネイル画像ＳＶ３に対応する画像Ｖ３を基準として前後の動画を再生または逆再生することができる。
【０１２４】
サムネイル表示領域Ｓｋに表示される一方のサムネイル画像ＳＶ３および波形表示領域Ｓｂに表示される一方のブックマークバーＳＬ１は、それぞれブックマークデータｂｄ１に基づいて表示される。
【０１２５】
そのため、一方のサムネイル画像ＳＶ３が選択される代わりに、ユーザにより一方のブックマークバーＳＬ１が選択される場合にも、画像表示領域Ｓａに表示される画像、波形表示領域Ｓｂの時間軸上の現在表示位置バーＬの位置およびシークバーＴｆ上のスライダＴｇの位置が上記と同様に変更される。
【０１２６】
さらに、図１０の状態で、ユーザにより操作部４を用いて他方のサムネイル画像ＳＶ９が選択される。
【０１２７】
それにより、図１１に示すように、画像表示領域Ｓａに、第３フレームの画像Ｖ３に代えてサムネイル画像ＳＶ９に対応する第９フレームの画像Ｖ９が表示される。また、図１１に点線矢印で示すように、波形表示領域Ｓｂの時間軸上で、現在表示位置バーＬが時点ｔ３の位置からブックマークバーＳＬ２が位置する時点ｔ９の位置まで移動する。さらに、図１１に点線矢印で示すように、シークバーＴｆ上で、スライダＴｇがブックマークフラグＳＦ１の表示位置からブックマークフラグＳＦ２の表示位置まで移動する。
【０１２８】
この状態で、再生ボタンＴｃが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ９以降の複数フレームの画像が画像表示領域Ｓａに順次表示される。一方、逆再生ボタンＴｅが操作されることにより、画像表示領域Ｓａに表示される画像Ｖ９から時間軸上で再生時と逆方向に複数フレームの画像が画像表示領域Ｓａに順次表示される。
【０１２９】
これにより、ユーザは、サムネイル画像ＳＶ９に対応する画像Ｖ９を基準として前後の動画を再生または逆再生することができる。
【０１３０】
サムネイル表示領域Ｓｋに表示される他方のサムネイル画像ＳＶ９および波形表示領域Ｓｂに表示される他方のブックマークバーＳＬ２は、それぞれブックマークデータｂｄ２に基づいて表示される。
【０１３１】
そのため、他方のサムネイル画像ＳＶ９が操作される代わりに、ユーザにより他方のブックマークバーＳＬ２が操作される場合にも、画像表示領域Ｓａに表示される画像、波形表示領域Ｓｂの時間軸上の現在表示位置バーＬの位置およびシークバーＴｆ上のスライダＴｇの位置が上記と同様に変更される。
【０１３２】
選択再生処理時において、ユーザは操作部４を操作することによりシークバーＴｆ上のスライダＴｇを移動させることができる。例えば、ユーザは、操作部４を用いてシークバーＴｆのスライダＴｇを移動させることにより、画像表示領域Ｓａに表示される画像および波形表示領域Ｓｂの時間軸上の現在表示位置バーＬの位置を上記と同様に変更することができる。
【０１３３】
これにより、ユーザは、シークバーＴｆ上のスライダＴｇをブックマークフラグＳＦ１，ＳＦ２の位置に移動させることにより、被写体Ｗ１，Ｗ２を含む画像Ｖ３，Ｖ９を容易に画像表示領域Ｓａに表示させることができる。また、画像Ｖ３，Ｖ９を基準として前後の動画を再生または逆再生することができる。
【０１３４】
ユーザにより操作部４を用いて図９〜図１１の終了ボタンＴｘが操作されると、選択再生処理が終了する。
【０１３５】
上記では、図６の入力枠Ｓｃ６に“２”が入力される例を説明したが、図６の入力枠Ｓｃ６には２以外の自然数が入力されてもよい。例えばｎを任意の自然数とした場合に、入力枠Ｓｃ６にｎが入力されると、制御部１０により選択上限数が“ｎ”に設定される。
【０１３６】
そのため、ファイル記憶処理時には、波形データ記憶領域３０Ｂに記憶された波形データに基づいてｎ個のフレームの画像データが選択され、選択されたｎ個のフレームの画像データを示すｎ個のブックマークデータが生成される。
【０１３７】
これにより、再生処理時には、ｎ個のブックマークデータにより示されるｎ個のフレームの画像データに対応するｎ個のサムネイル画像がサムネイル表示領域Ｓｋに表示される。
【０１３８】
（２−６）ファイル記憶処理フロー
図１２は、ファイル記憶処理のフローチャートである。上述のように、ファイル記憶処理は、録画処理終了時に、ユーザにより操作部４を用いて図６のファイルボタンＳｊが操作されることにより開始される。制御部１０は、記憶部４０に記憶される画像処理プログラムを実行することによりファイル記憶処理を行う。
【０１３９】
ファイル記憶処理が開始されることにより、図１の制御部１０は、図１の録画部３０に記憶された複数の評価値を取得し、取得された複数の評価値の中から予め定められた特徴を示す１または複数の評価値を抽出する（ステップＳ１１）。
【０１４０】
次に、制御部１０は、抽出された評価値に対応するフレームの画像データを示すブックマークデータを生成する（ステップＳ１２）。また、制御部１０は、ブックマークデータにより示される画像データに対応する特徴画像データを生成する（ステップＳ１３）。
【０１４１】
続いて、制御部１０は、録画部３０に記憶された複数フレームの画像データ、複数の評価値、生成されたブックマークデータおよび生成された特徴画像データを含む動画ファイルを生成し（ステップＳ１４）、生成された動画ファイルを記憶部４０に記憶する（ステップＳ１５）。これにより、ファイル記憶処理が終了する。
【０１４２】
（２−７）選択再生処理フロー
図１３〜図１５は、選択再生処理のフローチャートである。上述のように、選択再生処理は、ユーザにより操作部４を用いて記憶部４０に記憶された複数の動画ファイルから対象ファイルが選択されることにより開始される。制御部１０は、記憶部４０に記憶される画像処理プログラムを実行することにより選択再生処理を行う。
【０１４３】
選択再生処理が開始されることにより、図１の制御部１０は、対象ファイルの波形データに基づいて波形ＷＬ（図９）のグラフを波形表示領域Ｓｂに表示させる（ステップＳ２１）。
【０１４４】
また、制御部１０は、波形表示領域Ｓｂの波形ＷＬのグラフ上で、時間軸の先頭の位置に現在表示位置バーＬを表示させる（ステップＳ２２）。
【０１４５】
また、制御部１０は、対象ファイルの先頭のフレームの画像データに基づく画像（現在表示位置バーＬにより指定される波形ＷＬの位置に対応するフレームの画像）を画像表示領域Ｓａ（図９）に表示させる（ステップＳ２３）。
【０１４６】
続いて、制御部１０は、対象ファイルのファイル情報ｆｉにブックマークデータｂｄ１，ｂｄ２（図８）が存在するか否かを判別する（ステップＳ３１）。ブックマークデータｂｄ１，ｂｄ２が存在しない場合、制御部１０は、後述するステップＳ４１の処理に進む。
【０１４７】
一方、ブックマークデータｂｄ１，ｂｄ２が存在する場合、制御部１０は、ファイル情報ｆｉに含まれる特徴画像データｓｖ３，ｓｖ９（図８）に基づいてサムネイル画像をサムネイル表示領域Ｓｋに表示させる（ステップＳ３２）。
【０１４８】
また、制御部１０は、ブックマークデータｂｄ１，ｂｄ２によりそれぞれ示されるフレームの画像データに対応するシークバーＴｆ上の位置に、それぞれブックマークフラグＳＦ１，ＳＦ２を表示させる（ステップＳ３３）。
【０１４９】
さらに、制御部１０は、波形表示領域Ｓｂの波形ＷＬのグラフにおいて、ブックマークデータｂｄ１，ｂｄ２によりそれぞれ示されるフレームの画像データに対応する時間軸上の位置に、それぞれブックマークバーＳＬ１，ＳＬ２を表示させる（ステップＳ３４）。
【０１５０】
続いて、制御部１０は、図９のサムネイル表示領域Ｓｋに一覧表示されるサムネイル画像ＳＶ３，ＳＶ９のうち１つまたは波形表示領域Ｓｂに表示されるブックマークバーＳＬ１，ＳＬ２のうち１つが選択されたか否かを判別する（ステップＳ４１）。サムネイル画像ＳＶ３，ＳＶ９、およびブックマークバーＳＬ１，ＳＬ２のいずれも選択されない場合、制御部１０は後述するステップＳ５１の処理に進む。
【０１５１】
サムネイル画像ＳＶ３，ＳＶ９のうち１つまたはブックマークバーＳＬ１，ＳＬ２のうち１つが選択された場合、制御部１０は、選択されたサムネイル画像または選択されたブックマークバーに対応するフレームの画像を画像データに基づいて画像表示領域Ｓａに表示させる（ステップＳ４２）。
【０１５２】
また、制御部１０は、選択されたサムネイル画像または選択されたブックマークバーに対応するブックマークフラグの位置にシークバーＴｆ上でスライダＴｇを移動させる（ステップＳ４３）。
【０１５３】
さらに、制御部１０は、波形表示領域Ｓｂにおいて、選択されたサムネイル画像または選択されたブックマークバーに対応するブックマークバーの位置に波形ＷＬのグラフの時間軸上で現在表示位置バーＬを移動させる（ステップＳ４４）。
【０１５４】
続いて、制御部１０は、図９の再生ボタンＴｃまたは逆再生ボタンＴｅの操作により動画の再生または逆再生が指令されたか否かを判別する（ステップＳ５１）。動画の再生および逆再生が指令されない場合、制御部１０は、後述するステップＳ５７の処理に進む。
【０１５５】
動画の再生または逆再生が指令された場合、制御部１０は、対象ファイルの動画データに基づく動画を再生または逆再生する（ステップＳ５２）。また、制御部１０は、動画の再生または逆再生により画像表示領域Ｓａに表示される画像のフレームに応じてシークバーＴｆ上でスライダＴｇを移動させ（ステップＳ５３）、波形表示領域Ｓｂの時間軸上で現在表示位置バーＬを移動させる（ステップＳ５４）。
【０１５６】
この状態で、制御部１０は、図９の一時停止ボタンＴｄの操作により再生または逆再生の停止が指令されたか否かを判別する（ステップＳ５５）。再生または逆再生の停止が指令された場合、制御部１０は、対象ファイルの動画データに基づく動画の再生または逆再生を停止する（ステップＳ５６）。
【０１５７】
その後、制御部１０は、図９の終了ボタンＴｘの操作により、選択再生処理の終了が指令されたか否かを判別する（ステップＳ５７）。選択再生処理の終了が指令されることにより、制御部１０は、選択再生処理を終了する。一方、選択再生処理の終了が指令されない場合、制御部１０は、上記のステップＳ４１の処理に戻る。
【０１５８】
なお、上述のように、ブックマークデータおよび特徴画像データがメタデータとして動画ファイルに含まれる場合、上記の選択再生処理を実行する機能を有さない画像処理装置１であっても動画の再生および逆再生が可能であるが、表示部２０には動画のみが表示される。したがって、波形ＷＬのグラフ、ブックマークバーおよびサムネイル画像は表示部２０の画面上に表示されない。
【０１５９】
（２−８）効果
本実施の形態に係る画像処理装置１においては、選択再生処理時に、対象ファイルが選択されることにより、対象ファイルの複数の評価値ｉ１〜ｉ９（図７）のうち予め定められた特徴を示す評価値ｉ３，ｉ９（図７）が抽出される。抽出された評価値ｉ３，ｉ９に基づいて複数フレームの画像データｖ１〜ｖ１０のうちの一部のフレームの画像データｖ３，ｖ９が選択される。選択された画像データｖ３，ｖ９に対応する特徴画像データｓｖ３，ｓｖ９が生成される。特徴画像データｓｖ３，ｓｖ９に基づくサムネイル画像ＳＶ３，ＳＶ９がサムネイル表示領域Ｓｋに一覧表示される。
【０１６０】
ここで、評価値は、複数フレームの画像中の被写体Ｗの状態に応じて変化する。そのため、選択された画像データｖ３，ｖ９に基づく画像Ｖ３，Ｖ４は被写体Ｗの特定の状態を示す。
【０１６１】
ユーザにより操作部４を用いてサムネイル表示領域Ｓｋに表示されたサムネイル画像ＳＶ３，ＳＶ９のいずれかが選択されると、選択されたサムネイル画像に対応する画像が画像表示領域Ｓａに表示される。この状態で、ユーザは、操作部４を用いて再生ボタンＴｃを操作することにより、被写体Ｗの特定の状態を示す動画を迅速かつ容易に再生することができる。
【０１６２】
また、表示部２０の波形表示領域Ｓｂには、複数の評価値ｉ１〜ｉ１０により形成される波形ＷＬのグラフが表示される。このグラフの時間軸上には、選択された画像データｖ３，ｖ９に対応するブックマークバーＳＬ１，ＳＬ２が表示される。波形ＷＬにおける画像データｖ３，ｖ９に対応する位置がブックマークバーＳＬ１，ＳＬ２により指定される。
【０１６３】
これにより、ユーザは、波形ＷＬを視認することにより複数フレームの画像Ｖ１〜Ｖ１０で示される被写体Ｗの状態を認識することができる。さらに、ユーザにより操作部４を用いてブックマークバーＳＬ１，ＳＬ２のうち１つが選択されると、選択されたブックマークバーに対応する画像が画像表示領域Ｓａに表示される。この状態で、ユーザは、操作部４を用いて再生ボタンＴｃを操作することにより、被写体Ｗの特定の状態を示す動画を迅速かつ容易に再生することができる。
【０１６４】
（３）その他
選択再生処理時には、ユーザによる操作部４の操作に基づいて複数フレームの画像データのうちの一部のフレームの画像データが新たに選択されてもよい。この場合、ユーザにより選択された一部のフレームの画像データを示すブックマークデータおよびブックマークデータに対応する特徴画像データが制御部１０により生成される。
【０１６５】
図１６は、選択再生処理時における表示部２０の他の表示例を示す図である。図１６の表示例では、図９〜図１１の表示例に対して表示部２０にさらにブックマークボタンＴｙおよびファイルボタンＳｊが表示される。
【０１６６】
図９〜図１１の表示例で示したように、波形ＷＬのグラフの時間軸上に２つのブックマークバーＳＬ１，ＳＬ２が表示され、サムネイル表示領域Ｓｋに２つのサムネイル画像ＳＶ３，ＳＶ９が一覧表示された状態で、ユーザにより操作部４を用いてブックマークボタンＴｙが操作される。
【０１６７】
これにより、操作部４により波形ＷＬのグラフの時間軸上の任意の位置またはシークバーＴｆ上の任意の位置が指定可能となる。この状態で、ユーザにより操作部４を用いて波形ＷＬのグラフの時間軸上の例えば時点ｔ６の位置が指定される。
【０１６８】
この場合、制御部１０は、複数フレームの画像データのうちユーザにより指定された時間軸上の位置に対応するフレームの画像データｖ６を選択し、画像データｖ６を示すブックマークデータおよびブックマークデータに対応する特徴画像データを生成する。また、制御部１０は、波形ＷＬのグラフの時間軸上の時点ｔ６の位置に新たなブックマークバーＳＬ３を表示させる。さらに、制御部１０は、生成された特徴画像データに基づいてサムネイル表示領域Ｓｋに新たなサムネイル画像ＳＶ６を表示させる。
【０１６９】
この状態で、ユーザにより操作部４を用いてファイルボタンＳｊが操作されることにより、制御部１０は、新たに生成されたブックマークデータおよび特徴画像データをさらに含む動画ファイルを生成し、生成された動画ファイルを記憶部４０に記憶する。
【０１７０】
このように、本例では、ユーザによる操作部４の操作に基づいて、制御部１０によりブックマークデータおよび特徴画像データが生成される。この場合、ユーザは、被写体Ｗの状態によらず所望の画像を迅速かつ容易に検索することが可能となる。
【０１７１】
（４）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１７２】
上記実施の形態においては、被写体Ｗが対象物の例であり、画像データｖ１〜ｖ１０が複数フレームの第１の画像データの例であり、特徴画像データｓｖ３，ｓｖ９が複数フレームの第２の画像データの例であり、画像Ｖ１〜Ｖ１０が複数フレームの第１の画像の例である。
【０１７３】
また、画像処理装置１が画像処理装置の例であり、評価値ｉ１〜ｉ１０が複数の評価値の例であり、記憶部４０が記憶部の例であり、画像表示領域Ｓａが第１の表示領域の例であり、サムネイル表示領域Ｓｋが第２の表示領域の例であり、表示部２０が表示部の例である。
【０１７４】
さらに、サムネイル画像ＳＶ３，ＳＶ６，ＳＶ９が第２の画像の例であり、制御部１０が制御部の例であり、操作部４が操作部の例であり、波形表示領域Ｓｂが第３の表示領域の例であり、波形ＷＬが波形の例であり、ブックマークバーＳＬ１，ＳＬ２，ＳＬ３が指標の例である。
【０１７５】
また、センサ６，８および波形収集装置７が検出手段の例であり、選択上限数が予め定められた数の例であり、ブックマークデータｂｄ１，ｂｄ２が選択された第１の画像データを示すデータの例であり、動画ファイルＦＡ，ＦＢ，ＦＣ，ＦＤが動画ファイルの例であり、制御部１０が処理装置の例である。
【０１７６】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１７７】
本発明は、種々の画像処理に有効に利用することができる。
【符号の説明】
【０１７８】
１ 画像処理装置
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ｂｄ１，ｂｄ２ ブックマークデータ
ＢＳ バス
ＦＡ，ＦＢ，ＦＣ，ＦＤ 動画ファイル
ｆｉ ファイル情報
ｉ１〜ｉ４２ 評価値
Ｌ 現在表示位置バー
Ｓａ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ６ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ，Ｔｃ 再生ボタン
Ｓｊ ファイルボタン
Ｓｋ サムネイル表示領域
ＳＬ１，ＳＬ２，ＳＬ３ ブックマークバー
ＳＶ３，ＳＶ６，ＳＶ９ サムネイル画像
ｓｖ３，ｓｖ９ 特徴画像データ
ｔ１〜ｔ１０ 時点
Ｔｄ 一時停止ボタン
Ｔｅ 逆再生ボタン
Ｔｆ シークバー
Ｔｇ スライダ
Ｔｘ 終了ボタン
Ｔｙ ブックマークボタン
Ｖ１〜Ｖ１０ 画像
ｖ１〜ｖ１０ 画像データ
Ｗ 被写体
ＷＬ 波形
【特許請求の範囲】
【請求項１】
対象物の動画を構成する複数フレームの第１の画像を表示するための画像処理装置であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび前記複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する記憶部と、
第１の表示領域および第２の表示領域を有する表示部と、
前記記憶部に記憶された各フレームの第１の画像データに基づく第１の画像を前記第１の表示領域に表示させ、前記記憶部に記憶される前記複数の評価値に基づいて前記複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択し、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、前記生成された第２の画像データに基づく第２の画像を前記第２の表示領域に表示させる制御部と、
前記第２の表示領域に表示された前記第２の画像を選択するためにユーザにより操作される操作部とを備え、
前記複数の評価値は前記対象物の状態に応じて変化する値であり、
前記第２の画像は、対応する第１の画像と等価な画像であり、
前記制御部は、前記操作部により前記第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を前記第１の表示領域に表示させることを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記複数の評価値のうち予め定められた特徴を示す評価値に対応するフレームの第１の画像データを選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の画像は、対応する第１の画像の縮小画像であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記表示部は、第３の表示領域をさらに有し、
前記制御部は、前記記憶部に記憶された複数の評価値により形成される波形を前記第３の表示領域に表示させるとともに、前記第２の表示領域に表示された第２の画像に対応する第１の画像のフレームを特定し、前記波形において前記特定されたフレームの第１の画像に対応する位置を指定する指標を前記第３の表示領域に表示させることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記操作部は、前記第３の表示領域に表示された指標を選択可能であり、
前記制御部は、前記操作部により前記第３の表示領域に表示された指標が選択された場合に、前記選択された指標により指定される前記波形の位置に対応する第１の画像のフレームを特定し、特定されたフレームの第１の画像を前記第１の表示領域に表示させることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記複数の評価値は、前記複数フレームの第１の画像の特徴を示す値であることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記複数フレームの画像の特徴を示す値は、前記複数フレームの画像の輝度に関する値であることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項９】
前記操作部は、動画の再生および逆再生を指示可能であり、
前記制御部は、前記操作部により動画の再生または逆再生が指示された場合に、前記記憶部に記憶された前記複数の第１の画像データに基づいて、前記第１の表示領域に表示された第１の画像を基準として複数のフレームの画像を順次表示させることを特徴とする請求項１〜８のいずれかに記載の画像処理装置。
【請求項１０】
前記制御部は、前記記憶部に記憶される前記複数の評価値に基づいて前記複数フレームの第１の画像データのうちの予め定められた数以下の数のフレームの第１の画像データを選択することを特徴とする請求項１〜９のいずれかに記載の画像処理装置。
【請求項１１】
前記制御部は、前記複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の評価値、前記選択された第１の画像データを示すデータおよび前記選択された第１の画像データに対応する第２の画像データを含む動画ファイルを生成し、生成された前記動画ファイルを前記記憶部に記憶させることを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１２】
対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理方法であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび前記複数フレームの第１の画像データに対応付けられた複数の評価値を記憶するステップと、
前記記憶された複数の評価値に基づいて前記複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、
前記選択されたフレームの第１の画像データに対応する第２の画像データを生成し、前記生成された第２の画像データに基づく第２の画像を前記表示部の第２の表示領域に表示させるステップと、
前記第２の表示領域に表示された前記第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を前記表示部の前記第１の表示領域に表示させるステップとを備え、
前記複数の評価値は前記対象物の状態に応じて変化する値であり、
前記第２の画像は、対応する第１の画像と等価な画像であることを特徴とする画像処理方法。
【請求項１３】
対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理を処理装置に実行させる画像処理プログラムあって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび前記複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する処理と、
前記記憶された複数の評価値に基づいて前記複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、
前記選択されたフレームの第１の画像データに対応する第２の画像データを生成し、前記生成された第２の画像データに基づく第２の画像を前記表示部の第２の表示領域に表示させる処理と、
前記第２の表示領域に表示された前記第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を前記表示部の前記第１の表示領域に表示させる処理とを、
前記処理装置に実行させ、
前記複数の評価値は前記対象物の状態に応じて変化する値であり、
前記第２の画像は、対応する第１の画像と等価な画像であることを特徴とする画像処理プログラム。
【請求項１】
対象物の動画を構成する複数フレームの第１の画像を表示するための画像処理装置であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび前記複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する記憶部と、
第１の表示領域および第２の表示領域を有する表示部と、
前記記憶部に記憶された各フレームの第１の画像データに基づく第１の画像を前記第１の表示領域に表示させ、前記記憶部に記憶される前記複数の評価値に基づいて前記複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択し、選択されたフレームの第１の画像データに対応する第２の画像データを生成し、前記生成された第２の画像データに基づく第２の画像を前記第２の表示領域に表示させる制御部と、
前記第２の表示領域に表示された前記第２の画像を選択するためにユーザにより操作される操作部とを備え、
前記複数の評価値は前記対象物の状態に応じて変化する値であり、
前記第２の画像は、対応する第１の画像と等価な画像であり、
前記制御部は、前記操作部により前記第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を前記第１の表示領域に表示させることを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記複数の評価値のうち予め定められた特徴を示す評価値に対応するフレームの第１の画像データを選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の画像は、対応する第１の画像の縮小画像であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記表示部は、第３の表示領域をさらに有し、
前記制御部は、前記記憶部に記憶された複数の評価値により形成される波形を前記第３の表示領域に表示させるとともに、前記第２の表示領域に表示された第２の画像に対応する第１の画像のフレームを特定し、前記波形において前記特定されたフレームの第１の画像に対応する位置を指定する指標を前記第３の表示領域に表示させることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記操作部は、前記第３の表示領域に表示された指標を選択可能であり、
前記制御部は、前記操作部により前記第３の表示領域に表示された指標が選択された場合に、前記選択された指標により指定される前記波形の位置に対応する第１の画像のフレームを特定し、特定されたフレームの第１の画像を前記第１の表示領域に表示させることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記複数の評価値は、前記複数フレームの第１の画像の特徴を示す値であることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記複数フレームの画像の特徴を示す値は、前記複数フレームの画像の輝度に関する値であることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項９】
前記操作部は、動画の再生および逆再生を指示可能であり、
前記制御部は、前記操作部により動画の再生または逆再生が指示された場合に、前記記憶部に記憶された前記複数の第１の画像データに基づいて、前記第１の表示領域に表示された第１の画像を基準として複数のフレームの画像を順次表示させることを特徴とする請求項１〜８のいずれかに記載の画像処理装置。
【請求項１０】
前記制御部は、前記記憶部に記憶される前記複数の評価値に基づいて前記複数フレームの第１の画像データのうちの予め定められた数以下の数のフレームの第１の画像データを選択することを特徴とする請求項１〜９のいずれかに記載の画像処理装置。
【請求項１１】
前記制御部は、前記複数フレームの第１の画像データ、前記複数フレームの第１の画像データに対応付けられた複数の評価値、前記選択された第１の画像データを示すデータおよび前記選択された第１の画像データに対応する第２の画像データを含む動画ファイルを生成し、生成された前記動画ファイルを前記記憶部に記憶させることを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。
【請求項１２】
対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理方法であって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび前記複数フレームの第１の画像データに対応付けられた複数の評価値を記憶するステップと、
前記記憶された複数の評価値に基づいて前記複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、
前記選択されたフレームの第１の画像データに対応する第２の画像データを生成し、前記生成された第２の画像データに基づく第２の画像を前記表示部の第２の表示領域に表示させるステップと、
前記第２の表示領域に表示された前記第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を前記表示部の前記第１の表示領域に表示させるステップとを備え、
前記複数の評価値は前記対象物の状態に応じて変化する値であり、
前記第２の画像は、対応する第１の画像と等価な画像であることを特徴とする画像処理方法。
【請求項１３】
対象物の動画を構成する複数フレームの第１の画像を表示部の第１の表示領域に表示するための画像処理を処理装置に実行させる画像処理プログラムあって、
前記複数フレームの第１の画像を表示するための複数フレームの第１の画像データおよび前記複数フレームの第１の画像データに対応付けられた複数の評価値を記憶する処理と、
前記記憶された複数の評価値に基づいて前記複数フレームの第１の画像データのうちの一部のフレームの第１の画像データを選択するステップと、
前記選択されたフレームの第１の画像データに対応する第２の画像データを生成し、前記生成された第２の画像データに基づく第２の画像を前記表示部の第２の表示領域に表示させる処理と、
前記第２の表示領域に表示された前記第２の画像が選択された場合に、選択された第２の画像に対応する第１の画像を前記表示部の前記第１の表示領域に表示させる処理とを、
前記処理装置に実行させ、
前記複数の評価値は前記対象物の状態に応じて変化する値であり、
前記第２の画像は、対応する第１の画像と等価な画像であることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−９９９７３（Ｐ２０１２−９９９７３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４７０２（Ｐ２０１０−２４４７０２）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]