画像処理装置、画像処理方法および画像処理プログラム
【課題】対象物が所望の状態にある期間における対象物の動画を正確に観察することを可能にする画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】規定時間Ｔ１が経過するごとに制御部１０が解析処理を行う。解析処理として、制御部は、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データに対応する評価値を取得し、取得された評価値に基づいて、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データから一定のフレーム数の画像データからなる再生データ群を選択する。解析処理が終了すると、制御部１０は、解析処理により決定された再生データ群に基づく動画の再生を開始する。
【解決手段】規定時間Ｔ１が経過するごとに制御部１０が解析処理を行う。解析処理として、制御部は、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データに対応する評価値を取得し、取得された評価値に基づいて、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データから一定のフレーム数の画像データからなる再生データ群を選択する。解析処理が終了すると、制御部１０は、解析処理により決定された再生データ群に基づく動画の再生を開始する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
研究室または製造現場等において、種々の被写体（ワークまたは装置等）の動きを解析するために、高いフレームレートで被写体を撮影可能な高速撮影装置が用いられる。カメラによって被写体が撮影されることにより、複数フレームの画像に対応する複数の画像データが連続的に取得され、取得された複数の画像データが動画データとして記憶部に記憶される。記憶部に記憶された画像データに基づいて複数のフレームの画像が被写体の動画として液晶ディスプレイパネル等の表示部に表示される。このような動画を用いて被写体の動きの解析が行われる。
【０００３】
撮影時には、シャッタースピード等の撮影条件を調整する必要がある。ユーザは、表示部に表示される動画を確認しながら撮影条件の調整を行う。撮影時のフレームレートが高い場合には、取得された画像データを撮影時と同じフレームレートで表示することが困難である。そのため、取得された画像データが撮影時よりも低いフレームレートで表示される。
【０００４】
特許文献１に記載される高速撮影装置においては、被写体の撮影時に、予め定められた数のフレーム画像の高速録画が終了すると、録画されたフレーム画像が撮影時よりも低いフレームレートでスロー再生される。フレーム画像のスロー再生が終了すると、再度高速録画が開始される。以降同様に、高速録画とスロー再生とが交互に繰り返される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１００３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、ベルトコンベアにより搬送されるワークが被写体である場合、カメラにより撮影される領域（以下、撮影領域と呼ぶ）に被写体が存在する期間と存在しない期間とがある。
【０００７】
上記特許文献１の高速撮影装置においては、一定の周期でフレーム画像の高速録画とスロー再生とが交互に繰り返される。それにより、被写体の動きを正確に観察することができる。しかしながら、上記のようにベルトコンベア上のワークが被写体である場合、撮影領域内に被写体が存在する期間に撮影されたフレーム画像の録画が行われず、撮影領域内にワークが存在しない期間に撮影されたフレーム画像の録画が行われる可能性がある。この場合、被写体の動画を観察することができない。
【０００８】
本発明の目的は、対象物が所望の状態にある期間における対象物の動画を正確に観察することを可能にする画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００９】
（１）第１の発明に係る画像処理装置は、対象物の動画を表示する画像処理装置であって、連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する記憶部と、記憶部に記憶された複数フレームの画像データに基づいて画像を表示する表示部と、記憶部に記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する取得部と、取得部により取得された複数の評価値のうち各第１の期間内に記憶部に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する選択部と、選択部により選択された画像データ群の画像データに基づいて第２のフレーム数の画像を第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示させる制御部とを備えるものである。
【００１０】
その画像処理装置においては、連続する複数の第１の期間内に第１のフレームレートで複数フレームの画像に対応する画像データが記憶部に順次記憶される。対象物の状態に応じて変化する複数の評価値が取得部により取得される。複数の評価値は、記憶された複数フレームの画像データに対応する。取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群が選択部により選択される。選択された画像データ群の画像データに基づいて第２のフレーム数の画像が第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示される。
【００１１】
このように、記憶された第１のフレーム数の画像データのうち、評価値に基づいて選択された画像データ群に基づいて、第２のフレーム数の画像が記憶時における第１のフレームレートよりも低い第２のフレームレートで表示部に表示される。それにより、複数フレームの画像のうち所望の一部の画像が動画としてスロー再生される。この場合、対象物の状態に応じて画像データ群を選択することができる。したがって、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【００１２】
（２）選択部は、第１のフレーム数の画像データのうち予め定められた特徴を示す評価値に対応する画像データを基準に、連続する第２のフレーム数の画像データを画像データ群として選択してもよい。
【００１３】
この場合、対象物の状態に応じて、所望の画像に対応する画像データ群を適切に選択することができる。また、選択された画像データ群に基づいて、連続的で自然な動画をスロー再生することができる。したがって、対象物が所望の状態にある期間における対象物の動画をより正確に観察することが可能となる。
【００１４】
（３）第１のフレーム数の画像データから選択された画像データ群に基づく第２のフレーム数の画像が各第１の期間と等しい第２の期間で表示部に表示されるように第２のフレームレートおよび第２のフレーム数が定められてもよい。
【００１５】
この場合、第１のフレーム数の画像の記憶時間と、選択された画像データ群に基づく画像の表示時間とが等しくなる。それにより、複数の第１の期間における画像データの記憶と複数の画像データ群に基づく画像の表示とを並行して行うことが可能となる。したがって、対象物が所望の状態にある期間における対象物の動画を効率的に観察することが可能となる。
【００１６】
（４）選択部は、各第１の期間内に記憶された第１のフレーム数の画像データから画像データ群を選択する動作を各第１の期間に続く次の第１の期間において行ってもよい。
【００１７】
この場合、各第１の期間において第１のフレーム数の画像データが記憶された直後に、その第１のフレーム数の画像データから画像データ群が選択され、選択された画像データ群に基づく第２のフレーム数の画像が表示部に順次表示される。それにより、複数の第１の期間における画像データの記憶と複数の画像データ群に基づく画像の表示とを並行して行うことが可能となる。したがって、対象物が所望の状態にある期間における対象物の動画を効率的に観察することが可能となる。
【００１８】
（５）複数の評価値は、複数フレームの画像の特徴を示す値であってもよい。
【００１９】
この場合、対象物の所望の状態に対応する画像データ群を適切に選択することができる。また、他の検出手段等を設ける必要がないので、画像処理装置の構成の簡略化が可能となる。
【００２０】
（６）複数フレームの画像の特徴を示す値は、複数フレームの画像の輝度に関する値であってもよい。
【００２１】
この場合、対象物の状態に応じて、複数フレームの画像の輝度が変化する。それにより、複数フレームの画像の輝度に関する値に基づいて、対象物の所望の状態に対応する画像データ群を容易にかつ適切に選択することができる。
【００２２】
（７）複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であってもよい。
【００２３】
この場合、対象物の状態に応じて、検出手段の出力値が変化する。それにより、出力手段の出力値に基づいて、対象物の所望の状態に対応する画像データ群を容易にかつ適切に選択することができる。
【００２４】
（８）複数の評価値は、予め定められた基準画像と各フレームの画像との類似度を示す値であってもよい。
【００２５】
この場合、対象物の状態に応じて、基準画像と各フレームの画像との類似度が変化する。それにより、類似度を示す値に基づいて、対象物の所望の状態に対応する画像データ群を容易にかつ適切に選択することができる。
【００２６】
（９）第２の発明に係る画像処理方法は、対象物の動画を表示するための画像処理方法であって、連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶するステップと、記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得するステップと、取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択するステップと、選択された画像データ群の画像データに基づいて第２のフレーム数の画像を第１のフレームレートよりも低い第２のフレームレートで表示部に表示させるステップとを備えるものである。
【００２７】
その画像処理方法においては、連続する複数の第１の期間内に第１のフレームレートで複数フレームの画像に対応する画像データが順次記憶される。対象物の状態に応じて変化する複数の評価値が取得される。複数の評価値は、記憶された複数フレームの画像データに対応する。取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群が選択される。選択された画像データ群の画像データに基づいて第２のフレーム数の画像が第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示される。
【００２８】
このように、記憶された第１のフレーム数の画像データのうち、評価値に基づいて選択された画像データ群に基づいて、第２のフレーム数の画像が記憶時における第１のフレームレートよりも低い第２のフレームレートで表示部に表示される。それにより、複数フレームの画像のうち所望の一部の画像が動画としてスロー再生される。この場合、対象物の状態に応じて画像データ群を選択することができる。したがって、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【００２９】
（１０）第３の発明に係る画像処理プログラムは、対象物の動画を表示するために処理装置により実行可能な画像処理プログラムであって、連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する処理と、記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する処理と、取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する処理と、選択された画像データ群の画像データに基づいて第２のフレーム数の画像を第１のフレームレートよりも低い第２のフレームレートで表示部に表示させる処理とを処理装置に実行させるものである。
【００３０】
その画像処理プログラムにおいては、連続する複数の第１の期間内に第１のフレームレートで複数フレームの画像に対応する画像データが順次記憶される。対象物の状態に応じて変化する複数の評価値が取得される。複数の評価値は、記憶された複数フレームの画像データに対応する。取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群が選択される。選択された画像データ群の画像データに基づいて第２のフレーム数の画像が第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示される。
【００３１】
このように、記憶された第１のフレーム数の画像データのうち、評価値に基づいて選択された画像データ群に基づいて、第２のフレーム数の画像が記憶時における第１のフレームレートよりも低い第２のフレームレートで表示部に表示される。それにより、複数フレームの画像のうち所望の一部の画像が動画としてスロー再生される。この場合、対象物の状態に応じて画像データ群を選択することができる。したがって、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【発明の効果】
【００３２】
本発明によれば、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理時の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理時の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】通常再生処理時の表示部の表示例を示す図である。
【図８】プレビュー動画再生処理時の表示部の表示例を示す図である。
【図９】プレビュー動画再生処理時における画像データの記録およびプレビュー動画の表示のタイミングを示すタイミングチャートである。
【図１０】制御部によるプレビュー動画再生処理のフローチャートである。
【発明を実施するための形態】
【００３４】
以下、本発明の一実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る画像処理システムは表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００３５】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、画像処理装置１、カメラ２、照明装置３および操作部４を備える。画像処理装置１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００３６】
画像処理装置１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００３７】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。被写体Ｗは、例えば、ベルトコンベアにより搬送されるワークである。
【００３８】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から画像処理装置１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００３９】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００４０】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００４１】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００４２】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、画像処理装置１と一体的に構成されてもよい。
【００４３】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数フレームの画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４４】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００４５】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る画像処理プログラムが記憶される。画像処理プログラムの詳細は後述する。
【００４６】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。複数の評価値は、被写体Ｗの状態に応じて変化する値である。被写体Ｗの状態とは、被写体Ｗの位置、向き、明るさ、大きさ、形状または色等である。
【００４７】
評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数の画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像を構成する複数の画素の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００４８】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数のフレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００４９】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５０】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５１】
なお、図１において、画像処理装置１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、画像処理装置１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５２】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭおよびタイマーから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および画像処理装置１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された画像処理プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５３】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５４】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃ、プレビューボタンＳｐおよび録画ボタンＳｅが表示される。
【００５５】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は、時間を示し、縦軸は評価値を示す。例えば、評価値が画像表示領域Ｓａに表示される画像の平均輝度値である場合、波形表示領域Ｓｂには、画像の平均輝度値を縦軸とし、時間を横軸とする波形のグラフが表示される。
【００５６】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００５７】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００５８】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００５９】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定めるものである。
【００６０】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６１】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６２】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６３】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６４】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００６５】
ユーザが操作部４を用いてプレビューボタンＳｐを選択すると、制御部１０によりプレビュー動画再生処理が行われる。この場合、表示部２０にプレビュー動画が表示される。ユーザは、プレビュー動画を参照しながら、各種の撮影条件の設定を行うことができる。プレビュー動画再生処理の詳細については後述する。
【００６６】
ユーザが操作部４を用いて録画ボタンＳｅを選択すると、制御部１０により録画処理が開始される。
【００６７】
（２−２）録画処理
図３は、録画処理時の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００６８】
画像処理装置１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００６９】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００７０】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００７１】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００７２】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００７３】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７４】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。一方、上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７５】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００７６】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００７７】
図５は、録画処理時の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００７８】
ユーザが操作部４を用いてトリガボタンＳｆを選択すると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００７９】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画処理終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００８０】
ユーザが操作部４を用いてファイルボタンＳｊを選択することにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００８１】
ユーザが操作部４を用いて再生ボタンＳｇを選択することにより、後述のように、制御部１０により通常再生処理が行われる。
【００８２】
（２−４）通常再生処理
記憶部４０に１または複数の動画ファイルが記憶されている場合、１または複数の動画ファイルに対応するアイコンが表示部２０に表示される。ユーザが操作部４を用いて表示部２０に表示される一のアイコンを選択することにより、制御部１０により通常再生処理が開始される。また、録画処理終了時に、ユーザが操作部４を用いて図６の再生ボタンＳｇを選択することにより、制御部１０により通常再生処理が開始される。連続する複数フレームの画像データに基づいて表示部２０に連続する複数フレームの画像を順次表示することを動画の通常再生と呼ぶ。
【００８３】
図７は、通常再生処理時の表示部２０の表示例を示す図である。図７に示すように、通常再生処理時には、表示部２０に画像表示領域Ｓａ、波形表示領域Ｓｂおよび条件設定領域Ｓｃが表示される。
【００８４】
記憶部４０に記憶された動画ファイルに対応するアイコンが選択された場合、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイル中の複数フレームの画像データに基づいて動画が通常再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８５】
録画処理終了時に図６の再生ボタンＳｇが選択された場合、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく連続する画像が図７の画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される複数フレームの画像データに基づいて動画が通常再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが図７の波形表示領域Ｓｂに表示される。
【００８６】
（３）プレビュー動画再生処理
図２のプレビューボタンＳｐが選択されると、制御部４により以下に説明するプレビュー動画再生処理が行われる。図８は、プレビュー動画再生処理時の表示部２０の表示例を示す図である。図８に示すように、表示部２０に画像表示領域Ｓａ、条件設定領域Ｓｃおよび停止ボタンＳｓが表示される。画像表示領域Ｓａにプレビュー動画ＰＭが表示される。
【００８７】
図９は、プレビュー動画再生処理時における画像データの記録およびプレビュー動画の表示のタイミングを示すタイミングチャートである。
【００８８】
図９の例では、時点ｔ０において、ユーザが操作部４を用いて表示部２０上のプレビューボタンＳｐを選択する。これにより、カメラ２から与えられる複数フレームの画像データが録画部３０の動画データ記憶領域３０Ａに順次記憶される。また、波形収集部６０から与えられる複数の評価値が録画部３０の波形データ記憶領域３０Ｂに順次記憶される。プレビュー動画再生処理時における録画部３０の記憶状態は、上記の録画処理時における録画部３０の記憶状態と同じである。
【００８９】
時点ｔ０から規定時間Ｔ１が経過した後の時点ｔ１から時点ｔ２までの期間において、制御部１０が解析処理を行う。解析処理として、制御部１０は、時点ｔ０から時点ｔ１までの期間に記憶された複数フレームの画像データに対応する評価値を録画部３０の波形データ記憶領域３０Ｂから取得する。制御部１０は、取得された評価値に基づいて、時点ｔ０から時点ｔ１までの期間に記憶された複数フレームの画像データから一定のフレーム数の画像データからなる再生データ群を選択する。
【００９０】
この場合、制御部１０は、予め定められた特徴を示す評価値に対応する画像データを基準に、連続する一定のフレーム数の画像データを再生データ群として選択する。本例では、評価値は平均輝度値である。制御部１０は、時点ｔ０から時点ｔ１までの期間に記憶された各フレームの画像の平均輝度値を取得する。制御部１０は、時点ｔ０から時点ｔ１までの期間において、平均輝度値が最も小さい一区間の画像データを再生データ群として選択する。一区間は、一定のフレーム数を含む区間である。
【００９１】
本例では、カメラ２により撮影される領域（以下、撮影領域と呼ぶ）を被写体（ワーク）Ｗが通過するときに取得された画像の平均輝度値が小さい。そのため、撮影領域を被写体Ｗが通過するときに記憶された一区間の画像データが再生データ群として決定される。
【００９２】
図９の下段に、評価値としての平均輝度値の変化が示される。この場合、時点ｔ１１から時点ｔ１２までの期間に取得された一区間の画像データに対応する平均輝度値の変化量が小さい。そのため、時点ｔ１１から時点ｔ１２までの期間に取得された一区間の画像データが再生データ群として決定される。
【００９３】
なお、再生データ群としては、フレーム間における被写体Ｗの動きが大きい、またはフレーム間における画像データの変化が大きい一区間の画像データが選択されることが好ましい。その場合、評価値として、例えば各フレームの画像の全画素と前フレームの画像の全画素との間における輝度値の差分絶対値の総和、または各フレームの画像の平均輝度値の時間微分値を用いることができる。
【００９４】
時点ｔ２において解析処理が終了すると、制御部１０は、解析処理により決定された再生データ群に基づく動画の再生を開始する。この場合、再生データ群がビデオメモリ５０に順次記憶され、再生データ群に基づいて複数フレームの画像がプレビュー動画として表示部２０に順次表示される。
【００９５】
プレビュー動画再生処理時における再生フレームレートは、撮影フレームレートよりも低く、例えば１ｆｐｓ以上６０ｆｐｓ以下である。ここで、再生フレームレートとは、単位時間当たりに表示部２に表示される画像のフレーム数である。本例では、再生データ群の再生時間Ｔ２が、上記の規定時間Ｔ１と等しくなるように、再生フレームレートおよび再生データ群のフレーム数が設定される。再生フレームレートが撮影フレームレートのＭ分の１である場合、再生データ群のフレーム数は、規定時間Ｔ１に記憶される画像データのフレーム数のＭ分の１である。ここで、Ｍは、１よりも大きい実数である。
【００９６】
続いて、時点ｔ１から規定時間Ｔ１が経過した後の時点ｔ３から時点ｔ４までの期間において、制御部１０が上記同様の解析処理を行う。この場合、時点ｔ１から時点ｔ３までの期間に記憶された複数フレームの画像データのうち、時点ｔ２１から時点ｔ２２までの期間に記憶された複数フレームの画像データが再生データ群として決定される。時点ｔ４において解析処理が終了すると、制御部１０は、解析処理により決定された再生データ群に基づく動画の再生を開始する。
【００９７】
ここで、制御部１０による１回の解析処理の時間Ｔ３は一定である。また、上記のように、再生データ群の再生時間Ｔ２は、制御部１０が解析処理を行う周期（時間Ｔ１）と等しい。それにより、時点ｔ４において、解析処理が終了すると同時に、時点ｔ２から開始された動画の再生が終了する。したがって、時点ｔ１１から時点ｔ１２までに記憶された再生データ群に基づく動画と時点ｔ２１から時点ｔ２２までに記憶された再生データ群に基づく動画とが連続的に再生される。
【００９８】
その後、同様にして、規定時間Ｔ１が経過するごとに制御部１０による解析処理が行われ、解析処理により決定された再生データ群に基づく動画が再生される。それにより、複数の再生データ群に基づく動画がプレビュー動画として表示部２０に連続的に表示される。なお、解析処理の周期は、本例のように時間で設定されてもよく、フレーム数で設定されてもよい。
【００９９】
本例では、時点ｔ０から時点ｔ１までの期間、時点ｔ１から時点ｔ３までの期間、時点ｔ３から時点ｔ５までの期間および時点ｔ５から時点ｔ７までの期間がそれぞれ第１の期間の例であり、時点ｔ２から時点ｔ４までの期間、時点ｔ４から時点ｔ６までの期間および時点ｔ６から時点ｔ８までの期間がそれぞれ第２の期間の例である。また、規定時間Ｔ１の間に取得される画像データのフレーム数が第１のフレーム数の例であり、一区間に含まれるフレーム数が第２のフレーム数の例である。
【０１００】
図１０は、制御部１０によるプレビュー動画再生処理のフローチャートである。プレビュー動画再生処理は、記憶部４０に記憶される画像処理プログラムに基づいて行われる。図２の画面上でプレビューボタンＳｐが選択されると、制御部１０によりプレビュー動画再生処理が開始される。
【０１０１】
まず、制御部１０は、録画部３０による画像データおよび評価値の記憶を開始するとともに（ステップＳ１）、タイマーによる計測を開始する（ステップＳ２）。この場合、録画部３０による画像データおよび評価値の記憶が開始されてからの経過時間がタイマーにより計測される。
【０１０２】
次に、制御部１０は、タイマーによる計測時間が規定時間Ｔ１に達したか否かを判定する（ステップＳ３）。タイマーによる計測時間が規定時間Ｔ１に達していない場合、制御部１０は、図８の停止ボタンＳｓが選択されたか否かを判定する（ステップＳ４）。停止ボタンＳｓが選択されていない場合、制御部１０は、ステップＳ３の処理に戻る。
【０１０３】
ステップＳ３において、タイマーによる計測時間が規定時間Ｔ１に達した場合、制御部１０は、タイマーをリセットし、新たに計測を開始する（ステップＳ５）。次に、制御部１０は、直前の規定時間Ｔ１の間に録画部３０に記憶された各画像データに対応する評価値を録画部３０から取得し（ステップＳ６）、取得された評価値に基づいて、直前の規定時間Ｔ１の間に録画部３０に記憶された複数フレームの画像データから再生データ群を決定する（ステップＳ７）。ステップＳ６，Ｓ７の処理が解析処理に相当する。
【０１０４】
次に、制御部１０は、再生データ群に基づく動画の再生を開始する（ステップＳ８）。この場合、制御部１０は、再生データ群に基づく動画が予め定められた再生フレームレートで表示部２に表示されるように、再生データ群をビデオメモリ５０に順次記憶させる。その後、制御部１０は、ステップＳ３の処理に戻る。
【０１０５】
このように、ステップＳ４で停止ボタンＳｓが選択されていない場合、制御部１０は、ステップＳ３〜Ｓ８の処理を繰り返す。これにより、規定時間Ｔ１が経過するごとに、制御部１０による解析処理が行われ、解析処理により決定された再生データ群に基づく動画が再生される。
【０１０６】
ステップＳ４において、停止ボタンＳｓが選択された場合、制御部１０は、録画部３０による画像データおよび評価値の記憶を停止する（ステップＳ９）。また、制御部１０は、ステップＳ８において開始した再生データ群に基づく動画の再生を停止する（ステップＳ１０）。さらに、制御部１０は、タイマーによる計測を停止する（ステップＳ１１）。これにより、制御部１０のプレビュー動画再生処理が終了する。
【０１０７】
（４）本実施の形態の効果
本実施の形態に係る画像処理装置１においては、撮影条件の設定時に表示部２０にプレビュー動画を表示することができる。この場合、録画部３０に複数フレームの画像データが順次記憶されつつ、規定時間Ｔ１が経過するごとに評価値に基づいて再生データ群が選択され、選択された再生データ群に基づく画像がプレビュー動画としてスロー再生される。
【０１０８】
評価値は録画部３０に記憶される画像データに対応しかつ被写体Ｗの状態に応じて変化するので、評価値に基づいて被写体Ｗの所望の状態に対応する画像データ群を選択することができる。したがって、被写体Ｗが所望の状態にある期間における被写体Ｗの動画を正確に観察することが可能となる。その結果、被写体Ｗの動画を観察しながら撮影条件を容易にかつ適切に調整することができる。
【０１０９】
また、本実施の形態では、規定時間Ｔ１と再生時間Ｔ２とが等しくなるように、再生フレームレートおよび再生データ群のフレーム数が設定される。それにより、録画部３０による画像データの記憶と再生データ群に基づく画像の表示とを並行して行うことが可能となる。
【０１１０】
また、本実施の形態では、評価値として各フレームの画像の平均輝度値が用いられる。それにより、被写体Ｗの所望の状態に対応する再生データ群を容易にかつ適切に選択することができる。
【０１１１】
（５）他の実施の形態
（５−１）
上記実施の形態では、プレビュー動画再生処理時に、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データのうち、対応する平均輝度値が最も小さい一区間の画像データが再生データ群として選択されるが、これに限らず、平均輝度値を用いた他の方法で再生データ群が選択されてもよい。
【０１１２】
例えば、制御部１０が、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データのうち、前の画像からの平均輝度値の変化量が最も大きい画像に対応する画像データを決定する。制御部１０は、決定された画像データを基準に、一区間の画像データを再生データ群として選択する。この場合、制御部１０は、決定された画像データを最初とする一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データを最後とする一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データの前の複数フレームおよび後の複数フレームの画像データを含む一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データが記憶された時点の一定時間後、または一定時間前に記憶された一区間のフレーム数の画像データを再生データ群として選択してもよい。
【０１１３】
（５−２）
上記実施の形態では、プレビュー動画再生処理時に、録画部３０の波形データ記憶領域３０Ｂに記憶された評価値に基づいて再生データ群が選択されるが、これに限らない。制御部１０が、録画部３０の動画データ記憶領域３０Ａに記憶された画像データに基づいて各画像データに対応する評価値を算出し、算出された評価値に基づいて再生データ群を選択してもよい。
【０１１４】
（５−３）
上記実施の形態では、評価値として平均輝度値が用いられるが、各フレームの画像の特徴を示す他の値が評価値として用いられてもよい。例えば、予め定められた基準画像と各フレームの画像との類似度を示す値（以下、類似度値と呼ぶ）が評価値として用いられてもよい。
【０１１５】
例えば、撮影領域に被写体（ワーク）Ｗが進入した直後の画像が、基準画像として設定され、その基準画像に対応する画像データが予め記憶される。制御部１０は、直前の規定時間Ｔ１の間に取得された複数フレームの画像データのうち、基準画像に対する類似度値が最も高い画像に対応する画像データを決定する。制御部１０は、決定された画像データを最初とする一区間の画像データを再生データ群として選択する。この場合、撮影領域に被写体Ｗが進入した直後からの一定期間の動画が表示部２０に表示される。
【０１１６】
また、制御部１０は、決定された画像データを最後とする一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データの前の複数フレームおよび後の複数フレームの画像データを含む一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データが記憶された時点の一定時間後、または一定時間前に記憶された一区間のフレーム数の画像データを再生データ群として選択してもよい。
【０１１７】
（５−４）
図１のセンサ６，８により検出される温度、距離、圧力、加速度、または変位等の測定値が評価値として用いられてもよい。この場合も、上記同様に評価値を用いて種々の方法で再生データ群を選択することができる。
【０１１８】
（５−５）
ユーザが規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数を任意に調整可能に画像処理装置１が構成されてもよい。例えば、図８の画面に、規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数の入力枠が表示される。ユーザは、操作部４を用いて規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数を入力することができる。
【０１１９】
この場合、被写体Ｗの種類および移動速度等に応じて、ユーザが規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数を適宜調整することができる。
【０１２０】
（５−６）
上記実施の形態では、撮影条件の設定時に制御部１０によりプレビュー動画再生処理が行われるが、これに限らず、録画処理時にプレビュー動画再生処理が行われてもよい。この場合、録画処理時に、被写体Ｗの所望の状態がプレビュー動画として表示部２０に表示される。それにより、被写体Ｗの動画を観察しつつ録画処理を継続して行うことができる。
【０１２１】
（６）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１２２】
上記実施の形態においては、撮影フレームレートが第１のフレームレートの例であり、再生フレームレートが第２のフレームレートの例であり、表示部２０が表示部の例であり、波形収集部７，６０が取得部の例であり、制御部１０が選択部および制御部の例であり、センサ６，８が検出手段の例である。
【０１２３】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１２４】
本発明は、種々の画像処理に有効に利用することができる。
【符号の説明】
【０１２５】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
１０ａ ＲＡＭ
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
Ｓａ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ 再生ボタン
Ｓｊ ファイルボタン
Ｓｐ プレビューボタン
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
研究室または製造現場等において、種々の被写体（ワークまたは装置等）の動きを解析するために、高いフレームレートで被写体を撮影可能な高速撮影装置が用いられる。カメラによって被写体が撮影されることにより、複数フレームの画像に対応する複数の画像データが連続的に取得され、取得された複数の画像データが動画データとして記憶部に記憶される。記憶部に記憶された画像データに基づいて複数のフレームの画像が被写体の動画として液晶ディスプレイパネル等の表示部に表示される。このような動画を用いて被写体の動きの解析が行われる。
【０００３】
撮影時には、シャッタースピード等の撮影条件を調整する必要がある。ユーザは、表示部に表示される動画を確認しながら撮影条件の調整を行う。撮影時のフレームレートが高い場合には、取得された画像データを撮影時と同じフレームレートで表示することが困難である。そのため、取得された画像データが撮影時よりも低いフレームレートで表示される。
【０００４】
特許文献１に記載される高速撮影装置においては、被写体の撮影時に、予め定められた数のフレーム画像の高速録画が終了すると、録画されたフレーム画像が撮影時よりも低いフレームレートでスロー再生される。フレーム画像のスロー再生が終了すると、再度高速録画が開始される。以降同様に、高速録画とスロー再生とが交互に繰り返される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１００３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、ベルトコンベアにより搬送されるワークが被写体である場合、カメラにより撮影される領域（以下、撮影領域と呼ぶ）に被写体が存在する期間と存在しない期間とがある。
【０００７】
上記特許文献１の高速撮影装置においては、一定の周期でフレーム画像の高速録画とスロー再生とが交互に繰り返される。それにより、被写体の動きを正確に観察することができる。しかしながら、上記のようにベルトコンベア上のワークが被写体である場合、撮影領域内に被写体が存在する期間に撮影されたフレーム画像の録画が行われず、撮影領域内にワークが存在しない期間に撮影されたフレーム画像の録画が行われる可能性がある。この場合、被写体の動画を観察することができない。
【０００８】
本発明の目的は、対象物が所望の状態にある期間における対象物の動画を正確に観察することを可能にする画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００９】
（１）第１の発明に係る画像処理装置は、対象物の動画を表示する画像処理装置であって、連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する記憶部と、記憶部に記憶された複数フレームの画像データに基づいて画像を表示する表示部と、記憶部に記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する取得部と、取得部により取得された複数の評価値のうち各第１の期間内に記憶部に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する選択部と、選択部により選択された画像データ群の画像データに基づいて第２のフレーム数の画像を第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示させる制御部とを備えるものである。
【００１０】
その画像処理装置においては、連続する複数の第１の期間内に第１のフレームレートで複数フレームの画像に対応する画像データが記憶部に順次記憶される。対象物の状態に応じて変化する複数の評価値が取得部により取得される。複数の評価値は、記憶された複数フレームの画像データに対応する。取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群が選択部により選択される。選択された画像データ群の画像データに基づいて第２のフレーム数の画像が第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示される。
【００１１】
このように、記憶された第１のフレーム数の画像データのうち、評価値に基づいて選択された画像データ群に基づいて、第２のフレーム数の画像が記憶時における第１のフレームレートよりも低い第２のフレームレートで表示部に表示される。それにより、複数フレームの画像のうち所望の一部の画像が動画としてスロー再生される。この場合、対象物の状態に応じて画像データ群を選択することができる。したがって、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【００１２】
（２）選択部は、第１のフレーム数の画像データのうち予め定められた特徴を示す評価値に対応する画像データを基準に、連続する第２のフレーム数の画像データを画像データ群として選択してもよい。
【００１３】
この場合、対象物の状態に応じて、所望の画像に対応する画像データ群を適切に選択することができる。また、選択された画像データ群に基づいて、連続的で自然な動画をスロー再生することができる。したがって、対象物が所望の状態にある期間における対象物の動画をより正確に観察することが可能となる。
【００１４】
（３）第１のフレーム数の画像データから選択された画像データ群に基づく第２のフレーム数の画像が各第１の期間と等しい第２の期間で表示部に表示されるように第２のフレームレートおよび第２のフレーム数が定められてもよい。
【００１５】
この場合、第１のフレーム数の画像の記憶時間と、選択された画像データ群に基づく画像の表示時間とが等しくなる。それにより、複数の第１の期間における画像データの記憶と複数の画像データ群に基づく画像の表示とを並行して行うことが可能となる。したがって、対象物が所望の状態にある期間における対象物の動画を効率的に観察することが可能となる。
【００１６】
（４）選択部は、各第１の期間内に記憶された第１のフレーム数の画像データから画像データ群を選択する動作を各第１の期間に続く次の第１の期間において行ってもよい。
【００１７】
この場合、各第１の期間において第１のフレーム数の画像データが記憶された直後に、その第１のフレーム数の画像データから画像データ群が選択され、選択された画像データ群に基づく第２のフレーム数の画像が表示部に順次表示される。それにより、複数の第１の期間における画像データの記憶と複数の画像データ群に基づく画像の表示とを並行して行うことが可能となる。したがって、対象物が所望の状態にある期間における対象物の動画を効率的に観察することが可能となる。
【００１８】
（５）複数の評価値は、複数フレームの画像の特徴を示す値であってもよい。
【００１９】
この場合、対象物の所望の状態に対応する画像データ群を適切に選択することができる。また、他の検出手段等を設ける必要がないので、画像処理装置の構成の簡略化が可能となる。
【００２０】
（６）複数フレームの画像の特徴を示す値は、複数フレームの画像の輝度に関する値であってもよい。
【００２１】
この場合、対象物の状態に応じて、複数フレームの画像の輝度が変化する。それにより、複数フレームの画像の輝度に関する値に基づいて、対象物の所望の状態に対応する画像データ群を容易にかつ適切に選択することができる。
【００２２】
（７）複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であってもよい。
【００２３】
この場合、対象物の状態に応じて、検出手段の出力値が変化する。それにより、出力手段の出力値に基づいて、対象物の所望の状態に対応する画像データ群を容易にかつ適切に選択することができる。
【００２４】
（８）複数の評価値は、予め定められた基準画像と各フレームの画像との類似度を示す値であってもよい。
【００２５】
この場合、対象物の状態に応じて、基準画像と各フレームの画像との類似度が変化する。それにより、類似度を示す値に基づいて、対象物の所望の状態に対応する画像データ群を容易にかつ適切に選択することができる。
【００２６】
（９）第２の発明に係る画像処理方法は、対象物の動画を表示するための画像処理方法であって、連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶するステップと、記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得するステップと、取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択するステップと、選択された画像データ群の画像データに基づいて第２のフレーム数の画像を第１のフレームレートよりも低い第２のフレームレートで表示部に表示させるステップとを備えるものである。
【００２７】
その画像処理方法においては、連続する複数の第１の期間内に第１のフレームレートで複数フレームの画像に対応する画像データが順次記憶される。対象物の状態に応じて変化する複数の評価値が取得される。複数の評価値は、記憶された複数フレームの画像データに対応する。取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群が選択される。選択された画像データ群の画像データに基づいて第２のフレーム数の画像が第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示される。
【００２８】
このように、記憶された第１のフレーム数の画像データのうち、評価値に基づいて選択された画像データ群に基づいて、第２のフレーム数の画像が記憶時における第１のフレームレートよりも低い第２のフレームレートで表示部に表示される。それにより、複数フレームの画像のうち所望の一部の画像が動画としてスロー再生される。この場合、対象物の状態に応じて画像データ群を選択することができる。したがって、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【００２９】
（１０）第３の発明に係る画像処理プログラムは、対象物の動画を表示するために処理装置により実行可能な画像処理プログラムであって、連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する処理と、記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する処理と、取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する処理と、選択された画像データ群の画像データに基づいて第２のフレーム数の画像を第１のフレームレートよりも低い第２のフレームレートで表示部に表示させる処理とを処理装置に実行させるものである。
【００３０】
その画像処理プログラムにおいては、連続する複数の第１の期間内に第１のフレームレートで複数フレームの画像に対応する画像データが順次記憶される。対象物の状態に応じて変化する複数の評価値が取得される。複数の評価値は、記憶された複数フレームの画像データに対応する。取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、第１のフレーム数の画像データから第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群が選択される。選択された画像データ群の画像データに基づいて第２のフレーム数の画像が第１のフレームレートよりも低い第２のフレームレートで表示部に順次表示される。
【００３１】
このように、記憶された第１のフレーム数の画像データのうち、評価値に基づいて選択された画像データ群に基づいて、第２のフレーム数の画像が記憶時における第１のフレームレートよりも低い第２のフレームレートで表示部に表示される。それにより、複数フレームの画像のうち所望の一部の画像が動画としてスロー再生される。この場合、対象物の状態に応じて画像データ群を選択することができる。したがって、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【発明の効果】
【００３２】
本発明によれば、対象物が所望の状態にある期間における対象物の動画を正確に観察することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】撮影条件の設定時における表示部の表示例を示す図である。
【図３】録画処理時の図１の録画部の記憶状態を示す模式図である。
【図４】録画処理中の図１の録画部の記憶状態の他の例を示す模式図である。
【図５】録画処理時の表示部の表示例を示す図である。
【図６】録画処理終了時の表示部の表示例を示す図である。
【図７】通常再生処理時の表示部の表示例を示す図である。
【図８】プレビュー動画再生処理時の表示部の表示例を示す図である。
【図９】プレビュー動画再生処理時における画像データの記録およびプレビュー動画の表示のタイミングを示すタイミングチャートである。
【図１０】制御部によるプレビュー動画再生処理のフローチャートである。
【発明を実施するための形態】
【００３４】
以下、本発明の一実施の形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照しつつ説明する。後述するように、本実施の形態に係る画像処理システムは表示部を有する。表示部には複数フレームの画像が連続的に表示されることにより動画が表示される。
【００３５】
（１）画像処理システムの基本構成
図１は、本発明の一実施の形態に係る画像処理システム１００の構成を示すブロック図である。図１に示すように、画像処理システム１００は、画像処理装置１、カメラ２、照明装置３および操作部４を備える。画像処理装置１は、制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０、波形収集部６０、バスＢＳおよび複数のインターフェース（図示せず）を含む。制御部１０、表示部２０、録画部３０、記憶部４０、ビデオメモリ５０および波形収集部６０は、バスＢＳに接続される。カメラ２、照明装置３および操作部４は、それぞれインターフェースを介してバスＢＳに接続される。
【００３６】
画像処理装置１には、ＰＬＣ（プログラマブルロジックコントローラ）５、センサ６および波形収集装置７を接続することができる。波形収集装置７には、センサ８を接続することができる。詳細は後述する。
【００３７】
カメラ２は、ＣＣＤ（電荷結合素子）イメージセンサまたはＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子の露光時間（シャッタースピード）および撮影フレームレート等は、ユーザにより操作部４を用いて設定可能である。撮影フレームレートとは、単位時間当たりに取得される画像のフレーム数である。なお、本実施の形態のカメラ２は、１５ｆｐｓ（frame per second）以上３２０００ｆｐｓ以下の撮影フレームレートで被写体Ｗを撮影することができる。被写体Ｗは、例えば、ベルトコンベアにより搬送されるワークである。
【００３８】
カメラ２により被写体Ｗが撮影されると、設定された撮影フレームレートで撮像素子により被写体Ｗの画像が取得され、取得された画像が画像データとして出力される。それにより、複数フレームの画像に対応する複数フレームの画像データがカメラ２から画像処理装置１に与えられる。複数フレームの画像により動画が構成される。以下、複数フレームの画像データを動画データと称する。
【００３９】
カメラ２は、照明装置３とともに三脚台等の図示しない支持台に取り付けられる。照明装置３は、メタルハライドランプまたはハイパワーＬＥＤ（発光ダイオード）等の光源を含む。照明装置３は、被写体Ｗに光を照射するために用いられる。被写体Ｗが十分に明るい場合には、照明装置３はなくてもよい。
【００４０】
ビデオメモリ５０はＲＡＭ（ランダムアクセスメモリ）等のメモリからなる。ビデオメモリ５０には、カメラ２、録画部３０または記憶部４０から複数フレームの画像データが順次与えられる。与えられた複数フレームの画像データは順次ビデオメモリ５０に記憶される。
【００４１】
表示部２０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部２０には、ビデオメモリ５０に順次記憶される複数フレームの画像データに基づいて複数フレームの画像が連続的に表示される。それにより、動画が表示部２０に表示される。
【００４２】
操作部４は、例えばマウスまたはトラックボール等のポインティングデバイスにより構成される。なお、操作部４は、ポインティングデバイスとともにまたはポインティングデバイスに代えてキーボードにより構成されてもよいし、リモートコントローラまたはタッチパネルにより構成されてもよい。操作部４は、画像処理装置１と一体的に構成されてもよい。
【００４３】
録画部３０は、例えばＲＡＭ等のメモリからなる。録画部３０は、複数フレームの画像データからなる動画データを記憶するための動画データ記憶領域および複数の評価値からなる波形データを記憶するための波形データ記憶領域を含む。複数の評価値からなる波形データの詳細は後述する。
【００４４】
カメラ２から与えられる複数フレームの画像データ（動画データ）を録画部３０の動画データ記憶領域に記憶させることを録画と呼ぶ。ユーザにより操作部４が操作されることにより、カメラ２で撮影される被写体Ｗの動画が録画される。本実施の形態では、録画処理時に、波形収集部６０から与えられる複数の評価値（波形データ）が録画部３０の波形データ記憶領域に同時に記憶される。
【００４５】
記憶部４０は、ハードディスク等の大容量記憶装置からなる。ユーザにより操作部４が操作されることにより、録画部３０に記憶された動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが記憶部４０に記憶される。また、記憶部４０には、本実施の形態に係る画像処理プログラムが記憶される。画像処理プログラムの詳細は後述する。
【００４６】
波形収集部６０は、複数の評価値からなる波形データを収集し、収集した波形データを録画部３０に与える。複数の評価値は、被写体Ｗの状態に応じて変化する値である。被写体Ｗの状態とは、被写体Ｗの位置、向き、明るさ、大きさ、形状または色等である。
【００４７】
評価値は、例えばカメラ２により撮影される被写体Ｗの各フレームの画像の平均輝度値（各フレームの画像を構成する複数の画素の輝度の平均値）である。この場合、波形収集部６０は、カメラ２から録画部３０に順次与えられる各フレームの画像データに基づいて各フレームの画像の平均輝度値を評価値として順次算出する。順次算出された複数の平均輝度値は、録画部３０の波形データ記憶領域に波形データとして記憶される。この場合、複数の評価値は、複数フレームの画像データに同期して得られる。したがって、単位時間当たりの複数の評価値の数は単位時間当たりの複数フレームの画像データの数に等しい。評価値は、各フレームの画像を構成する複数の画素の輝度値の総和であってもよく、各フレームの画像の輝度値の総和と後続するフレームの画像の輝度値の総和との差分であってもよく、各フレーム内の輝度値の分散であってもよい。
【００４８】
波形収集部６０は、複数フレームの画像データの取得中におけるセンサ６の出力信号の値を評価値として取得してもよい。この場合、複数の評価値は、複数フレームの画像データと同じ周期または異なる周期で得られる。したがって、単位時間当たりの複数の評価値の数は、単位時間当たりの複数フレームの画像データの数と必ずしも一致しない。複数の評価値が複数フレームの画像データよりも短い周期で得られる場合には、各フレームの画像データに複数の評価値が対応している。複数の評価値が複数のフレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応している。
【００４９】
センサ６が温度センサ、距離センサ、圧力センサ、加速度センサ、または変位センサ等である場合には、測定対象物の温度、距離、圧力、加速度、または変位等の測定値が評価値として波形収集部６０により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５０】
さらに、センサ６に代えてマイクが用いられる場合には、音声信号が評価値として波形収集部６０により順次取得され、取得された複数の音声信号が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５１】
なお、図１において、画像処理装置１に接続される波形収集装置７は、波形収集部６０と同じ構成を有する。そのため、画像処理装置１に波形収集装置７が接続される場合には、センサ８の出力信号の値が評価値として波形収集装置７により順次取得され、取得された複数の評価値が録画部３０の波形データ記憶領域に波形データとして記憶される。
【００５２】
制御部１０は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭおよびタイマーから構成される。制御部１０のＣＰＵは、ユーザによる操作部４の操作に基づいてカメラ２、照明装置３および画像処理装置１における他の構成要素の動作を制御する。また、制御部１０のＣＰＵは、記憶部４０に記憶された画像処理プログラムをＲＡＭ上で実行する。ＲＯＭにはシステムプログラムが記憶される。
【００５３】
（２）画像処理システムの基本動作
図１の画像処理システム１００の基本動作について説明する。
【００５４】
（２−１）撮影条件の設定
ユーザが操作部４を操作することにより、カメラ２の撮影条件が設定される。図２は、撮影条件の設定時における表示部２０の表示例を示す図である。図２に示すように、撮影条件の設定時には、表示部２０に画像表示領域Ｓａ、波形表示領域Ｓｂ、条件設定領域Ｓｃ、プレビューボタンＳｐおよび録画ボタンＳｅが表示される。
【００５５】
画像表示領域Ｓａには、ビデオメモリ５０に記憶される画像データに基づく画像が表示される。波形表示領域Ｓｂには、波形収集部６０により収集される波形データに基づく波形のグラフが表示される。波形のグラフの横軸は、時間を示し、縦軸は評価値を示す。例えば、評価値が画像表示領域Ｓａに表示される画像の平均輝度値である場合、波形表示領域Ｓｂには、画像の平均輝度値を縦軸とし、時間を横軸とする波形のグラフが表示される。
【００５６】
条件設定領域Ｓｃには、カメラ２の基本的な撮影条件が表示される。撮影条件として、例えばシャッタースピード、撮影フレームレートおよび解像度をそれぞれ設定するための複数の入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３が表示される。ユーザにより操作部４を用いて入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にシャッタースピード、撮影フレームレートおよび解像度の値がそれぞれ入力される。入力枠Ｓｃ１，Ｓｃ２，Ｓｃ３にそれぞれ入力された値に基づいて、制御部１０によりカメラ２のシャッタースピード、撮影フレームレートおよび解像度が設定される。
【００５７】
また、本実施の形態では、例えばユーザが操作部４を操作することにより制御部１０に後述の録画処理の終了タイミングの基準となるトリガ信号が与えられる。条件設定領域Ｓｃには、トリガ信号に基づく制御部１０のトリガ設定のための入力枠Ｓｃ４，Ｓｃ５がさらに表示される。
【００５８】
ユーザにより操作部４を用いて入力枠Ｓｃ４，Ｓｃ５に後述する総録画時間および録画終了時間の値がそれぞれ入力される。入力枠Ｓｃ４，Ｓｃ５にそれぞれ入力された値に基づいて、制御部１０によりトリガ設定が行われる。トリガ設定の詳細を説明する。
【００５９】
本実施の形態において、トリガ設定は、１回の録画処理により録画部３０に記憶される画像データの記憶時間（以下、総録画時間と呼ぶ。）を定めるとともに、制御部１０にトリガ信号が与えられた時点から録画処理が終了するまでの時間（以下、録画終了時間と呼ぶ。）を定めるものである。
【００６０】
例えば、総録画時間を３０秒とし、録画終了時間を０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点で録画処理が終了する。これにより、制御部１０にトリガ信号が与えられた時点の３０秒前からトリガ信号が与えられた時点までの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６１】
一方、総録画時間を３０秒とし、録画終了時間を３０秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から３０秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６２】
また、総録画時間を３０秒とし、録画終了時間を１５秒としてトリガ設定が行なわれた場合には、録画が開始された後、制御部１０にトリガ信号が与えられた時点から１５秒経過した時点で録画処理が終了する。これにより、録画部３０には、制御部１０にトリガ信号が与えられた時点の１５秒前から３０秒経過するまでの間に取得された動画データおよび波形データが録画部３０に記憶される。
【００６３】
なお、トリガ設定として上記の総録画時間が設定される代わりに、録画処理により録画部３０に記憶される画像データの総フレーム数が設定されてもよい。また、トリガ設定として上記の録画終了時間が設定される代わりに、トリガ信号が与えられた時点から録画部３０に記憶される画像データのフレーム数が設定されてもよい。
【００６４】
ＰＬＣ５から制御部１０にトリガ信号が与えられてもよい。この場合、例えばＰＬＣ５に予め設定された周期で、またはＰＬＣ５に接続される外部機器の特定の動作タイミングに応答して、トリガ信号を制御部１０に与えることができる。また、種々のセンサの出力信号がトリガ信号として制御部１０に与えられてもよい。
【００６５】
ユーザが操作部４を用いてプレビューボタンＳｐを選択すると、制御部１０によりプレビュー動画再生処理が行われる。この場合、表示部２０にプレビュー動画が表示される。ユーザは、プレビュー動画を参照しながら、各種の撮影条件の設定を行うことができる。プレビュー動画再生処理の詳細については後述する。
【００６６】
ユーザが操作部４を用いて録画ボタンＳｅを選択すると、制御部１０により録画処理が開始される。
【００６７】
（２−２）録画処理
図３は、録画処理時の図１の録画部３０の記憶状態を示す模式図である。上述のように、録画部３０には、動画データ（複数フレームの画像データ）を記憶するための動画データ記憶領域３０Ａおよび波形データ（複数の評価値）を記憶するための波形データ記憶領域３０Ｂが設定されている。
【００６８】
画像処理装置１においては、図３（ａ）に示すように、図２の録画ボタンＳｅが操作されることにより、制御部１０により録画処理が開始される。録画処理では、カメラ２から与えられる第１フレームの画像に対応する画像データｖ１が録画部３０の動画データ記憶領域３０Ａに記憶される。また、波形収集部６０から与えられる第１番目の評価値ｉ１が録画部３０の波形データ記憶領域３０Ｂに記憶される。
【００６９】
続いて、図３（ｂ）に示すように、カメラ２から与えられる第２、第３および第４フレームの画像に対応する画像データｖ２，ｖ３，ｖ４が録画部３０の動画データ記憶領域３０Ａに順次記憶されるとともに、画像データｖ１，ｖ２，ｖ３，ｖ４が動画データ記憶領域３０Ａ内で順次シフトする。同時に、波形収集部６０から与えられる第２番目、第３番目および第４番目の評価値ｉ２，ｉ３，ｉ４が録画部３０の波形データ記憶領域３０Ｂに順次記憶されるとともに、評価値ｉ１，ｉ２，ｉ３，ｉ４が波形データ記憶領域３０Ｂ内で順次シフトする。
【００７０】
録画処理時に動画データ記憶領域３０Ａに記憶される画像データの量が動画データ記憶領域３０Ａの記憶容量を超える場合には、動画データ記憶領域３０Ａに最新のフレーム（現在のフレーム）の画像データが新たに記憶されるごとに動画データ記憶領域３０Ａに記憶されている最も過去のフレームの画像データが削除される。
【００７１】
同様に、録画処理時に波形データ記憶領域３０Ｂに記憶される評価値の量が波形データ記憶領域３０Ｂの記憶容量を超える場合には、波形データ記憶領域３０Ｂに最新の評価値が新たに記憶されるごとに波形データ記憶領域３０Ｂに記憶されている最も過去の評価値が削除される。
【００７２】
図３（ｃ）の例では、動画データ記憶領域３０Ａに１２個の画像データｖ１〜ｖ１２が記憶されている状態で、さらに２個の画像データｖ１３，ｖ１４が順次記憶されることにより、最も過去の画像データｖ１，ｖ２が順次削除される。また、波形データ記憶領域３０Ｂに１２個の評価値ｉ１〜ｉ１２が記憶されている状態で、さらに２個の画像の評価値ｉ１３，ｉ１４が順次記憶されることにより、最も過去の評価値ｉ１，ｉ２が順次削除される。それにより、動画データ記憶領域３０Ａに画像データｖ３〜ｖ１４が記憶され、波形データ記憶領域３０Ｂに評価値ｉ３〜ｉ１４が記憶されている。
【００７３】
このように、録画処理中の動画データ記憶領域３０Ａおよび波形データ記憶領域３０Ｂにおいては、いわゆるリングバッファの形式で動画データおよび波形データが順次記憶される。
【００７４】
図３（ｃ）の例では、波形データ記憶領域３０Ｂに記憶される評価値ｉ３〜ｉ１４は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応している。一方、上記のように、複数の評価値が複数フレームの画像データと異なる周期で得られる場合には、波形データ記憶領域３０Ｂに記憶される評価値は動画データ記憶領域３０Ａに記憶される画像データと一対一に対応していない。
【００７５】
図４は、録画処理中の図１の録画部３０の記憶状態の他の例を示す模式図である。図４の例では、複数の評価値が複数フレームの画像データよりも短い周期で得られる。そのため、波形データ記憶領域３０Ｂに記憶される評価値ｉ７〜ｉ４２は動画データ記憶領域３０Ａに記憶される画像データｖ３〜ｖ１４と一対一に対応していない。連続する３つの評価値が１フレームの画像データに対応する。例えば、評価値ｉ７，ｉ８，ｉ９が画像データｖ３に対応し、評価値ｉ１０，ｉ１１，ｉ１２が画像データｖ４に対応する。
【００７６】
複数の評価値が複数フレームの画像データよりも長い周期で得られる場合には、各評価値が複数フレームの画像データに対応する。
【００７７】
図５は、録画処理時の表示部２０の表示例を示す図である。図５に示すように、録画処理時には図２の録画ボタンＳｅに代えて、表示部２０にトリガボタンＳｆが表示される。
【００７８】
ユーザが操作部４を用いてトリガボタンＳｆを選択すると、制御部１０にトリガ信号が与えられる。それにより、上述のように、トリガ設定に基づくタイミングで録画処理が終了する。
【００７９】
（２−３）ファイル記憶処理
図６は、録画処理終了時の表示部２０の表示例を示す図である。図６に示すように、録画処理終了時には図５のトリガボタンＳｆに代えて、表示部２０にファイルボタンＳｊおよび再生ボタンＳｇが表示される。
【００８０】
ユーザが操作部４を用いてファイルボタンＳｊを選択することにより、制御部１０によりファイル記憶処理が行なわれる。ファイル記憶処理では、録画部３０に記憶されている動画データおよび波形データを含む動画ファイルが生成され、生成された動画ファイルが図１の記憶部４０に記憶される。
【００８１】
ユーザが操作部４を用いて再生ボタンＳｇを選択することにより、後述のように、制御部１０により通常再生処理が行われる。
【００８２】
（２−４）通常再生処理
記憶部４０に１または複数の動画ファイルが記憶されている場合、１または複数の動画ファイルに対応するアイコンが表示部２０に表示される。ユーザが操作部４を用いて表示部２０に表示される一のアイコンを選択することにより、制御部１０により通常再生処理が開始される。また、録画処理終了時に、ユーザが操作部４を用いて図６の再生ボタンＳｇを選択することにより、制御部１０により通常再生処理が開始される。連続する複数フレームの画像データに基づいて表示部２０に連続する複数フレームの画像を順次表示することを動画の通常再生と呼ぶ。
【００８３】
図７は、通常再生処理時の表示部２０の表示例を示す図である。図７に示すように、通常再生処理時には、表示部２０に画像表示領域Ｓａ、波形表示領域Ｓｂおよび条件設定領域Ｓｃが表示される。
【００８４】
記憶部４０に記憶された動画ファイルに対応するアイコンが選択された場合、制御部１０は、記憶部４０内の選択された動画ファイル中の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく画像が画像表示領域Ｓａに表示される。このようにして、選択された動画ファイル中の複数フレームの画像データに基づいて動画が通常再生される。また、制御部１０は、記憶部４０内の選択された動画ファイル中の波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが波形表示領域Ｓｂに表示される。
【００８５】
録画処理終了時に図６の再生ボタンＳｇが選択された場合、制御部１０は、録画部３０内の複数フレームの画像データをビデオメモリ５０に順次記憶させる。それにより、ビデオメモリ５０に順次記憶される画像データに基づく連続する画像が図７の画像表示領域Ｓａに表示される。このようにして、録画部３０に記憶される複数フレームの画像データに基づいて動画が通常再生される。また、制御部１０は、録画部３０に記憶される波形データをビデオメモリ５０に記憶させる。それにより、波形データに基づく波形のグラフが図７の波形表示領域Ｓｂに表示される。
【００８６】
（３）プレビュー動画再生処理
図２のプレビューボタンＳｐが選択されると、制御部４により以下に説明するプレビュー動画再生処理が行われる。図８は、プレビュー動画再生処理時の表示部２０の表示例を示す図である。図８に示すように、表示部２０に画像表示領域Ｓａ、条件設定領域Ｓｃおよび停止ボタンＳｓが表示される。画像表示領域Ｓａにプレビュー動画ＰＭが表示される。
【００８７】
図９は、プレビュー動画再生処理時における画像データの記録およびプレビュー動画の表示のタイミングを示すタイミングチャートである。
【００８８】
図９の例では、時点ｔ０において、ユーザが操作部４を用いて表示部２０上のプレビューボタンＳｐを選択する。これにより、カメラ２から与えられる複数フレームの画像データが録画部３０の動画データ記憶領域３０Ａに順次記憶される。また、波形収集部６０から与えられる複数の評価値が録画部３０の波形データ記憶領域３０Ｂに順次記憶される。プレビュー動画再生処理時における録画部３０の記憶状態は、上記の録画処理時における録画部３０の記憶状態と同じである。
【００８９】
時点ｔ０から規定時間Ｔ１が経過した後の時点ｔ１から時点ｔ２までの期間において、制御部１０が解析処理を行う。解析処理として、制御部１０は、時点ｔ０から時点ｔ１までの期間に記憶された複数フレームの画像データに対応する評価値を録画部３０の波形データ記憶領域３０Ｂから取得する。制御部１０は、取得された評価値に基づいて、時点ｔ０から時点ｔ１までの期間に記憶された複数フレームの画像データから一定のフレーム数の画像データからなる再生データ群を選択する。
【００９０】
この場合、制御部１０は、予め定められた特徴を示す評価値に対応する画像データを基準に、連続する一定のフレーム数の画像データを再生データ群として選択する。本例では、評価値は平均輝度値である。制御部１０は、時点ｔ０から時点ｔ１までの期間に記憶された各フレームの画像の平均輝度値を取得する。制御部１０は、時点ｔ０から時点ｔ１までの期間において、平均輝度値が最も小さい一区間の画像データを再生データ群として選択する。一区間は、一定のフレーム数を含む区間である。
【００９１】
本例では、カメラ２により撮影される領域（以下、撮影領域と呼ぶ）を被写体（ワーク）Ｗが通過するときに取得された画像の平均輝度値が小さい。そのため、撮影領域を被写体Ｗが通過するときに記憶された一区間の画像データが再生データ群として決定される。
【００９２】
図９の下段に、評価値としての平均輝度値の変化が示される。この場合、時点ｔ１１から時点ｔ１２までの期間に取得された一区間の画像データに対応する平均輝度値の変化量が小さい。そのため、時点ｔ１１から時点ｔ１２までの期間に取得された一区間の画像データが再生データ群として決定される。
【００９３】
なお、再生データ群としては、フレーム間における被写体Ｗの動きが大きい、またはフレーム間における画像データの変化が大きい一区間の画像データが選択されることが好ましい。その場合、評価値として、例えば各フレームの画像の全画素と前フレームの画像の全画素との間における輝度値の差分絶対値の総和、または各フレームの画像の平均輝度値の時間微分値を用いることができる。
【００９４】
時点ｔ２において解析処理が終了すると、制御部１０は、解析処理により決定された再生データ群に基づく動画の再生を開始する。この場合、再生データ群がビデオメモリ５０に順次記憶され、再生データ群に基づいて複数フレームの画像がプレビュー動画として表示部２０に順次表示される。
【００９５】
プレビュー動画再生処理時における再生フレームレートは、撮影フレームレートよりも低く、例えば１ｆｐｓ以上６０ｆｐｓ以下である。ここで、再生フレームレートとは、単位時間当たりに表示部２に表示される画像のフレーム数である。本例では、再生データ群の再生時間Ｔ２が、上記の規定時間Ｔ１と等しくなるように、再生フレームレートおよび再生データ群のフレーム数が設定される。再生フレームレートが撮影フレームレートのＭ分の１である場合、再生データ群のフレーム数は、規定時間Ｔ１に記憶される画像データのフレーム数のＭ分の１である。ここで、Ｍは、１よりも大きい実数である。
【００９６】
続いて、時点ｔ１から規定時間Ｔ１が経過した後の時点ｔ３から時点ｔ４までの期間において、制御部１０が上記同様の解析処理を行う。この場合、時点ｔ１から時点ｔ３までの期間に記憶された複数フレームの画像データのうち、時点ｔ２１から時点ｔ２２までの期間に記憶された複数フレームの画像データが再生データ群として決定される。時点ｔ４において解析処理が終了すると、制御部１０は、解析処理により決定された再生データ群に基づく動画の再生を開始する。
【００９７】
ここで、制御部１０による１回の解析処理の時間Ｔ３は一定である。また、上記のように、再生データ群の再生時間Ｔ２は、制御部１０が解析処理を行う周期（時間Ｔ１）と等しい。それにより、時点ｔ４において、解析処理が終了すると同時に、時点ｔ２から開始された動画の再生が終了する。したがって、時点ｔ１１から時点ｔ１２までに記憶された再生データ群に基づく動画と時点ｔ２１から時点ｔ２２までに記憶された再生データ群に基づく動画とが連続的に再生される。
【００９８】
その後、同様にして、規定時間Ｔ１が経過するごとに制御部１０による解析処理が行われ、解析処理により決定された再生データ群に基づく動画が再生される。それにより、複数の再生データ群に基づく動画がプレビュー動画として表示部２０に連続的に表示される。なお、解析処理の周期は、本例のように時間で設定されてもよく、フレーム数で設定されてもよい。
【００９９】
本例では、時点ｔ０から時点ｔ１までの期間、時点ｔ１から時点ｔ３までの期間、時点ｔ３から時点ｔ５までの期間および時点ｔ５から時点ｔ７までの期間がそれぞれ第１の期間の例であり、時点ｔ２から時点ｔ４までの期間、時点ｔ４から時点ｔ６までの期間および時点ｔ６から時点ｔ８までの期間がそれぞれ第２の期間の例である。また、規定時間Ｔ１の間に取得される画像データのフレーム数が第１のフレーム数の例であり、一区間に含まれるフレーム数が第２のフレーム数の例である。
【０１００】
図１０は、制御部１０によるプレビュー動画再生処理のフローチャートである。プレビュー動画再生処理は、記憶部４０に記憶される画像処理プログラムに基づいて行われる。図２の画面上でプレビューボタンＳｐが選択されると、制御部１０によりプレビュー動画再生処理が開始される。
【０１０１】
まず、制御部１０は、録画部３０による画像データおよび評価値の記憶を開始するとともに（ステップＳ１）、タイマーによる計測を開始する（ステップＳ２）。この場合、録画部３０による画像データおよび評価値の記憶が開始されてからの経過時間がタイマーにより計測される。
【０１０２】
次に、制御部１０は、タイマーによる計測時間が規定時間Ｔ１に達したか否かを判定する（ステップＳ３）。タイマーによる計測時間が規定時間Ｔ１に達していない場合、制御部１０は、図８の停止ボタンＳｓが選択されたか否かを判定する（ステップＳ４）。停止ボタンＳｓが選択されていない場合、制御部１０は、ステップＳ３の処理に戻る。
【０１０３】
ステップＳ３において、タイマーによる計測時間が規定時間Ｔ１に達した場合、制御部１０は、タイマーをリセットし、新たに計測を開始する（ステップＳ５）。次に、制御部１０は、直前の規定時間Ｔ１の間に録画部３０に記憶された各画像データに対応する評価値を録画部３０から取得し（ステップＳ６）、取得された評価値に基づいて、直前の規定時間Ｔ１の間に録画部３０に記憶された複数フレームの画像データから再生データ群を決定する（ステップＳ７）。ステップＳ６，Ｓ７の処理が解析処理に相当する。
【０１０４】
次に、制御部１０は、再生データ群に基づく動画の再生を開始する（ステップＳ８）。この場合、制御部１０は、再生データ群に基づく動画が予め定められた再生フレームレートで表示部２に表示されるように、再生データ群をビデオメモリ５０に順次記憶させる。その後、制御部１０は、ステップＳ３の処理に戻る。
【０１０５】
このように、ステップＳ４で停止ボタンＳｓが選択されていない場合、制御部１０は、ステップＳ３〜Ｓ８の処理を繰り返す。これにより、規定時間Ｔ１が経過するごとに、制御部１０による解析処理が行われ、解析処理により決定された再生データ群に基づく動画が再生される。
【０１０６】
ステップＳ４において、停止ボタンＳｓが選択された場合、制御部１０は、録画部３０による画像データおよび評価値の記憶を停止する（ステップＳ９）。また、制御部１０は、ステップＳ８において開始した再生データ群に基づく動画の再生を停止する（ステップＳ１０）。さらに、制御部１０は、タイマーによる計測を停止する（ステップＳ１１）。これにより、制御部１０のプレビュー動画再生処理が終了する。
【０１０７】
（４）本実施の形態の効果
本実施の形態に係る画像処理装置１においては、撮影条件の設定時に表示部２０にプレビュー動画を表示することができる。この場合、録画部３０に複数フレームの画像データが順次記憶されつつ、規定時間Ｔ１が経過するごとに評価値に基づいて再生データ群が選択され、選択された再生データ群に基づく画像がプレビュー動画としてスロー再生される。
【０１０８】
評価値は録画部３０に記憶される画像データに対応しかつ被写体Ｗの状態に応じて変化するので、評価値に基づいて被写体Ｗの所望の状態に対応する画像データ群を選択することができる。したがって、被写体Ｗが所望の状態にある期間における被写体Ｗの動画を正確に観察することが可能となる。その結果、被写体Ｗの動画を観察しながら撮影条件を容易にかつ適切に調整することができる。
【０１０９】
また、本実施の形態では、規定時間Ｔ１と再生時間Ｔ２とが等しくなるように、再生フレームレートおよび再生データ群のフレーム数が設定される。それにより、録画部３０による画像データの記憶と再生データ群に基づく画像の表示とを並行して行うことが可能となる。
【０１１０】
また、本実施の形態では、評価値として各フレームの画像の平均輝度値が用いられる。それにより、被写体Ｗの所望の状態に対応する再生データ群を容易にかつ適切に選択することができる。
【０１１１】
（５）他の実施の形態
（５−１）
上記実施の形態では、プレビュー動画再生処理時に、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データのうち、対応する平均輝度値が最も小さい一区間の画像データが再生データ群として選択されるが、これに限らず、平均輝度値を用いた他の方法で再生データ群が選択されてもよい。
【０１１２】
例えば、制御部１０が、直前の規定時間Ｔ１の間に記憶された複数フレームの画像データのうち、前の画像からの平均輝度値の変化量が最も大きい画像に対応する画像データを決定する。制御部１０は、決定された画像データを基準に、一区間の画像データを再生データ群として選択する。この場合、制御部１０は、決定された画像データを最初とする一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データを最後とする一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データの前の複数フレームおよび後の複数フレームの画像データを含む一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データが記憶された時点の一定時間後、または一定時間前に記憶された一区間のフレーム数の画像データを再生データ群として選択してもよい。
【０１１３】
（５−２）
上記実施の形態では、プレビュー動画再生処理時に、録画部３０の波形データ記憶領域３０Ｂに記憶された評価値に基づいて再生データ群が選択されるが、これに限らない。制御部１０が、録画部３０の動画データ記憶領域３０Ａに記憶された画像データに基づいて各画像データに対応する評価値を算出し、算出された評価値に基づいて再生データ群を選択してもよい。
【０１１４】
（５−３）
上記実施の形態では、評価値として平均輝度値が用いられるが、各フレームの画像の特徴を示す他の値が評価値として用いられてもよい。例えば、予め定められた基準画像と各フレームの画像との類似度を示す値（以下、類似度値と呼ぶ）が評価値として用いられてもよい。
【０１１５】
例えば、撮影領域に被写体（ワーク）Ｗが進入した直後の画像が、基準画像として設定され、その基準画像に対応する画像データが予め記憶される。制御部１０は、直前の規定時間Ｔ１の間に取得された複数フレームの画像データのうち、基準画像に対する類似度値が最も高い画像に対応する画像データを決定する。制御部１０は、決定された画像データを最初とする一区間の画像データを再生データ群として選択する。この場合、撮影領域に被写体Ｗが進入した直後からの一定期間の動画が表示部２０に表示される。
【０１１６】
また、制御部１０は、決定された画像データを最後とする一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データの前の複数フレームおよび後の複数フレームの画像データを含む一区間の画像データを再生データ群として選択してもよい。また、制御部１０は、決定された画像データが記憶された時点の一定時間後、または一定時間前に記憶された一区間のフレーム数の画像データを再生データ群として選択してもよい。
【０１１７】
（５−４）
図１のセンサ６，８により検出される温度、距離、圧力、加速度、または変位等の測定値が評価値として用いられてもよい。この場合も、上記同様に評価値を用いて種々の方法で再生データ群を選択することができる。
【０１１８】
（５−５）
ユーザが規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数を任意に調整可能に画像処理装置１が構成されてもよい。例えば、図８の画面に、規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数の入力枠が表示される。ユーザは、操作部４を用いて規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数を入力することができる。
【０１１９】
この場合、被写体Ｗの種類および移動速度等に応じて、ユーザが規定時間Ｔ１、再生フレームレートおよび再生データ群のフレーム数を適宜調整することができる。
【０１２０】
（５−６）
上記実施の形態では、撮影条件の設定時に制御部１０によりプレビュー動画再生処理が行われるが、これに限らず、録画処理時にプレビュー動画再生処理が行われてもよい。この場合、録画処理時に、被写体Ｗの所望の状態がプレビュー動画として表示部２０に表示される。それにより、被写体Ｗの動画を観察しつつ録画処理を継続して行うことができる。
【０１２１】
（６）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
【０１２２】
上記実施の形態においては、撮影フレームレートが第１のフレームレートの例であり、再生フレームレートが第２のフレームレートの例であり、表示部２０が表示部の例であり、波形収集部７，６０が取得部の例であり、制御部１０が選択部および制御部の例であり、センサ６，８が検出手段の例である。
【０１２３】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【産業上の利用可能性】
【０１２４】
本発明は、種々の画像処理に有効に利用することができる。
【符号の説明】
【０１２５】
１ 本体部
２ カメラ
３ 照明装置
４ 操作部
５ ＰＬＣ
６，８ センサ
７ 波形収集装置
１０ 制御部
１０ａ ＲＡＭ
２０ 表示部
３０ 録画部
３０Ａ 動画データ記憶領域
３０Ｂ 波形データ記憶領域
４０ 記憶部
５０ ビデオメモリ
６０ 波形収集部
１００ 画像処理システム
ＢＳ バス
Ｓａ 画像表示領域
Ｓｂ 波形表示領域
Ｓｃ 条件設定領域
Ｓｃ１〜Ｓｃ５ 入力枠
Ｓｅ 録画ボタン
Ｓｆ トリガボタン
Ｓｇ 再生ボタン
Ｓｊ ファイルボタン
Ｓｐ プレビューボタン
【特許請求の範囲】
【請求項１】
対象物の動画を表示する画像処理装置であって、
連続する複数の第１の期間内に前記対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する記憶部と、
前記記憶部に記憶された前記複数フレームの画像データに基づいて画像を表示する表示部と、
前記記憶部に記憶された前記複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する取得部と、
前記取得部により取得された前記複数の評価値のうち各第１の期間内に前記記憶部に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、前記第１のフレーム数の画像データから前記第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する選択部と、
前記選択部により選択された画像データ群の画像データに基づいて前記第２のフレーム数の画像を前記第１のフレームレートよりも低い第２のフレームレートで前記表示部に順次表示させる制御部とを備えることを特徴とする画像処理装置。
【請求項２】
前記選択部は、前記第１のフレーム数の画像データのうち予め定められた特徴を示す評価値に対応する画像データを基準に、連続する第２のフレーム数の画像データを前記画像データ群として選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１のフレーム数の画像データから選択された画像データ群に基づく前記第２のフレーム数の画像が各第１の期間と等しい第２の期間で前記表示部に表示されるように前記第２のフレームレートおよび前記第２のフレーム数が定められることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記選択部は、各第１の期間内に記憶された前記第１のフレーム数の画像データから前記画像データ群を選択する動作を各第１の期間に続く次の第１の期間において行うことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記複数の評価値は、前記複数フレームの画像の特徴を示す値であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記複数フレームの画像の特徴を示す値は、前記複数フレームの画像の輝度に関する値であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項８】
前記複数の評価値は、予め定められた基準画像と各フレームの画像との類似度を示す値であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項９】
対象物の動画を表示するための画像処理方法であって、
連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶するステップと、
前記記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得するステップと、
前記取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、前記第１のフレーム数の画像データから前記第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択するステップと、
前記選択された画像データ群の画像データに基づいて前記第２のフレーム数の画像を前記第１のフレームレートよりも低い第２のフレームレートで表示部に表示させるステップとを備えることを特徴とする画像処理方法。
【請求項１０】
対象物の動画を表示するために処理装置により実行可能な画像処理プログラムであって、
連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する処理と、
前記記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する処理と、
前記取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、前記第１のフレーム数の画像データから前記第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する処理と、
前記選択された画像データ群の画像データに基づいて前記第２のフレーム数の画像を前記第１のフレームレートよりも低い第２のフレームレートで表示部に表示させる処理とを前記処理装置に実行させることを特徴とする画像処理プログラム。
【請求項１】
対象物の動画を表示する画像処理装置であって、
連続する複数の第１の期間内に前記対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する記憶部と、
前記記憶部に記憶された前記複数フレームの画像データに基づいて画像を表示する表示部と、
前記記憶部に記憶された前記複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する取得部と、
前記取得部により取得された前記複数の評価値のうち各第１の期間内に前記記憶部に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、前記第１のフレーム数の画像データから前記第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する選択部と、
前記選択部により選択された画像データ群の画像データに基づいて前記第２のフレーム数の画像を前記第１のフレームレートよりも低い第２のフレームレートで前記表示部に順次表示させる制御部とを備えることを特徴とする画像処理装置。
【請求項２】
前記選択部は、前記第１のフレーム数の画像データのうち予め定められた特徴を示す評価値に対応する画像データを基準に、連続する第２のフレーム数の画像データを前記画像データ群として選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１のフレーム数の画像データから選択された画像データ群に基づく前記第２のフレーム数の画像が各第１の期間と等しい第２の期間で前記表示部に表示されるように前記第２のフレームレートおよび前記第２のフレーム数が定められることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記選択部は、各第１の期間内に記憶された前記第１のフレーム数の画像データから前記画像データ群を選択する動作を各第１の期間に続く次の第１の期間において行うことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記複数の評価値は、前記複数フレームの画像の特徴を示す値であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記複数フレームの画像の特徴を示す値は、前記複数フレームの画像の輝度に関する値であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記複数の評価値は、対象物の状態の変化に伴って変化する値を検出する検出手段の出力値であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項８】
前記複数の評価値は、予め定められた基準画像と各フレームの画像との類似度を示す値であることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項９】
対象物の動画を表示するための画像処理方法であって、
連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶するステップと、
前記記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得するステップと、
前記取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、前記第１のフレーム数の画像データから前記第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択するステップと、
前記選択された画像データ群の画像データに基づいて前記第２のフレーム数の画像を前記第１のフレームレートよりも低い第２のフレームレートで表示部に表示させるステップとを備えることを特徴とする画像処理方法。
【請求項１０】
対象物の動画を表示するために処理装置により実行可能な画像処理プログラムであって、
連続する複数の第１の期間内に対象物の動画を構成する複数フレームの画像に対応する画像データを第１のフレームレートで順次記憶する処理と、
前記記憶された複数フレームの画像データに対応しかつ対象物の状態に応じて変化する複数の評価値を取得する処理と、
前記取得された複数の評価値のうち各第１の期間内に記憶された第１のフレーム数の画像データに対応する複数の評価値に基づいて、前記第１のフレーム数の画像データから前記第１のフレーム数よりも少ない第２のフレーム数の画像データからなる画像データ群を選択する処理と、
前記選択された画像データ群の画像データに基づいて前記第２のフレーム数の画像を前記第１のフレームレートよりも低い第２のフレームレートで表示部に表示させる処理とを前記処理装置に実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−９９９７４（Ｐ２０１２−９９９７４Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４４７０３（Ｐ２０１０−２４４７０３）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]