説明

動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体

【課題】被写体の周期的な動きを撮影し、その各周期の動きを評価しながら、通常とは異なる画像のみを記録可能とする。
【解決手段】画像取得手段で取得した入力動画像を保持する一次記憶手段53と、被写体の基準となる動きを表す、基準動きパターンを取得する基準動きパターン取得手段37と、入力動画像の各フレームを、基準動きパターンの各フレームから計算される評価用データと比較することで、入力動画像と基準動きパターン同士の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターン同士の全体の異常度を演算する異常度解析手段38と、異常度解析手段38で演算された異常度に基づき、異常度の高いフレームから順に一次記憶手段53に残し、一次記憶手段53の空きがなくなったら異常度の低いフレームから順に削除する保存画像抽出手段36とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高速度撮像用カメラのような高いフレームレートでの画像の撮像が可能な動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体に関する。
【背景技術】
【0002】
従来より、工場の生産ライン等で製品の良品、不良品を判定するために画像検査装置が用いられている。画像検査装置では、一般的に製品が検査位置に達したことを伝えるトリガ信号が入力されると静止画像を撮像し、その静止画像を解析して良不良を判定する。この方法で得られる画像は静止画のみであるため、得られた製品の最終的な良不良判定には適しているものの、不良に至る原因特定には不向きであった。例えば、不良品を製造したときの製造装置の動きと、良品を製造したときの動きの相違を評価しようとした場合、どこでどのように異なる動きが生じるかを事前に知ることは困難であるため、どのタイミングで撮像のトリガ信号を入力すれば良いのかが判らない。
【0003】
一方、大容量の二次記憶を用いて長時間の録画を行って動きを撮影することも考えられる。この場合は、詳細な動きを確認しやすくするために、高速度カメラが用いられる(例えば特許文献1、2)。しかしながら、この方法では長時間録画された膨大なデータから動きを確認しなければならず、その確認作業は非常に面倒となる。例えば、撮像時のフレームレートが毎秒300fpsの高速度カメラで1時間撮影した動画像を、再生時のフレームレートが30fpsのモニタで確認しようとすれば、10時間を要し、作業者を長時間拘束してしまうという問題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−141709号公報
【特許文献2】特開2009−100326号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、従来のこのような問題点に鑑みてなされたものである。本発明の主な目的は、連続的に撮像された動画像データの確認作業を容易に行えるようにした動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体を提供することにある。
【課題を解決するための手段及び発明の効果】
【0006】
上記の目的を達成するために、本発明に係る第1の動画像撮像装置によれば、撮像対象の一又は複数の被写体の動画像を撮像する動画像撮像装置であって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、前記画像取得手段で取得した入力動画像を保持する一次記憶手段53と、被写体の基準となる動きを表す、基準動きパターンを取得する基準動きパターン取得手段37と、前記入力動画像の各フレームを、前記基準動きパターンの各フレームから計算される評価用データと比較することで、入力動画像と基準動きパターン同士の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターン同士の全体の異常度を演算する異常度解析手段38と、前記異常度解析手段38で演算された異常度に基づき、異常度の高いフレームから順に前記一次記憶手段53に残し、前記一次記憶手段53の空きがなくなったら異常度の低いフレームから順に削除する保存画像抽出手段36と、を備えることができる。これにより、被写体の周期的な動きを撮影した動画像の解析に際して、異常度の高い、換言すると類似度の低い、通常とは異なる画像フレームのみを一次記憶手段に記録できるため、正常な画像を除いて異常な画像のみを解析できるようになり、結果として無駄な画像の確認作業を大幅に低減して、高速度カメラで撮像した画像解析において極めて便利となる。
【0007】
また、第2の側面に係る動画像撮像装置によれば、さらに前記一次記憶手段53よりも記憶容量が大きく、書き込み速度の遅い二次記憶手段56を備えており、前記一次記憶手段53に保持された周期毎の動画像データの内、異常度が高く前記二次記憶手段56に残すべきと前記保存画像抽出手段36で指定された周期の動画像を、前記二次記憶手段56に保存可能に構成できる。これにより、より重要度の高い周期の動画像を、確実に二次記憶手段に保存できる。
【0008】
さらに、第3の側面に係る動画像撮像装置によれば、基準動きパターンが、予め被写体の正常動作の動画像を撮像した仮撮像の動画像とできる。
【0009】
さらにまた、第4の側面に係る動画像撮像装置によれば、異常度が、予め被写体の正常動作の動画像を撮像した仮撮像の動画像を正常動作画像として決定できる。
【0010】
さらにまた、第5の側面に係る動画像撮像装置によれば、前記基準動きパターン取得手段37が、前記画像取得手段で取得した入力動画像の、複数の周期の動画像から基準動きパターンを生成できる。これにより、観察対象の実画像から評価用のデータ(波形、画像そのもの、低解像度画像等)を作成できるので、基準動きパターン作成用の撮像を別途行うことなく、作業を簡素化できる。
【0011】
さらにまた、第6の側面に係る動画像撮像装置によれば、さらに前記画像取得手段で取得された入力動画像を周期毎に分割するために、周期を代表する基準タイミングを選択する基準タイミング選択手段31と、前記基準タイミング選択手段31で選択された基準タイミングに基づいて、前記入力動画像を周期毎に位相が揃った動画像に区切るための周期抽出手段32とを備えることができる。
【0012】
さらにまた、第7の側面に係る動画像撮像装置によれば、前記異常度解析手段38が、異常度を入力動画像の周期毎に演算し、前記保存画像抽出手段36が、前記異常度解析手段38で演算された周期毎の異常度に基づき、異常度の高い周期の動画像から順に前記一次記憶手段53に残し、前記一次記憶手段53の空きがなくなったら異常度の低い周期の動画像から順に削除するよう構成できる。これにより、被写体の周期的な動きを撮影した動画像の解析に際して、通常とは異なる周期のみを記録できるため、確認不要な周期を排除して解析時に異常な画像を探す作業の負担を低減できることに加え、一周期の画像フレームを残すことで異常な画像の前後のフレームを確認できるようになり、解析の便に供することができる。
【0013】
さらにまた、第8の側面に係る動画像撮像装置によれば、前記基準動きパターン取得手段37が、周期毎の動画像と基準動きパターンを比較するに際して、パターン誤差の大きい部分と少ない部分とで、対比の重み付けを変更するよう構成できる。
【0014】
さらにまた、第9の側面に係る動画像撮像装置によれば、前記異常度解析手段38が、前記全体の異常度に加え、各周期に対応する基準タイミングの間隔が、既定値以上、ないし以下である場合、所定の異常度相当と判断し、前記保存画像抽出手段36が、前記異常度解析手段38で演算された周期毎の異常度に基づき、異常度の高い周期の動画像から順に前記一次記憶手段53に残し、前記一次記憶手段53の空きがなくなったら異常度の低い周期の動画像から順に削除するよう構成できる。
【0015】
さらにまた、第10の側面に係る動画像撮像装置によれば、さらに前記動画像を表示するための表示手段52を備え、前記表示手段52は、動画像を表示するための画像表示領域41と、前記動画波形生成手段35で生成された動画波形を表示するための波形表示領域42と、を有しており、前記波形表示領域42において、動画波形の任意の位置を選択すると、該選択された動画波形に相当する動画像が、前記画像表示領域41において表示されるよう構成できる。これにより、動画波形と動画像とをリンクさせて、動画波形状から該当する動画像の画像フレームの位置を指定でき、動画波形を動画像の指標として利用できる。
【0016】
さらにまた、第11の側面に係る動画像撮像装置によれば、前記波形表示領域42における動画波形の任意の位置の選択を、スライダ状に構成できる。これにより、位置の選択をスライダで容易に行える。
【0017】
さらにまた、第12の側面に係る動画像撮像装置によれば、前記画像取得手段が、1/25秒以下の撮像周期で被写体の入力動画像を撮像可能な撮像手段10とできる。これにより、大量の画像フレームを含む動画像の解析において、効率よく解析を行える利点が得られる。
【0018】
さらにまた、第13の側面に係る動画像観察方法によれば、撮像対象の一又は複数の被写体の動画像を観察する動画像観察方法であって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する工程と、前記取得した動画像データを一次記憶手段53に、周期毎に保持する工程と、予め取得した、被写体の基準となる動きを表す、一周期分の基準動きパターン各フレームから計算される評価用データと、前記入力動画像の各フレームとを比較して、前記入力動画像と基準動きパターン間の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターンとの全体の異常度を演算する工程と、前記演算された全体の異常度に基づき、異常度の高いフレームから順に前記一次記憶手段53に残し、前記一次記憶手段53の空きがなくなったら異常度の低いフレームから順に削除する工程とを含むことができる。これにより、被写体の周期的な動きを撮影した動画像の解析に際して、異常度の高い、換言すると類似度の低い、通常とは異なる画像フレームのみを一次記憶手段に記録できるため、正常な画像を除いて異常な画像のみを解析できるようになり、結果として無駄な画像の確認作業を大幅に低減して、高速度カメラで撮像した画像解析において極めて便利となる。
【0019】
さらにまた、第14の側面に係る動画像観察プログラムによれば、撮像対象の一又は複数の被写体の動画像を観察する動画像観察プログラムであって、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する機能と、前記取得した動画像データを一次記憶手段53に、周期毎に保持する機能と、予め取得した、被写体の基準となる動きを表す、一周期分の基準動きパターン各フレームから計算される評価用データと、前記入力動画像の各フレームとを比較して、前記入力動画像と基準動きパターン間の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターンとの全体の異常度を演算する機能と、前記演算された全体の異常度に基づき、異常度の高いフレームから順に前記一次記憶手段53に残し、前記一次記憶手段53の空きがなくなったら異常度の低いフレームから順に削除する機能とをコンピュータに実現させることができる。これにより、被写体の周期的な動きを撮影した動画像の解析に際して、異常度の高い、換言すると類似度の低い、通常とは異なる画像フレームのみを一次記憶手段に記録できるため、正常な画像を除いて異常な画像のみを解析できるようになり、結果として無駄な画像の確認作業を大幅に低減して、高速度カメラで撮像した画像解析において極めて便利となる。
【0020】
さらにまた第15のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【図面の簡単な説明】
【0021】
【図1】本発明の一実施の形態に係る動画像撮像装置を示す外観斜視図である。
【図2】図1の動画像撮像装置のブロック図である。
【図3】動画像観察プログラムのユーザインターフェース画面を示すイメージ図である。
【図4】動画像と外部信号の波形を同期させて記録する様子を示す模式図である。
【図5】ファイル選択ダイヤログを示すイメージ図である。
【図6】シーンマーク一覧ウィンドウを示すイメージ図である。
【図7】対象区間指定画面を示すイメージ図である。
【図8】代表画像指定画面を示すイメージ図である。
【図9】一周期分領域を調整する例を示すイメージ図である。
【図10】一周期の終了位置を調整する例を示すイメージ図である。
【図11】画像表示領域中に対象領域を指定する例を示すイメージ図である。
【図12】周期の先頭と末尾を設定するユーザインターフェース画面のイメージ図である。
【図13】分割動画像のユーザインターフェース画面を示すイメージ図である。
【図14】動画比較設定画面を示すイメージ図である。
【図15】動画比較画面を示すイメージ図である。
【図16】波形表示領域を多段表示とした例を示すイメージ図である。
【図17】動体追尾機能を実行した様子を示すを示すイメージ図である。
【図18】時系列画像生成機能を実行した様子を示すイメージ図である。
【図19】異なる分割動画像の特定の位相のみを表示した例を示すイメージ図である。
【図20】異常監視録画機能を実現する高速度撮像装置のブロック図である。
【図21】異常監視録画の設定手順を示すフローチャートである。
【図22】異常監視録画機能を実行する手順を示すフローチャートである。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体を例示するものであって、本発明は動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部材の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。また、一部の実施例、実施形態において説明された内容は、他の実施例、実施形態等に利用可能なものもある。
【0023】
本発明の実施例において使用される動画像撮像装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばIEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、IEEE802.1x等の無線LANやBluetooth(登録商標)等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において動画像撮像装置とは、動画像撮像装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた動画像撮像システムも含む意味で使用する。
【0024】
また、本明細書において動画像撮像装置は、高速度観察の画像撮像を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の動画像撮像装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、PDCやCDMA、W−CDMA、FOMA(登録商標)、GSM、IMT2000や第4世代等の携帯電話、PHS、PDA、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、OS等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
【0025】
本明細書において高速度観察とは、ハイスピード撮像等とも呼ばれ、人の目で視覚することが困難な瞬間的な画像を連続的な複数のフレーム画像として撮像するものであり、例えばフレームレート(一秒間に連続して取得する画像の枚数を定義する単位)100fps〜100万fpsでの撮像を行う。この際、必要に応じて被写体を適宜拡大表示させることもできる。
【0026】
なお、高速度撮像は、基本的には静止画を連続撮像するものであるが、これらを連続して表示すれば動画のように扱えるため、ここでは便宜上、動画像の録画と呼ぶこともある。すなわち本明細書において動画像とは、所定のフレームレートで連続して撮像した一連の静止画像の集合を指す。また動画像を表示手段52に表示させた一画面を、画像フレーム、あるいは画像データとも呼ぶ。
【0027】
図1に、本発明の一実施の形態に係る動画像撮像装置100の外観斜視図を、図2にブロック図を、それぞれ示す。これらの図に示す動画像撮像装置100は、画像取得手段を構成する撮像手段10を備えるヘッド部15と、ヘッド部15を駆動制御し画像処理等を行う本体部50と、これらを接続するケーブル部24とで構成される。ヘッド部15は、撮像手段10を含む撮像モジュール16と、照明手段60を含む照明モジュール66、レンズモジュール20で構成される。一方本体部50は、照明手段60に照明光を供給するための照明用光源64と、撮像手段10を制御する撮像用制御信号を生成し、撮像手段10に対して送信するための撮像制御部13と、撮像手段10で撮像された動画像に対して画像処理を行うための画像処理部30とを備える。さらに本体部50は、撮像手段10で撮像された動画像を表示する表示手段52と、ユーザが各種設定や操作を行うための操作手段55を備える。この動画像撮像装置100は、観察用途に応じたレンズモジュール20及び照明モジュール66に交換可能とすれば、一台の動画像撮像装置を複数の異なる用途に用いることが可能となる。
【0028】
さらに本体部50は必要に応じて、撮像手段10の撮像周期を変更するための撮像周期設定手段や、撮像周期に基づいて撮像手段10の撮像領域から画像データの読み出しが可能な読出領域の大きさ及び/又は位置を決定する読出領域決定手段、撮像周期が変更されたことを検出して、変更後の撮像周期に対応した読出領域の大きさ及び/又は位置に応じた画像フレームを読出領域から読み出し、所定の表示周期で表示手段52に表示させる表示更新手段、読出領域の大きさ及び/又は位置を示す領域表示を、表示手段52上に表示可能な領域表示手段52、領域表示の基準位置を調整するための領域表示調整手段、基準位置や読出領域の大きさを指定するための領域位置指定手段、ユーザが動画像の表示の更新の実行を指示するための変更指示手段、シャッタースピードを設定するためのシャッタースピード設定手段、トリガを設定するためのトリガ設定手段等を備える。
【0029】
この動画像撮像装置100は、撮像手段10で撮像された一連の画像データを、撮像時の撮像周期よりも遅い表示周期で動画像として表示手段52に表示させることができる。すなわち、撮像した動画像をスロースピードで再生できる。
(ヘッド部15)
【0030】
ヘッド部15は、撮像モジュール16に撮像手段10を備える。撮像手段10は、照明手段60により照明された観察対象の被写体S(試料、ワーク等)から、光学系を介して入射する反射光を電気的に読み取る撮像素子12を備える。撮像素子12は、この例ではCMOSを利用しているが、CCD等、他の素子も利用できる。ここではヘッド部15の外形を、図1に示すように円筒状の撮像モジュール16とし、内部に撮像素子12を内蔵している。また撮像モジュール16をモノクロ撮像用、カラー撮像用等、用途に応じた複数種類を用意し、これらを適宜選択することで、種々の用途に対応可能な動画像撮像装置とできる。
(撮像手段10)
【0031】
撮像手段10は、撮像素子12を2次元状に配置しており、このような撮像素子12を配置した撮像領域における少なくとも一部の領域に対して、撮像した画像データを読み出し可能としている。すなわち、常に撮像素子のすべてで取得した画像データを撮像領域全体から読み出すのでなく、撮像周期等に応じて、部分的な領域に制限して画像データを取得することで、高速な読み出しを可能としている。また撮像手段10で被写体を撮像する際の撮像周期(いわゆる撮像フレームレート;本明細書においては特に断りのない場合、単に「フレームレート」と呼ぶことがある。)は、異なる周期に変更可能としている。フレームレートは、例えば30〜32000fpsの範囲で設定できる。
【0032】
なお、画像取得手段は動画像を撮像する撮像手段に限らず、撮像済みの動画像データを入力する方式で、動画像データを取得する形態とすることもできる。画像取得手段が取得する動画像データは、被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される。また、オンラインで異常監視、画像検査等をする場合に画像取得手段を動画像を撮像する撮像手段とし、オフラインで異常監視、画像検査等をする場合に画像取得手段を撮像済みの動画像データを入力する方式で動画像データを取得する形態とするように切り換えられる構成しても良い。
(レンズモジュール20)
【0033】
レンズモジュール20は、撮像素子12と光学的に結合される光学レンズを内蔵する。レンズモジュール20は、要求される倍率や明るさに応じたサイズ、曲率の光学レンズを複数枚備えている。また、高速度観察用のレンズを内蔵するレンズモジュール以外に、例えば拡大観察用のレンズを内蔵するレンズモジュールを用意し、交換可能としてもよい。
(照明手段60)
【0034】
照明手段60は、レンズモジュール20を介して撮像素子12に結像される被写体Sを照明する。照明手段60の光源は、本体部50に内蔵され、ケーブル部24を介して照明光がヘッド部15の照明手段60に伝達される。照明手段60は、ヘッド部15に組み込み式としたり、ヘッド部15と脱着可能な別体のいずれも採用できる。
(本体部50)
【0035】
本体部50は、照明用光源64と、撮像制御部13と、画像処理部30と、一次記憶手段53と、インターフェース部54を備える。図2の例では、各部材を本体部50に組み込んでいるが、本体部50はこの構成に限られず、照明用光源64、撮像制御部13、画像処理部30等を、各々ユニット状に分割可能とすることもできる。これにより、構成の自由度が増す。例えば、照明用光源を内蔵せず、外付けで接続する態様としてもよい。この場合、光源の切替を容易に行える反面、光源の設置や配線作業が必要となり、手間がかかる。
(照明用光源64)
【0036】
照明用光源64は、撮像制御部13に点灯を制御される。具体的には、メタルハライドランプやハロゲンランプを使用する場合は、照明光供給ケーブル61を接続する接続端子との光路上に照明光をすべて、あるいは部分的にマスクして遮光するマスク板(図示せず)を配置する。マスク板は2枚の大小の略扇形を背中合わせに接続したような形状で、回動軸を中心に回動自在に装着される。大きな扇形部分には、開口窓が設けられ、略円形の全周照明用開口窓と、略扇形の側射照明用開口窓が、それぞれ開口されている。また小さい扇形には、その円周側面部分にギア溝が形成されている。このマスク板は回動軸を中心に回動自在に連結されており、モータによって回動される。モータは回転軸にウォームギアを固定しており、ウォームギアのギア部分が、マスク板の小さい扇形の円弧部分に設けれらたギア溝と噛み合うように配置される。モータを回転させてマスク板を回動させると、全周照明用開口窓および側射照明用開口窓のいずれかが、照明光供給ケーブル61と一致する。これによって、照明光供給ケーブル61を照明用光源64と接続し、照明手段60から照明光を照射可能とする。
【0037】
またメタルハライドランプ以外にも、水銀ランプやキセノンランプ、ハロゲンランプやLEDを利用できる。LEDは、ハロゲンランプ、メタルハライドランプ等に比べて赤外線成分が少なく、同一光量を照射しても、被写体への発熱量が少ない利点が得られる。また比較的安価で長寿命である上、入力に対する応答性にも優れ、照明光を遮光するマスク板を使用することなく点灯制御できる上、100万fpsといった高速撮像にも十分追従してON/OFFできる。
(撮像制御部13)
【0038】
撮像制御部13は、高速度観察時におけるフレームレート、シャッタースピード等の撮像条件を、操作手段55を介して設定し、設定された撮像条件に従い、各部の制御を行う。具体的には、撮像手段10の撮像素子12を駆動制御する撮像用制御信号を生成し、撮像手段10に対して送信する。また、照明用光源64のON/OFFや遮光を制御する。例えばストロボ撮像を行う場合は、撮像に同期した同期信号を出力し、同期信号により照明用光源64の点灯ON/OFFを行うと共に撮像素子12で撮像を行う。このように、撮像制御部13から照明用光源64に対し、1回の撮像の開始及び終了時点に同期した撮像タイミング信号と、撮像中の各フレームの露光開始時点に同期した露光タイミング信号が送信される。
(画像処理部30)
【0039】
画像処理部30は、撮像手段10で撮像された画像に対して画像処理を行う。例えば、表示手段52に表示された被写体の画像に対して、領域を指定し、面積を演算したり、高低差や距離、角度を演算するといった計測処理を行う。
(表示手段52)
【0040】
表示手段52は、撮像した画像や設定等を表示するディスプレイである。表示手段52はCRTや液晶パネル、有機EL等が利用される。図1の例では、表示手段52は本体部50に組み込まれているが、映像出力端子を設ける等して外付けのディスプレイを接続することも可能である。
(一次記憶手段53)
【0041】
一次記憶手段53は、撮像された画像データや設定内容等を保持する。好適には、一時的な記憶領域としてRAM等の高速な半導体メモリを使用し、データ保存領域としてハードディスクを使用する。
(インターフェース部54)
【0042】
また、データを外部機器とI/O若しくは通信を介してやりとりするためのインターフェース部54を備える。制御信号や画像データ等を外部機器と受け渡しするためのポートとして、ケーブル部24や各種コネクタ類を接続する端子穴を本体部50に開口させる。また、USBポートを備えることで、USBメモリへのデータの書き出しや、他のコンピュータ等とシリアル接続してデータ通信を容易に行える。
(操作手段55)
【0043】
操作手段55は、表示手段52上に表示される画面に基づいてユーザが入力その他の操作を行うための入出力デバイスである。操作手段55は本体部50と有線もしくは無線で接続され、あるいは本体部50に固定されている。一般的な操作手段55としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作手段55は、動画像撮像装置の操作の他、動画像撮像装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。なお表示手段52や操作手段55は、本体部50と一体的に組み込むことも、本体部と有線もしくは無線で接続された外付けの部材とすることもできる。さらに表示手段をタッチパネルで構成すれば、表示手段と操作手段を一体に構成することもできる。また操作手段55を無線接続のコンソールで構成することもできる。
(画像処理部30の機能)
【0044】
画像処理部30は、動画像を周期毎に分割したり、分割した分割動画像の内、異常度の高い分割動画像を保存したり、あるいは分割動画像同士を対比、解析する機能を備えている。図2に示す画像処理部30は、特徴量算出手段34と、周期抽出手段32と、基準タイミング選択手段31と、動画波形生成手段35と、保存画像抽出手段36と、基準動きパターン取得手段37(後述)とを備える。
(動画像分割機能)
【0045】
この動画像撮像装置は、同じような動きを周期的に行うシーンを撮影した動画像を周期毎に分割する動画像分割機能を備える。具体的には、周期を代表する代表画像を選択し、この代表画像との類似度を示した波形を作成して動画波形とし、その波形解析によって、位相を揃えた周期毎に動画像を分割する。このようにすることで、数多くのフレームを含む動画像を周期毎に分割して、この分割された周期を単位として比較、解析が容易に行える。さらに動画像分割機能は、分割された分割動画像を対比する際に、位相を揃えることもできる。これにより、異なる周期の動画像を、位相の揃った状態で、すなわち同位相の画像データ同士を対比できるようになり、解析作業をより便利に行える。この動画像分割機能は、基準タイミング選択手段31と、周期抽出手段32とで実現される。
(代表画像)
【0046】
ここで、代表画像とは、これを基にして各フレームの参照値を算出して動画波形を計算した際に、各周期を分割するのに適した画像である。この代表画像に基づいて、周期の分け目が決定されるため、例えば各周期に必ず1回現れるような、周期を代表する画像を代表画像として選択することが好ましい。さらに、代表画像を基にした動画波形に対して参照値に関する閾値を設定し、動画波形がその閾値を超えるタイミング又は下回るタイミングを周期の基準タイミングとできるような画像を、代表画像として選択することが好ましい。また、閾値による基準タイミングの探索の場合と同様に、代表画像を基にした動画波形の一定時区間内における最小又は最大値の探索による基準タイミングの探索等、簡便な手法で基準タイミングの探索ができるような画像を代表画像として選択することが好ましい。
【0047】
この代表画像は、撮影した動画像からユーザが任意に選択する他、自動で演算することもできる。上記の方法では、一旦動画像観察プログラムで自動算出した後、ユーザがこれを調整するように構成している。図9の例では、基準タイミング選択手段31により自動で選択された代表画像が表示されており、この代表画像を、ユーザが代表画像位置86を調整して、任意の画像に変更することができる。
(代表画像の自動選択)
【0048】
代表画像を自動で選択するには、動画像中から代表画像の候補となる画像フレームを選択し、その代表画像の候補を基にした動画波形を計算する。これを各画像フレームについて実施し、各画像フレームに対応した動画波形を計算する。これらの各動画波形について、例えば波形が周期的なものになるかを判定したり、閾値、最小/最大値の探索等、簡便な手法でその周期を区切ることができるかを判定する。これによって、周期分割に最適な動画波形を特定し、その動画波形の基となる画像フレームを代表画像とする。その際、後述する自己相関により動画像を分割する周期を求め、その周期を最適な動画波形を特定に用いるようにしてもよい。さらに、代表画像として選択された画像フレームに加え、他の周期においてこの画像フレームとほぼ同一の画像が存在することになるが、各周期の「ほぼ同一の画像」を抽出し、この画像を平均化して周期ごとのばらつきを考慮したものを代表画像としてもよい。
【0049】
周期分割を行うための「代表画像」の選択条件としては、差分/類似度(評価値)を波形にして表したときに波形が周期的なものになり、かつ閾値、最小/最大値の探索等簡便な手法でその周期を区切ることができるものとなる。周期的なものとなるかどうかの判定は、例えば波形をずらしていき、差分が小さくなる部分が周期的に存在するかどうかで判定可能である。また閾値、最大/最小値の探索等を利用した周期の分割は、実際にこれを使って分割したときに、上述した周期的かどうかの判定方法で結果として求められる周期と、同じ周期で分割できるか、等の手法が利用できる。
(基準タイミング選択手段31)
【0050】
基準タイミング選択手段31は、画像取得手段で取得された入力動画像を周期毎に分割するために、周期を代表する基準タイミングを選択する。基準タイミング選択手段31は、代表画像を基に基準タイミングを選択する。代表画像は、基準タイミング選択手段31が自動的に選択する他、ユーザが操作手段55で任意の画像データを選択することもできる。
(周期抽出手段32)
【0051】
周期抽出手段32は、基準タイミング選択手段31で選択された基準タイミングに基づいて、入力動画像を周期毎に区切る。これにより、取り込んだ入力動画像を周期的に分割できるので、ユーザによる動画像の解析作業を大幅に軽減でき、特に高速度カメラのような大量の画像フレームを含む動画像の解析において、効率よく解析を行える利点が得られる。
(周期調整手段33)
【0052】
また周期抽出手段32で入力動画像を周期毎に区切る前に、周期の位置を前後に調整可能な周期調整手段33を備えることもできる。これにより、周期毎に区切る前にユーザが手動で周期を微調整できる利点が得られる。
(特徴量算出手段34)
【0053】
特徴量算出手段34は、画像取得手段で取得された入力動画像から各フレーム又は各フレーム群の特徴量を算出する。例えば特徴量算出手段34は、代表画像と、入力動画像の各フレームとの類似度を特徴量として算出し、基準タイミング選択手段31が、所定期間内で該類似度の最も高いフレームに対応するタイミングを基準タイミングとして選択する。または、特徴量算出手段34が、代表画像と、入力動画像中の各フレームに対して代表画像との差分を演算し、基準タイミング選択手段31が、所定期間内で最も差分の小さいフレームをに対応するタイミングを基準タイミングとして選択するようにしてもよい。
(画像トリガ)
【0054】
代表画像と、録画中の各フレームとの類似度を計算し、その類似度を基に周期の切れ目のタイミングを認識してこれを画像トリガとし、周期的な動作をするシーンを位相を揃えて、自動的に周期毎に分割できる。要するに、基準タイミングに応じてトリガ発行手段でトリガ信号(画像トリガ)を発行する構成としてもよい。トリガ発行手段は、上述した画像処理部30等が利用できる。代表画像に基づく画像トリガは、周期的な動作をするシーンにおける特定の位相を表すものであり、周期分割のタイミングに利用できるほか、トリガ信号を装置外部に供給することにより、例えばオンラインで異常監視、画像検査等をする場合に外部装置に検査/動作を指示するための外部トリガとして利用することができる。ここで、外部装置は、例えば画像による対象物の検査を行う画像検査装置や、対象物を加工する加工装置である。外部トリガは、基準タイミングもしくは基準タイミングから所定時間経過後に発行される。
なお、ここでは画像検査装置が外部装置である例について説明したが、画像処理検査装置を内蔵していてもよい。この場合、基準タイミングもしくは基準タイミングから所定時間経過後に取得した一又は複数の画像に対して、傷・欠陥抽出のような画像検査を実施するように構成される。
(動画波形生成手段35)
【0055】
動画波形生成手段35は、特徴量算出手段34で算出された特徴量に基づいて、動画波形を生成する。周期抽出手段32は、動画波形に基づいて周期を決定し、入力動画像を周期毎に区切ることができるようになる。これにより、動画波形に基づいて定量的な評価が可能となり、また動画波形を利用して周期毎の分割も容易に行える。
【0056】
動画波形を取得することで、基準タイミングの選択も容易となる。例えば、動画波形が所定の閾値を超えたタイミングを基準タイミングとして、基準タイミング選択手段31が、基準タイミングを規定する。基準タイミングに基づいて各周期の同期を取ることで、同期入力なしで周期毎に分割できるようになる。
(動画波形)
【0057】
代表画像が決定されると、この代表画像に基づいて参照値を算出し、動画波形(モーショングラフ)を生成する。具体的には、代表画像と、動画像の各フレームの画像の、輝度や色差の差分/相関に基づいて参照値を算出する。さらにこの動画波形の周期を決定し、周期毎に分割する。具体的には、動画波形を基に、各周期において周期を代表する代表画像を選択して、その代表画像の位置を基準にして前後フレームを取り出すことで、位相の揃った周期毎の動画像に分割する。
【0058】
また、動画波形の演算には、動画像を構成する画像フレームの全体でなく、一部の領域のみを利用することもできる。例えば図11では、画像表示領域41中に破線で示す指定領域を対象領域ROI(Region of Interest)として、参照値の算出に用いる画像領域を、この一部の領域制限している。このように画像領域を制限し、必要な情報が含まれている領域のみを指定することで、無駄な画像処理量を減らして、効率よく迅速、軽負荷の演算処理が実現できる。特に、画像フレームの一部に、周期を決める有力な情報が含まれているような場合には、この方法が有効となる。
【0059】
従来、動画像を周期的に分割する技術や思想はなく、精々、日時の異なる撮像において、その切り替わり(前回の録画終了箇所と次回の録画開始箇所)を検出する程度であった。要するに、同じ日時で撮像された連続する動画像から、周期性を検出して、周期毎に切り出すことは、行われていなかった。
【0060】
一以上の被写体を撮像した動画像中から、被写体の周期的な運動を認識し、その周期を計算する方法としては、差分行列の自己相関を使う方法が挙げられる。この方法では、Nフレームの動画像から、m(=1,2,...,N)フレーム目と、n(=1,2,...,N)フレーム目との差分を表すNxNの差分行列(m行n列目がmフレーム目とnフレーム目の差分値や類似度となるような行列)を作成する。このN×Nの差分行列をN×Nの画像と同じように扱い、画像の自己相関と同じ手法で相関を求め、自己相関の高いXY方向のずれ量(この場合フレーム間隔)により周期を算出することができる。ここで画像の自己相関とは、同一の画像を少しずつXY方向にずらしていき、その相関を求める方法である。これはテンプレートマッチングにおける、代表画像と探索画像を同一にしたものといえる。この方法では、Nフレームの動画像中に存在する周期運動の平均周期を算出することは可能であるものの、周期にばらつきがある場合には各周期を求めることができず、Nフレームで求めた平均周期に基づいてMフレーム(N<M)の動画像を分割しようとすると、平均周期と実際の周期との誤差が累積してしまうという問題点があった。
【0061】
また、オシロスコープで交流等周期的な波形を、トリガを用いて周期毎に分割して表示する方法もある。この方法では、トリガ設定を適切に行うことで、波形の位相を揃えて周期毎に分割できる。一方で、画像データから、例えば平均輝度値等の参照値を算出して波形を作り、トリガをかけるという画像トリガ技術も知られている。これらの技術を組み合わせることで、周期的な動画像を分割することが可能となるものの、参照値の計算方法によっては周期を正しく認識しないことがあり、正しいトリガをかけることは困難であった。例えば、被写体の一周期の動作中に明るさが変化するようなシーンがあった場合には、輝度値を参照値にしたトリガは不適切であった。
【0062】
これに対して本実施の形態では、上述の通り周期を代表する画像を、代表画像として選択し、この代表画像に基づいて参照値を算出し、動画波形を生成している。この方法であれば、照度変化等に対して安定的な波形を得ることができる。また、代表画像に基づく動画波形により周期分割の基準タイミングをきめることで、各周期について同位相の、すなわち同期の取れた動画像の抽出が可能となる。これにより、周期の揺らぎの補正が容易となったり、平均周期からの誤差累積の問題が解消する。また動画波形が一定期間以上閾値を横切らなかった場合に、周期ズレが発生したとして、周期異常として検出することができる。
(動画像観察プログラム)
【0063】
動画像撮像は、動画像観察プログラムによってユーザの操作を受け付け、動画像の撮像や表示、解析を行うことができる。この動画像観察プログラムは、図1の例では、2の例では動画像撮像装置に組み込まれているが、例えば汎用のコンピュータを動画像撮像装置と接続し、このコンピュータに動画像観察プログラムをインストールして、動画像撮像装置に対する操作を行うように構成してもよい。この場合、表示手段52や操作手段55は、コンピュータのモニタや、タッチパネル、マウス、キーボード等のポインティングデバイスと共通にすることもできる。
【0064】
動画像観察プログラムのユーザインターフェース画面を、図3に示す。この図に示す動画像観察プログラムは、動画像を表示する画像表示領域41と、後述する動画波形を表示する波形表示領域42を設けている。この例では、画面の左上に画像表示領域41を、その下に波形表示領域42を設けているが、この配置は一例であって、種々のレイアウトが採用できる。例えば、画像表示領域を別ウィンドウで表示させてもよい。
(外部信号表示領域43)
【0065】
さらに画像表示領域41の右側には、動画像の録画時に同時に保存された外部信号の波形を表示させる、外部信号表示領域43が設けられている。外部信号には、例えば温度センサや距離センサ、圧力センサ、加速度センサ、マイク等各種センサからの入力信号等が利用できる。
(動画像と外部信号の同期記録)
【0066】
撮像手段10で動画像を撮像する際には、その記録に関連付けて外部信号の波形を同期させながら記録することもできる。例えば図4に示すように、電気的なトリガ信号によって時刻が同期されて記録される。このトリガ信号は、ユーザのボタン入力、シーケンサ等からの入力、センサ等波形が閾値を超えた/下がった等の条件、動画像の輝度等が閾値を超えた/下がった等の条件(画像トリガ)等により発行される。動画像、外部信号波形とも、トリガ前に何フレーム(サンプル)/トリガ後に何フレーム録画する、といった形で録画設定を行う。特に、トリガ前の録画フレーム数を0にしたものをスタートトリガ、トリガ後の録画フレーム数を0にしたものをエンドトリガと呼ぶ。またフレームを一次記憶手段53であるメモリに記録する際、トリガが入るまでは、設定されたメモリの残量がある限り録画を行い、残量がなくなったら、古いフレームから順に最新のフレームに置き換えていくリングバッファの仕組みを用いる。なお単位時間毎の動画像フレーム数と波形サンプル数は必ずしも一致しない。
(再生コントロール欄44)
【0067】
また波形表示領域42の下部には、主に動画像の位置を指定する再生コントロール欄44が設けられている。再生コントロール欄44には、シークバー45や再生ボタン類46等が配置されている。シークバー45は、波形表示領域42の下部に設けられており、動画像の長さに対応して、現在の再生位置を示すと共に、マウスクリックやドラッグにより、指定した位置に変更できる。またシークバー45の右側には再生ボタン類46が設けられており、順方向再生/早送りボタンや、逆方向再生/早送りボタン、一時停止ボタン、再生速度指定ボタン等が配置されている。
(ツールバー47)
【0068】
また画面上部には、各種操作を行うためのボタンを備えたツールバー47を配置している。例えばツールバー47左端に設けられた「ファイル」ボタン48は、既に撮像手段10で記録された入力動画像データを読み込むための動画像取得手段の一形態である。なお、撮像手段10で撮像した入力動画像を直接、動画像観察プログラムに取り込む形態としてもよい。この「ファイル」ボタン48を押下すると、図5に示すファイル選択ダイヤログ70が開き、ユーザは保存済みの入力動画像のデータ中から、所望のデータファイルを選択する。図5の例では、画面右上にファイル一覧71が表示され、選択された動画像データのプレビューが右下のプレビュー表示欄72に表示される。プレビュー表示欄73では、左側に動画が表示され、右側には動画像の代表的な位置の画像フレーム一覧が表示される。この例では、動画像データに予め設定されたチャプタに従って、チャプタの位置に対応する画像フレームが表示されている。さらにファイル選択ダイヤログ70の左側には、上段にファイル選択のためのファイルツリー74が、下段には選択中の動画像ファイルの詳細情報75が表示される。詳細情報75としては、ファイル名や撮影日時、撮影時の画像サイズや撮影条件(例えば使用したレンズや倍率、機器名)、コメント等を表示できる。
【0069】
このようにしてファイル選択ダイヤログ70で入力動画像データを選択すると、図3に示すように、選択された動画像データの動画が画像表示領域41に表示され、また外部信号表示領域43には、この動画像データの撮像時に同時に記録された外部信号の波形が表示される。図3の例では、外部信号として、マイクで録音した音声の波形が表示される
【0070】
なおこの例では、動画像データの作成時に、上述したチャプタの設定や、同時に記録した外部信号のデータ等を埋め込んだり、外部のデータファイルとリンクさせることができる。このようなデータファイルの作成機能も、動画像観察プログラムは備えており、上述した「ファイル」ボタン48を押下して保存メニューを選択することで、所望の形式で保存してデータファイルを作成できる。
(チャプタ設定機能)
【0071】
この動画像観察プログラムは、所望位置の検索を行い易くするよう、任意の位置にチャプタを設定可能である。チャプタは、追加や変更、削除が可能である。図3の例では、動画像データに設定済みのチャプタが、再生コントロール欄44のシークバー45上に沿ってフラグ75に表示されている。任意のフラグ75を選択すると、このフラグの位置にジャンプする。
(シーンマーク一覧ウィンドウ77)
【0072】
さらに、チャプタ位置に対応する画像フレームの一覧表示も可能である。具体的には、ツールバー47のシーンマークボタン76を押すと、図6に示すシーンマーク一覧ウィンドウ77が表示される。シーンマーク一覧ウィンドウ77では、現在表示中の動画像データに設定されているチャプタの位置に対応するフレームが一覧表示される。このシーンマーク一覧ウィンドウ77から、所望の画像フレームを選択すると、指定されたチャプタの位置にジャンプさせることができる。また、「前」ボタン78、「次」ボタン79を押すと、現在の位置から、直近のチャプタの位置まで移動できる。さらに任意の位置で「追加」ボタン80を押すと、現在の位置にチャプタが新たに追加される。追加されたチャプタは、シーンマーク一覧ウィンドウ77中に、対応するチャプタ位置の画像フレームが追加される。またチャプタを削除するには、削除したいチャプタに対応する画像フレームを選択して「削除」ボタン81を押す。なお、図6に示すように、ツールチップ機能により、マウスカーソルを重ねたチャプタの情報をウィンドウで表示させることもできる。
(自動チャプタ設定機能)
【0073】
さらに、ユーザが手動でチャプタを設定する他、自動でチャプタを付与することもできる。図6の例では、ツールバー47の「シーンマーク」ボタンを押して、「自動シーンマーク」メニューを選択すると、動画像観察プログラムが自動で動画像ファイルを解析して、チャプタを設定する。チャプタの設定方法は、シーンの変わり目を画像処理によって検出したり、所定の間隔でチャプタを付与する等の方法が利用できる。このようにして、チャプタの設定を自動又は手動で行うことで、特にデータ量の多い動画像データの検索や解析作業を補助できる。
(動画分割機能)
【0074】
また、動画像観察プログラムは、動画像データを周期毎に分割する動画分割機能を備えている。以下、動画分割機能を用いて、入力動画像を周期毎に位相を揃えて分割する手順を、図7〜図12に基づいて説明する。
(対象区間指定画面83)
【0075】
まず、ツールバー47の「動画比較」ボタン82を押下し、「動画分割」メニューを選択する。すると図7のように、分割対象の区間を指定する画面83が表示される。ユーザはこの対象区間指定画面83から、必要に応じて、動画像中の分割したい範囲をシークバー45等で指定する。
(代表画像指定画面84)
【0076】
対象区間を指定後、「次へ」ボタンを押すと、図8に示す代表画像指定画面84となり、自動的に選択された一周期分が指定される。この画面では、波形表示領域42に、動画波形(図8ではモーショングラフと呼び、詳細は後述)が表示され、この内、周期抽出手段32で演算された一周期分に対応する領域85が網掛けで表示される。この一周期分領域85は、周期抽出手段32により自動的に設定される。波形表示領域42において、一周期分領域85はその幅を維持したまま左右に移動可能であり、一周期分領域85をドラッグすることで、図9に示すように、一周期の開始位置と終了位置を調整できる。
【0077】
さらに、周期の開始位置及び終了位置を個別に変更することもできる。例えば図9の状態から、終了位置をマウスでドラッグして狭くすることで、図10に示すように一周期分をより短い区間として指定できる。同様に、周期の開始位置も変更でき、これにより周期の開始位置、終了位置を任意の位置に変更することで、一周期の開始位置、終了位置、及び周期の長さを任意に調整できる。
(代表画像位置86)
【0078】
さらに、波形表示領域42において波線状の縦線で示す位置が、画像表示領域41で現在表示されている画像フレームの位置を示す代表画像位置86となり、この代表画像位置86も任意に変更できる。ここで選択された位置の画像フレームが、代表画像として選択される。よってこの縦線は、代表画像を選択、変更する代表画像選択手段として機能する。
(位相調整シークバー87)
【0079】
また、この代表画像指定画面84では、波形表示領域42の下に設けられた再生コントロール欄44のシークバーは、位相調整シークバー87となり、周期内の見たい位置にシーク可能となる。具体的には、その長さが波形表示領域42とほぼ一致され、波形表示領域42で現在表示中の動画波形と対応する。すなわち、一周期分領域85の開始位置と終了位置に対応して、位相調整シークバー87上にストッパ88が表示され、ここで規定された区間内でのみ、再生ボタン類46での再生や早送り、逆再生等が可能となる。また、位相調整シークバー87上のスライダ89は、代表画像位置86に対応する位置となり、スライダを操作することで、代表画像位置86を調整できる。
(周期切り替えスライダ90)
【0080】
加えて、再生コントロール欄44の上側には、表示されている動画像の周期を切り替えるための周期切り替えスライダ90が設けられる。周期切り替えスライダ90は、図8の画面ではシークバーと異なり、動画像の全体長さに対応して、現在表示中の位置が表示される。また、上述したチャプタによる移動に対応しており、チャプタ指定欄91のチャプタ番号を変更することで、指定されたチャプタの位置に切り替えることができる。チャプタ指定欄91のチャプタ番号を切り替えると、該当するチャプタにジャンプする。またこの際、移動後のチャプタの先頭や末尾の位置とする他、従前のチャプタで表示していた位相位置に対応する、移動後のチャプタ中の同じ位相の位置にジャンプさせてもよい。このようにして、周期切り替えスライダ90を用いて、動画像データの他の位置において、周期が正しく分割されているかをユーザが確認することができる。
【0081】
以上、ユーザが手動で代表画像を選択する例を説明した。一方、代表画像を自動で計算する場合には、例えば自己相関等で算出した各周期において、1回づつ類似した画像が現れる画像を自動で選択する。例えば動画波形にピークが現れる画像を、代表画像とする。
(基準タイミングの補正)
【0082】
なお、このようにして設定される周期の基準タイミングは、必ずしも各周期の先頭や最後に一致するとは限らない。このため、基準タイミングに対して、どこからどこまでが周期の先頭から末尾に相当するのかを、別途設定する必要がある。例えば、生産ラインにおいて製品が入って加工されて出て行く過程を繰り返すパターンの場合、基準タイミングは入る部分、加工する部分、出て行く部分のいずれにも設定可能である。この場合、ユーザは入る部分を周期の先頭に、出て行く部分を周期の末尾に設定してもよく、又は加工している部分だけを取り出して一周期に設定する場合こともできる。
【0083】
図12に、周期の先頭と末尾を設定するユーザインターフェース画面の一例を示す。この画面では、分割位置を中心に、前後の分割位置の間で位相調整シークバー87、ならびに周期の先頭/末尾を設定するストッパ88が動き、分割位置を基準としてそこからの相対位置によって各周期の先頭/末尾を設定する。この設定は、ある周期の動画像を見ながら設定を行う。どの周期を見て分割するかを確認するために、周期ジャンプボタン92で移動できる。周期ジャンプボタン92を押すと、表示される周期が前後するため、ある周期で設定した分割設定を他の周期に対して適用させたときに問題が無いかを確認できる。またこのとき、各周期の波形を重畳表示させることも可能である。
【0084】
さらに各周期毎に開始/終了タイミングにばらつきがある場合もある。このようなばらつきは波形に現れるため、波形の重畳表示を観察することで、そのばらつきを考慮して周期の先頭/終了位置を決定できる。
【0085】
このようにして、代表画像と周期の開始位置、終了位置が決定されると、図8の画面から「OK」ボタン93を押下することで、動画像の分割が実行され、図13の画面となり、周期毎の分割動画像に切り分けられる。なお、ここでは動画像の分割とは、必ずしも動画像データを分割することを意味せず、動画像観察プログラムの画面上において、周期毎に区分けされた単位で分割動画像を確認できる状態を含む意味で使用する。例えば、周期毎にチャプタを追加して、チャプタの切り替えによって所望の分割動画像に切り替えるような構成も、本明細書においては動画像の分割と呼ぶ。
【0086】
図13に示すように、波形表示領域42には、分割動画像の、指定されたチャプタにおける動画波形が表示される。この画面では図8等と同様の周期切り替えスライダ90とチャプタ指定欄91が設けられており、これらを操作して所望のチャプタに切り替えることができる。
【0087】
また動画像とセンサ入力等の外部信号波形を同期して取り込んでいる場合は、周期毎に分割し、位相タイミングを画像で取りつつ各センサ波形の類似度を相関等で評価して、後述する異常監視録画に使用することも可能である。
(解析機能)
【0088】
以上のようにして、動画像を周期毎に分割でき、例えば各周期の位相毎の画像フレームを比較する等、大量の画像フレームを含む動画像データの処理、解析が容易となる。
特に位相を揃えた状態に分割された分割動画像は、位相毎に対比し易くなり、解析に際して有利となる。このような、複数の分割動画像を、各位相を揃えた状態で解析する解析手段の例について、以下説明する。
(動画比較機能)
【0089】
まず解析機能の一として、このようにして分割された分割動画像を比較する動画比較機能について、図13〜図16に基づいて説明する。まず、図13の画面から、ツールバー47中の「動画比較」ボタン82から、「動画比較」メニューを選択する。すると図14に示す、動画比較設定画面94が表示され、基準となる動画と、比較対象の動画を、それぞれ指定する。また、波形表示領域42で初期表示する波形を、動画波形(モーショングラフ)か、他の信号波形かを選択できる。選択後、「OK」ボタン95を押下すると、図15の動画比較画面96が表示される。この動画比較画面96では、上段に画像表示領域41が左右41A、41Bに分割されて設けられ、選択された動画像が表示される。この例では左側41Aに基準動画、右側41Bに比較動画が、それぞれ表示されているが、左右を入れ替えてもよい。また中段に波形表示領域42が、左右に延長されて設けられる。波形表示領域42で表示される動画波形は、波形表示領域42の下部に設けられた選択ボタン97で切り替える。この例では、基準動画の動画波形を示している。また、選択ボタン97の選択に応じて、下部のスライダや再生ボタン類46等の再生コントロール欄44の操作対象となる動画波形も切り替えられる。また、選択ボタン97によらず、画像表示領域41を直接クリックすることで、選択した動画像の操作に切り替えることもできる。また動画像を切り替えると、位相調整シークバー87や周期切り替えスライダ90が、その動画像に対応した位置に移動する。
【0090】
また、波形表示領域42の表示を、多段表示とすることもできる。図15の例において、波形表示領域42の左上に設けられた「1段表示」ボタン98を押下して「多段表示」に切り替えると、図16に示すように、波形表示領域42が上下42A、42Bに分割されて、多段表示に切り替えられる。この例では、上段42Aで基準動画、下段42Bで比較動画の動画波形を、それぞれ表示している。
【0091】
さらに、波形表示領域42上で、一方の動画像の位置を指定すると、他方の動画像の同位相の部分にジャンプできる機能を備えることもできる。これにより、同位相の比較、解析の際に非常に便利となる。
【0092】
また、基準動画と比較動画は、異なる動画像を指定する他、同じ動画像を指定することもできる。この場合、同じ動画像の異なる周期を同一画面に表示させて、周期毎に位相を揃えた比較が可能となる。
(動体追尾機能)
【0093】
また解析機能の他の例として、この動画像観察プログラムは、指定した画像と類似する画像の推移を示す、動体追尾機能を備えている。動体追尾機能を実行した例を、図17に示す。この例では、画像表示領域41の左側に表示される基準動画の画像上で、矩形状の対象領域ROI1、ROI2を二重に指定している。この内側の枠ROI1で領域で指定された画像と類似する画像を、次回以降の画像フレームでは、外側の枠ROI2で指定した領域の範囲内でテンプレートマッチングし、発見された位置を表示している。このような動体追尾機能の領域指定を、異なる周期の、同位相の動画像で、同一の領域に設定することで、図17に示すように点状の軌跡が得られ、指定された部位がどのように移動しているかを追尾することができる。
(時系列画像生成機能)
【0094】
さらにこの動画像観察プログラムは、解析機能の他の例として、周期の異なる複数の分割動画像を、各位相を揃えた状態で表示する時系列画像生成機能を備えている。この時系列画像生成機能を実行した様子を、図18に示す。この図に示すように、周期の異なる分割動画像を、上下に並べ、縦方向において各分割動画像の位相が一致するように、行列状に配置する。これにより、動画像を周期毎に分けて、かつ同位相で対比しながら表示できるため、フレーム間の相違点等を発見しやすくできる。
【0095】
また、分割動画像の画像フレームを複数表示する他、図19に示すように、特定の位相の一枚のみを表示させることもできる。この例では、ある位相における分割動画像の画像フレームを、周期順に横方向に並べている。この表示でも、あるタイミングで各周期での相違点を比較することが容易となる。
【0096】
このように、連続した動画像を、周期毎に分割した上で、位相を揃えて画像フレームを一覧表示させることで、従来面倒であった高速度カメラで撮像した動画像の解析作業の効率が飛躍的に向上され、解析作業において大幅な省力化と極めて便利な解析のための環境が提供される。
(異常監視録画機能)
【0097】
さらに動画像撮像装置は、被写体の周期的な動きを撮影し、その各周期の動きを評価しながら、通常とは異なる画像のみを記録できる。この異常監視録画機能は、工場の生産ラインのように製品が入っては出るというような周期的な動作を繰り返すシーンを高速度カメラで動画像として撮像、録画し、それを各周期毎に分割して、それぞれ解析し異常なものを記録していくものである。
【0098】
例えば、生産ラインでの製品の異常発生過程を解析するために、生産ラインを流れる製品を高速度カメラで撮像する利用形態においては、どのタイミングで異常な動作が起こるかが判らないことも多い。この場合は、高速度カメラで撮像した動画像の解析作業が、極めて膨大な動画像データをユーザが確認し、同じような画像が繰り返される中から、問題の発生する画像を探すという作業となって、多大な負担が強いられていた。
【0099】
上述の通り、この動画像撮像装置は、動画像から選択した代表画像を画像トリガとして、入力動画像を周期的に分けることができるので、ユーザによる動画像の解析作業を大幅に軽減できる。ただ、この方法でも大量のデータを処理しなければならない場合は、対比作業もそれだけ膨大となる虞がある。また、動画像撮像装置をオンラインで使用する場合等、メモリ資源が有限であるため所望のシーンを撮り損ねる虞がある。そこで、評価値を利用して、異常度の高い分割動画像のみを保存するようにすることで、解析対象のデータ量自体を低減できる上、問題の可能性があるデータのみを解析することで、効率のよい解析作業を行える。また、異常度の高い分割動画像データから処理することで、問題特定の可能性が高まることも期待できる。
【0100】
上述の通り、撮像した動画像データを、周期毎に分割し、一周期分の動画像を用いて動きを評価する。評価値の計算は、予め、一周期分の典型的な動きを表した基準動きパターンを基準動きパターン取得手段37で作成し、この基準動きパターンの全体もしくは一部を、動画像データの一周期分の全体もしくは一部と比較することで行う。評価値は、差分や相関等一般的な画像の類似度によって算出される。
【0101】
この評価値を利用し、評価値の悪い順、すなわち基準動きパターンとの差分が大きい周期を、異常な動作が発生した周期と見なして、画像メモリに記憶する。この際、一定の閾値を超えたもののみを画像メモリに記憶する。または、画像メモリの空きがある限り記憶し、空きが無くなったら評価値の良い、すなわち基準動きパターンとの差分が小さいデータから順に削除し、新たな動画を記憶していくこともできる。さらに評価値の高かった周期の前の1又は複数周期分および/又は評価値の高かった周期の後の1又は複数周期分の動画も合わせて録画する。なおここでは、異常な動作が発生した周期を特定する際に、評価値を利用する例を説明したが、これに加え、各周期に対応する基準タイミングの間隔が、既定値以上ないし以下である場合も、異常な動作が発生した周期とみなし、画像メモリに記憶するようにしてもよい。この場合において、空きが無くなった画像メモリから削除する際の削除順位は、最も低く設定できるようにしてもよいし、任意の評価値相当の順位付けを設定できるようにしてもよい。
(位相揃え)
【0102】
基準動きパターンとの比較に際して、動画像の位相が揃っている場合には、比較開始位置と終了位置を位相情報に基づいて揃えた上で、比較を行う。
(位相調整手段)
【0103】
また、分割動画像同士の間で位相が揃っていない、あるいは位相が不明な場合には、位相調整手段で位相を揃える。位相調整手段は、フレームをずらしながら一番差分の小さいところが周期の合ったところと認識して、その位置で評価値計算を行う。具体的には、開始位置と終了位置をδフレーム(δ>0)ずつずらしながら比較し、最も良い評価値が得られた位置を、位相の揃った位置と見なして、その評価値を動きの評価値とする。
(基準動きパターン)
【0104】
基準動きパターンは、予め基準動きパターン取得手段37で作成する。基準動きパターンは、例えば標準的な一周期の動作を予め記録した動画像とする。あるいは、数周期分の標準的な動画像を記録し、位相を揃えて周期毎に分割して、対応する位相毎の平均を取った平均画像群としてもよい。例えば、仮撮像で100周期分の動画像を撮像し、5〜10種類程度の似たようなパターンを探し、基準動きパターンを生成する。さらには、数十周期分の動画像を撮影して周期毎に分割し、対応する位相のフレーム毎に機械学習を行って数種類の典型パターン画像に圧縮したパターン画像群データとすることも考えられる。パターン画像群データは、例えば手書き文字認識等で行われている機械学習と同様の技術を用いて作成することもできる。
(位相ずれを考慮した重み付け)
【0105】
一周期を構成する画像群の中には、僅かなタイミングのずれ等により、各周期でばらつきの大きい部分や、逆に周期間で殆どばらつきの無い部分が存在する。そのため、ばらつきの大きい位相では、本来ならば正常動作であっても、基準動きパターンとの位相ずれによって、誤差が大きくなり、異常画像となってしまうことがある。これを防止するため、各位相でのばらつき度合いを計算して、ユーザに波形として提示すると共に、各位相におけるばらつきに基づいて評価値に重み付けを行って。動き全体の評価を行う。あるいは、一定値以上のばらつきを持つ位相については、動きの評価を行わないようにしてもよい。
【0106】
また、評価値として、前述した動画波形を生成するための基準となる参照値を利用することもできる。
(異常監視録画機能)
【0107】
次に、異常監視録画機能の詳細について、図20に基づいて説明する。図20は、異常監視録画機能を実現する高速度撮像装置のブロック図を示している。この図に示す高速度撮像装置は、画像取得手段と、周期抽出手段32と、保存画像抽出手段36と、異常度解析手段38と、一次記憶手段53と、二次記憶手段56とを備えている。
(異常度解析手段38)
【0108】
異常度解析手段38は、予め決定された、被写体の基準となる動きを表す、一周期分の基準動きパターンと、各周期の入力動画像とを比較し、異常度を判定する。なお、上述した特徴量算出手段34を、異常度解析手段38で構成し、特徴量として異常度を用いることもできる。これにより、特徴量を用いて入力動画像を周期毎に分割する一方で、異常度としても利用し、保存する動画像の選択にも特徴量を利用できる。
(一次記憶手段53)
【0109】
一次記憶手段53は、上述の通り画像メモリであり、画像取得手段で取得した動画像データを周期毎に保持する。
(二次記憶手段56)
【0110】
二次記憶手段56は一次記憶手段53よりも記憶容量が大きく、書き込み速度の遅いハードディスク等が利用できる。
(保存画像抽出手段36)
【0111】
保存画像抽出手段36は、異常度解析手段38で判定された異常度の高い周期の動画像を、一次記憶手段53に保存するように指定する。具体的には、保存キューを作成する。これにより、より重要度の高い周期の動画像を、確実に二次記憶手段56に保存できる。
(保存キュー)
【0112】
分割動画像の記録時に、画像メモリに空きメモリがあるときには、そこに保存し、無い場合には異常度の低い分割動画像を削除して空きメモリブロックを作成した上で保存する。また、メモリ容量の節約のために二次記憶手段56への保存を行う際には、録画速度に対する保存速度が非常に遅いため、異常度の高いものから順に保存されるよう保存キューを作成して保存を行う。
【0113】
図20において、画像取得手段が動画像を取得して一次記憶手段53に記憶すると共に、周期抽出手段32に送る。例えば画像取得手段として、高速度カメラで動画像を撮像し、一次記憶手段53である画像メモリに保存する一方で、周期抽出手段32にも動画像を送る。周期抽出手段32は、動画像を周期毎に分割する。この周期抽出手段32は、周期毎の切れ目を動画像、又は外部から入力されるトリガ信号から判定して、切れ目だと認識されたら他のメモリ番地に保存アドレスを移動するように保存画像抽出手段36に信号を出す。これにより、周期毎に異なるメモリ番地に保存、すなわち録画を行うことが可能となる。
【0114】
ただ、一次記憶手段53は有限である。そのため、一次記憶手段53で保存が完了したものから順に二次記憶手段56に保存する等して、一次記憶手段53の空き容量を増やす必要がある。しかしながら二次記憶手段56であるハードディスク等の記録媒体の書き込み速度は、一般的に一次記憶手段53の書き込み速度と比較して10〜100分の1程度のため、保存している間にメモリがあふれてしまう。そのため、保存が終了したら異常度解析手段38により各周期の異常度を計算し、一次記憶手段53に空き容量(空きメモリ)が存在しない場合には、異常度の低いものから順に画像メモリから削除していく。こうすることで、録画時間が経過するにつれて、一次記憶手段53の中には異常度の高い周期のみが残ることになる。
(異常度)
【0115】
異常度の計算のため、予め仮撮像によって正常動作の動画像を数周期分に渡り録画しておき、基準動きパターンを作成しておく。例えば各周期における同位相画像の平均画像を並べた画像を正常パターン(基準動きパターン)とし、録画した各周期の画像と正常パターンの位相を合わせて各フレーム差分の平均値を求めることで、異常度を計算できる。また、周期抽出手段32で分割した周期の違い等を異常度とすることも可能である。
(異常監視録画の設定手順)
【0116】
次に、異常監視録画の設定手順を、図21のフローチャートに示す。まずステップS2101において、画像取得手段の設定を行う。ここでは画像取得手段は、動画像を撮像する撮像手段10として、高速度カメラを用いており、高速度カメラの視野や撮像フレームレート等を設定する。
【0117】
次にステップS2102において、正常パターンの仮撮像を行う。さらにステップS2103において、周期毎に分割する基準となるフレームを設定する。ここでは、自動で行う場合と、ユーザが手動で行う場合の二通りが考えられる。自動で基準フレームを設定する場合は、周期抽出手段32が上述の通り、基準タイミングに基づいて、入力動画像を周期毎に区切る。
【0118】
また、ユーザが手動で設定する場合は、例えば一周期を代表する代表画像をユーザが選択する。周期抽出手段32は、選択された代表画像に基づいて、この代表画像と類似する画像フレームを基準フレームとして選択する。または、後述する動画波形において、ユーザが閾値を設定し、この閾値を超える点を基準フレームとして周期抽出手段32が、周期毎に分割する。
【0119】
次にステップS2104において、周期の先頭、末尾の設定を行う。例えば周期抽出手段32が自動で設定した周期を、ユーザが微調整する。またステップS2105において、異常計算方法を設定する。さらにステップS2106において、仮撮像データから、正常パターンデータを作成する。最後にステップS2107において、録画メモリを一周期で録画できるブロック単位に分割する。これにより、ステップS2108において録画を開始できる。以上のようにして、正常パターンを撮影して分割設定や正常パターンデータを作成できる。この正常パターンデータは、監視時の異常度や周期分割の設定に利用できる。
(異常監視録画中の録画フロー)
【0120】
高速度カメラで撮像された動画像は、周期毎に一次記憶手段53である画像メモリに保存、すなわち録画される。この際、異常度解析手段38で録画中の動画像に対して異常度を算出し、異常度の高い動画像のみを、画像メモリに保存する異常監視録画機能を実行させることができる。以下、動画像に対して異常監視録画機能を実行する際の手順を、図22のフローチャートに基づいて説明する。
【0121】
まずステップS2201において、画像メモリに空きブロックが存在するかを判定する。空きブロックがある場合はステップS2203に進み、空きブロックがない場合は、先にステップS2202において、画像メモリ中の異常度の低い動画像ブロックを削除した後、ステップS2203に進む。
【0122】
次にステップS2203において、空きブロックへの動画像の保存すなわち録画を開始する。そしてステップS2204において、一周期の動画像の録画が完了すると、ステップS2205において、録画された周期の異常度を異常度解析手段38で演算する。次いで、ステップS2206において、異常度の高い順に、二次記憶手段56への保存キューに追加する。そしてステップS2207において、次の周期の録画を行うため、ステップS2201に戻って、上記ステップを繰り返す。
【0123】
以上の例では、動画像の記録は、周期毎に分割した状態で行っているが、例えばフレーム毎に異常度を算出する場合は、周期によらずに異常度の高いフレームを連続して、又は離散的に記録することもできる。
(サムネイル表機能;アラーム機能)
【0124】
また、このようにして一次記憶手段53や二次記憶手段56に記録された、異常度の高い周期の分割動画像を、異常度の高い順に再生する機能や、最も異常度の高かったフレームをサムネイルにして一覧表示する機能を備えることもできる。また、異常度がある閾値を超えた場合にはアラームを出力したり、それ以降の録画をストップするようにしてもよい。
【産業上の利用可能性】
【0125】
本発明の動画像撮像装置、動画像観察方法、動画像観察プログラム及びコンピュータで読取可能な記録媒体は、FAラインの異常原因究明や、材料の引張試験時に材料が破断する様子を観察する等の材料破壊、内燃機関の高速度燃焼撮像、スポーツの運動挙動、衝突、放電等の高速度の現象を短時間で連続的に撮像するハイスピードカメラ、高速度ビデオカメラ、画像センサ、画像検査装置等として、好適に利用できる。
【符号の説明】
【0126】
100…動画像撮像装置
10…撮像手段;12…撮像素子;13…撮像制御部;15…ヘッド部
16…撮像モジュール
20…レンズモジュール;24…ケーブル部
30…画像処理部
31…基準タイミング選択手段
32…周期抽出手段
33…周期調整手段
34…特徴量算出手段
35…動画波形生成手段
36…保存画像抽出手段
37…基準動きパターン取得手段
38…異常度解析手段
41、41A、41B…画像表示領域
42、42A、42B…波形表示領域
43…外部信号表示領域
44…再生コントロール欄
45…シークバー
46…再生ボタン類
47…ツールバー
48…「ファイル」ボタン
50…本体部;52…表示手段;53…一次記憶手段
54…インターフェース部;55…操作手段
56…二次記憶手段
60…照明手段;64…照明用光源;66…照明モジュール
61…照明光供給ケーブル
70…ファイル選択ダイヤログ
71…ファイル一覧
72…プレビュー表示欄
73…ファイルツリー
74…詳細情報
75…フラグ
76…シーンマークボタン
77…シーンマーク一覧ウィンドウ
78…「前」ボタン
79…「次」ボタン
80…「追加」ボタン
81…「削除」ボタン
82…「動画比較」ボタン
83…対象区間指定画面
84…代表画像指定画面
85…一周期分領域
86…代表画像位置
87…位相調整シークバー
88…ストッパ
89…スライダ
90…周期切り替えスライダ
91…チャプタ指定欄
92…周期ジャンプボタン
93…「OK」ボタン
94…動画比較設定画面
95…「OK」ボタン
96…動画比較画面
97…選択ボタン
98…「1段表示」ボタン
ROI、ROI1、ROI2…対象領域

【特許請求の範囲】
【請求項1】
撮像対象の一又は複数の被写体の動画像を撮像する動画像撮像装置であって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する画像取得手段と、
前記画像取得手段で取得した入力動画像を保持する一次記憶手段(53)と、
被写体の基準となる動きを表す、基準動きパターンを取得する基準動きパターン取得手段(37)と、
前記入力動画像の各フレームを、前記基準動きパターンの各フレームから計算される評価用データと比較することで、入力動画像と基準動きパターン同士の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターン同士の全体の異常度を演算する異常度解析手段(38)と、
前記異常度解析手段(38)で演算された異常度に基づき、異常度の高いフレームから順に前記一次記憶手段(53)に残し、前記一次記憶手段(53)の空きがなくなったら異常度の低いフレームから順に削除する保存画像抽出手段(36)と、
を備えることを特徴とする動画像撮像装置。
【請求項2】
請求項1に記載の動画像撮像装置において、さらに、
前記一次記憶手段(53)よりも記憶容量が大きく、書き込み速度の遅い二次記憶手段(56)を備えており、
前記一次記憶手段(53)に保持された周期毎の動画像データの内、異常度が高く前記二次記憶手段(56)に残すべきと前記保存画像抽出手段(36)で指定された周期の動画像を、前記二次記憶手段(56)に保存可能に構成してなることを特徴とする動画像撮像装置。
【請求項3】
請求項1又は2に記載の動画像撮像装置であって、
基準動きパターンが、予め被写体の正常動作の動画像を撮像した仮撮像の動画像とすることを特徴とする動画像撮像装置。
【請求項4】
請求項3に記載の動画像撮像装置であって、
異常度が、予め被写体の正常動作の動画像を撮像した仮撮像の動画像を正常動作画像として決定されることを特徴とする動画像撮像装置。
【請求項5】
請求項1から4のいずれか一に記載の動画像撮像装置であって、
前記基準動きパターン取得手段(37)が、前記画像取得手段で取得した入力動画像の、複数の周期の動画像から基準動きパターンを生成してなることを特徴とする動画像撮像装置。
【請求項6】
請求項1から5のいずれか一に記載の動画像撮像装置であって、さらに、
前記画像取得手段で取得された入力動画像を周期毎に分割するために、周期を代表する基準タイミングを選択する基準タイミング選択手段(31)と、
前記基準タイミング選択手段(31)で選択された基準タイミングに基づいて、前記入力動画像を周期毎に位相が揃った動画像に区切るための周期抽出手段(32)と、
を備えることを特徴とする動画像撮像装置。
【請求項7】
請求項6に記載の動画像撮像装置であって、
前記異常度解析手段(38)が、異常度を入力動画像の周期毎に演算し、
前記保存画像抽出手段(36)が、前記異常度解析手段(38)で演算された周期毎の異常度に基づき、異常度の高い周期の動画像から順に前記一次記憶手段(53)に残し、前記一次記憶手段(53)の空きがなくなったら異常度の低い周期の動画像から順に削除するよう構成してなることを特徴とする動画像撮像装置。
【請求項8】
請求項7に記載の動画像撮像装置であって、
前記基準動きパターン取得手段(37)が、周期毎の動画像と基準動きパターンを比較するに際して、パターン誤差の大きい部分と少ない部分とで、対比の重み付けを変更するよう構成してなることを特徴とする動画像撮像装置。
【請求項9】
請求項6に記載の動画像撮像装置であって、
前記異常度解析手段(38)が、前記全体の異常度に加え、各周期に対応する基準タイミングの間隔が、既定値以上、ないし以下である場合、所定の異常度相当と判断し、
前記保存画像抽出手段(36)が、前記異常度解析手段(38)で演算された周期毎の異常度に基づき、異常度の高い周期の動画像から順に前記一次記憶手段(53)に残し、前記一次記憶手段(53)の空きがなくなったら異常度の低い周期の動画像から順に削除するよう構成してなることを特徴とする動画像撮像装置。
【請求項10】
請求項1から9のいずれか一に記載の動画像撮像装置であって、さらに、
前記動画像を表示するための表示手段(52)を備え、
前記表示手段(52)は、
動画像を表示するための画像表示領域(41)と、
前記動画波形生成手段(35)で生成された動画波形を表示するための波形表示領域(42)と、
を有しており、
前記波形表示領域(42)において、動画波形の任意の位置を選択すると、該選択された動画波形に相当する動画像が、前記画像表示領域(41)において表示されるよう構成してなることを特徴とする動画像撮像装置。
【請求項11】
請求項10に記載の動画像撮像装置であって、
前記波形表示領域(42)における動画波形の任意の位置の選択が、スライダ状に構成されてなることを特徴とする動画像撮像装置。
【請求項12】
請求項1から11のいずれか一に記載の動画像撮像装置において、
前記画像取得手段が、1/25秒以下の撮像周期で被写体の入力動画像を撮像可能な撮像手段(10)であることを特徴とする動画像撮像装置。
【請求項13】
撮像対象の一又は複数の被写体の動画像を観察する動画像観察方法であって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する工程と、
前記取得した動画像データを一次記憶手段(53)に、周期毎に保持する工程と、
予め取得した、被写体の基準となる動きを表す、一周期分の基準動きパターン各フレームから計算される評価用データと、前記入力動画像の各フレームとを比較して、前記入力動画像と基準動きパターン間の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターンとの全体の異常度を演算する工程と、
前記演算された全体の異常度に基づき、異常度の高いフレームから順に前記一次記憶手段(53)に残し、前記一次記憶手段(53)の空きがなくなったら異常度の低いフレームから順に削除する工程と、
を含むことを特徴とする動画像観察方法。
【請求項14】
撮像対象の一又は複数の被写体の動画像を観察する動画像観察プログラムであって、
被写体が周期性を持った動作をするシーンを含む複数のフレームで構成される入力動画像を取得する機能と、
前記取得した動画像データを一次記憶手段(53)に、周期毎に保持する機能と、
予め取得した、被写体の基準となる動きを表す、一周期分の基準動きパターン各フレームから計算される評価用データと、前記入力動画像の各フレームとを比較して、前記入力動画像と基準動きパターン間の各フレームの異常度を算出し、これに基づいて入力動画像と基準動きパターンとの全体の異常度を演算する機能と、
前記演算された全体の異常度に基づき、異常度の高いフレームから順に前記一次記憶手段(53)に残し、前記一次記憶手段(53)の空きがなくなったら異常度の低いフレームから順に削除する機能と、
をコンピュータに実現させることを特徴とする動画像観察プログラム。
【請求項15】
請求項14に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体。

【図2】
image rotate

【図4】
image rotate

【図11】
image rotate

【図12】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図1】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−99978(P2012−99978A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−244724(P2010−244724)
【出願日】平成22年10月29日(2010.10.29)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.GSM
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】