画像計測装置、画像計測方法及びコンピュータプログラム
【課題】注目点の選定や注目点を追尾することが困難な複雑な形状の計測対象物であっても、また時間の経過とともに移動する計測対象物であっても、正確なキャリブレーションを実行することができ、所望の物理量を正確に計測することができる画像計測装置、画像計測方法、及びコンピュータプログラムを提供する。
【解決手段】フレーム画像をコマ送り再生表示し、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける。選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する。生成した合成画像を表示し、表示した合成画像上で所定の物理量を計測する。また、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置し、計測対象物と球とを撮像して取得した動画像に基づいてキャリブレーションを実行する。
【解決手段】フレーム画像をコマ送り再生表示し、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける。選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する。生成した合成画像を表示し、表示した合成画像上で所定の物理量を計測する。また、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置し、計測対象物と球とを撮像して取得した動画像に基づいてキャリブレーションを実行する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段で撮像された動画像に基づいて、所望の物理量を計測することができる画像計測装置、該画像計測装置で実行することが可能な画像計測方法、及び該画像計測方法における処理をコンピュータに実行させるコンピュータプログラムに関する。
【背景技術】
【0002】
従来、撮像手段で計測対象物の動画像を撮像し、撮像された動画像の注目点を選定し、注目点を自動的に追尾することにより注目点の移動距離、速度、加速度等を計測する画像計測装置が開発されている。例えば特許文献1には、瞬間的な画像を撮像周期の短い連続的な複数のフレーム画像として撮像するハイスピード撮像を行い、高速動画像を撮像する動画像撮像装置が開示されている。
【0003】
特許文献1に開示してある動画像撮像装置では、撮像手段であるカメラの位置を固定し、フレーム画像を用いて移動する計測対象物の注目点を追尾することにより、注目点の移動距離、速度、加速度等を計測することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−141709号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、計測対象物の形状、計測対象物の動作が複雑な場合等、注目点の選定が困難である場合、従来の画像計測方法では十分な精度で計測することができない。また、選定した注目点が計測対象物の所望の動きを表すものとなっているか否かを判断することが困難な場合もある。さらに、従来の画像計測方法では、計測対象物の形状によってはフレーム画像を用いて注目点を追尾することが困難である場合、あるいは追尾することができない場合が生じうる。したがって、注目点の移動距離、速度、加速度等を計測することができない場合が生じるという問題点があった。
【0006】
また、複数のフレーム画像はそれぞれその瞬間の静止画像であり、時間の経過とともに移動する計測対象物については撮像位置の補正を行うことが困難であり、注目点の移動距離、速度、加速度等を計測することができないという問題点もあった。
【0007】
さらに、キャリブレーションの実行時には、寸法等が既知である計測対象物、例えば定規を計測対象物とともに撮像することが必要である。しかし、計測対象物の形状が複雑である場合には定規を撮像手段の正面に配置できるとは限らず、寸法に狂いが生じるおそれがあり、正確なキャリブレーションを実行することができないという問題点もあった。
【0008】
本発明は上記事情に鑑みてなされたものであり、注目点を選定すること、注目点を追尾すること等が困難な複雑な形状の計測対象物であっても、また時間の経過とともに移動する計測対象物であっても、所望の物理量を正確に計測することができる画像計測装置、該画像計測装置で実行することが可能な画像計測方法、及び該画像計測方法における処理をコンピュータに実行させるコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために第1発明に係る画像計測装置は、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置において、前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段と、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段と、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段と、生成した合成画像を表示する合成画像表示手段と、表示した合成画像上で所定の物理量を計測する計測手段とを備えることを特徴とする。
【0010】
また、第2発明に係る画像計測装置は、第1発明において、前記コマ送り再生表示手段は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示するようにしてあることを特徴とする。
【0011】
また、第3発明に係る画像計測装置は、第1又は第2発明において、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段と、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段とを備えることを特徴とする。
【0012】
また、第4発明に係る画像計測装置は、第1乃至第3発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示するようにしてあることを特徴とする。
【0013】
また、第5発明に係る画像計測装置は、第1乃至第4発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示するようにしてあることを特徴とする。
【0014】
また、第6発明に係る画像計測装置は、第1乃至第5発明のいずれか1つにおいて、前記合成画像表示手段は、計測した物理量及びフレーム画像間の時間差を併せて表示するようにしてあることを特徴とする。
【0015】
また、第7発明に係る画像計測装置は、第1乃至第6発明のいずれか1つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする。
【0016】
また、第8発明に係る画像計測装置は、第7発明において、取得した動画像から前記球を抽出する球抽出手段を備え、抽出した球に基づいてキャリブレーションを実行するようにしてあることを特徴とする。
【0017】
また、第9発明に係る画像計測装置は、第7発明において、前記球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行するようにしてあることを特徴とする。
【0018】
また、第10発明に係る画像計測装置は、第7乃至第9発明のいずれか1つにおいて、前記球を発光させるようにしてあることを特徴とする。
【0019】
次に、上記目的を達成するために第11発明に係る画像計測方法は、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能な画像計測方法において、前記フレーム画像をコマ送り再生表示するコマ送り再生表示工程と、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付工程と、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成工程と、生成した合成画像を表示する合成画像表示工程と、表示した合成画像上で所定の物理量を計測する計測工程とを含むことを特徴とする。
【0020】
また、第12発明に係る画像計測方法は、第11発明において、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することを特徴とする。
【0021】
また、第13発明に係る画像計測方法は、第11又は第12発明において、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成工程と、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示工程とを含むことを特徴とする。
【0022】
また、第14発明に係る画像計測方法は、第11乃至第13発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示することを特徴とする。
【0023】
また、第15発明に係る画像計測方法は、第11乃至第14発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することを特徴とする。
【0024】
また、第16発明に係る画像計測方法は、第11乃至第15発明のいずれか1つにおいて、計測した物理量及びフレーム画像間の時間差を併せて表示することを特徴とする。
【0025】
また、第17発明に係る画像計測方法は、第11乃至第16発明のいずれか1つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする。
【0026】
また、第18発明に係る画像計測方法は、第17発明において、取得した動画像から前記球を抽出する球抽出工程を含み、抽出した球に基づいてキャリブレーションを実行することを特徴とする。
【0027】
また、第19発明に係る画像計測方法は、第17発明において、前記球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することを特徴とする。
【0028】
また、第20発明に係る画像計測方法は、第17乃至第19発明のいずれか1つにおいて、前記球を発光させることを特徴とする。
【0029】
次に、上記目的を達成するために第21発明に係るコンピュータプログラムは、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能なコンピュータプログラムにおいて、前記画像計測装置を、前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段、生成した合成画像を表示する合成画像表示手段、及び表示した合成画像上で所定の物理量を計測する計測手段として機能させることを特徴とする。
【0030】
また、第22発明に係るコンピュータプログラムは、第21発明において、前記コマ送り再生表示手段を、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示する手段として機能させることを特徴とする。
【0031】
また、第23発明に係るコンピュータプログラムは、第21又は第22発明において、前記画像計測装置を、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段、及び生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段として機能させることを特徴とする。
【0032】
また、第24発明に係るコンピュータプログラムは、第21乃至第23発明のいずれか1つにおいて、前記画像計測装置を、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示する手段として機能させることを特徴とする。
【0033】
また、第25発明に係るコンピュータプログラムは、第21乃至第24発明のいずれか1つにおいて、前記画像計測装置を、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示する手段として機能させることを特徴とする。
【0034】
また、第26発明に係るコンピュータプログラムは、第21乃至第25発明のいずれか1つにおいて、前記合成画像表示手段を、計測した物理量及びフレーム画像間の時間差を併せて表示する手段として機能させることを特徴とする。
【0035】
また、第27発明に係るコンピュータプログラムは、第21乃至第26発明のいずれか1つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記画像計測装置を、前記撮像手段で前記計測対象物と前記球とを撮像した動画像を取得する手段、及び取得した動画像に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。
【0036】
また、第28発明に係るコンピュータプログラムは、第27発明において、前記画像計測装置を、取得した動画像から前記球を抽出する球抽出手段、及び抽出した球に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。
【0037】
また、第29発明に係るコンピュータプログラムは、第27発明において、前記球の表面に判別することが可能な模様を付してあり、前記画像計測装置を、該模様を検出し、検出した模様に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。
【0038】
第1発明、第11発明及び第21発明では、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付け、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する。生成した合成画像を表示し、表示した合成画像上で所望の物理量を計測する。選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。
【0039】
第2発明、第12発明及び第22発明では、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することにより、注目点が順次移動する様子を目視で確認することができ、所望の物理量、例えば移動距離、速度、加速度等を確実に計測することが可能となる。
【0040】
第3発明、第13発明及び第23発明では、選択を受け付けた複数のフレーム画像のサムネイル画像を生成し、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示することにより、物理量を計測する対象となるフレーム画像と他のフレーム画像とを明確に区別することができ、誤ったフレーム画像を用いて計測される事態が生じることを未然に防止することができる。
【0041】
第4発明、第14発明及び第24発明では、選択を受け付けた複数のフレーム画像に識別情報を対応付け、他のフレーム画像と区別して表示することにより、物理量を計測する対象となるフレーム画像と他のフレーム画像とを明確に区別することができ、誤ったフレーム画像を用いて計測される事態が生じることを未然に防止することができる。
【0042】
第5発明、第15発明及び第25発明では、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することにより、計測対象となる注目点の変化がより鮮明になり、より正確に物理量を計測することが可能となる。
【0043】
第6発明、第16発明及び第26発明では、計測した物理量及びフレーム画像間の時間差を併せて表示することにより、所望の物理量として、移動距離だけでなく、速度、加速度等も計測することができる。
【0044】
第7発明、第17発明及び第27発明では、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してある。撮像手段で計測対象物と球とを撮像した動画像を取得し、取得した動画像に基づいてキャリブレーションを実行する。これにより、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【0045】
第8発明、第18発明及び第28発明では、取得した動画像から球を抽出し、抽出した球に基づいてキャリブレーションを実行することにより、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【0046】
第9発明、第19発明及び第29発明では、球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することにより、模様の寸法を自動的に認識し、自動的にキャリブレーションを実行することが可能となる。
【0047】
第10発明及び第20発明では、球を発光させることにより、取得した動画像から球を容易に抽出することができ、正確にキャリブレーションを実行することが可能となる。
【発明の効果】
【0048】
上記構成によれば、生成した合成画像を表示し、表示した合成画像上で所定の物理量を計測する。選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。また、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【図面の簡単な説明】
【0049】
【図1】本発明の実施の形態1に係る画像計測装置の外観を示す斜視図である。
【図2】本発明の実施の形態1に係る画像計測装置の構成を示すブロック図である。
【図3】本発明の実施の形態1に係る画像計測装置の一構成例を示す機能ブロック図である。
【図4】本発明の実施の形態1に係る画像計測装置の合成画像生成画面の例示図である。
【図5】本発明の実施の形態1に係る画像計測装置の合成画像生成画面の例示図である。
【図6】本発明の実施の形態1に係る画像計測装置の合成画像生成画面の例示図である。
【図7】本発明の実施の形態1に係る画像計測装置の計測画面の例示図である。
【図8】本発明の実施の形態1に係る画像計測装置の計測画面での計測時の例示図である。
【図9】本発明の実施の形態1に係る画像計測装置の制御部の処理手順を示すフローチャートである。
【図10】本発明の実施の形態2に係る画像計測装置の一構成例を示す機能ブロック図である。
【図11】本発明の実施の形態2に係る画像計測装置のキャリブレーション実行画面の例示図である。
【図12】本発明の実施の形態2に係る画像計測装置の、キャリブレーション実行後の計測画面の例示図である。
【図13】本発明の実施の形態2に係る画像計測装置の制御部の自動キャリブレーション処理の手順を示すフローチャートである。
【図14】本発明の実施の形態2に係る画像計測装置の球の表面に付す模様の例示図である。
【発明を実施するための形態】
【0050】
以下、本発明の実施の形態に係る画像計測装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一の符号を付して、詳細な説明を省略する。
【0051】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像計測装置の外観を示す斜視図である。図1に示すように本実施の形態1に係る画像計測装置1は、表示装置11と一体となった匡体を有しており、前面下部に、撮像手段であるカメラ2とケーブルを介して接続するビデオインタフェース12、外部機器とデータ通信することが可能に接続する通信インタフェース13等を備えている。
【0052】
図2は、本発明の実施の形態1に係る画像計測装置1の構成を示すブロック図である。図2に示すように本実施の形態1に係る画像計測装置1は、表示装置11と一体となった匡体を有しており、少なくともCPU(中央演算装置)、LSI等で構成された制御部14、メモリ15、記憶装置16、表示装置11と接続してある表示インタフェース17、外部機器とデータ通信することが可能に接続する通信インタフェース13、カメラ(撮像手段)2と接続してあるビデオインタフェース12、入力装置3と接続してある入力インタフェース20、可搬型ディスクドライブ18及び上述したハードウェアを接続する内部バス19で構成されている。
【0053】
制御部14は、内部バス19を介して画像計測装置1の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置16に記憶されるコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ15は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。
【0054】
記憶装置16は、内蔵される固定型記憶装置(ハードディスク、フラッシュメモリ)、ROM等で構成されている。記憶装置16に記憶されるコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM、フラッシュメモリ等の可搬型記録媒体90から、可搬型ディスクドライブ18によりダウンロードされ、実行時には記憶装置16からメモリ15へ展開して実行される。もちろん、通信インタフェース13を介して外部のコンピュータからダウンロードされたコンピュータプログラム100であっても良い。
【0055】
通信インタフェース13は内部バス19に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ通信を行うことが可能となっている。すなわち、上述した記憶装置16は、画像計測装置1に内蔵される構成に限定されるものではなく、通信インタフェース13を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
【0056】
入力装置3は、マウス等のポインティングデバイス、コンソール、キーボード又はリモコン操作機等の有線又は無線の操作装置の他、表示装置11と一体となったタッチパネル等の入力情報を取得する装置等、データの入力を行うことができるのであれば特に限定されるものではない。
【0057】
カメラ(撮像手段)2は、CCD撮像素子を備えたCCDカメラ等であり、計測対象物の複数のフレーム画像で構成された動画像を撮像する。表示装置11は、CRT、液晶パネル等である。なお、通信インタフェース13を介して外部制御機器が接続されていても良い。外部制御機器とは、例えばセンサ、波形収集装置、あるいはPLC(プログラマブルロジックコントローラ)等の、制御部14に後述する録画の終了タイミングの基準となるトリガ信号を与えることができる機器全般を意味している。
【0058】
図3は、本発明の実施の形態1に係る画像計測装置1の一構成例を示す機能ブロック図である。図3において、本実施の形態1に係る画像計測装置1には、カメラ2と、入力装置3とが接続されている。なお、計測対象物を照らす照明用光源を有していても良いことは言うまでもない。
【0059】
カメラ2は、例えばディジタルカメラとして機能し、ハイスピード撮像を行う。ハイスピード撮像とは、人間の目では視覚することが困難である瞬間的な対象物の動きを、連続的な複数のフレーム画像として撮像することを意味しており、例えば撮影フレームレートが100fps(frame per second)から100万fpsの間で撮像する。本実施の形態1のカメラ2は、15fps以上32000fps以下の撮影フレームレートで計測対象物を撮影することができる。本実施の形態1において動画像とは、所定の撮影フレームレートで連続して撮像した一連の静止画像(フレーム画像)の集合を意味する。
【0060】
動画像取得部101は、カメラ2で撮像した計測対象物の動画像を取得する。本実施の形態1では、録画が開始された場合、動画像として、所定の撮影フレームレートで連続して撮像した一連の静止画像が、順次、メモリ15に記憶される。メモリ15は、その一部又は全部の記憶領域をリングバッファとして構成してあり、撮像した一連の静止画像は、順次、リングバッファに格納され、制御部14にトリガ信号が入力された場合に録画が終了する。これにより、動画像として、所定の撮影フレームレートで連続して撮像した一連の静止画像の集合を取得することができる。
【0061】
トリガ信号は、ユーザが入力装置3を操作することにより制御部14に与えられる。入力装置3の操作の代わりに、あるいは入力装置3の操作に加えて、圧力センサ、加速度センサ、音センサ等のセンサ、波形収集装置、あるいはPLC(プログラマブルロジックコントローラ)等から与えられる信号をトリガ信号として設定するようにしても良い。
【0062】
制御部14は、トリガ信号の入力に応じて、予め設定された録画時間に基づいてトリガ信号の入力時点から所定時間後に録画を終了する。リングバッファと録画時間設定とにより、トリガ信号の入力時点の前及び/又は後の所定時間の動画像を取得することができる。
【0063】
コマ送り再生表示部102は、取得した動画像を構成する複数のフレーム画像を表示装置11にコマ送り再生表示する。コマ送り再生とは、ユーザが入力装置3を操作することにより、連続して撮像した一連の静止画像を1コマずつ順送り又は逆送りで表示することであり、ユーザが入力装置3の操作を停止することで最後に選択された静止画像が表示され続けることを意味する。例えば、後述するように、スライダを左右に操作する、又はフレーム番号表示領域のフレーム番号を変動させることにより、表示装置11上に順送り又は逆送りを示す各々のボタンが表示され、マウスでボタンをクリックする度に1コマずつ順送り又は逆送りされる構成である。あるいはマウスのホイールのような回転ノブの回転操作により1コマずつ順次再生され、回転方向に応じて順送り又は逆送り再生される構成であっても良い。
【0064】
なお、コマ送り再生表示部102は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することが好ましい。注目部位が順次移動する様子を目視で確認することができるからである。最初に選択を受け付けたフレーム画像とコマ送り再生表示するフレーム画像との重ね合わせは、両フレーム画像を各画素ごとに平均化して重ね合わせても良いし、両フレーム画像間で差分の大きい箇所を強調して重ね合わせても良い。また、両フレーム画像と同一動画像中の他のフレーム画像又は他の複数のフレーム画像との統計的処理により差分の大きい箇所を特定し、特定された箇所を強調して重ね合わせるようにしても良い。
【0065】
画像選択受付部103は、コマ送り再生表示されているフレーム画像から、入力装置3を介して複数のフレーム画像の選択を受け付ける。具体的には、注目点が移動を開始する時点と移動を終了する時点を示すフレーム画像、あるいは最大振幅を示す両端を示すフレーム画像等の選択を受け付ける。
【0066】
なお、選択を受け付けた複数のフレーム画像に識別情報を対応付け、他のフレーム画像と区別して表示することが好ましい。どのフレーム画像を計測に用いるのか、目視で確認することができるからである。
【0067】
また、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示しても良い。輪郭線が付与された画像が表示されることで、計測対象となる注目点の変化がより鮮明になり、より正確に物理量を計測することができるからである。
【0068】
合成画像生成部104は、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成し、合成画像表示部105は、生成した合成画像を表示装置11に表示する。図4乃至図6は、本発明の実施の形態1に係る画像計測装置1の合成画像生成画面の例示図である。
【0069】
まず、図4に示すように、動画表示領域41に動画像としてフレーム画像をコマ送り再生表示する。フレーム画像の前後へのコマ送り操作は、スライダ43を左右に操作する、又はフレーム番号表示領域44のフレーム番号を変動させることにより行うことができる。
【0070】
最初に「登録」ボタン46が選択されるまでは、プレビュー画面表示領域42には、動画表示領域41と同一のフレーム画像が表示される。図5は、最初に「登録」ボタン46が選択された場合の合成画像生成画面を示している。
【0071】
最初に「登録」ボタン46が選択された場合、選択された時点で動画表示領域41に表示されているフレーム画像が、合成対象画像表示領域45にコピーされて表示される。図5の例では、フレーム画像を表示すると共に、フレーム番号表示領域44のフレーム番号も表示されている。
【0072】
そして、動画像をコマ送り再生表示する。コマ送り再生表示時、プレビュー画面表示領域42には、最初に「登録」ボタン46が選択された時点で動画表示領域41に表示されていたフレーム画像に、動画表示領域41にコマ送り再生表示されているフレーム画像を重ね合わせた画像を表示する。図6は、再度「登録」ボタン46が選択された場合の合成画像生成画面を示している。
【0073】
再度「登録」ボタン46が選択された場合、選択された時点で動画表示領域41に表示されているフレーム画像が、合成対象画像表示領域45にコピーされて表示される。図6の例では、再度「登録」ボタン46が選択された時点のフレーム画像を表示すると共に、フレーム番号表示領域44のフレーム番号も表示されている。このとき、プレビュー画面表示領域42には、計測対象となる注目点として秒針が2つ表示された合成画像が表示されている。
【0074】
このように、選択を受け付けた複数のフレーム画像のサムネイル画像を合成対象画像表示領域45に表示することで、計測に用いるフレーム画像が正しいか否かを目視で確認することができる。図3に戻って、サムネイル画像生成部107は、選択を受け付けた複数のフレーム画像のサムネイル画像を生成する。サムネイル画像表示部108は、生成したサムネイル画像を元のフレーム画像を識別する識別情報、例えばフレーム番号と共に表示する。
【0075】
計測部106は、表示した合成画像上で所望の物理量を計測する。図7は、本発明の実施の形態1に係る画像計測装置1の計測画面の例示図である。計測画面では、図6のプレビュー画面表示領域42に表示された合成画像を合成画像表示領域71に表示し、計測項目選択領域72にて、計測したい項目の選択を受け付けて、所望の物理量を計測する。
【0076】
図8は、本発明の実施の形態1に係る画像計測装置1の計測画面での計測時の例示図である。図8では、図7の計測項目選択領域72にて、計測したい項目として「角度1」を選択した場合を示している。
【0077】
「角度1」の選択を受け付けて、計測対象として合成画像表示領域71に表示されている合成画像の2つの秒針84、85の選択指示を受け付けた場合、計測値表示領域82に、計測対象である秒針間の角度として計測値「30.87度」が表示される。なお、図3の合成画像表示部105は、計測した物理量及びフレーム画像間の時間差を併せて表示することが好ましい。移動距離だけでなく、速度、加速度等を画面に表示されている情報のみから計測することができるからである。図8では、時間差表示領域83に、角度の計測対象となった秒針が属するフレーム画像間の時間差が表示されている。
【0078】
なお、本発明の実施の形態1に係る画像計測装置1では、計測したい項目に対応した計測線(例えば合成画像の2つの秒針84、85上の線分)、計測点等を、表示されている合成画像に対して入力装置3を介して直接指定するように構成している。しかし、合成画像の各々の元画像に対して計測したい項目に対応した計測線、計測点等を指定するように構成し、合成画像上でそれぞれ指定された計測線、計測点等が合成されて表示され、合成画像に対して入力装置3を介して直接指定した場合と同様に、計測値表示領域82に、計測対象である秒針間の角度として計測値「30.87度」が表示され、時間差表示領域83に、角度の計測対象となった秒針が属するフレーム画像間の時間差が表示されるように構成しても良い。
【0079】
図9は、本発明の実施の形態1に係る画像計測装置1の制御部14の処理手順を示すフローチャートである。画像計測装置1の制御部14は、カメラ2で撮像した計測対象物の動画像を取得する(ステップS901)。本実施の形態1では、動画像として、所定のフレームレートで連続して撮像した一連の静止画像(フレーム画像)の集合を取得する。
【0080】
制御部14は、動画像として取得した複数のフレーム画像をコマ送り再生表示し(ステップS902)、コマ送り再生表示されたフレーム画像から、入力装置3を介して計測対象となる最初のフレーム画像の選択を受け付けたか否かを判断する(ステップS903)。制御部14が、選択を受け付けていないと判断した場合(ステップS903:NO)、制御部14は、選択の受付待ち状態となる。選択を受け付けるフレーム画像は、例えば注目点が移動を開始する時点を示すフレーム画像、振幅する場合に一端側にて最大振幅となっている時点を示すフレーム画像等である。
【0081】
制御部14が、選択を受け付けたと判断した場合(ステップS903:YES)、制御部14は、入力装置3を介して計測対象となるフレーム画像の選択を再度受け付けたか否かを判断する(ステップS904)。制御部14が、再度選択を受け付けていないと判断した場合(ステップS904:NO)、制御部14は、選択の受付待ち状態となる。再度選択を受け付けるフレーム画像は、例えば注目点が移動を終了する時点を示すフレーム画像、振幅する場合に他端側にて最大振幅となっている時点を示すフレーム画像等である。
【0082】
制御部14が、選択を受け付けたと判断した場合(ステップS904:YES)、制御部14は、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成して表示装置11に表示する(ステップS905)。制御部14は、表示した合成画像上で所定の物理量を計測し、結果を表示装置11に表示する(ステップS906)。
【0083】
以上のように、本実施の形態1によれば、選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。
【0084】
(実施の形態2)
本発明の実施の形態2に係る画像計測装置1の構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態2は、物理量計測時に正確なキャリブレーションを実行することができる点で実施の形態1と相違する。
【0085】
図10は、本発明の実施の形態2に係る画像計測装置1の一構成例を示す機能ブロック図である。図10に示すように、本発明の実施の形態2に係る画像計測装置1は、キャリブレーション実行部1001を備える以外、図3に示した実施の形態1に係る画像計測装置1と同じ構成である。
【0086】
キャリブレーション実行部1001は、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置しておき、カメラ2で計測対象物と球とを撮像して取得した動画像に基づいてキャリブレーションを実行する。具体的には、球抽出部1002が、取得した動画像から球を抽出する。抽出した球の直径の表示画面上での絶対距離rと、既知である実際の球の直径Rとの比率μ=R/rを算出して記憶装置16に記憶する。
【0087】
なお、球を計測対象物の近傍に配置するためには、例えば球を棒の先端に設けておき、動画像の撮像時に、計測対象物の近傍へと球を差しのべれば良い。このとき、カメラ2から見て、計測対象物と球とが同一の距離となるよう調整することが重要となる。
【0088】
これにより、表示画面上での計測対象物の距離r1に比率μを乗算することで、実寸値P=μ×r1を求めることができ、正確なキャリブレーションを実行することができる。図11は、本発明の実施の形態2に係る画像計測装置1のキャリブレーション実行画面の例示図である。
【0089】
図11において、計測対象物は計測対象物表示領域111に球112とともに表示されている。手動でキャリブレーションを実行する場合、「マニュアルキャリブレーション」選択ボタン115を選択し、基準長入力領域114に基準長さとして実際の球の直径の長さである「3mm」を入力する。
【0090】
次に、計測対象物表示領域111に表示されているフレーム画像から球を抽出し、抽出した球112上にて、直径に対してキャリブレーションスケール113を合わせて、「OK」ボタン116を選択する。これにより、抽出した球112の直径の表示画面上での絶対距離rと、既知である実際の球の直径Rとの比率μ=R/rを算出することができ、容易にキャリブレーションを実行することができる。
【0091】
図12は、本発明の実施の形態2に係る画像計測装置1の、キャリブレーション実行後の計測画面の例示図である。図12では、計測したい項目として「2点間(の距離計測)」を選択しており、どこの距離を計測するか指示した計測対象表示121の距離を計測して、計測結果を表示する。
【0092】
自動でキャリブレーションを実行する場合、図11において「オートキャリブレーション」選択ボタン117を選択し、事前に基準長さとして実際の球の直径の長さである「3mm」を設定しておく。取得した動画像から球112を抽出し、球112の直径の表示画面上での絶対距離rを取得することにより、比率μを算出して自動的にキャリブレーションを実行する。
【0093】
図13は、本発明の実施の形態2に係る画像計測装置1の制御部14の自動キャリブレーション処理の手順を示すフローチャートである。図13において、カメラ2から見て、計測対象物と同一の距離になるように、寸法が既知である球を配置し、カメラ2にて球が同一のフレーム画像に写り込むように計測対象物を撮像する。
【0094】
画像計測装置1の制御部14は、撮像された球及び計測対象物が写り込んだ、複数のフレーム画像で構成された動画像を取得する(ステップS1301)。制御部14は、取得した動画像の中から一のフレーム画像を選択し(ステップS1302)、選択したフレーム画像から球を抽出する(ステップS1303)。
【0095】
制御部14は、抽出した球の直径を特定し、直径の表示画面上での長さを取得する(ステップS1304)。制御部14は、取得した直径の表示画面上での長さと、事前に基準長さとして入力してある実際の球の直径の長さとの比率を算出して記憶装置16に記憶する(ステップS1305)。
【0096】
なお、球の表面に判別することが可能な模様を付し、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することにより、模様の寸法を自動的に認識して自動的にキャリブレーションを実行することもできる。図14は、本発明の実施の形態2に係る画像計測装置1の球の表面に付す模様の例示図である。
【0097】
球に付する模様としては、図14(a)に示すように、寸法が既知である正三角形であっても良いし、図14(b)に示すように、寸法が既知である四角形であっても良い。いずれであっても、寸法が既知である模様を検出することができるので、検出した模様に基づいて正確にキャリブレーションを実行することができる。
【0098】
また、取得した動画像(フレーム画像)から球を確実に抽出するために、LED等を用いて球を発光させても良い。球を発光させることにより、容易に球を抽出することができ、正確にキャリブレーションを実行することが可能となる。
【0099】
以上のように、本発明の実施の形態2によれば、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【0100】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば球に付する模様は、図14に示す模様に限定されるものではなく、寸法を計測しやすい模様であれば特に限定されるものではない。
【符号の説明】
【0101】
1 画像計測装置
2 カメラ(撮像手段)
3 入力装置
11 表示装置
12 ビデオインタフェース
13 通信インタフェース
14 制御部
15 メモリ
16 記憶装置
17 表示インタフェース
18 可搬型ディスクドライブ
19 内部バス
20 入力インタフェース
90 可搬型記録媒体
100 コンピュータプログラム
【技術分野】
【0001】
本発明は、撮像手段で撮像された動画像に基づいて、所望の物理量を計測することができる画像計測装置、該画像計測装置で実行することが可能な画像計測方法、及び該画像計測方法における処理をコンピュータに実行させるコンピュータプログラムに関する。
【背景技術】
【0002】
従来、撮像手段で計測対象物の動画像を撮像し、撮像された動画像の注目点を選定し、注目点を自動的に追尾することにより注目点の移動距離、速度、加速度等を計測する画像計測装置が開発されている。例えば特許文献1には、瞬間的な画像を撮像周期の短い連続的な複数のフレーム画像として撮像するハイスピード撮像を行い、高速動画像を撮像する動画像撮像装置が開示されている。
【0003】
特許文献1に開示してある動画像撮像装置では、撮像手段であるカメラの位置を固定し、フレーム画像を用いて移動する計測対象物の注目点を追尾することにより、注目点の移動距離、速度、加速度等を計測することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−141709号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、計測対象物の形状、計測対象物の動作が複雑な場合等、注目点の選定が困難である場合、従来の画像計測方法では十分な精度で計測することができない。また、選定した注目点が計測対象物の所望の動きを表すものとなっているか否かを判断することが困難な場合もある。さらに、従来の画像計測方法では、計測対象物の形状によってはフレーム画像を用いて注目点を追尾することが困難である場合、あるいは追尾することができない場合が生じうる。したがって、注目点の移動距離、速度、加速度等を計測することができない場合が生じるという問題点があった。
【0006】
また、複数のフレーム画像はそれぞれその瞬間の静止画像であり、時間の経過とともに移動する計測対象物については撮像位置の補正を行うことが困難であり、注目点の移動距離、速度、加速度等を計測することができないという問題点もあった。
【0007】
さらに、キャリブレーションの実行時には、寸法等が既知である計測対象物、例えば定規を計測対象物とともに撮像することが必要である。しかし、計測対象物の形状が複雑である場合には定規を撮像手段の正面に配置できるとは限らず、寸法に狂いが生じるおそれがあり、正確なキャリブレーションを実行することができないという問題点もあった。
【0008】
本発明は上記事情に鑑みてなされたものであり、注目点を選定すること、注目点を追尾すること等が困難な複雑な形状の計測対象物であっても、また時間の経過とともに移動する計測対象物であっても、所望の物理量を正確に計測することができる画像計測装置、該画像計測装置で実行することが可能な画像計測方法、及び該画像計測方法における処理をコンピュータに実行させるコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために第1発明に係る画像計測装置は、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置において、前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段と、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段と、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段と、生成した合成画像を表示する合成画像表示手段と、表示した合成画像上で所定の物理量を計測する計測手段とを備えることを特徴とする。
【0010】
また、第2発明に係る画像計測装置は、第1発明において、前記コマ送り再生表示手段は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示するようにしてあることを特徴とする。
【0011】
また、第3発明に係る画像計測装置は、第1又は第2発明において、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段と、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段とを備えることを特徴とする。
【0012】
また、第4発明に係る画像計測装置は、第1乃至第3発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示するようにしてあることを特徴とする。
【0013】
また、第5発明に係る画像計測装置は、第1乃至第4発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示するようにしてあることを特徴とする。
【0014】
また、第6発明に係る画像計測装置は、第1乃至第5発明のいずれか1つにおいて、前記合成画像表示手段は、計測した物理量及びフレーム画像間の時間差を併せて表示するようにしてあることを特徴とする。
【0015】
また、第7発明に係る画像計測装置は、第1乃至第6発明のいずれか1つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする。
【0016】
また、第8発明に係る画像計測装置は、第7発明において、取得した動画像から前記球を抽出する球抽出手段を備え、抽出した球に基づいてキャリブレーションを実行するようにしてあることを特徴とする。
【0017】
また、第9発明に係る画像計測装置は、第7発明において、前記球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行するようにしてあることを特徴とする。
【0018】
また、第10発明に係る画像計測装置は、第7乃至第9発明のいずれか1つにおいて、前記球を発光させるようにしてあることを特徴とする。
【0019】
次に、上記目的を達成するために第11発明に係る画像計測方法は、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能な画像計測方法において、前記フレーム画像をコマ送り再生表示するコマ送り再生表示工程と、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付工程と、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成工程と、生成した合成画像を表示する合成画像表示工程と、表示した合成画像上で所定の物理量を計測する計測工程とを含むことを特徴とする。
【0020】
また、第12発明に係る画像計測方法は、第11発明において、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することを特徴とする。
【0021】
また、第13発明に係る画像計測方法は、第11又は第12発明において、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成工程と、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示工程とを含むことを特徴とする。
【0022】
また、第14発明に係る画像計測方法は、第11乃至第13発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示することを特徴とする。
【0023】
また、第15発明に係る画像計測方法は、第11乃至第14発明のいずれか1つにおいて、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することを特徴とする。
【0024】
また、第16発明に係る画像計測方法は、第11乃至第15発明のいずれか1つにおいて、計測した物理量及びフレーム画像間の時間差を併せて表示することを特徴とする。
【0025】
また、第17発明に係る画像計測方法は、第11乃至第16発明のいずれか1つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする。
【0026】
また、第18発明に係る画像計測方法は、第17発明において、取得した動画像から前記球を抽出する球抽出工程を含み、抽出した球に基づいてキャリブレーションを実行することを特徴とする。
【0027】
また、第19発明に係る画像計測方法は、第17発明において、前記球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することを特徴とする。
【0028】
また、第20発明に係る画像計測方法は、第17乃至第19発明のいずれか1つにおいて、前記球を発光させることを特徴とする。
【0029】
次に、上記目的を達成するために第21発明に係るコンピュータプログラムは、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能なコンピュータプログラムにおいて、前記画像計測装置を、前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段、生成した合成画像を表示する合成画像表示手段、及び表示した合成画像上で所定の物理量を計測する計測手段として機能させることを特徴とする。
【0030】
また、第22発明に係るコンピュータプログラムは、第21発明において、前記コマ送り再生表示手段を、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示する手段として機能させることを特徴とする。
【0031】
また、第23発明に係るコンピュータプログラムは、第21又は第22発明において、前記画像計測装置を、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段、及び生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段として機能させることを特徴とする。
【0032】
また、第24発明に係るコンピュータプログラムは、第21乃至第23発明のいずれか1つにおいて、前記画像計測装置を、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示する手段として機能させることを特徴とする。
【0033】
また、第25発明に係るコンピュータプログラムは、第21乃至第24発明のいずれか1つにおいて、前記画像計測装置を、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示する手段として機能させることを特徴とする。
【0034】
また、第26発明に係るコンピュータプログラムは、第21乃至第25発明のいずれか1つにおいて、前記合成画像表示手段を、計測した物理量及びフレーム画像間の時間差を併せて表示する手段として機能させることを特徴とする。
【0035】
また、第27発明に係るコンピュータプログラムは、第21乃至第26発明のいずれか1つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記画像計測装置を、前記撮像手段で前記計測対象物と前記球とを撮像した動画像を取得する手段、及び取得した動画像に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。
【0036】
また、第28発明に係るコンピュータプログラムは、第27発明において、前記画像計測装置を、取得した動画像から前記球を抽出する球抽出手段、及び抽出した球に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。
【0037】
また、第29発明に係るコンピュータプログラムは、第27発明において、前記球の表面に判別することが可能な模様を付してあり、前記画像計測装置を、該模様を検出し、検出した模様に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。
【0038】
第1発明、第11発明及び第21発明では、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付け、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する。生成した合成画像を表示し、表示した合成画像上で所望の物理量を計測する。選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。
【0039】
第2発明、第12発明及び第22発明では、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することにより、注目点が順次移動する様子を目視で確認することができ、所望の物理量、例えば移動距離、速度、加速度等を確実に計測することが可能となる。
【0040】
第3発明、第13発明及び第23発明では、選択を受け付けた複数のフレーム画像のサムネイル画像を生成し、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示することにより、物理量を計測する対象となるフレーム画像と他のフレーム画像とを明確に区別することができ、誤ったフレーム画像を用いて計測される事態が生じることを未然に防止することができる。
【0041】
第4発明、第14発明及び第24発明では、選択を受け付けた複数のフレーム画像に識別情報を対応付け、他のフレーム画像と区別して表示することにより、物理量を計測する対象となるフレーム画像と他のフレーム画像とを明確に区別することができ、誤ったフレーム画像を用いて計測される事態が生じることを未然に防止することができる。
【0042】
第5発明、第15発明及び第25発明では、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することにより、計測対象となる注目点の変化がより鮮明になり、より正確に物理量を計測することが可能となる。
【0043】
第6発明、第16発明及び第26発明では、計測した物理量及びフレーム画像間の時間差を併せて表示することにより、所望の物理量として、移動距離だけでなく、速度、加速度等も計測することができる。
【0044】
第7発明、第17発明及び第27発明では、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してある。撮像手段で計測対象物と球とを撮像した動画像を取得し、取得した動画像に基づいてキャリブレーションを実行する。これにより、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【0045】
第8発明、第18発明及び第28発明では、取得した動画像から球を抽出し、抽出した球に基づいてキャリブレーションを実行することにより、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【0046】
第9発明、第19発明及び第29発明では、球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することにより、模様の寸法を自動的に認識し、自動的にキャリブレーションを実行することが可能となる。
【0047】
第10発明及び第20発明では、球を発光させることにより、取得した動画像から球を容易に抽出することができ、正確にキャリブレーションを実行することが可能となる。
【発明の効果】
【0048】
上記構成によれば、生成した合成画像を表示し、表示した合成画像上で所定の物理量を計測する。選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。また、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【図面の簡単な説明】
【0049】
【図1】本発明の実施の形態1に係る画像計測装置の外観を示す斜視図である。
【図2】本発明の実施の形態1に係る画像計測装置の構成を示すブロック図である。
【図3】本発明の実施の形態1に係る画像計測装置の一構成例を示す機能ブロック図である。
【図4】本発明の実施の形態1に係る画像計測装置の合成画像生成画面の例示図である。
【図5】本発明の実施の形態1に係る画像計測装置の合成画像生成画面の例示図である。
【図6】本発明の実施の形態1に係る画像計測装置の合成画像生成画面の例示図である。
【図7】本発明の実施の形態1に係る画像計測装置の計測画面の例示図である。
【図8】本発明の実施の形態1に係る画像計測装置の計測画面での計測時の例示図である。
【図9】本発明の実施の形態1に係る画像計測装置の制御部の処理手順を示すフローチャートである。
【図10】本発明の実施の形態2に係る画像計測装置の一構成例を示す機能ブロック図である。
【図11】本発明の実施の形態2に係る画像計測装置のキャリブレーション実行画面の例示図である。
【図12】本発明の実施の形態2に係る画像計測装置の、キャリブレーション実行後の計測画面の例示図である。
【図13】本発明の実施の形態2に係る画像計測装置の制御部の自動キャリブレーション処理の手順を示すフローチャートである。
【図14】本発明の実施の形態2に係る画像計測装置の球の表面に付す模様の例示図である。
【発明を実施するための形態】
【0050】
以下、本発明の実施の形態に係る画像計測装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一の符号を付して、詳細な説明を省略する。
【0051】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像計測装置の外観を示す斜視図である。図1に示すように本実施の形態1に係る画像計測装置1は、表示装置11と一体となった匡体を有しており、前面下部に、撮像手段であるカメラ2とケーブルを介して接続するビデオインタフェース12、外部機器とデータ通信することが可能に接続する通信インタフェース13等を備えている。
【0052】
図2は、本発明の実施の形態1に係る画像計測装置1の構成を示すブロック図である。図2に示すように本実施の形態1に係る画像計測装置1は、表示装置11と一体となった匡体を有しており、少なくともCPU(中央演算装置)、LSI等で構成された制御部14、メモリ15、記憶装置16、表示装置11と接続してある表示インタフェース17、外部機器とデータ通信することが可能に接続する通信インタフェース13、カメラ(撮像手段)2と接続してあるビデオインタフェース12、入力装置3と接続してある入力インタフェース20、可搬型ディスクドライブ18及び上述したハードウェアを接続する内部バス19で構成されている。
【0053】
制御部14は、内部バス19を介して画像計測装置1の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置16に記憶されるコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ15は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。
【0054】
記憶装置16は、内蔵される固定型記憶装置(ハードディスク、フラッシュメモリ)、ROM等で構成されている。記憶装置16に記憶されるコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM、フラッシュメモリ等の可搬型記録媒体90から、可搬型ディスクドライブ18によりダウンロードされ、実行時には記憶装置16からメモリ15へ展開して実行される。もちろん、通信インタフェース13を介して外部のコンピュータからダウンロードされたコンピュータプログラム100であっても良い。
【0055】
通信インタフェース13は内部バス19に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ通信を行うことが可能となっている。すなわち、上述した記憶装置16は、画像計測装置1に内蔵される構成に限定されるものではなく、通信インタフェース13を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
【0056】
入力装置3は、マウス等のポインティングデバイス、コンソール、キーボード又はリモコン操作機等の有線又は無線の操作装置の他、表示装置11と一体となったタッチパネル等の入力情報を取得する装置等、データの入力を行うことができるのであれば特に限定されるものではない。
【0057】
カメラ(撮像手段)2は、CCD撮像素子を備えたCCDカメラ等であり、計測対象物の複数のフレーム画像で構成された動画像を撮像する。表示装置11は、CRT、液晶パネル等である。なお、通信インタフェース13を介して外部制御機器が接続されていても良い。外部制御機器とは、例えばセンサ、波形収集装置、あるいはPLC(プログラマブルロジックコントローラ)等の、制御部14に後述する録画の終了タイミングの基準となるトリガ信号を与えることができる機器全般を意味している。
【0058】
図3は、本発明の実施の形態1に係る画像計測装置1の一構成例を示す機能ブロック図である。図3において、本実施の形態1に係る画像計測装置1には、カメラ2と、入力装置3とが接続されている。なお、計測対象物を照らす照明用光源を有していても良いことは言うまでもない。
【0059】
カメラ2は、例えばディジタルカメラとして機能し、ハイスピード撮像を行う。ハイスピード撮像とは、人間の目では視覚することが困難である瞬間的な対象物の動きを、連続的な複数のフレーム画像として撮像することを意味しており、例えば撮影フレームレートが100fps(frame per second)から100万fpsの間で撮像する。本実施の形態1のカメラ2は、15fps以上32000fps以下の撮影フレームレートで計測対象物を撮影することができる。本実施の形態1において動画像とは、所定の撮影フレームレートで連続して撮像した一連の静止画像(フレーム画像)の集合を意味する。
【0060】
動画像取得部101は、カメラ2で撮像した計測対象物の動画像を取得する。本実施の形態1では、録画が開始された場合、動画像として、所定の撮影フレームレートで連続して撮像した一連の静止画像が、順次、メモリ15に記憶される。メモリ15は、その一部又は全部の記憶領域をリングバッファとして構成してあり、撮像した一連の静止画像は、順次、リングバッファに格納され、制御部14にトリガ信号が入力された場合に録画が終了する。これにより、動画像として、所定の撮影フレームレートで連続して撮像した一連の静止画像の集合を取得することができる。
【0061】
トリガ信号は、ユーザが入力装置3を操作することにより制御部14に与えられる。入力装置3の操作の代わりに、あるいは入力装置3の操作に加えて、圧力センサ、加速度センサ、音センサ等のセンサ、波形収集装置、あるいはPLC(プログラマブルロジックコントローラ)等から与えられる信号をトリガ信号として設定するようにしても良い。
【0062】
制御部14は、トリガ信号の入力に応じて、予め設定された録画時間に基づいてトリガ信号の入力時点から所定時間後に録画を終了する。リングバッファと録画時間設定とにより、トリガ信号の入力時点の前及び/又は後の所定時間の動画像を取得することができる。
【0063】
コマ送り再生表示部102は、取得した動画像を構成する複数のフレーム画像を表示装置11にコマ送り再生表示する。コマ送り再生とは、ユーザが入力装置3を操作することにより、連続して撮像した一連の静止画像を1コマずつ順送り又は逆送りで表示することであり、ユーザが入力装置3の操作を停止することで最後に選択された静止画像が表示され続けることを意味する。例えば、後述するように、スライダを左右に操作する、又はフレーム番号表示領域のフレーム番号を変動させることにより、表示装置11上に順送り又は逆送りを示す各々のボタンが表示され、マウスでボタンをクリックする度に1コマずつ順送り又は逆送りされる構成である。あるいはマウスのホイールのような回転ノブの回転操作により1コマずつ順次再生され、回転方向に応じて順送り又は逆送り再生される構成であっても良い。
【0064】
なお、コマ送り再生表示部102は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することが好ましい。注目部位が順次移動する様子を目視で確認することができるからである。最初に選択を受け付けたフレーム画像とコマ送り再生表示するフレーム画像との重ね合わせは、両フレーム画像を各画素ごとに平均化して重ね合わせても良いし、両フレーム画像間で差分の大きい箇所を強調して重ね合わせても良い。また、両フレーム画像と同一動画像中の他のフレーム画像又は他の複数のフレーム画像との統計的処理により差分の大きい箇所を特定し、特定された箇所を強調して重ね合わせるようにしても良い。
【0065】
画像選択受付部103は、コマ送り再生表示されているフレーム画像から、入力装置3を介して複数のフレーム画像の選択を受け付ける。具体的には、注目点が移動を開始する時点と移動を終了する時点を示すフレーム画像、あるいは最大振幅を示す両端を示すフレーム画像等の選択を受け付ける。
【0066】
なお、選択を受け付けた複数のフレーム画像に識別情報を対応付け、他のフレーム画像と区別して表示することが好ましい。どのフレーム画像を計測に用いるのか、目視で確認することができるからである。
【0067】
また、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示しても良い。輪郭線が付与された画像が表示されることで、計測対象となる注目点の変化がより鮮明になり、より正確に物理量を計測することができるからである。
【0068】
合成画像生成部104は、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成し、合成画像表示部105は、生成した合成画像を表示装置11に表示する。図4乃至図6は、本発明の実施の形態1に係る画像計測装置1の合成画像生成画面の例示図である。
【0069】
まず、図4に示すように、動画表示領域41に動画像としてフレーム画像をコマ送り再生表示する。フレーム画像の前後へのコマ送り操作は、スライダ43を左右に操作する、又はフレーム番号表示領域44のフレーム番号を変動させることにより行うことができる。
【0070】
最初に「登録」ボタン46が選択されるまでは、プレビュー画面表示領域42には、動画表示領域41と同一のフレーム画像が表示される。図5は、最初に「登録」ボタン46が選択された場合の合成画像生成画面を示している。
【0071】
最初に「登録」ボタン46が選択された場合、選択された時点で動画表示領域41に表示されているフレーム画像が、合成対象画像表示領域45にコピーされて表示される。図5の例では、フレーム画像を表示すると共に、フレーム番号表示領域44のフレーム番号も表示されている。
【0072】
そして、動画像をコマ送り再生表示する。コマ送り再生表示時、プレビュー画面表示領域42には、最初に「登録」ボタン46が選択された時点で動画表示領域41に表示されていたフレーム画像に、動画表示領域41にコマ送り再生表示されているフレーム画像を重ね合わせた画像を表示する。図6は、再度「登録」ボタン46が選択された場合の合成画像生成画面を示している。
【0073】
再度「登録」ボタン46が選択された場合、選択された時点で動画表示領域41に表示されているフレーム画像が、合成対象画像表示領域45にコピーされて表示される。図6の例では、再度「登録」ボタン46が選択された時点のフレーム画像を表示すると共に、フレーム番号表示領域44のフレーム番号も表示されている。このとき、プレビュー画面表示領域42には、計測対象となる注目点として秒針が2つ表示された合成画像が表示されている。
【0074】
このように、選択を受け付けた複数のフレーム画像のサムネイル画像を合成対象画像表示領域45に表示することで、計測に用いるフレーム画像が正しいか否かを目視で確認することができる。図3に戻って、サムネイル画像生成部107は、選択を受け付けた複数のフレーム画像のサムネイル画像を生成する。サムネイル画像表示部108は、生成したサムネイル画像を元のフレーム画像を識別する識別情報、例えばフレーム番号と共に表示する。
【0075】
計測部106は、表示した合成画像上で所望の物理量を計測する。図7は、本発明の実施の形態1に係る画像計測装置1の計測画面の例示図である。計測画面では、図6のプレビュー画面表示領域42に表示された合成画像を合成画像表示領域71に表示し、計測項目選択領域72にて、計測したい項目の選択を受け付けて、所望の物理量を計測する。
【0076】
図8は、本発明の実施の形態1に係る画像計測装置1の計測画面での計測時の例示図である。図8では、図7の計測項目選択領域72にて、計測したい項目として「角度1」を選択した場合を示している。
【0077】
「角度1」の選択を受け付けて、計測対象として合成画像表示領域71に表示されている合成画像の2つの秒針84、85の選択指示を受け付けた場合、計測値表示領域82に、計測対象である秒針間の角度として計測値「30.87度」が表示される。なお、図3の合成画像表示部105は、計測した物理量及びフレーム画像間の時間差を併せて表示することが好ましい。移動距離だけでなく、速度、加速度等を画面に表示されている情報のみから計測することができるからである。図8では、時間差表示領域83に、角度の計測対象となった秒針が属するフレーム画像間の時間差が表示されている。
【0078】
なお、本発明の実施の形態1に係る画像計測装置1では、計測したい項目に対応した計測線(例えば合成画像の2つの秒針84、85上の線分)、計測点等を、表示されている合成画像に対して入力装置3を介して直接指定するように構成している。しかし、合成画像の各々の元画像に対して計測したい項目に対応した計測線、計測点等を指定するように構成し、合成画像上でそれぞれ指定された計測線、計測点等が合成されて表示され、合成画像に対して入力装置3を介して直接指定した場合と同様に、計測値表示領域82に、計測対象である秒針間の角度として計測値「30.87度」が表示され、時間差表示領域83に、角度の計測対象となった秒針が属するフレーム画像間の時間差が表示されるように構成しても良い。
【0079】
図9は、本発明の実施の形態1に係る画像計測装置1の制御部14の処理手順を示すフローチャートである。画像計測装置1の制御部14は、カメラ2で撮像した計測対象物の動画像を取得する(ステップS901)。本実施の形態1では、動画像として、所定のフレームレートで連続して撮像した一連の静止画像(フレーム画像)の集合を取得する。
【0080】
制御部14は、動画像として取得した複数のフレーム画像をコマ送り再生表示し(ステップS902)、コマ送り再生表示されたフレーム画像から、入力装置3を介して計測対象となる最初のフレーム画像の選択を受け付けたか否かを判断する(ステップS903)。制御部14が、選択を受け付けていないと判断した場合(ステップS903:NO)、制御部14は、選択の受付待ち状態となる。選択を受け付けるフレーム画像は、例えば注目点が移動を開始する時点を示すフレーム画像、振幅する場合に一端側にて最大振幅となっている時点を示すフレーム画像等である。
【0081】
制御部14が、選択を受け付けたと判断した場合(ステップS903:YES)、制御部14は、入力装置3を介して計測対象となるフレーム画像の選択を再度受け付けたか否かを判断する(ステップS904)。制御部14が、再度選択を受け付けていないと判断した場合(ステップS904:NO)、制御部14は、選択の受付待ち状態となる。再度選択を受け付けるフレーム画像は、例えば注目点が移動を終了する時点を示すフレーム画像、振幅する場合に他端側にて最大振幅となっている時点を示すフレーム画像等である。
【0082】
制御部14が、選択を受け付けたと判断した場合(ステップS904:YES)、制御部14は、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成して表示装置11に表示する(ステップS905)。制御部14は、表示した合成画像上で所定の物理量を計測し、結果を表示装置11に表示する(ステップS906)。
【0083】
以上のように、本実施の形態1によれば、選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。
【0084】
(実施の形態2)
本発明の実施の形態2に係る画像計測装置1の構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態2は、物理量計測時に正確なキャリブレーションを実行することができる点で実施の形態1と相違する。
【0085】
図10は、本発明の実施の形態2に係る画像計測装置1の一構成例を示す機能ブロック図である。図10に示すように、本発明の実施の形態2に係る画像計測装置1は、キャリブレーション実行部1001を備える以外、図3に示した実施の形態1に係る画像計測装置1と同じ構成である。
【0086】
キャリブレーション実行部1001は、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置しておき、カメラ2で計測対象物と球とを撮像して取得した動画像に基づいてキャリブレーションを実行する。具体的には、球抽出部1002が、取得した動画像から球を抽出する。抽出した球の直径の表示画面上での絶対距離rと、既知である実際の球の直径Rとの比率μ=R/rを算出して記憶装置16に記憶する。
【0087】
なお、球を計測対象物の近傍に配置するためには、例えば球を棒の先端に設けておき、動画像の撮像時に、計測対象物の近傍へと球を差しのべれば良い。このとき、カメラ2から見て、計測対象物と球とが同一の距離となるよう調整することが重要となる。
【0088】
これにより、表示画面上での計測対象物の距離r1に比率μを乗算することで、実寸値P=μ×r1を求めることができ、正確なキャリブレーションを実行することができる。図11は、本発明の実施の形態2に係る画像計測装置1のキャリブレーション実行画面の例示図である。
【0089】
図11において、計測対象物は計測対象物表示領域111に球112とともに表示されている。手動でキャリブレーションを実行する場合、「マニュアルキャリブレーション」選択ボタン115を選択し、基準長入力領域114に基準長さとして実際の球の直径の長さである「3mm」を入力する。
【0090】
次に、計測対象物表示領域111に表示されているフレーム画像から球を抽出し、抽出した球112上にて、直径に対してキャリブレーションスケール113を合わせて、「OK」ボタン116を選択する。これにより、抽出した球112の直径の表示画面上での絶対距離rと、既知である実際の球の直径Rとの比率μ=R/rを算出することができ、容易にキャリブレーションを実行することができる。
【0091】
図12は、本発明の実施の形態2に係る画像計測装置1の、キャリブレーション実行後の計測画面の例示図である。図12では、計測したい項目として「2点間(の距離計測)」を選択しており、どこの距離を計測するか指示した計測対象表示121の距離を計測して、計測結果を表示する。
【0092】
自動でキャリブレーションを実行する場合、図11において「オートキャリブレーション」選択ボタン117を選択し、事前に基準長さとして実際の球の直径の長さである「3mm」を設定しておく。取得した動画像から球112を抽出し、球112の直径の表示画面上での絶対距離rを取得することにより、比率μを算出して自動的にキャリブレーションを実行する。
【0093】
図13は、本発明の実施の形態2に係る画像計測装置1の制御部14の自動キャリブレーション処理の手順を示すフローチャートである。図13において、カメラ2から見て、計測対象物と同一の距離になるように、寸法が既知である球を配置し、カメラ2にて球が同一のフレーム画像に写り込むように計測対象物を撮像する。
【0094】
画像計測装置1の制御部14は、撮像された球及び計測対象物が写り込んだ、複数のフレーム画像で構成された動画像を取得する(ステップS1301)。制御部14は、取得した動画像の中から一のフレーム画像を選択し(ステップS1302)、選択したフレーム画像から球を抽出する(ステップS1303)。
【0095】
制御部14は、抽出した球の直径を特定し、直径の表示画面上での長さを取得する(ステップS1304)。制御部14は、取得した直径の表示画面上での長さと、事前に基準長さとして入力してある実際の球の直径の長さとの比率を算出して記憶装置16に記憶する(ステップS1305)。
【0096】
なお、球の表面に判別することが可能な模様を付し、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することにより、模様の寸法を自動的に認識して自動的にキャリブレーションを実行することもできる。図14は、本発明の実施の形態2に係る画像計測装置1の球の表面に付す模様の例示図である。
【0097】
球に付する模様としては、図14(a)に示すように、寸法が既知である正三角形であっても良いし、図14(b)に示すように、寸法が既知である四角形であっても良い。いずれであっても、寸法が既知である模様を検出することができるので、検出した模様に基づいて正確にキャリブレーションを実行することができる。
【0098】
また、取得した動画像(フレーム画像)から球を確実に抽出するために、LED等を用いて球を発光させても良い。球を発光させることにより、容易に球を抽出することができ、正確にキャリブレーションを実行することが可能となる。
【0099】
以上のように、本発明の実施の形態2によれば、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。
【0100】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば球に付する模様は、図14に示す模様に限定されるものではなく、寸法を計測しやすい模様であれば特に限定されるものではない。
【符号の説明】
【0101】
1 画像計測装置
2 カメラ(撮像手段)
3 入力装置
11 表示装置
12 ビデオインタフェース
13 通信インタフェース
14 制御部
15 メモリ
16 記憶装置
17 表示インタフェース
18 可搬型ディスクドライブ
19 内部バス
20 入力インタフェース
90 可搬型記録媒体
100 コンピュータプログラム
【特許請求の範囲】
【請求項1】
計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置において、
前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段と、
コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段と、
選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段と、
生成した合成画像を表示する合成画像表示手段と、
表示した合成画像上で所定の物理量を計測する計測手段と
を備えることを特徴とする画像計測装置。
【請求項2】
前記コマ送り再生表示手段は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示するようにしてあることを特徴とする請求項1に記載の画像計測装置。
【請求項3】
選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段と、
生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段と
を備えることを特徴とする請求項1又は2記載の画像計測装置。
【請求項4】
選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示するようにしてあることを特徴とする請求項1乃至3のいずれか一項に記載の画像計測装置。
【請求項5】
選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示するようにしてあることを特徴とする請求項1乃至4のいずれか一項に記載の画像計測装置。
【請求項6】
前記合成画像表示手段は、計測した物理量及びフレーム画像間の時間差を併せて表示するようにしてあることを特徴とする請求項1乃至5のいずれか一項に記載の画像計測装置。
【請求項7】
寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする請求項1乃至6のいずれか一項に記載の画像計測装置。
【請求項8】
取得した動画像から前記球を抽出する球抽出手段を備え、
抽出した球に基づいてキャリブレーションを実行するようにしてあることを特徴とする請求項7に記載の画像計測装置。
【請求項9】
前記球の表面に判別することが可能な模様を付してあり、
該模様を検出し、検出した模様に基づいてキャリブレーションを実行するようにしてあることを特徴とする請求項7に記載の画像計測装置。
【請求項10】
前記球を発光させるようにしてあることを特徴とする請求項7乃至9のいずれか一項に記載の画像計測装置。
【請求項11】
計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能な画像計測方法において、
前記フレーム画像をコマ送り再生表示するコマ送り再生表示工程と、
コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付工程と、
選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成工程と、
生成した合成画像を表示する合成画像表示工程と、
表示した合成画像上で所定の物理量を計測する計測工程と
を含むことを特徴とする画像計測方法。
【請求項12】
最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することを特徴とする請求項11に記載の画像計測方法。
【請求項13】
選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成工程と、
生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示工程と
を含むことを特徴とする請求項11又は12記載の画像計測方法。
【請求項14】
選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示することを特徴とする請求項11乃至13のいずれか一項に記載の画像計測方法。
【請求項15】
選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することを特徴とする請求項11乃至14のいずれか一項に記載の画像計測方法。
【請求項16】
計測した物理量及びフレーム画像間の時間差を併せて表示することを特徴とする請求項11乃至15のいずれか一項に記載の画像計測方法。
【請求項17】
寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする請求項11乃至16のいずれか一項に記載の画像計測方法。
【請求項18】
取得した動画像から前記球を抽出する球抽出工程を含み、
抽出した球に基づいてキャリブレーションを実行することを特徴とする請求項17に記載の画像計測方法。
【請求項19】
前記球の表面に判別することが可能な模様を付してあり、
該模様を検出し、検出した模様に基づいてキャリブレーションを実行することを特徴とする請求項17に記載の画像計測方法。
【請求項20】
前記球を発光させることを特徴とする請求項17乃至19のいずれか一項に記載の画像計測方法。
【請求項21】
計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能なコンピュータプログラムにおいて、
前記画像計測装置を、
前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段、
コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段、
選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段、
生成した合成画像を表示する合成画像表示手段、及び
表示した合成画像上で所定の物理量を計測する計測手段
として機能させることを特徴とするコンピュータプログラム。
【請求項22】
前記コマ送り再生表示手段を、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示する手段として機能させることを特徴とする請求項21に記載のコンピュータプログラム。
【請求項23】
前記画像計測装置を、
選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段、及び
生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段
として機能させることを特徴とする請求項21又は22記載のコンピュータプログラム。
【請求項24】
前記画像計測装置を、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示する手段として機能させることを特徴とする請求項21乃至23のいずれか一項に記載のコンピュータプログラム。
【請求項25】
前記画像計測装置を、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示する手段として機能させることを特徴とする請求項21乃至24のいずれか一項に記載のコンピュータプログラム。
【請求項26】
前記合成画像表示手段を、計測した物理量及びフレーム画像間の時間差を併せて表示する手段として機能させることを特徴とする請求項21乃至25のいずれか一項に記載のコンピュータプログラム。
【請求項27】
寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、
前記画像計測装置を、
前記撮像手段で前記計測対象物と前記球とを撮像した動画像を取得する手段、及び
取得した動画像に基づいてキャリブレーションを実行する手段
として機能させることを特徴とする請求項21乃至26のいずれか一項に記載のコンピュータプログラム。
【請求項28】
前記画像計測装置を、
取得した動画像から前記球を抽出する球抽出手段、及び
抽出した球に基づいてキャリブレーションを実行する手段
として機能させることを特徴とする請求項27に記載のコンピュータプログラム。
【請求項29】
前記球の表面に判別することが可能な模様を付してあり、
前記画像計測装置を、
該模様を検出し、検出した模様に基づいてキャリブレーションを実行する手段として機能させることを特徴とする請求項27に記載のコンピュータプログラム。
【請求項1】
計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置において、
前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段と、
コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段と、
選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段と、
生成した合成画像を表示する合成画像表示手段と、
表示した合成画像上で所定の物理量を計測する計測手段と
を備えることを特徴とする画像計測装置。
【請求項2】
前記コマ送り再生表示手段は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示するようにしてあることを特徴とする請求項1に記載の画像計測装置。
【請求項3】
選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段と、
生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段と
を備えることを特徴とする請求項1又は2記載の画像計測装置。
【請求項4】
選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示するようにしてあることを特徴とする請求項1乃至3のいずれか一項に記載の画像計測装置。
【請求項5】
選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示するようにしてあることを特徴とする請求項1乃至4のいずれか一項に記載の画像計測装置。
【請求項6】
前記合成画像表示手段は、計測した物理量及びフレーム画像間の時間差を併せて表示するようにしてあることを特徴とする請求項1乃至5のいずれか一項に記載の画像計測装置。
【請求項7】
寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする請求項1乃至6のいずれか一項に記載の画像計測装置。
【請求項8】
取得した動画像から前記球を抽出する球抽出手段を備え、
抽出した球に基づいてキャリブレーションを実行するようにしてあることを特徴とする請求項7に記載の画像計測装置。
【請求項9】
前記球の表面に判別することが可能な模様を付してあり、
該模様を検出し、検出した模様に基づいてキャリブレーションを実行するようにしてあることを特徴とする請求項7に記載の画像計測装置。
【請求項10】
前記球を発光させるようにしてあることを特徴とする請求項7乃至9のいずれか一項に記載の画像計測装置。
【請求項11】
計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能な画像計測方法において、
前記フレーム画像をコマ送り再生表示するコマ送り再生表示工程と、
コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付工程と、
選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成工程と、
生成した合成画像を表示する合成画像表示工程と、
表示した合成画像上で所定の物理量を計測する計測工程と
を含むことを特徴とする画像計測方法。
【請求項12】
最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することを特徴とする請求項11に記載の画像計測方法。
【請求項13】
選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成工程と、
生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示工程と
を含むことを特徴とする請求項11又は12記載の画像計測方法。
【請求項14】
選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示することを特徴とする請求項11乃至13のいずれか一項に記載の画像計測方法。
【請求項15】
選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することを特徴とする請求項11乃至14のいずれか一項に記載の画像計測方法。
【請求項16】
計測した物理量及びフレーム画像間の時間差を併せて表示することを特徴とする請求項11乃至15のいずれか一項に記載の画像計測方法。
【請求項17】
寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする請求項11乃至16のいずれか一項に記載の画像計測方法。
【請求項18】
取得した動画像から前記球を抽出する球抽出工程を含み、
抽出した球に基づいてキャリブレーションを実行することを特徴とする請求項17に記載の画像計測方法。
【請求項19】
前記球の表面に判別することが可能な模様を付してあり、
該模様を検出し、検出した模様に基づいてキャリブレーションを実行することを特徴とする請求項17に記載の画像計測方法。
【請求項20】
前記球を発光させることを特徴とする請求項17乃至19のいずれか一項に記載の画像計測方法。
【請求項21】
計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能なコンピュータプログラムにおいて、
前記画像計測装置を、
前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段、
コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段、
選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段、
生成した合成画像を表示する合成画像表示手段、及び
表示した合成画像上で所定の物理量を計測する計測手段
として機能させることを特徴とするコンピュータプログラム。
【請求項22】
前記コマ送り再生表示手段を、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示する手段として機能させることを特徴とする請求項21に記載のコンピュータプログラム。
【請求項23】
前記画像計測装置を、
選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段、及び
生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段
として機能させることを特徴とする請求項21又は22記載のコンピュータプログラム。
【請求項24】
前記画像計測装置を、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示する手段として機能させることを特徴とする請求項21乃至23のいずれか一項に記載のコンピュータプログラム。
【請求項25】
前記画像計測装置を、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示する手段として機能させることを特徴とする請求項21乃至24のいずれか一項に記載のコンピュータプログラム。
【請求項26】
前記合成画像表示手段を、計測した物理量及びフレーム画像間の時間差を併せて表示する手段として機能させることを特徴とする請求項21乃至25のいずれか一項に記載のコンピュータプログラム。
【請求項27】
寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、
前記画像計測装置を、
前記撮像手段で前記計測対象物と前記球とを撮像した動画像を取得する手段、及び
取得した動画像に基づいてキャリブレーションを実行する手段
として機能させることを特徴とする請求項21乃至26のいずれか一項に記載のコンピュータプログラム。
【請求項28】
前記画像計測装置を、
取得した動画像から前記球を抽出する球抽出手段、及び
抽出した球に基づいてキャリブレーションを実行する手段
として機能させることを特徴とする請求項27に記載のコンピュータプログラム。
【請求項29】
前記球の表面に判別することが可能な模様を付してあり、
前記画像計測装置を、
該模様を検出し、検出した模様に基づいてキャリブレーションを実行する手段として機能させることを特徴とする請求項27に記載のコンピュータプログラム。
【図1】
【図2】
【図3】
【図9】
【図10】
【図13】
【図14】
【図4】
【図5】
【図6】
【図7】
【図8】
【図11】
【図12】
【図2】
【図3】
【図9】
【図10】
【図13】
【図14】
【図4】
【図5】
【図6】
【図7】
【図8】
【図11】
【図12】
【公開番号】特開2012−98084(P2012−98084A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−244329(P2010−244329)
【出願日】平成22年10月29日(2010.10.29)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願日】平成22年10月29日(2010.10.29)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】
[ Back to top ]