画像処理方法、プログラム、および画像処理装置
【課題】計測時の手間を低減する。
【解決手段】ＣＰＵ３４ｃは、ブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する。ＣＰＵ３４ｃは、第１のブレード画像とテンプレート画像とを比較し、第１のブレード画像の中から、テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する。ＣＰＵ３４ｃは、予め算出された３次元形状を有する物体の画像をテンプレート画像に重畳した第１の画像を表示部に表示し、テンプレート画像におけるブレードの姿勢に一致するように、第１の画像における物体の姿勢を制御する。ＣＰＵ３４ｃは、この物体の画像を第２のブレード画像に重畳した第２の画像を表示部に表示する。ＣＰＵ３４ｃは、第２の画像における物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、物体のサイズを算出する。
【解決手段】ＣＰＵ３４ｃは、ブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する。ＣＰＵ３４ｃは、第１のブレード画像とテンプレート画像とを比較し、第１のブレード画像の中から、テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する。ＣＰＵ３４ｃは、予め算出された３次元形状を有する物体の画像をテンプレート画像に重畳した第１の画像を表示部に表示し、テンプレート画像におけるブレードの姿勢に一致するように、第１の画像における物体の姿勢を制御する。ＣＰＵ３４ｃは、この物体の画像を第２のブレード画像に重畳した第２の画像を表示部に表示する。ＣＰＵ３４ｃは、第２の画像における物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、物体のサイズを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェットエンジン内に周期的に配置されたブレードを撮像した画像を処理する画像処理方法、プログラム、および画像処理装置に関する。
【背景技術】
【０００２】
従来、内視鏡等の観察用治具を使用して、ジェットエンジン内のブレードの計測が行われている。特許文献１には、ブレード等の計測に適した技術が記載されている。この特許文献１に記載された技術では、被写体を撮像した被写体画像と、コンピュータグラフィックス（ＣＧ）により生成したＣＧ画像とをモニタに表示し、ＣＧ画像における物体の状態と被写体画像における被写体の状態とが一致するように、ユーザの指示に基づいてＣＧ画像を変更し、計測を行いたい部分に対してＣＧ画像上で計測を行うことが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平３−１０２２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術では、被写体の見え方が異なる複数の被写体画像を切り替えながら各被写体画像に対して計測を行う場合、被写体画像を切り替えるたびに、ＣＧ画像における物体の状態を被写体画像における被写体の状態に一致させる操作が必要となる。このため、ジェットエンジン内に周期的に配置された複数のブレードの計測を行う場合、上記の操作が頻繁に発生し、手間がかかるという問題がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、計測時の手間を低減することができる画像処理方法、プログラム、および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、を備えたことを特徴とする画像処理方法である。
【０００７】
また、本発明の画像処理方法において、前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御することを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記第３のステップでは、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする。
【０００９】
また、本発明の画像処理方法において、前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御した後、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記第４のステップでは、前記第３のステップで姿勢が制御された前記物体の姿勢と同一姿勢の前記物体を前記第２のブレード画像に重畳することを特徴とする。
【００１１】
また、本発明の画像処理方法は、前記第２のブレード画像を切り替えながら、前記第４のステップと前記第５のステップを繰り返すことを特徴とする。
【００１２】
また、本発明の画像処理方法において、前記第５のステップではさらに、前記物体上に前記計測点を表示することを特徴とする。
【００１３】
また、本発明の画像処理方法において、前記第５のステップではさらに、前記物体のサイズを表示することを特徴とする。
【００１４】
また、本発明の画像処理方法において、前記テンプレート画像が、良品のブレードを撮像した画像であることを特徴とする。
【００１５】
また、本発明は、ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、をコンピュータに実行させるためのプログラムである。
【００１６】
また、本発明は、ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出するテンプレート画像抽出部と、前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出するブレード画像抽出部と、予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示した後、前記物体の画像を前記第２のブレード画像に重畳した第２の画像を表示する表示部と、
前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する制御部と、入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する算出部と、を備えたことを特徴とする画像処理装置である。
【発明の効果】
【００１７】
本発明によれば、予め算出された３次元形状を有する物体の画像をテンプレート画像に重畳した第１の画像が表示され、テンプレート画像におけるブレードの姿勢に一致するように物体の姿勢が制御される。第２のブレード画像は、テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含むため、物体の画像を第２のブレード画像に重畳した第２の画像では、物体の姿勢を、第２のブレード画像におけるブレードの姿勢に一致させることが可能となる。したがって、第２のブレード画像を表示して計測を行う際、物体の姿勢を調整する操作が不要になるため、計測時の手間を低減することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態によるブレード検査システムの構成を示すブロック図である。
【図２】本発明の一実施形態によるブレード検査システムが備える内視鏡装置の構成を示すブロック図である。
【図３】本発明の一実施形態によるブレード検査システム（変形例）の構成を示すブロック図である。
【図４】本発明の一実施形態によるブレード検査システム（変形例）の構成を示すブロック図である。
【図５】本発明の一実施形態によるブレード検査システム（変形例）が備えるＰＣの構成を示すブロック図である。
【図６】本発明の一実施形態におけるブレード記録ソフトの画面を示す参考図である。
【図７】本発明の一実施形態におけるブレード記録ソフトの画面を示す参考図である。
【図８】本発明の一実施形態におけるメモリカード内のディレクトリ構造を示す参考図である。
【図９】本発明の一実施形態における保存フォルダリストを示す参考図である。
【図１０】本発明の一実施形態における画像ファイルリストを示す参考図である。
【図１１】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１２】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１３】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１４】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１５】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１６】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１７】本発明の一実施形態における相関値の経時変化を示すグラフである。
【図１８】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１９】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２０】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２１】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２２】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２３】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２４】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２５】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２６】本発明の一実施形態におけるカメラ位置の変更方法を説明するための参考図である。
【図２７】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２８】本発明の一実施形態におけるカメラ回転角度の変更方法を説明するための参考図である。
【図２９】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図３０】本発明の一実施形態におけるカメラ奥行きの変更方法を説明するための参考図である。
【図３１】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３２】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３３】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３４】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３５】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【図３６】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【図３７】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【図３８】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本実施形態によるブレード検査システムの構成を示している。ジェットエンジン１内には、検査対象物である複数のタービンブレード１０（もしくはコンプレッサーブレード）が所定の間隔で周期的に配置されている。また、ジェットエンジン１には、タービンブレード１０を回転方向Ａに所定の速度で回転させるターニングツール２が接続されている。本実施形態では、タービンブレード１０の画像を取り込んでいる間は常にタービンブレード１０を回転させた状態にしている。
【００２０】
本実施形態では、タービンブレード１０の画像を取得するため、内視鏡装置３（本発明の画像処理装置に対応）が用いられる。ジェットエンジン１の内部には、内視鏡装置３の内視鏡挿入部２０が挿入されており、この内視鏡挿入部２０により、回転しているタービンブレード１０の映像が取り込まれる。また、内視鏡装置３には、タービンブレード１０を所望の角度で撮像した画像を記録するためのブレード記録ソフトが記憶されている。
【００２１】
図２は内視鏡装置３の構成を示している。内視鏡装置３は、内視鏡挿入部２０、内視鏡装置本体２１、モニタ２２、およびリモコン（リモートコントローラ）２３から構成されている。内視鏡挿入部２０の先端には、撮像光学系３０ａおよび撮像素子３０ｂが内蔵されている。また、内視鏡装置本体２１には、画像信号処理装置（ＣＣＵ）３１、光源３２、湾曲制御ユニット３３、および制御用コンピュータ３４が内蔵されている。
【００２２】
内視鏡挿入部２０において、撮像光学系３０ａは被写体からの光を集光し、撮像素子３０ｂの撮像面上に被写体像を結像する。撮像素子３０ｂは、被写体像を光電変換して撮像信号を生成する。撮像素子３０ｂから出力された撮像信号は画像信号処理装置３１に入力される。
【００２３】
内視鏡装置本体２１において、画像信号処理装置３１は、撮像素子３０ｂからの撮像信号をＮＴＳＣ信号等の映像信号に変換して制御用コンピュータ３４に供給し、さらに必要に応じてアナログビデオ出力として、外部に出力する。
【００２４】
光源３２は、光ファイバ等を通じて内視鏡挿入部２０の先端に接続されており、光を外部に照射することができる。湾曲制御ユニット３３は内視鏡挿入部２０の先端と接続されており、先端を上下左右に湾曲させることができる。光源３２および湾曲制御ユニット３３の制御は、制御用コンピュータ３４によって行われる。
【００２５】
制御用コンピュータ３４は、ＲＡＭ３４ａ、ＲＯＭ３４ｂ、ＣＰＵ３４ｃ、外部インターフェースとしてネットワークＩ／Ｆ３４ｄ、ＲＳ２３２Ｃ Ｉ／Ｆ３４ｅ、カード Ｉ／Ｆ３４ｆから構成されている。ＲＡＭ３４ａは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ＲＯＭ３４ｂには、内視鏡装置３を制御するための一連のソフトウェア（プログラム）が記憶されており、後述するブレード記録ソフトもＲＯＭ３４ｂ内に記憶される。ＣＰＵ３４ｃは、ＲＯＭ３４ｂに記憶されているソフトウェアの命令コードに従って、ＲＡＭ３４ａに記憶されたデータを用いて各種制御のための演算等を実行する。
【００２６】
ネットワークＩ／Ｆ３４ｄは、外部ＰＣとＬＡＮケーブルによって接続するためのインターフェースであり、外部ＰＣに対して、画像信号処理装置３１から出力された映像情報を展開することができる。ＲＳ２３２Ｃ Ｉ／Ｆ３４ｅは、リモコン２３と接続するためのインターフェースであり、このリモコン２３をユーザが操作することによって、内視鏡装置３の各種動作を制御することができる。カード Ｉ／Ｆ３４ｆは、記録媒体である各種メモリカード５０を自由に着脱できるようになっている。メモリカード５０を装着することにより、ＣＰＵ３４ｃの制御によって、メモリカード５０に記憶されている画像情報等のデータを取り込み、あるいは画像情報等のデータをメモリカード５０に記録することができる。
【００２７】
本実施形態によるブレード検査システムの構成の変形例として、図３に示す構成を用いてもよい。本変形例では、内視鏡装置３にビデオ端子ケーブル４およびビデオキャプチャカード５が接続されており、これによって、内視鏡装置３が取り込んだ映像をＰＣ６（本発明の画像処理装置に対応）にも取り込ませることが可能となっている。ＰＣ６は、図３ではノート型ＰＣとして描かれているが、デスクトップ型のＰＣ等でもよい。ＰＣ６には、タービンブレード１０を所望の角度で撮像した画像を記録するためのブレード記録ソフトが記憶されている。
【００２８】
さらに、図３では、ＰＣ６への映像の取り込みにビデオ端子ケーブル４およびビデオキャプチャカード５を用いているが、図４に示すようにＬＡＮケーブル７を用いてもよい。内視鏡装置３は、取り込まれた映像をＬＡＮネットワーク上に展開することのできるネットワークＩ／Ｆ３４ｄを備えている。そして、ＬＡＮケーブル７を通じて、ＰＣ６に映像を取りませることができる。
【００２９】
図５はＰＣ６の構成を示している。ＰＣ６はＰＣ本体２４およびモニタ２５から構成されている。ＰＣ本体２４には、制御用コンピュータ３５が内蔵されている。制御用コンピュータ３５は、ＲＡＭ３５ａ、ＨＤＤ（ハードディスクドライブ）３５ｂ、ＣＰＵ３５ｃ、外部インターフェースとして、ネットワークＩ／Ｆ３５ｄ、ＵＳＢ Ｉ／Ｆ３５ｅから構成されている。制御用コンピュータ３５はモニタ２５に接続されており、映像情報およびソフトウェアの画面等がモニタ２５に表示される。
【００３０】
ＲＡＭ３５ａは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ＨＤＤ３５ｂには、内視鏡装置を制御するために一連のソフトウェアが記憶されており、ブレード記録ソフトもＨＤＤ３５ｂ内に記憶される。また、本実施形態では、タービンブレード１０の画像を保存する保存用フォルダはＨＤＤ３５ｂ内に設定される。ＣＰＵ３５ｃは、ＨＤＤ３５ｂに記憶されているソフトウェアの命令コードに従って、ＲＡＭ３５ａに記憶されたデータを用いて各種制御のための演算等を実行する。
【００３１】
ネットワークＩ／Ｆ３５ｄは、内視鏡装置３とＰＣ６をＬＡＮケーブル７によって接続するためのインターフェースであり、内視鏡装置３からＬＡＮ出力された映像情報をＰＣ６に入力することができる。ＵＳＢ Ｉ／Ｆ３５ｅは、内視鏡装置３とＰＣ６をビデオキャプチャカード５によって接続するためのインターフェースであり、内視鏡装置３からアナログビデオ出力された映像情報をＰＣ６に入力することができる。
【００３２】
図３および図４に示すブレード検査システムでは、図１に示すブレード検査システムと同様の効果を得ることができる。特に、内視鏡装置の性能がＰＣよりも劣っており、内視鏡装置の動作速度等が十分でない場合等に、図３および図４に示すブレード検査システムは有効である。
【００３３】
次に、ブレード記録ソフトの画面を説明する。図６は、ブレード記録ソフトのメインウィンドウを示している。図６に示すメインウィンドウ６００は、ユーザがブレード記録ソフトを起動した際に表示される。
【００３４】
メインウィンドウ６００の表示は、ＣＰＵ３４ｃによる制御に従って行われる。ＣＰＵ３４ｃは、メインウィンドウ６００を表示するためのグラフィック画像信号（表示信号）を生成し、モニタ２２へ出力する。また、内視鏡装置３に取り込まれた映像（以下、内視鏡映像と記載）をメインウィンドウ６００上に重畳表示する場合には、ＣＰＵ３４ｃは、画像信号処理装置３１から取り込んだ画像データをグラフィック画像信号に重畳する処理を行い、処理後の信号（表示信号）をモニタ２２へ出力する。
【００３５】
また、メインウィンドウ６００上のＧＵＩの表示状態を更新する場合、ＣＰＵ３４ｃは、更新後のメインウィンドウ６００に対応したグラフィック画像信号を生成し、上記と同様の処理を行う。メインウィンドウ６００以外のウィンドウの表示に係る処理も上記と同様である。以下、メインウィンドウ６００等を表示（更新も含む）するためにＣＰＵ３４ｃがグラフィック画像信号を生成する処理のことを、メインウィンドウ６００等を表示するための処理と記載する。
【００３６】
ユーザは、ＧＵＩ（グラフィカルユーザインタフェース）機能を利用して、リモコン２３を介してメインウィンドウ６００を操作することにより、内視鏡映像の閲覧および画像ファイルの保存を行うことができる。以下、各種ＧＵＩの機能を説明する。
【００３７】
メインウィンドウ６００の上部には、[プレビュー画像]ボックス６０１、[テンプレート画像]ボックス６０２、[レコード画像]ボックス６０３が配置されている。
【００３８】
[プレビュー画像]ボックス６０１は、内視鏡映像を表示するためのボックスである。ターニングツール２によってタービンブレード１０が回転している状態のとき、後述する[プレビュー開始]ボタン６１０が押下されると、内視鏡映像（タービンブレード１０が回転している映像）がリアルタイムに表示される。このように、[プレビュー画像]ボックス６０１により、ユーザは内視鏡映像を閲覧することができる。以下、[プレビュー画像]ボックス６０１に内視鏡映像が表示されることを、プレビューと記載する。
【００３９】
[テンプレート画像]ボックス６０２は、テンプレート画像を表示するためのボックスである。後述する[テンプレート登録]ボタン６１２が押下されると、内視鏡映像を構成する各フレームの画像のうち、そのタイミングで取りこまれた１フレーム分の画像が、[テンプレート画像]ボックス６０２にテンプレート画像として表示される。テンプレート画像とは、後述するレコード画像を表示する際に基準となる画像のことである。
【００４０】
[レコード画像]ボックス６０３は、後述するレコード画像を表示するためのボックスである。後述する[レコード開始]ボタン６１３が押下された後、内視鏡映像を構成する各フレームの画像のうち、テンプレート画像との相関の高い画像（以下、レコード画像と記載）が順次表示される。[レコード画像]ボックス６０３に表示されたレコード画像は、画像ファイルとしてメモリカード５０内の保存フォルダに順次保存される。
【００４１】
ここで保存される画像ファイルを、以下、レコード画像ファイルと記載する。また、レコード画像ファイルをメモリカード５０内の保存フォルダに順次保存することを、以下、レコードと記載する。保存フォルダの詳細については、後述する。
【００４２】
[プレビュー開始]ボタン６１０は、[プレビュー画像]ボックス６０１への内視鏡映像の表示を開始するためのボタンである。[プレビュー停止]ボタン６１１は、[プレビュー画像]ボックス６０１への内視鏡映像の表示を停止するためのボタンである。
【００４３】
[テンプレート登録]ボタン６１２は、所望の画像をテンプレート画像として登録するためのボタンである。[テンプレート登録]ボタン６１２が押下されると、内視鏡映像を構成する各フレームの画像のうち、そのタイミングで取りこまれた１フレーム分の画像が、[テンプレート画像]ボックス６０２にテンプレート画像として表示される。さらに、その１フレーム分の画像が、テンプレート画像としてＲＡＭ３４ａに記録される。
【００４４】
[レコード開始]ボタン６１３は、レコードを開始するためのボタンである。[レコード開始]ボタン６１３が押下されると、後述する[レコード数]ボックス６２０の値が０にリセットされる。そして、内視鏡映像とテンプレート画像との比較が毎フレームで行われ、内視鏡映像を構成する各フレームの画像のうち、テンプレート画像との相関の高い１フレーム分のレコード画像が[レコード画像]ボックス６０３に順次表示される。さらに、表示されたレコード画像は、画像ファイルとしてメモリカード５０内の保存フォルダに順次保存される。
【００４５】
より具体的には、内視鏡映像内のタービンブレード１０の位置や角度が、テンプレート画像内のタービンブレード１０の位置や角度と同じになったとき（簡略化して言い換えると、内視鏡映像内のタービンブレード１０と、テンプレート画像内のタービンブレード１０との見え方すなわち姿勢が同じになったとき）の１フレーム分の画像が表示および保存されることになる。
【００４６】
[レコード停止]ボタン６１４は、レコードを停止するためのボタンである。[画像閲覧]ボタン６１５は、メモリカード５０内の保存フォルダに保存された画像ファイルを閲覧するためのボタンである。[レコード停止]ボタン６１４が押下されると、後述する[画像閲覧]ウィンドウが表示される。[画像閲覧]ウィンドウが表示されている間は、メインウィンドウ６００は、ユーザによる操作が無効の状態となる。
【００４７】
[レコード数]ボックス６２０には、レコード画像ファイルの現在の保存枚数（以下、レコード数と記載）を表示するためのボックスである。但し、テンプレート画像の画像ファイルはカウントされない。また、前述したように、[レコード開始]ボタン６１３が押下されると、[レコード数]ボックス６２０の値が０にリセットされる。
【００４８】
[最大レコード]数ボックス６２１には、レコード画像ファイルの最大枚数（以下、最大レコード数と記載）を表示するためのボックスである。レコード中に、レコード数が最大レコード数と同じ値になった場合、レコードが自動的に終了する。[最大レコード]数ボックス６２１には、任意の最大レコード数を入力することが可能である。例えば、[最大レコード]数ボックス６２１にタービンブレード１０の１周分のブレード枚数を入力しておくことにより、タービンブレード１０の画像ファイルを必要な枚数だけ保存することができる。
【００４９】
[終了]ボタン６３０は、ブレード記録ソフトを終了するためのボタンである。[終了]ボタン６３０が押下されると、メインウィンドウ６００が非表示となり、ブレード記録ソフトの動作が終了する。
【００５０】
図７は、ブレード記録ソフトの[画像閲覧]ウィンドウを示している。図７に示す[画像閲覧]ウィンドウ７００は、前述したように、メインウィンドウ６００の[画像閲覧]ボタン６１５が押下された際に、表示される。
【００５１】
ユーザは、ＧＵＩ機能を利用して、リモコン２３を介して[画像閲覧]ウィンドウ７００を操作することにより、レコード画像ファイルの閲覧を行うことができる。また、ユーザは、ＧＵＩ機能を利用して、リモコン２３を介して[画像閲覧]ウィンドウ７００を操作することにより、ＣＡＤ（Computer Aided Design）を利用して予め算出されたタービンブレード１０の３次元形状を表すＣＡＤデータと、テンプレート画像とのＣＡＤマッチングを行うことができる。このＣＡＤマッチングは、ＣＡＤデータを利用したタービンブレード１０の計測（以下、ＣＡＤ計測と記載）のための準備処理である。本実施形態のＣＡＤ計測では、ステレオ計測とは異なり、同一の被写体を、左右の光学系のそれぞれを通して撮影する必要がないので、複雑なハードウェアを必要としない。以下、各種ＧＵＩの機能を説明する。
【００５２】
[閲覧画像]ボックス７０１は、レコード画像ファイルを表示するためのボックスである。後述する[<< 前]ボタン７１０または[次 >>]ボタン７１１が押下される、もしくは[日時選択]ボックス７２４の選択が変更されると、[閲覧画像]ボックス７０１に表示されるレコード画像ファイルが切り替わる。[閲覧画像]ボックス７０１により、ユーザはレコード画像ファイルを閲覧することができる。以下、[閲覧画像]ボックス７０１に表示されているレコード画像を閲覧画像と記載し、その画像ファイルを閲覧画像ファイルと記載する。
【００５３】
[<< 前]ボタン７１０は、閲覧画像を切り替えるためのボタンである。[<< 前]ボタン７１０が押下されると、後述する画像ファイルリストの中で、[閲覧画像]ボックス７０１に表示されている画像ファイルの画像ファイルＮｏ（画像ファイルナンバー）より１つ小さな画像ファイルＮｏをもつ画像ファイルが表示される。それに伴い、後述する[画像ファイル名]ボックス７２０に表示されている画像ファイル名も切り替わる。
【００５４】
[次 >>]ボタン７１１も、閲覧画像を切り替えるためのボタンである。[次 >>]ボタン７１１が押下されると、後述する画像ファイルリストの中で、[閲覧画像]ボックス７０１に表示されている画像ファイルの画像ファイルＮｏより１つ大きな画像ファイルＮｏをもつ画像ファイルが表示される。それに伴い、後述する[画像ファイル名]ボックス７２０に表示されている画像ファイル名も切り替わる。
【００５５】
[画像ファイル名]ボックス７２０は、閲覧画像ファイルのファイル名を表示するためのボックスである。[<< 前]ボタン７１０または[次 >>]ボタン７１１が押下される、もしくは[日時選択]ボックス７２４の選択が変更されると、[画像ファイル名]ボックス７２０の画像ファイル名の表示が切り替わる。
【００５６】
[画像ファイル数]ボックス７２１は、後述する画像ファイルリストの中の画像ファイル数を表示するためのボックスである。[日時選択]ボックス７２４の選択が変更されると、[画像ファイル数]ボックス７２１の画像ファイル数の表示が切り替わる。
【００５７】
[保存日時]ボックス７２２は、閲覧画像ファイルの保存日時を表示するためのボックスである。[<< 前]ボタン７１０または[次 >>]ボタン７１１が押下される、もしくは[日時選択]ボックス７２４の選択が変更されると、[保存日時]ボックス７２２の画像ファイルの保存日時の表示が切り替わる。
【００５８】
[日時選択]ボックス７２４は、閲覧画像を切り替えるためのボックスである。後述する保存フォルダリストのレコード開始日時が[日時選択]ボックス７２４にリスト形式で表示される。[日時選択]ボックス７２４のレコード開始日時の選択が変更されると、選択されたレコード開始日時をもつ保存フォルダに保存されたレコード画像ファイルが[閲覧画像]ボックス７０１に表示される。それに伴い、[画像ファイル名]ボックス７２０の画像ファイル名、および[画像ファイル数]ボックス７２１の画像ファイル数の表示も切り替わる。
【００５９】
[ＣＡＤマッチング]ボックス７３０は、ＣＡＤデータに基づくＣＡＤオブジェクトとテンプレート画像とを表示し、かつそれらのＣＡＤマッチングを行うためのボックスである。ＣＡＤオブジェクトは、ＣＡＤデータファイルの内容をもとに構築されたＣＧ物体である。[ＣＡＤマッチング]ボックス７３０の詳細については、後述する。
【００６０】
[パラメータ設定]ボックス７４０は、ＣＡＤオブジェクトの姿勢（ポーズ）、すなわちＣＡＤオブジェクトをどの方向、どの位置から見ているかを設定するパラメータ（以下、ポーズパラメータと記載）を入力および表示するためのボックスである。[パラメータ設定]ボックス７４０内には、[オブジェクト位置]カーソルボタン、[カメラ位置]カーソルボタン、[カメラ回転]カーソルボタン、[カメラ奥行き]カーソルボタンが配置されている。ユーザは、[パラメータ設定]ボックス７４０内の各種カーソルボタンを操作することで、ポーズパラメータを設定することができる。[パラメータ設定]ボックス７４０の詳細については、後述する。
【００６１】
[ＣＡＤマッチング]ボタン７５０は、ＣＡＤマッチングを実行するためのボタンである。[ＣＡＤマッチング]ボタン７５０が押下されると、[パラメータ設定]ボックス７４０において設定されたポーズパラメータに基づいて、テンプレート画像とＣＡＤオブジェクトとのＣＡＤマッチングが実行され、テンプレート画像におけるタービンブレード１０の姿勢と一致するＣＡＤオブジェクトの姿勢が算出される。
【００６２】
[ＣＡＤデータ選択]ボタン７５１は、ＣＡＤマッチングに使用するＣＡＤデータファイルを選択するためのボタンである。ＣＡＤデータファイルは、メモリカード５０に記憶されている。[ＣＡＤデータ選択]ボタン７５１が押下された際の処理の詳細については、記載しない。
【００６３】
本実施形態で使用するＣＡＤデータファイルの形式には、ＳＴＬ（Ｓｔｅｒｅｏ Ｔｒｉａｎｇｕｌａｔｉｏｎ Ｌａｎｇｕａｇｅ）形式等を用いる。これらの形式のＣＡＤデータファイルでは、ＣＡＤオブジェクトが複数の三角形の空間平面によって表現されており、それらの三角形を構成する空間座標データがファイルに記録されている。
【００６４】
[ＣＡＤ計測]チェックボックス７６０は、ＣＡＤ計測を行うためのチェックボックスである。[ＣＡＤ計測]チェックボックス７６０にチェックが入ると、[閲覧画像]ボックス７０１においてＣＡＤ計測を行うことができる。[ＣＡＤ計測]チェックボックスの詳細については、後述する。
【００６５】
[閉じる]ボタン７７０は、画像の閲覧を終了するためのボタンである。[閉じる]ボタン７７０が押下されると、[画像閲覧]ウィンドウ７００が非表示となり、メインウィンドウ６００が操作される状態に戻る。
【００６６】
次に、図８〜図１０を用いて、メモリカード５０内の画像ファイルに関するディレクトリ構造を説明する。図８に示すように、メモリカード５０の直下のディレクトリは複数の保存フォルダ８００から構成されている。保存フォルダ８００は、レコード画像ファイルが保存されるフォルダである。レコード開始日時が保存フォルダ８００のフォルダ名となる。例えば、レコード開始日時が「2007/12/26 21:32:21」の場合、フォルダ名は「20071226_213221」となる。
【００６７】
各保存フォルダの直下のディレクトリは複数のレコード画像ファイル８１０から構成されている。レコード画像ファイル名は、レコード画像ファイルが保存された順にそれぞれ「001.jpg」、「002.jpg」、「003.jpg」・・・となる。但し、テンプレート画像ファイルのファイル名は「Temp.jpg」となる。
【００６８】
また、後述する画像閲覧処理の際には、保存フォルダリストおよび画像ファイルリストが作成される。
【００６９】
保存フォルダリストとは、保存フォルダの一覧表である。図９に示すように、保存フォルダリストは、保存フォルダＮｏ（保存フォルダナンバー）、レコード開始日時、およびフォルダ名から構成されている。保存フォルダＮｏには、保存フォルダが作成された順に、１、２、３・・・の番号が割り当てられる。
【００７０】
画像ファイルリストとは、各保存フォルダに保存されたレコード画像ファイルの一覧表である。図１０に示すように、画像ファイルリストは、画像ファイルＮｏ、ファイル保存日時、およびファイル名から構成されている。画像ファイルＮｏには、ファイルが保存された順に、１、２、３・・・の番号が割り当てられる。但し、テンプレート画像のみ、最後の画像ファイルＮｏが割り当てられる。
【００７１】
次に、図１１を用いて、ブレード記録ソフトの動作の流れを説明する。ステップＳＡでは、ユーザがブレード記録ソフトを起動する。このとき、リモコン２３に入力されたブレード記録ソフトの起動指示に基づいて、ＣＰＵ３４ｃは、ＲＯＭ３４ｂに格納されているブレード記録ソフトをＲＡＭ３４ａに読み込み、ブレード記録ソフトに従った動作を開始する。ステップＳＢでは、ＣＰＵ３４ｃが、メインウィンドウを表示するための処理を行う。
【００７２】
ステップＳＣでは、ＣＰＵ３４ｃが初期化処理を行う。初期化処理とは、メインウィンドウ内の各種ＧＵＩの初期状態を設定したり、ＲＡＭ３４ａに記録された各種データの初期値を設定したりする処理のことである。初期化処理の詳細については、後述する。ステップＳＤでは、ＣＰＵ３４ｃがプレビュー処理を行う。プレビュー処理とは、プレビューの開始および停止を行う処理のことである。プレビュー処理の詳細については、後述する。
【００７３】
ステップＳＥでは、ＣＰＵ３４ｃがテンプレート登録処理を行う。テンプレート登録処理とは、[テンプレート画像]ボックスにテンプレート画像を表示し、さらにテンプレート画像をＲＡＭ３４ａに記録する処理のことである。テンプレート登録処理の詳細については、後述する。ステップＳＦでは、ＣＰＵ３４ｃがレコード処理を行う。レコード処理とは、レコードの開始および停止を行う処理のことである。レコード処理の詳細については、後述する。
【００７４】
ステップＳＧでは、ＣＰＵ３４ｃが画像閲覧処理を行う。画像閲覧処理とは、ユーザがレコード画像ファイルを閲覧するために行う処理のことである。画像閲覧処理の詳細については、後述する。ステップＳＨでは、ユーザによる[終了]ボタンの押下の有無に応じて処理が分岐する。ユーザが[終了]ボタンを押下した場合、処理はステップＳＩに移行する。また、ユーザが[終了]ボタンを押下しなかった場合、処理はステップＳＤに移行する。ステップＳＩでは、ＣＰＵ３４ｃがメインウィンドウを非表示とし、ブレード記録ソフトの動作を終了する。
【００７５】
次に、図１２を用いて、初期化処理（ステップＳＣ）の流れを説明する。ステップＳＣ１では、ＣＰＵ３４ｃが、[プレビュー停止]ボタン、[テンプレート登録]ボタン、[レコード開始]ボタン、[レコード停止]ボタンの全てを、ユーザによる操作が無効の状態とする。以下、ボタン等のＧＵＩが、ユーザによる操作無効の状態（例えば、グレー状態）であることを、単に無効と記載し、ユーザによる操作有効の状態であることを、単に有効と記載する。
【００７６】
ステップＳＣ２では、ＣＰＵ３４ｃが、レコード数Ｒを０、最大レコード数ＲｍをＲｉとして、ＲＡＭ３４ａに記録する。Ｒｉは最大レコード数Ｒｍの初期値であり、Ｒｉとして所定の値がＲＡＭ３４ａに記録されている。ステップＳＣ３では、ＣＰＵ３４ｃが、[レコード数]ボックスにレコード数Ｒ（＝０）を表示するための処理を行う。ステップＳＣ４では、ＣＰＵ３４ｃが、[最大レコード数]ボックスに最大レコード数Ｒｍを表示するための処理を行う。
【００７７】
ステップＳＣ５では、ＣＰＵ３４ｃが、プレビューフラグ、レコードフラグ、保存フラグを、全てＯＦＦとして、ＲＡＭ３４ａに記録する。プレビューフラグとは、現在の状態がプレビュー状態かどうかを示すフラグである。レコードフラグとは、現在の状態がレコード中かどうかを示すフラグである。保存フラグとは、レコード中に、後述するバッファ画像をレコード画像ファイルとして保存するかどうかを示すフラグである。以下、ブレード記録ソフトの動作中に使用される全てのフラグはＯＮもしくはＯＦＦの値を取る。ステップＳＣ５の処理が終了すると、処理はステップＳＤに移行する。
【００７８】
次に、図１３を用いて、ステップＳＤのプレビュー処理の流れを説明する。ステップＳＤ１では、ＣＰＵ３４ｃが、 [プレビュー開始]ボタンがユーザにより押下されたかどうかを確認する。[プレビュー開始]ボタンが押下された場合、処理はステップＳＤ２に移行し、[プレビュー開始]ボタンが押下されていない場合、処理はステップＳＤ４に移行する。
【００７９】
ステップＳＤ２では、ＣＰＵ３４ｃが、[プレビュー開始]ボタンを無効、[プレビュー停止]ボタンを有効、[テンプレート登録]ボタンを有効とする。ステップＳＤ３では、ＣＰＵ３４ｃが、プレビューフラグをＯＮとして、ＲＡＭ３４ａに記録する。
【００８０】
ステップＳＤ４では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたプレビューフラグがＯＮかどうかを確認する。プレビューフラグがＯＮの場合、処理はステップＳＤ５に移行し、ＯＦＦの場合、処理はステップＳＤ８に移行する。
【００８１】
ステップＳＤ５では、ＣＰＵ３４ｃが、画像信号処理装置３１から１フレーム分の画像（画像信号）をフレーム画像として取り込む。なお、ステップＳＤ５よりも前の時点で、撮像素子３０ｂは１フレーム分の撮像信号を生成し、画像信号処理装置３１はその撮像信号を映像信号に変換し、１フレーム分の画像を生成している。
【００８２】
ステップＳＤ６では、ＣＰＵ３４ｃが、ステップＳＤ５で取り込んだフレーム画像をＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたフレーム画像は、ＣＰＵ３４ｃがフレーム画像を取り込む度に上書きされる。ステップＳＤ７では、ＣＰＵ３４ｃが、ステップＳＤ５で取り込んだフレーム画像を[プレビュー画像]ボックスに表示するための処理を行う。
【００８３】
ステップＳＤ８では、ＣＰＵ３４ｃが、[プレビュー停止]ボタンがユーザにより押下されたかどうかを確認する。[プレビュー停止]ボタンが押下された場合、処理はステップＳＤ９に移行し、[プレビュー停止]ボタンが押下されていない場合、処理はステップＳＥ１に移行する。
【００８４】
ステップＳＤ９では、ＣＰＵ３４ｃが、[プレビュー開始]ボタンを有効、[プレビュー停止]ボタンを無効、[テンプレート登録]ボタンを無効とする。ステップＳＤ１０では、ＣＰＵ３４ｃが、プレビューフラグをＯＦＦとして、ＲＡＭ３４ａに記録する。ステップＳＤ１０の処理が終了すると、処理はステップＳＥに移行する。
【００８５】
次に、図１４を用いて、ステップＳＥのテンプレート登録処理の流れを説明する。ステップＳＥ１では、ＣＰＵ３４ｃが、 [テンプレート登録]ボタンがユーザにより押下されたかどうかを確認する。[テンプレート登録]ボタンが押下された場合、処理はステップＳＥ２に移行し、[テンプレート登録]ボタンが押下されていない場合、処理はステップＳＦに移行する。
【００８６】
ステップＳＥ２では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたフレーム画像を、テンプレート画像として、ＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたテンプレート画像は、[テンプレート登録]ボタンが押下される度に上書きされる。ステップＳＥ３では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたフレーム画像を[テンプレート画像]ボックスに表示するための処理を行う。具体的には、ＣＰＵ３４ｃは、ＲＡＭ３４ａに記録されたフレーム画像をグラフィック画像信号に重畳する処理を行い、処理後の信号（表示信号）をモニタ２２へ出力する。
【００８７】
上記より、ステップＳＥ２〜ＳＥ３の処理は、[テンプレート登録]ボタンが押下されたタイミングで取りこまれたフレーム画像を、テンプレート画像として登録する処理であることがわかる。ステップＳＥ４では、ＣＰＵ３４ｃが[レコード開始]ボタンを有効とする。ステップＳＥ４の処理が終了すると、処理はステップＳＦに移行する。
【００８８】
次に、図１５を用いて、ステップＳＦのレコード処理の流れを説明する。ステップＳＦ１では、ＣＰＵ３４ｃが、[レコード開始]ボタンがユーザにより押下されたかどうかを確認する。[レコード開始]ボタンが押下された場合、処理はステップＳＦ２に移行し、[レコード開始]ボタンが押下されていない場合、処理はステップＳＦ９に移行する。
【００８９】
ステップＳＦ２では、ＣＰＵ３４ｃが、[プレビュー停止]ボタンを無効、[テンプレート登録]ボタンを無効、[レコード開始]ボタンを無効、[レコード停止]ボタンを有効、[画像閲覧]ボタンを無効、[最大レコード数]ボックスを無効とする。ステップＳＦ３では、ＣＰＵ３４ｃが、レコード数Ｒ、相関値Ｃ、最大相関値Ｃｍ、相関値バッファＣｂ、相関値ステータスＳｃを全て０として（Ｒ＝０、Ｃ＝０、Ｃｍ＝０、Ｃｂ＝０、Ｓｃ＝０）、ＲＡＭ３４ａに記録する。相関値Ｃ、最大相関値Ｃｍ、相関値バッファＣｂ、相関値ステータスＣｄの詳細については、後述する。
【００９０】
ステップＳＦ４では、ＣＰＵ３４ｃが、[レコード数]ボックスにレコード数Ｒ（＝０）を表示するための処理を行う。ステップＳＦ５では、ＣＰＵ３４ｃが、[最大レコード数]ボックスに入力されている最大レコード数Ｒｍを取得し、ＲＡＭ３４ａに記録する。ステップＳＦ６では、ＣＰＵ３４ｃがメモリカード５０内に保存フォルダを作成する。このとき、[レコード開始]ボタンがユーザにより押下された日時が、そのまま保存フォルダのフォルダ名となる。
【００９１】
ステップＳＦ７では、ＣＰＵ３４ｃが、図１４のステップＳＥ２でＲＡＭ３４ａに記録されたテンプレート画像を画像ファイルとして（以下、テンプレート画像ファイルと記載）、メモリカード５０内の保存フォルダに保存する。このとき、テンプレート画像ファイル名は、「Temp.jpg」となる。ステップＳＦ８では、ＣＰＵ３４ｃが、レコードフラグをＯＮとして、ＲＡＭ３４ａに記録する。
【００９２】
ステップＳＦ９では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたレコードフラグがＯＮかどうかを確認する。レコードフラグがＯＮの場合、処理はステップＳＦ１０に移行し、レコードフラグがＯＦＦの場合、処理はステップＳＦ１８に移行する。
【００９３】
ステップＳＦ１０では、ＣＰＵ３４ｃが、テンプレート画像とフレーム画像との相関値を算出し、相関値に基づいて、レコード画像を保存するタイミングを決定する相関処理を実行する。相関処理の詳細については、後述する。ステップＳＦ１１では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録された保存フラグがＯＮかどうかを確認する。保存フラグがＯＮの場合、処理はステップＳＦ１２に移行し、保存フラグがＯＦＦの場合、処理はステップＳＦ１８に移行する。
【００９４】
ステップＳＦ１２では、ＣＰＵ３４ｃが、ステップＳＦ１０の相関処理中にＲＡＭ３４ａに記録されたレコード画像を[レコード画像]ボックスに表示するための処理を行う。ステップＳＦ１３では、ＣＰＵ３４ｃが、レコード数Ｒを１つインクリメント（Ｒ＋１をＲに代入）して、ＲＡＭ３４ａに記録する。ステップＳＦ１４では、ＣＰＵ３４ｃが、[レコード画像]ボックスにレコード数Ｒを表示するための処理を行う。
【００９５】
ステップＳＦ１５では、ＣＰＵ３４ｃが、ステップＳＦ１０の相関処理中にＲＡＭ３４ａに記録されたレコード画像を、画像ファイルとして、保存フォルダに保存する。ステップＳＦ１６では、ＣＰＵ３４ｃが、保存フラグをＯＦＦとして、ＲＡＭ３４ａに記録する。ステップＳＦ１７では、ＣＰＵ３４ｃが、レコード数Ｒが最大レコード数Ｒｍ以上（Ｒ≧Ｒｍ）であるかどうかを確認する。レコード数Ｒが最大レコード数Ｒｍ以上の場合、処理はステップＳＦ１９に移行し、最大レコード数Ｒｍ未満の場合、処理はステップＳＦ１８に移行する。
【００９６】
ステップＳＦ１８では、ＣＰＵ３４ｃが、[レコード停止]ボタンがユーザにより押下されたかどうかを確認する。[レコード停止]ボタンが押下された場合、処理はステップＳＦ１９に移行し、[レコード停止]ボタンが押下されていない場合、処理はステップＳＧに移行する。
【００９７】
ステップＳＦ１９では、ＣＰＵ３４ｃが、[プレビュー停止]ボタンを有効、[テンプレート登録]ボタンを有効、[レコード開始]ボタンを有効、[レコード停止]ボタンを無効、[画像閲覧]ボタンを有効、[最大レコード数]ボックスを有効とする。ステップＳＦ２０では、ＣＰＵ３４ｃが、レコードフラグをＯＦＦとして、ＲＡＭ３４ａに記録する。ステップＳＦ２０の処理が終了すると、処理はステップＳＧに移行する。
【００９８】
次に、図１６を用いて、ステップＳＦ１０の相関処理の流れを説明する。図１６に示す相関処理と実際の相関値の変化との対応関係については、図１７を用いて後述する。ステップＳＦ１００では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されているテンプレート画像およびフレーム画像の各画素の輝度値（明度値）を取得する。ここで、例えばＲＧＢの各成分の輝度で表された画素の輝度値は、以下の（１）式を用いて算出される。
Ｙ＝０．２９９×Ｒ＋０．５８７ ×Ｇ＋０．１１４×Ｂ ・・・（１）
【００９９】
ステップＳＦ１０１では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されているテンプレート画像とフレーム画像との相関値Ｃを算出する。以下、相関値Ｃの詳細を説明する。ある２枚の画像の画素位置（ｘ，ｙ）の輝度値をそれぞれｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）とすると、２枚の画像の平均輝度値はそれぞれ（２）式、（３）式で表される。但し、Ｘ，Ｙはそれぞれｘ，ｙ方向の画素数であり、Ｓｉｚｅは全画素数（Ｓｉｚｅ＝Ｘ×Ｙ）である。
【０１００】
【数１】
【０１０１】
【数２】
【０１０２】
さらに、２枚の画像の標準偏差はそれぞれ（４）式、（５）式で表される。
【０１０３】
【数３】
【０１０４】
【数４】
【０１０５】
さらに、２枚の画像の共分散は（６）式で表される。
【０１０６】
【数５】
【０１０７】
そして、２枚の画像の相関値Ｃは（７）式で表される。この相関値Ｃは、２枚の画像が類似しているかどうかを表す尺度となる。一般的に、類似していれば相関値は１に近い値となり、類似していなければ０に近づく傾向にある。
【０１０８】
【数６】
【０１０９】
画像サイズを間引いた上で相関値を求める場合は、上記の各式において、ｘ，ｙに関する総和を計算する際にｘ，ｙの増加ステップ数を変更し、さらに全画素数Ｓｉｚｅを変更すればよい。例えば、画像サイズを１／４に間引いた上で相関値を求める場合、ｘ，ｙの増加ステップ数を４とし、全画素数ＳｉｚｅをＳｉｚｅ＝（Ｘ×Ｙ）／（４×４）とすればよい。相関処理の速度を向上させたい場合は、間引き処理を用いると、計算量が少なくて済むので有効である。
【０１１０】
ステップＳＦ１０２では、ＣＰＵ３４ｃが、相関値ステータスＳｃが０（Ｓｃ＝０）であるかどうかを確認する。相関値ステータスＳｃは、相関値Ｃのステータスのことである。相関値ステータスＳｃは０〜２の値をとる。相関値ステータスＳｃが０の場合は初期状態であり、１の場合はＣＰＵ３４ｃがレコード画像として保存すべきフレーム画像をみつけるまでの状態であり、２の場合はＣＰＵ３４ｃがレコード画像として保存すべきフレーム画像をみつけた状態である。相関値ステータスＳｃが０の場合、処理はステップＳＦ１０３に移行し、相関値ステータスＳｃが０でない場合、処理はステップＳＦ１０５に移行する。
【０１１１】
ステップＳＦ１０３では、ＣＰＵ３４ｃが、相関値Ｃが相関値閾値Ｃｔより大きく（Ｃ＞Ｃｔ）、かつ相関値バッファＣｂが相関値閾値Ｃｔ以下（Ｃｂ≦Ｃｔ）であるかどうかを確認する。相関値閾値Ｃｔとは、相関値Ｃの閾値であり、相関値閾値Ｃｔとして所定の値がＲＡＭ３４ａに記録されている。相関値Ｃが相関値閾値Ｃｔと比べてどのような値をとるかによって、相関値ステータスＳｃが変化する。相関値閾値Ｃｔにどのような値が設定されるかについては、後述する。相関値バッファＣｂは、ＣＰＵ３４ｃが１つ前に算出した相関値Ｃを保持しておくためにＲＡＭ３４ａに設けられたバッファ内の値である。ステップＳＦ１０３でＣ＞ＣｔかつＣｂ≦Ｃｔの場合、処理はステップＳＦ１０４に移行し、Ｃ≦ＣｔまたはＣｂ＞Ｃｔの場合、処理はステップＳＦ１０５に移行する。
【０１１２】
ステップＳＦ１０４では、ＣＰＵ３４ｃが、相関値ステータスＳｃを１（Ｓｃ＝１）として、ＲＡＭ３４ａに記録する。ステップＳＦ１０５では、ＣＰＵ３４ｃが、相関値ステータスＳｃが１（Ｓｃ＝１）であるかどうかを確認する。相関値ステータスＳｃが１の場合、処理はステップＳＦ１０６に移行し、相関値ステータスＳｃが１でない場合、処理はステップＳＦ１１０に移行する。
【０１１３】
ステップＳＦ１０６では、ＣＰＵ３４ｃが、相関値Ｃが最大相関値Ｃｍより大きいかどうか（Ｃ＞Ｃｍ）を確認する。最大相関値Ｃｍとは、相関値Ｃの最大値を保持しておくためのバッファの値である。Ｃ＞Ｃｍの場合、処理はステップＳＦ１０７に移行し、Ｃ≦Ｃｍの場合、処理はステップＳＦ１０８に移行する。
【０１１４】
ステップＳＦ１０７では、ＣＰＵ３４ｃが、最大相関値Ｃｍを相関値Ｃ（Ｃｍ＝Ｃ）として、ＲＡＭ３４ａに記録する。ステップＳＦ１０９では、ＣＰＵ３４ｃが、フレーム画像をバッファ画像としてＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたバッファ画像は、ステップＳＦ１０９の処理が実行される度に上書きされる。バッファ画像とは、ＣＰＵ３４ｃが、フレーム画像がレコード画像（テンプレート画像と相関の高い画像）であると確認できるまでフレーム画像を一時的に保持しておくためにＲＡＭ３４ａに設けられたバッファ内の画像のことである。
【０１１５】
ステップＳＦ１０８では、ＣＰＵ３４ｃが、相関値ステータスＳｃを２（Ｓｃ＝２）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１０では、ＣＰＵ３４ｃが、相関値ステータスＳｃが２（Ｓｃ＝２）であるかどうかを確認する。相関値ステータスＳｃが２の場合、処理はステップＳＦ１１１に移行し、相関値ステータスＳｃが２でない場合、処理はステップＳＦ１１６に移行する。
【０１１６】
ステップＳＦ１１１では、ＣＰＵ３４ｃが、相関値Ｃが相関値閾値Ｃｔより小さく（Ｃ＜Ｃｔ）かつ相関値バッファＣｂが相関値閾値Ｃｔ以上（Ｃｂ≧Ｃｔ）であるかどうかを確認する。Ｃ＜ＣｔかつＣｂ≧Ｃｔの場合、処理はステップＳＦ１１２に移行し、Ｃ≧ＣｔまたはＣｂ＜Ｃｔの場合、処理はステップＳＦ１１６に移行する。
【０１１７】
ステップＳＦ１１２では、ＣＰＵ３４ｃが、相関値ステータスＳｃを０（Ｓｃ＝０）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１３では、ＣＰＵ３４ｃが、最大相関値Ｃｍを０（Ｃｍ＝０）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１４では、ＣＰＵ３４ｃが、バッファ画像をレコード画像としてＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたレコード画像は、ステップＳＦ１１４の処理が実行される度に上書きされる。ステップＳＦ１１５では、ＣＰＵ３４ｃが、保存フラグをＯＮとして、ＲＡＭ３４ａに記録する。
【０１１８】
ステップＳＦ１１６では、ＣＰＵ３４ｃが、相関値バッファＣｂを相関値Ｃ（Ｃｂ＝Ｃ）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１６の処理が終了すると、処理はステップＳＦ１１に移行する。
【０１１９】
図１７は、相関値Ｃの経時変化を示すグラフである。以下、図１７を参照しながら、レコード処理および相関処理の詳細を説明する。
【０１２０】
図１７に示すグラフの横軸は時間であり、縦軸はステップＳＦ１０１でＣＰＵ３４ｃが算出する相関値Ｃである。相関値Ｃには、周期的に極大値と極小値が現われている。相関値Ｃが極大値を示す領域は、テンプレート画像とブレード画像との相関値を示している。また、相関値Ｃが極小値を示す領域は、テンプレート画像とブレードの背景（ジェットエンジンの内壁等）の画像との相関値を示している。相関値閾値Ｃｔは、両者のほぼ中間の値になるように設定され、ＲＡＭ３４ａに記録されている。
【０１２１】
まず、ユーザが[レコード開始]ボタンを押下したタイミング（ｔ＝０）から、相関値Ｃが相関値閾値Ｃｔより大きくなるタイミング（ｔ＝ｔ１）までの間、相関値ステータスＳｃは０（Ｓｃ＝０）である。続いて、ｔ＝ｔ１から、相関値Ｃが極大値を示すタイミング（ｔ＝ｔ２）までの間、相関値ステータスＳｃは１（Ｓｃ＝１）である。この間、最大相関値Ｃｍは相関値Ｃに順次更新され（Ｃｍ＝Ｃ：ステップＳＦ１０７）、かつフレーム画像はバッファ画像としてＲＡＭ３４ａに順次記録される（ステップＳＦ１０９）。
【０１２２】
続いて、ｔ＝ｔ２から、相関値Ｃが相関値閾値Ｃｔより小さくなるタイミング（ｔ＝ｔ３）までの間、相関値ステータスＳｃは２（Ｓｃ＝２）である。この間、最大相関値Ｃｍは更新されず一定のままであり、かつフレーム画像がバッファ画像としてＲＡＭ３４ａに記録されることはない。
【０１２３】
続いて、ｔ＝ｔ３において、相関値ステータスＳｃは再度０（Ｓｃ＝０）となり（ステップＳＦ１１２）、バッファ画像はレコード画像としてＲＡＭ３４ａに記録される（ステップＳＦ１１４）。このときのバッファ画像は、ｔ＝ｔ２において、相関値Ｃが極大を示すタイミングでのフレーム画像である。これ以降、ユーザが[レコード停止]ボタンを押下するまで、相関値Ｃが極大を示すタイミング（ｔ＝ｔ４，ｔ５，ｔ６，・・・）におけるフレーム画像がレコード画像として順次保存される。
【０１２４】
本実施形態の変形例として、ジェットエンジン１の個体を識別する手段を設けると共にジェットエンジン１毎のタービンブレード１０の最大枚数を内視鏡装置３に記憶させておき、識別されたジェットエンジン１に対応した最大枚数をブレード記録ソフトの動作時に用いてもよい。ジェットエンジン１の個体を識別する手段としては、例えばバーコードやＩＣタグ等をジェットエンジン１に取り付け、バーコードリーダやＩＣタグリーダ等の読み取り器を内視鏡装置３に接続し、読み取り器でバーコードやＩＣタグ等からジェットエンジン１の識別情報を読み取るようにすればよい。
【０１２５】
上記の処理によれば、以下の効果を得ることができる。上記の処理では、タービンブレードを撮像した複数のフレーム画像の中から、テンプレート画像との画像比較の結果である相関値に基づいて、一部のフレーム画像を選択することによって、フレーム画像内のタービンブレードの位置や角度がテンプレート画像内のタービンブレードの位置や角度と同じになったときのフレーム画像を取得することができる。そのため、タービンブレードの回転と撮像のタイミングを合わせるための特別な制御を必要とせず、簡易な方法でタービンブレードの画像を取得することができる。
【０１２６】
本実施形態で示した手法により取得したタービンブレードの画像を用いて、タービンブレードの検査を行うことが可能となる。特に、図６のレコード画像ボックス６０３にレコード画像を表示することによって、タービンブレードの検査をリアルタイムで行うことができる。また、このレコード画像を画像ファイルとして記録媒体に保存することによって、検査を行うことが可能な時間や場所を拡張することができる。さらに、タービンブレードの画像を保存する場合に、内視鏡映像をそのまま動画ファイルとして保存すると、ファイルサイズが大きくなってしまうが、本実施形態のように、内視鏡映像のうち、一部のフレーム画像を静止画像ファイルとして保存することによって、記録媒体の記録容量が圧迫されることを防ぎながら、検査に必要なタービンブレードの画像を保存することができる。
【０１２７】
また、テンプレート画像を基準にして、フレーム画像内のタービンブレードの位置や角度がテンプレート画像内のタービンブレードの位置や角度と同じになったときのフレーム画像を取得することによって、ユーザにとってタービンブレードの検査を行うのに適した状態で撮像したフレーム画像を取得することができ、検査を効率的に行うことができる。また、フレーム画像の中から選択したテンプレート画像を使用することによって、図１７に示した相関値の経時変化がはっきりとするので、所望の状態で撮像したフレーム画像を取得する精度を向上することができる。さらに、フレーム画像の中から選択したテンプレート画像を表示することによって、取得するフレーム画像内のタービンブレードの状態がユーザにとって適した状態となっているか否かをユーザに確認させることができる。
【０１２８】
次に、図１８を用いて、ステップＳＧの画像閲覧処理の流れを説明する。ステップＳＧ１では、ＣＰＵ３４ｃが、[画像閲覧]ボタンがユーザにより押下されたかどうかを確認する。[画像閲覧]ボタンが押下された場合、処理はステップＳＧ２に移行し、[画像閲覧]ボタンが押下されていない場合、処理はステップＳＨに移行する。
【０１２９】
ステップＳＧ２では、ＣＰＵ３４ｃが、[画像閲覧]ウィンドウを表示するための処理を行う。前述したように、[画像閲覧]ウィンドウが表示されている間、メインウィンドウはユーザによる操作が無効の状態となる。ステップＳＧ３では、ＣＰＵ３４ｃが初期化処理を行う。初期化処理とは、[画像閲覧]ウィンドウ内の各種ＧＵＩの初期状態を設定したり、ＲＡＭ３４ａに記録された各種データの初期値を設定したりする処理のことである。初期化処理の詳細については、後述する。
【０１３０】
ステップＳＧ８では、ＣＰＵ３４ｃがＣＡＤ計測処理を行う。ＣＡＤ計測処理では、ＣＡＤデータを利用してタービンブレード１０の計測が行われる。ＣＡＤ計測処理の詳細については、後述する。
【０１３１】
ステップＳＧ４では、ＣＰＵ３４ｃが日時選択処理行う。日時選択処理とは、ユーザが[日時選択]ボックスのレコード開始日時の選択を変更することをＣＰＵ３４ｃが検出し、[閲覧画像]ボックスに表示される画像を変更する処理のことである。日時選択処理の詳細については、後述する。
【０１３２】
ステップＳＧ５では、ＣＰＵ３４ｃが画像選択処理を行う。画像選択処理とは、ユーザが[<< 前]ボタン、[次 >>]ボタンを押下することをＣＰＵ３４ｃが検出し、[閲覧画像]ボックスに表示される画像を変更する処理のことである。画像選択処理の詳細については、後述する。
【０１３３】
ステップＳＧ６では、ＣＰＵ３４ｃが、[閉じる]ボタンがユーザにより押下されたかどうかを確認する。[閉じる]ボタンが押下された場合、処理はステップＳＧ７に移行し、[閉じる]ボタンが押下されていない場合、処理はステップＳＧ８に移行する。ステップＳＧ７では、ＣＰＵ３４ｃが、[画像閲覧]ウィンドウを非表示とする処理を行う。ステップＳＧ７の処理が終了すると、処理はステップＳＨに移行する。
【０１３４】
次に、図１９を用いて、ステップＳＧ３の初期化処理の流れを説明する。ステップＳＧ３００では、ＣＰＵ３４ｃが保存フォルダリストを作成する。ステップＳＧ３０１では、ＣＰＵ３４ｃが、作成された保存フォルダリストをＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録された保存フォルダリストは、保存フォルダリストが作成される度に、上書きされる。
【０１３５】
ステップＳＧ３０２では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、保存フォルダＮｏが１の保存フォルダ内の画像ファイルリストを作成する。ステップＳＧ３０３では、ＣＰＵ３４ｃが、作成された画像ファイルリストをＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録された画像フォルダリストは、画像フォルダリストが作成される度に上書きされる。
【０１３６】
ステップＳＧ３０４では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、全てのレコード開始日時を[日時選択]ボックスにリスト表示するための処理を行う。ステップＳＧ３０５では、ＣＰＵ３４ｃが、[日時選択]ボックスにリスト形式で表示されたレコード開始日時のうち、保存フォルダリストにおいて、保存フォルダＮｏが１のレコード開始日時を強調表示するための処理を行う。
【０１３７】
ステップＳＧ３０６では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ３０７では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１３８】
ステップＳＧ３０８では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、保存フォルダＮｏが１の保存フォルダ内の画像ファイル数を[画像ファイル数]ボックスに表示するための処理を行う。ステップＳＧ３０９では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ３０９の処理が終了すると、処理はステップＳＧ４に移行する。
【０１３９】
なお、詳細は記載しないが、上記の初期化処理において、ＣＰＵ３４ｃが、その時点でＲＡＭ３４ａに記録されている画像ファイルリストに基づいて、[ＣＡＤマッチング]ボックスにテンプレート画像を表示するための処理を行い、テンプレート画像が表示されるものとする。
【０１４０】
次に、図２０を用いて、ステップＳＧ４の日時選択処理の流れを説明する。ステップＳＧ４００では、ＣＰＵ３４ｃが、[日時選択]ボックスにおけるレコード開始日時の選択がユーザにより変更されたかどうかを確認する。レコード開始日時の選択が変更された場合、処理はステップＳＧ４０１に移行し、レコード開始日時の選択が変更されていない場合、処理はステップＳＧ５に移行する。
【０１４１】
ステップＳＧ４０１では、ＣＰＵ３４ｃが、[日時選択]ボックスにおいてユーザが選択したレコード開始日時をもつ保存フォルダの保存フォルダＮｏを保存フォルダリストから取得する。このとき取得したフォルダナンバーをＦとする。ステップＳＧ４０２では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、保存フォルダＮｏがＦの保存フォルダ内の画像ファイルリストを作成する。ステップＳＧ４０３では、ＣＰＵ３４ｃが、ステップＳＧ４０２で作成された画像ファイルリストをＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録された画像ファイルリストは、画像ファイルリストが作成される度に上書きされる。
【０１４２】
ステップＳＧ４０４では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ４０５では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１４３】
ステップＳＧ４０６では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、フォルダＮｏが１の保存フォルダ内の画像ファイル数を[画像ファイル数]ボックスに表示するための処理を行う。ステップＳＧ４０７では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ４０７の処理が終了すると、処理はステップＳＧ５に移行する。
【０１４４】
なお、詳細は記載しないが、上記の日時選択処理において、ＣＰＵ３４ｃが、その時点でＲＡＭ３４ａに記録されている画像ファイルリストに基づいて、[ＣＡＤマッチング]ボックスにテンプレート画像を表示するための処理を行い、テンプレート画像が表示されるものとする。
【０１４５】
次に、図２１を用いて、ステップＳＧ５の画像選択処理の流れを説明する。ステップＳＧ５００では、ＣＰＵ３４ｃが、[<< 前]ボタンがユーザにより押下されたかどうかを確認する。[<< 前]ボタンが押下された場合、処理はステップＳＧ５０１に移行し、[<< 前]ボタンが押下されていない場合、処理はステップＳＧ５０４に移行する。
【０１４６】
ステップＳＧ５０１では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、現在の[閲覧画像]ボックスに表示されている画像ファイルの画像ファイルＮｏより、１つ前の画像ファイルＮｏをもつ画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ５０２では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ前の画像ファイルＮｏをもつ画像ファイルの画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１４７】
ステップＳＧ５０３では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ前の画像ファイルＮｏをもつ画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ５０４では、ＣＰＵ３４ｃが、[次 >>]ボタンがユーザにより押下されたかどうかを確認する。[次 >>]ボタンが押下された場合、処理はステップＳＧ５０５に移行し、[次 >>]ボタンが押下されていない場合、処理はステップＳＧ６に移行する。
【０１４８】
ステップＳＧ５０５では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、現在の[閲覧画像]ボックスに表示されている画像ファイルの画像ファイルＮｏより、１つ後の画像ファイルＮｏをもつ画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ５０６では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ後の画像ファイルＮｏをもつ画像ファイルの画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１４９】
ステップＳＧ５０７では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ後の画像ファイルＮｏをもつ画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ５０７の処理が終了すると、処理はステップＳＧ６に移行する。
【０１５０】
次に、図２２を用いて、ステップＳＧ８のＣＡＤ計測処理の流れを説明する。ステップＳＧ８００では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤデータ選択]ボタンの押下を検出し、ＣＡＤデータファイルの選択を行う。ＣＡＤデータファイルの選択方法、選択画面等については、ここでは記載しない。ＣＡＤデータファイルが選択されると、ＣＰＵ３４ｃは、メモリカード５０内のＣＡＤデータファイルに記録されたＣＡＤデータを読み込み、そのＣＡＤデータに基づいて、[ＣＡＤマッチング]ボックスのテンプレート画像上にＣＡＤオブジェクトを重畳した画像（第１の画像）を表示するための処理を行う。
【０１５１】
ステップＳＧ８０１では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスの操作を検出し、ＣＡＤオブジェクトの姿勢を示すポーズパラメータの設定を行う。ポーズパラメータの設定の詳細については、後述する。
【０１５２】
ステップＳＧ８０２では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤマッチング]ボタンの押下を検出し、ＣＡＤマッチングを実行する。ＣＡＤマッチングの詳細については、後述する。
【０１５３】
ステップＳＧ８０３では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤ計測]チェックボックスおよび[閲覧画像]ボックスの操作を検出し、ＣＡＤ計測を行う。ＣＡＤ計測の詳細については、後述する。
【０１５４】
ステップＳＧ８０４では、ＣＰＵ３４ｃが、ＣＡＤ計測の結果を [閲覧画像]ボックスに重畳表示するための処理を行う。
【０１５５】
次に、図２３〜図３０を用いて、ステップＳＧ８０１におけるポーズパラメータの設定手順の詳細を説明する（参考文献１：US2009/0096790）。ポーズパラメータの設定は、ユーザが[ＣＡＤマッチング]ボックスを確認しながら[パラメータ設定]ボックスを操作することによって行う。以下、[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスの図を用いながら、ポーズパラメータを設定していく様子を説明する。
【０１５６】
図２３は、ポーズパラメータが設定される前の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。[ＣＡＤマッチング]ボックス２３００には、テンプレート画像のみが表示されている。
【０１５７】
図７の[ＣＡＤデータ選択]ボタン７５１の操作によってＣＡＤデータファイルが選択されると、図２４、図２５、図２７、図２９に示すようにテンプレート画像上にＣＡＤオブジェクトＯＢが重畳表示される。ＣＡＤオブジェクトはワイヤーフレームで表示されているが、レンダリング処理によって表面が半透明に塗りつぶされて表示されていても良いし、ワイヤーフレームとレンダリング処理後のＣＡＤオブジェクトとの両方が表示されていても良い。
【０１５８】
図２４は、[オブジェクト位置]カーソルボタンによって、ＣＡＤオブジェクトＯＢの位置の設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。ＣＡＤオブジェクト位置とは、ポーズパラメータの１つであり、[ＣＡＤマッチング]ボックス内におけるＣＡＤオブジェクトの２次元平面上の位置（pixel単位）のことである。ＣＡＤオブジェクト位置は３次元空間上のＣＡＤオブジェクトの位置ではないことに注意が必要である。
【０１５９】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[オブジェクト位置]カーソルボタンを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが、図中の矢印が示す上下左右のいずれかの方向に移動する。ＣＡＤオブジェクトＯＢの移動と同時に、[オブジェクト位置]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているオブジェクト位置をpixel単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードの中心に位置するようにＣＡＤオブジェクトＯＢを移動させることにより、オブジェクト位置を決定する。
【０１６０】
図２５は、[カメラ位置]カーソルボタンによって、カメラ位置の設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。カメラ位置とは、ポーズパラメータの１つであり、ＣＡＤオブジェクトを観察している３次元空間上の視点位置のことである。
【０１６１】
ここで注意しなければならないのは、カメラ位置における視線方向は、常にＣＡＤオブジェクト（厳密には、ＣＡＤオブジェクトの３次元空間上の重心点）を向いているということである。さらに、カメラ位置を変更しても、視点からＣＡＤオブジェクトまでの距離は一定であるということである。後述するように、視点からＣＡＤオブジェクトまでの距離は、[カメラ奥行き]カーソルボタンの操作によって変更される。すなわち、カメラ位置を変更するということは、図２６のように、視線方向が常にＣＡＤオブジェクトＯＢを向いている視点を、ＣＡＤオブジェクトＯＢを中心とする一定の半径をもつ球面ＳＰ上に沿って移動させる、ということと同様である。
【０１６２】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[カメラ位置]カーソルボタンを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが、図中の矢印が示すパン方向、チルト方向のいずれかに３次元的に回転する。ＣＡＤオブジェクトＯＢの回転と同時に、[カメラ位置]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているカメラ位置をmm単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードに可能な限りマッチするように、ＣＡＤオブジェクトを回転させることにより、カメラ位置を決定する。このカメラ位置は、参考文献１における、ＣＡＤオブジェクトのポーズを設定するパラメータλ（経度）およびφ（緯度）に相当する。
【０１６３】
図２７は、[カメラ回転]カーソルボタンによって、カメラ回転角度の設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。カメラ回転角度とは、ポーズパラメータの１つであり、ＣＡＤオブジェクトを観察している３次元空間上の視点の、視線回りの回転角度のことである。すなわち、カメラ回転角度を変更するということは、図２８のように、視点位置を固定したまま、ＣＡＤオブジェクトＯＢの方向へ向いた視点の、視線回りの回転角度を変更する、ということと同様である。
【０１６４】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[カメラ回転]カーソルを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが、図中の矢印が示すロール方向に３次元的に回転する。ＣＡＤオブジェクトＯＢの回転と同時に、[カメラ回転]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているカメラ回転角度をdeg単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードに可能な限りマッチするように、ＣＡＤオブジェクトＯＢを回転させることにより、カメラ回転角度を決定する。このカメラ回転角度は、参考文献１における、ＣＡＤオブジェクトのポーズを設定するパラメータω（カメラ光軸周りの回転角度）に相当する。
【０１６５】
図２９は、[カメラ奥行き]カーソルボタンによって、カメラ奥行きの設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。カメラ奥行きとは、ポーズパラメータの１つであり、ＣＡＤオブジェクトを観察している３次元空間上の視点からＣＡＤオブジェクトまでの距離のことである。すなわち、カメラ奥行きを変更するということは、図３０のように、ＣＡＤオブジェクトＯＢ方向へ向いた視点からＣＡＤオブジェクトＯＢまでの距離を変更する、ということと同様である。
【０１６６】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[カメラ奥行き]カーソルボタンを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが拡大または縮小する。ＣＡＤオブジェクトＯＢの拡大または縮小と同時に、[カメラ奥行き]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているカメラ奥行きをmm単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードに可能な限りマッチするように、ＣＡＤオブジェクトＯＢを拡大または縮小させることにより、カメラ奥行きを決定する。このカメラ奥行きは、参考文献１における、ＣＡＤオブジェクトのポーズを設定するパラメータｄ（距離）に相当する。
【０１６７】
次に、図３１〜図３４を用いて、ステップＳＧ８０２におけるＣＡＤマッチングの詳細を説明する。ポーズパラメータの設定が終了したら、ユーザは図７の[ＣＡＤマッチング]ボタン７５０を押下する。[ＣＡＤマッチング]ボタン７５０が押下されると、ＣＰＵ３４ｃは、ＣＡＤマッチング処理を実行し、ＣＡＤオブジェクトの姿勢を、テンプレート画像におけるタービンブレードの姿勢と一致するように制御する。本実施形態のＣＡＤマッチング処理は、参考文献１に記載されているＣＡＤマッチングの手法と同様の手法で実現されている。
【０１６８】
ＣＰＵ３４ｃは、ユーザによって設定されたポーズパラメータを所定の範囲内で変化させながら、各ポーズパラメータに対応したスクリーン平面（視点とＣＡＤオブジェクトとの間に位置し、視線方向に垂直に交わる空間平面）にＣＡＤデータを投影することにより、各スクリーン平面に対応した投影データを生成し、各投影データとテンプレート画像とのマッチングを行う。ＣＰＵ３４ｃは、テンプレート画像とのマッチングスコア（マッチングの度合いを表す数値）が最も高かった投影データに対応するポーズパラメータを選択する。
【０１６９】
ポーズパラメータのうち、カメラ位置、カメラ回転角度、カメラ奥行きは、参考文献１における、λ、φ、ω、ｄと同様に、所定の範囲をもたせた上でＣＡＤマッチング処理に適用される。具体的には、[パラメータ設定]ボックスにおいて設定されたカメラ位置、カメラ回転、カメラ奥行きの各数値ボックスの値を基準として、所定の範囲[λmin, λmax]、[φmin, φmax]、[ωmin, ωmax]、[dmin, dmax]が設定される。各所定の範囲の幅は、ＲＡＭ３４ａに予め記録された所定値に基づいて決定される。
【０１７０】
ＣＡＤマッチングが完了すると、[パラメータ設定]ボックス内の、カメラ位置、カメラ回転、カメラ奥行きの各数値ボックスの値が更新される。これらの値は、ＣＡＤマッチング結果であり、テンプレート画像のタービンブレードと、ＣＡＤオブジェクトとが、最も良くマッチするポーズパラメータである。そして、このＣＡＤマッチング結果に応じて、[ＣＡＤマッチング]ボックスのＣＡＤオブジェクトの姿勢が変更される。
【０１７１】
ここで、ステップＳＧ８０１，ＳＧ８０２の手順を要約すると、ユーザは、ポーズパラメータ設定において、テンプレート画像のタービンブレードとＣＡＤオブジェクトとを大まかにマッチングさせ、そのマッチング後の状態をもとに、ＣＰＵ３４ｃがＣＡＤマッチング処理を実行することで、詳細なマッチングを行う、と言うことができる。
【０１７２】
次に、ステップＳＧ８０３におけるＣＡＤ計測およびステップＳＧ８０４における計測結果表示の詳細を説明する。ＣＡＤマッチングの実行後、ユーザが図７の[ＣＡＤ計測]チェックボックス７６０にチェックを入れると、ユーザは[閲覧画像]ボックス７０１においてＣＡＤ計測を行うことができる。[ＣＡＤ計測]チェックボックス７６０にチェックが入ると、ＣＰＵ３４ｃは、 [閲覧画像]ボックス７０１の閲覧画像上にＣＡＤオブジェクトを重畳した画像（第２の画像）を表示するための処理を行う。
【０１７３】
このとき、ＣＰＵ３４ｃは、ステップＳＧ８０２で得られたＣＡＤマッチング結果に基づいて、[ＣＡＤマッチング]ボックスにおいて、テンプレート画像のタービンブレードとマッチしたＣＡＤオブジェクトの姿勢と同じ姿勢を保ったＣＡＤオブジェクトを閲覧画像に重畳表示する。これによって、図３１のように、[閲覧画像]ボックス７０１の閲覧画像上にＣＡＤオブジェクトＯＢが重畳表示される。閲覧画像は、テンプレート画像におけるタービンブレードの姿勢と同じ姿勢のタービンブレードを撮像した画像であるので、再度ＣＡＤマッチングを行うことなく、閲覧画像のタービンブレードとＣＡＤオブジェクトとのマッチングが完了した状態の画像を得ることができる。
【０１７４】
ユーザは、リモコン２３を操作することによってカーソルの操作指示を入力し、カーソルを移動させ、 [閲覧画像]ボックス７０１におけるＣＡＤオブジェクトＯＢ上の点を１点目の計測点として指定する。計測点が指定されると、ＣＰＵ３４ｃは、カーソルの位置に基づいて、[閲覧画像]ボックス７０１における計測点の位置を認識し、その位置に計測点を表示するための処理を行う。これによって、図３２のように、計測点Ｓ１が表示される。さらに、ＣＰＵ３４ｃは計測点の３次元座標を算出する。この３次元座標は、指定された点の、ＣＡＤオブジェクト表面における３次元座標であり、ＣＡＤデータを用いて算出される。３次元座標の算出方法の詳細については、後述する。
【０１７５】
続いて、ユーザは、リモコン２３を操作することによってカーソルの操作指示を入力し、カーソルを移動させ、 [閲覧画像]ボックス７０１におけるＣＡＤオブジェクト上の別の点を２点目の計測点として指定する。ＣＰＵ３４ｃは、１点目の計測点と同様に２点目の計測点を表示するための処理を行う。これによって、図３３のように、計測点Ｓ２が表示される。さらに、ＣＰＵ３４ｃは計測点の３次元座標を算出する。
【０１７６】
続いて、ＣＰＵ３４ｃは、２つの計測点の３次元座標間の距離（２点間距離）を算出する。上記が、ステップＳＧ８０３におけるＣＡＤ計測の内容である。ＣＰＵ３４ｃは、２点間距離を算出すると、続けて、２点間距離を表示するための処理を行う。これによって、図３４のように、２点間距離Ｄが計測結果として表示される。本実施形態のＣＡＤ計測では、閲覧画像のタービンブレードとＣＡＤオブジェクトとがマッチングした状態で計測を行うので、ユーザは、ＣＡＤオブジェクトに対して計測を行いながら、あたかも閲覧画像のタービンブレードに対して直接計測を行っているかのように、作業を進めることができる。
【０１７７】
ステップＳＧ５の画像選択処理において、ユーザが[<< 前]ボタンもしくは[次 >>]ボタンを押下し、［閲覧画像]ボックス７０１に表示される閲覧画像を切り替えても、[ＣＡＤ計測]チェックボックス７６０にチェックが入っている間、ＣＡＤオブジェクトは［閲覧画像]ボックス７０１の閲覧画像上に重畳表示されたままになっている。
【０１７８】
このとき、閲覧画像上に重畳されたＣＡＤオブジェクトの姿勢は、閲覧画像が切り替わっても、同じままである。ユーザが[<< 前]ボタンもしくは[次 >>]ボタンを押下した際に、順次表示される閲覧画像は全て、テンプレート画像のタービンブレードと同じ姿勢のタービンブレードを撮影した画像であるので、ユーザは、改めてポーズパラメータの設定やＣＡＤマッチングを実行する必要はなく、各閲覧画像に対して、ＣＡＤ計測を行うことができる。ユーザは、各閲覧画像に対するＣＡＤ計測を行うことにより、各閲覧画像のタービンブレードに発生している欠陥等のサイズ（寸法）を計測することができる。
【０１７９】
[ＣＡＤ計測]チェックボックス７６０のチェックが外されると、[閲覧画像]ボックス７０１に表示されていたＣＡＤオブジェクト、計測点、および２点間距離が非表示となり、ＣＡＤ計測が終了する。本実施形態では２点間計測を行う例を説明したが、指定された領域の面積や凹部の深さ等の計測に対して本実施形態を適用してもよい。
【０１８０】
次に、図３５〜図３８を用いて、指定された計測点の、ＣＡＤオブジェクト表面における３次元座標の算出方法について説明する。図３５は、３次元空間におけるＣＡＤオブジェクトの一部と視点Ｅ（カメラ位置）との関係を示している。
【０１８１】
ＣＡＤオブジェクトは、複数の三角形の空間平面から構成されている。視点ＥからＣＡＤオブジェクトの重心点Ｇへ向かう方向を視線方向とする。視点ＥとＣＡＤオブジェクトとの間には、視線方向と垂直に交わるスクリーン平面ＳＣが設定されている。このスクリーン平面ＳＣは、[閲覧画像]ボックスに相当するものであり、スクリーン平面ＳＣ上に映っているＣＡＤオブジェクトの平面投影像が、[閲覧画像]ボックスに重畳されているＣＡＤオブジェクトであると考えて良い。
【０１８２】
ユーザが[閲覧画像]ボックスにおけるＣＡＤオブジェクト上の点を指定すると、ＣＰＵ３４ｃは、図３６のように、スクリーン平面ＳＣ上に計測点Ｓを設定する。計測点Ｓと視点Ｅとを通る空間直線を直線Ｌとする。そして、ＣＰＵ３４ｃは、ＣＡＤオブジェクトを構成する複数の三角形の中から、直線Ｌと交差する全ての三角形を検索する。直線と空間三角形とが交差するかどうかを判定する方法として、例えばTomas Mollerの交差判定法を用いることが可能である。この例では、図３７のように、三角形Ｔ１，Ｔ２が、直線Ｌと交差する三角形であると判定される。
【０１８３】
そして、図３８のように、ＣＰＵ３４ｃは、直線Ｌと三角形Ｔ１，Ｔ２との交点を算出し、算出したそれぞれの交点を交点Ｆ１，Ｆ２とする。ここでは、ＣＡＤオブジェクト表面における３次元座標を算出したいので、ＣＰＵ３４ｃは、交点Ｆ１，Ｆ２のうち、より視点Ｅに近い方を選択する。この場合、ＣＰＵ３４ｃは、交点Ｆ１の３次元座標を、ＣＡＤオブジェクト表面における３次元座標として算出する。上記では、直線Ｌと交差すると判定された三角形を２つのみとしたが、ＣＡＤオブジェクトの形状や視線方向によっては、より多くの三角形が交差すると判定される場合もある。その場合も、直線Ｌと三角形との交点をそれぞれ求め、求めた交点の中で、最も視点Ｅに近い交点を選択することになる。
【０１８４】
上記では、ポーズパラメータ設定において、ユーザがＣＡＤオブジェクトをテンプレート画像のタービンブレードに大まかにマッチさせる操作を行った後、ＣＡＤマッチング処理が実行されているが、以下のようにしてもよい。例えば、高い計測精度を要求しなくてもよいのであれば、ユーザがＣＡＤオブジェクトをテンプレート画像のタービンブレードに大まかにマッチさせる操作を行った後、ＣＡＤマッチング処理を実行せずにＣＡＤ計測を行ってもよい。あるいは、ＣＡＤマッチング処理の処理時間の増加やＣＡＤマッチング処理の失敗を考慮しなくてもよいのであれば、ユーザがＣＡＤオブジェクトをテンプレート画像のタービンブレードに大まかにマッチさせる操作を行わず、ＣＡＤマッチング処理を実行してもよい。
【０１８５】
上述したように、本実施形態によれば、テンプレート画像のタービンブレードのみに対してＣＡＤオブジェクトのＣＡＤマッチングを１度行うだけで、複数の閲覧画像に対して、ＣＡＤマッチングを再度行うことなく、ＣＡＤ計測を行うことが可能となる。したがって、閲覧画像に対してＣＡＤ計測を行う際、ＣＡＤマッチングの操作が不要になるため、計測時の手間を低減することができる。
【０１８６】
本実施形態のテンプレート画像は、ブレード画像を抽出する際の基準となる画像であると共に、ブレード画像を用いたＣＡＤ計測を行う際のＣＡＤオブジェクトの姿勢をＣＡＤマッチングによって決定する際の基準となる画像である。本実施形態では、ブレード画像を用いてＣＡＤ計測を行う際にＣＡＤマッチングを行わないので、より高い計測精度を得るためには、テンプレート画像とブレード画像との相関がより高くなると共に、ＣＡＤオブジェクトとマッチさせやすいブレードが映っているテンプレート画像を選択することが望ましい。このため、形状や色等に関する欠陥のない良品のブレードを撮像した画像をテンプレート画像とすることが望ましい。
【０１８７】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１８８】
１・・・ジェットエンジン、２・・・ターニングツール、３・・・内視鏡装置、４・・・ビデオ端子ケーブル、５・・・ビデオキャプチャカード、６・・・ＰＣ、７・・・ＬＡＮケーブル、１０・・・タービンブレード、２０・・・内視鏡挿入部、２１・・・内視鏡装置本体、２２，２５・・・モニタ（表示部）、２３・・・リモコン（入力装置）、２４・・・ＰＣ本体、３０ａ・・・撮像光学系、３０ｂ・・・撮像素子、３１・・・画像信号処理装置、３２・・・光源、３３・・・湾曲制御ユニット、３４，３５・・・制御用コンピュータ、３４ａ，３５ａ・・・ＲＡＭ、３４ｂ・・・ＲＯＭ、３４ｃ，３５ｃ・・・ＣＰＵ（テンプレート画像抽出部、ブレード画像抽出部、制御部、算出部）、３４ｄ，３５ｄ・・・ネットワークＩ／Ｆ、３４ｅ・・・ＲＳ２３２Ｃ Ｉ／Ｆ、３４ｆ・・・カードＩ／Ｆ、３５ｂ・・・ＨＤＤ、３５ｅ・・・ＵＳＢ Ｉ／Ｆ
【技術分野】
【０００１】
本発明は、ジェットエンジン内に周期的に配置されたブレードを撮像した画像を処理する画像処理方法、プログラム、および画像処理装置に関する。
【背景技術】
【０００２】
従来、内視鏡等の観察用治具を使用して、ジェットエンジン内のブレードの計測が行われている。特許文献１には、ブレード等の計測に適した技術が記載されている。この特許文献１に記載された技術では、被写体を撮像した被写体画像と、コンピュータグラフィックス（ＣＧ）により生成したＣＧ画像とをモニタに表示し、ＣＧ画像における物体の状態と被写体画像における被写体の状態とが一致するように、ユーザの指示に基づいてＣＧ画像を変更し、計測を行いたい部分に対してＣＧ画像上で計測を行うことが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平３−１０２２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術では、被写体の見え方が異なる複数の被写体画像を切り替えながら各被写体画像に対して計測を行う場合、被写体画像を切り替えるたびに、ＣＧ画像における物体の状態を被写体画像における被写体の状態に一致させる操作が必要となる。このため、ジェットエンジン内に周期的に配置された複数のブレードの計測を行う場合、上記の操作が頻繁に発生し、手間がかかるという問題がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、計測時の手間を低減することができる画像処理方法、プログラム、および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、を備えたことを特徴とする画像処理方法である。
【０００７】
また、本発明の画像処理方法において、前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御することを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記第３のステップでは、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする。
【０００９】
また、本発明の画像処理方法において、前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御した後、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記第４のステップでは、前記第３のステップで姿勢が制御された前記物体の姿勢と同一姿勢の前記物体を前記第２のブレード画像に重畳することを特徴とする。
【００１１】
また、本発明の画像処理方法は、前記第２のブレード画像を切り替えながら、前記第４のステップと前記第５のステップを繰り返すことを特徴とする。
【００１２】
また、本発明の画像処理方法において、前記第５のステップではさらに、前記物体上に前記計測点を表示することを特徴とする。
【００１３】
また、本発明の画像処理方法において、前記第５のステップではさらに、前記物体のサイズを表示することを特徴とする。
【００１４】
また、本発明の画像処理方法において、前記テンプレート画像が、良品のブレードを撮像した画像であることを特徴とする。
【００１５】
また、本発明は、ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、をコンピュータに実行させるためのプログラムである。
【００１６】
また、本発明は、ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出するテンプレート画像抽出部と、前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出するブレード画像抽出部と、予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示した後、前記物体の画像を前記第２のブレード画像に重畳した第２の画像を表示する表示部と、
前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する制御部と、入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する算出部と、を備えたことを特徴とする画像処理装置である。
【発明の効果】
【００１７】
本発明によれば、予め算出された３次元形状を有する物体の画像をテンプレート画像に重畳した第１の画像が表示され、テンプレート画像におけるブレードの姿勢に一致するように物体の姿勢が制御される。第２のブレード画像は、テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含むため、物体の画像を第２のブレード画像に重畳した第２の画像では、物体の姿勢を、第２のブレード画像におけるブレードの姿勢に一致させることが可能となる。したがって、第２のブレード画像を表示して計測を行う際、物体の姿勢を調整する操作が不要になるため、計測時の手間を低減することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態によるブレード検査システムの構成を示すブロック図である。
【図２】本発明の一実施形態によるブレード検査システムが備える内視鏡装置の構成を示すブロック図である。
【図３】本発明の一実施形態によるブレード検査システム（変形例）の構成を示すブロック図である。
【図４】本発明の一実施形態によるブレード検査システム（変形例）の構成を示すブロック図である。
【図５】本発明の一実施形態によるブレード検査システム（変形例）が備えるＰＣの構成を示すブロック図である。
【図６】本発明の一実施形態におけるブレード記録ソフトの画面を示す参考図である。
【図７】本発明の一実施形態におけるブレード記録ソフトの画面を示す参考図である。
【図８】本発明の一実施形態におけるメモリカード内のディレクトリ構造を示す参考図である。
【図９】本発明の一実施形態における保存フォルダリストを示す参考図である。
【図１０】本発明の一実施形態における画像ファイルリストを示す参考図である。
【図１１】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１２】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１３】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１４】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１５】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１６】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１７】本発明の一実施形態における相関値の経時変化を示すグラフである。
【図１８】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図１９】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２０】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２１】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２２】本発明の一実施形態におけるブレード記録ソフトによる動作の手順を示すフローチャートである。
【図２３】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２４】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２５】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２６】本発明の一実施形態におけるカメラ位置の変更方法を説明するための参考図である。
【図２７】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図２８】本発明の一実施形態におけるカメラ回転角度の変更方法を説明するための参考図である。
【図２９】本発明の一実施形態におけるポーズパラメータの設定手順を説明するための参考図である。
【図３０】本発明の一実施形態におけるカメラ奥行きの変更方法を説明するための参考図である。
【図３１】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３２】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３３】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３４】本発明の一実施形態におけるＣＡＤ計測の手順を説明するための参考図である。
【図３５】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【図３６】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【図３７】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【図３８】本発明の一実施形態における３次元座標の算出方法を説明するための参考図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明の実施形態を説明する。図１は、本実施形態によるブレード検査システムの構成を示している。ジェットエンジン１内には、検査対象物である複数のタービンブレード１０（もしくはコンプレッサーブレード）が所定の間隔で周期的に配置されている。また、ジェットエンジン１には、タービンブレード１０を回転方向Ａに所定の速度で回転させるターニングツール２が接続されている。本実施形態では、タービンブレード１０の画像を取り込んでいる間は常にタービンブレード１０を回転させた状態にしている。
【００２０】
本実施形態では、タービンブレード１０の画像を取得するため、内視鏡装置３（本発明の画像処理装置に対応）が用いられる。ジェットエンジン１の内部には、内視鏡装置３の内視鏡挿入部２０が挿入されており、この内視鏡挿入部２０により、回転しているタービンブレード１０の映像が取り込まれる。また、内視鏡装置３には、タービンブレード１０を所望の角度で撮像した画像を記録するためのブレード記録ソフトが記憶されている。
【００２１】
図２は内視鏡装置３の構成を示している。内視鏡装置３は、内視鏡挿入部２０、内視鏡装置本体２１、モニタ２２、およびリモコン（リモートコントローラ）２３から構成されている。内視鏡挿入部２０の先端には、撮像光学系３０ａおよび撮像素子３０ｂが内蔵されている。また、内視鏡装置本体２１には、画像信号処理装置（ＣＣＵ）３１、光源３２、湾曲制御ユニット３３、および制御用コンピュータ３４が内蔵されている。
【００２２】
内視鏡挿入部２０において、撮像光学系３０ａは被写体からの光を集光し、撮像素子３０ｂの撮像面上に被写体像を結像する。撮像素子３０ｂは、被写体像を光電変換して撮像信号を生成する。撮像素子３０ｂから出力された撮像信号は画像信号処理装置３１に入力される。
【００２３】
内視鏡装置本体２１において、画像信号処理装置３１は、撮像素子３０ｂからの撮像信号をＮＴＳＣ信号等の映像信号に変換して制御用コンピュータ３４に供給し、さらに必要に応じてアナログビデオ出力として、外部に出力する。
【００２４】
光源３２は、光ファイバ等を通じて内視鏡挿入部２０の先端に接続されており、光を外部に照射することができる。湾曲制御ユニット３３は内視鏡挿入部２０の先端と接続されており、先端を上下左右に湾曲させることができる。光源３２および湾曲制御ユニット３３の制御は、制御用コンピュータ３４によって行われる。
【００２５】
制御用コンピュータ３４は、ＲＡＭ３４ａ、ＲＯＭ３４ｂ、ＣＰＵ３４ｃ、外部インターフェースとしてネットワークＩ／Ｆ３４ｄ、ＲＳ２３２Ｃ Ｉ／Ｆ３４ｅ、カード Ｉ／Ｆ３４ｆから構成されている。ＲＡＭ３４ａは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ＲＯＭ３４ｂには、内視鏡装置３を制御するための一連のソフトウェア（プログラム）が記憶されており、後述するブレード記録ソフトもＲＯＭ３４ｂ内に記憶される。ＣＰＵ３４ｃは、ＲＯＭ３４ｂに記憶されているソフトウェアの命令コードに従って、ＲＡＭ３４ａに記憶されたデータを用いて各種制御のための演算等を実行する。
【００２６】
ネットワークＩ／Ｆ３４ｄは、外部ＰＣとＬＡＮケーブルによって接続するためのインターフェースであり、外部ＰＣに対して、画像信号処理装置３１から出力された映像情報を展開することができる。ＲＳ２３２Ｃ Ｉ／Ｆ３４ｅは、リモコン２３と接続するためのインターフェースであり、このリモコン２３をユーザが操作することによって、内視鏡装置３の各種動作を制御することができる。カード Ｉ／Ｆ３４ｆは、記録媒体である各種メモリカード５０を自由に着脱できるようになっている。メモリカード５０を装着することにより、ＣＰＵ３４ｃの制御によって、メモリカード５０に記憶されている画像情報等のデータを取り込み、あるいは画像情報等のデータをメモリカード５０に記録することができる。
【００２７】
本実施形態によるブレード検査システムの構成の変形例として、図３に示す構成を用いてもよい。本変形例では、内視鏡装置３にビデオ端子ケーブル４およびビデオキャプチャカード５が接続されており、これによって、内視鏡装置３が取り込んだ映像をＰＣ６（本発明の画像処理装置に対応）にも取り込ませることが可能となっている。ＰＣ６は、図３ではノート型ＰＣとして描かれているが、デスクトップ型のＰＣ等でもよい。ＰＣ６には、タービンブレード１０を所望の角度で撮像した画像を記録するためのブレード記録ソフトが記憶されている。
【００２８】
さらに、図３では、ＰＣ６への映像の取り込みにビデオ端子ケーブル４およびビデオキャプチャカード５を用いているが、図４に示すようにＬＡＮケーブル７を用いてもよい。内視鏡装置３は、取り込まれた映像をＬＡＮネットワーク上に展開することのできるネットワークＩ／Ｆ３４ｄを備えている。そして、ＬＡＮケーブル７を通じて、ＰＣ６に映像を取りませることができる。
【００２９】
図５はＰＣ６の構成を示している。ＰＣ６はＰＣ本体２４およびモニタ２５から構成されている。ＰＣ本体２４には、制御用コンピュータ３５が内蔵されている。制御用コンピュータ３５は、ＲＡＭ３５ａ、ＨＤＤ（ハードディスクドライブ）３５ｂ、ＣＰＵ３５ｃ、外部インターフェースとして、ネットワークＩ／Ｆ３５ｄ、ＵＳＢ Ｉ／Ｆ３５ｅから構成されている。制御用コンピュータ３５はモニタ２５に接続されており、映像情報およびソフトウェアの画面等がモニタ２５に表示される。
【００３０】
ＲＡＭ３５ａは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ＨＤＤ３５ｂには、内視鏡装置を制御するために一連のソフトウェアが記憶されており、ブレード記録ソフトもＨＤＤ３５ｂ内に記憶される。また、本実施形態では、タービンブレード１０の画像を保存する保存用フォルダはＨＤＤ３５ｂ内に設定される。ＣＰＵ３５ｃは、ＨＤＤ３５ｂに記憶されているソフトウェアの命令コードに従って、ＲＡＭ３５ａに記憶されたデータを用いて各種制御のための演算等を実行する。
【００３１】
ネットワークＩ／Ｆ３５ｄは、内視鏡装置３とＰＣ６をＬＡＮケーブル７によって接続するためのインターフェースであり、内視鏡装置３からＬＡＮ出力された映像情報をＰＣ６に入力することができる。ＵＳＢ Ｉ／Ｆ３５ｅは、内視鏡装置３とＰＣ６をビデオキャプチャカード５によって接続するためのインターフェースであり、内視鏡装置３からアナログビデオ出力された映像情報をＰＣ６に入力することができる。
【００３２】
図３および図４に示すブレード検査システムでは、図１に示すブレード検査システムと同様の効果を得ることができる。特に、内視鏡装置の性能がＰＣよりも劣っており、内視鏡装置の動作速度等が十分でない場合等に、図３および図４に示すブレード検査システムは有効である。
【００３３】
次に、ブレード記録ソフトの画面を説明する。図６は、ブレード記録ソフトのメインウィンドウを示している。図６に示すメインウィンドウ６００は、ユーザがブレード記録ソフトを起動した際に表示される。
【００３４】
メインウィンドウ６００の表示は、ＣＰＵ３４ｃによる制御に従って行われる。ＣＰＵ３４ｃは、メインウィンドウ６００を表示するためのグラフィック画像信号（表示信号）を生成し、モニタ２２へ出力する。また、内視鏡装置３に取り込まれた映像（以下、内視鏡映像と記載）をメインウィンドウ６００上に重畳表示する場合には、ＣＰＵ３４ｃは、画像信号処理装置３１から取り込んだ画像データをグラフィック画像信号に重畳する処理を行い、処理後の信号（表示信号）をモニタ２２へ出力する。
【００３５】
また、メインウィンドウ６００上のＧＵＩの表示状態を更新する場合、ＣＰＵ３４ｃは、更新後のメインウィンドウ６００に対応したグラフィック画像信号を生成し、上記と同様の処理を行う。メインウィンドウ６００以外のウィンドウの表示に係る処理も上記と同様である。以下、メインウィンドウ６００等を表示（更新も含む）するためにＣＰＵ３４ｃがグラフィック画像信号を生成する処理のことを、メインウィンドウ６００等を表示するための処理と記載する。
【００３６】
ユーザは、ＧＵＩ（グラフィカルユーザインタフェース）機能を利用して、リモコン２３を介してメインウィンドウ６００を操作することにより、内視鏡映像の閲覧および画像ファイルの保存を行うことができる。以下、各種ＧＵＩの機能を説明する。
【００３７】
メインウィンドウ６００の上部には、[プレビュー画像]ボックス６０１、[テンプレート画像]ボックス６０２、[レコード画像]ボックス６０３が配置されている。
【００３８】
[プレビュー画像]ボックス６０１は、内視鏡映像を表示するためのボックスである。ターニングツール２によってタービンブレード１０が回転している状態のとき、後述する[プレビュー開始]ボタン６１０が押下されると、内視鏡映像（タービンブレード１０が回転している映像）がリアルタイムに表示される。このように、[プレビュー画像]ボックス６０１により、ユーザは内視鏡映像を閲覧することができる。以下、[プレビュー画像]ボックス６０１に内視鏡映像が表示されることを、プレビューと記載する。
【００３９】
[テンプレート画像]ボックス６０２は、テンプレート画像を表示するためのボックスである。後述する[テンプレート登録]ボタン６１２が押下されると、内視鏡映像を構成する各フレームの画像のうち、そのタイミングで取りこまれた１フレーム分の画像が、[テンプレート画像]ボックス６０２にテンプレート画像として表示される。テンプレート画像とは、後述するレコード画像を表示する際に基準となる画像のことである。
【００４０】
[レコード画像]ボックス６０３は、後述するレコード画像を表示するためのボックスである。後述する[レコード開始]ボタン６１３が押下された後、内視鏡映像を構成する各フレームの画像のうち、テンプレート画像との相関の高い画像（以下、レコード画像と記載）が順次表示される。[レコード画像]ボックス６０３に表示されたレコード画像は、画像ファイルとしてメモリカード５０内の保存フォルダに順次保存される。
【００４１】
ここで保存される画像ファイルを、以下、レコード画像ファイルと記載する。また、レコード画像ファイルをメモリカード５０内の保存フォルダに順次保存することを、以下、レコードと記載する。保存フォルダの詳細については、後述する。
【００４２】
[プレビュー開始]ボタン６１０は、[プレビュー画像]ボックス６０１への内視鏡映像の表示を開始するためのボタンである。[プレビュー停止]ボタン６１１は、[プレビュー画像]ボックス６０１への内視鏡映像の表示を停止するためのボタンである。
【００４３】
[テンプレート登録]ボタン６１２は、所望の画像をテンプレート画像として登録するためのボタンである。[テンプレート登録]ボタン６１２が押下されると、内視鏡映像を構成する各フレームの画像のうち、そのタイミングで取りこまれた１フレーム分の画像が、[テンプレート画像]ボックス６０２にテンプレート画像として表示される。さらに、その１フレーム分の画像が、テンプレート画像としてＲＡＭ３４ａに記録される。
【００４４】
[レコード開始]ボタン６１３は、レコードを開始するためのボタンである。[レコード開始]ボタン６１３が押下されると、後述する[レコード数]ボックス６２０の値が０にリセットされる。そして、内視鏡映像とテンプレート画像との比較が毎フレームで行われ、内視鏡映像を構成する各フレームの画像のうち、テンプレート画像との相関の高い１フレーム分のレコード画像が[レコード画像]ボックス６０３に順次表示される。さらに、表示されたレコード画像は、画像ファイルとしてメモリカード５０内の保存フォルダに順次保存される。
【００４５】
より具体的には、内視鏡映像内のタービンブレード１０の位置や角度が、テンプレート画像内のタービンブレード１０の位置や角度と同じになったとき（簡略化して言い換えると、内視鏡映像内のタービンブレード１０と、テンプレート画像内のタービンブレード１０との見え方すなわち姿勢が同じになったとき）の１フレーム分の画像が表示および保存されることになる。
【００４６】
[レコード停止]ボタン６１４は、レコードを停止するためのボタンである。[画像閲覧]ボタン６１５は、メモリカード５０内の保存フォルダに保存された画像ファイルを閲覧するためのボタンである。[レコード停止]ボタン６１４が押下されると、後述する[画像閲覧]ウィンドウが表示される。[画像閲覧]ウィンドウが表示されている間は、メインウィンドウ６００は、ユーザによる操作が無効の状態となる。
【００４７】
[レコード数]ボックス６２０には、レコード画像ファイルの現在の保存枚数（以下、レコード数と記載）を表示するためのボックスである。但し、テンプレート画像の画像ファイルはカウントされない。また、前述したように、[レコード開始]ボタン６１３が押下されると、[レコード数]ボックス６２０の値が０にリセットされる。
【００４８】
[最大レコード]数ボックス６２１には、レコード画像ファイルの最大枚数（以下、最大レコード数と記載）を表示するためのボックスである。レコード中に、レコード数が最大レコード数と同じ値になった場合、レコードが自動的に終了する。[最大レコード]数ボックス６２１には、任意の最大レコード数を入力することが可能である。例えば、[最大レコード]数ボックス６２１にタービンブレード１０の１周分のブレード枚数を入力しておくことにより、タービンブレード１０の画像ファイルを必要な枚数だけ保存することができる。
【００４９】
[終了]ボタン６３０は、ブレード記録ソフトを終了するためのボタンである。[終了]ボタン６３０が押下されると、メインウィンドウ６００が非表示となり、ブレード記録ソフトの動作が終了する。
【００５０】
図７は、ブレード記録ソフトの[画像閲覧]ウィンドウを示している。図７に示す[画像閲覧]ウィンドウ７００は、前述したように、メインウィンドウ６００の[画像閲覧]ボタン６１５が押下された際に、表示される。
【００５１】
ユーザは、ＧＵＩ機能を利用して、リモコン２３を介して[画像閲覧]ウィンドウ７００を操作することにより、レコード画像ファイルの閲覧を行うことができる。また、ユーザは、ＧＵＩ機能を利用して、リモコン２３を介して[画像閲覧]ウィンドウ７００を操作することにより、ＣＡＤ（Computer Aided Design）を利用して予め算出されたタービンブレード１０の３次元形状を表すＣＡＤデータと、テンプレート画像とのＣＡＤマッチングを行うことができる。このＣＡＤマッチングは、ＣＡＤデータを利用したタービンブレード１０の計測（以下、ＣＡＤ計測と記載）のための準備処理である。本実施形態のＣＡＤ計測では、ステレオ計測とは異なり、同一の被写体を、左右の光学系のそれぞれを通して撮影する必要がないので、複雑なハードウェアを必要としない。以下、各種ＧＵＩの機能を説明する。
【００５２】
[閲覧画像]ボックス７０１は、レコード画像ファイルを表示するためのボックスである。後述する[<< 前]ボタン７１０または[次 >>]ボタン７１１が押下される、もしくは[日時選択]ボックス７２４の選択が変更されると、[閲覧画像]ボックス７０１に表示されるレコード画像ファイルが切り替わる。[閲覧画像]ボックス７０１により、ユーザはレコード画像ファイルを閲覧することができる。以下、[閲覧画像]ボックス７０１に表示されているレコード画像を閲覧画像と記載し、その画像ファイルを閲覧画像ファイルと記載する。
【００５３】
[<< 前]ボタン７１０は、閲覧画像を切り替えるためのボタンである。[<< 前]ボタン７１０が押下されると、後述する画像ファイルリストの中で、[閲覧画像]ボックス７０１に表示されている画像ファイルの画像ファイルＮｏ（画像ファイルナンバー）より１つ小さな画像ファイルＮｏをもつ画像ファイルが表示される。それに伴い、後述する[画像ファイル名]ボックス７２０に表示されている画像ファイル名も切り替わる。
【００５４】
[次 >>]ボタン７１１も、閲覧画像を切り替えるためのボタンである。[次 >>]ボタン７１１が押下されると、後述する画像ファイルリストの中で、[閲覧画像]ボックス７０１に表示されている画像ファイルの画像ファイルＮｏより１つ大きな画像ファイルＮｏをもつ画像ファイルが表示される。それに伴い、後述する[画像ファイル名]ボックス７２０に表示されている画像ファイル名も切り替わる。
【００５５】
[画像ファイル名]ボックス７２０は、閲覧画像ファイルのファイル名を表示するためのボックスである。[<< 前]ボタン７１０または[次 >>]ボタン７１１が押下される、もしくは[日時選択]ボックス７２４の選択が変更されると、[画像ファイル名]ボックス７２０の画像ファイル名の表示が切り替わる。
【００５６】
[画像ファイル数]ボックス７２１は、後述する画像ファイルリストの中の画像ファイル数を表示するためのボックスである。[日時選択]ボックス７２４の選択が変更されると、[画像ファイル数]ボックス７２１の画像ファイル数の表示が切り替わる。
【００５７】
[保存日時]ボックス７２２は、閲覧画像ファイルの保存日時を表示するためのボックスである。[<< 前]ボタン７１０または[次 >>]ボタン７１１が押下される、もしくは[日時選択]ボックス７２４の選択が変更されると、[保存日時]ボックス７２２の画像ファイルの保存日時の表示が切り替わる。
【００５８】
[日時選択]ボックス７２４は、閲覧画像を切り替えるためのボックスである。後述する保存フォルダリストのレコード開始日時が[日時選択]ボックス７２４にリスト形式で表示される。[日時選択]ボックス７２４のレコード開始日時の選択が変更されると、選択されたレコード開始日時をもつ保存フォルダに保存されたレコード画像ファイルが[閲覧画像]ボックス７０１に表示される。それに伴い、[画像ファイル名]ボックス７２０の画像ファイル名、および[画像ファイル数]ボックス７２１の画像ファイル数の表示も切り替わる。
【００５９】
[ＣＡＤマッチング]ボックス７３０は、ＣＡＤデータに基づくＣＡＤオブジェクトとテンプレート画像とを表示し、かつそれらのＣＡＤマッチングを行うためのボックスである。ＣＡＤオブジェクトは、ＣＡＤデータファイルの内容をもとに構築されたＣＧ物体である。[ＣＡＤマッチング]ボックス７３０の詳細については、後述する。
【００６０】
[パラメータ設定]ボックス７４０は、ＣＡＤオブジェクトの姿勢（ポーズ）、すなわちＣＡＤオブジェクトをどの方向、どの位置から見ているかを設定するパラメータ（以下、ポーズパラメータと記載）を入力および表示するためのボックスである。[パラメータ設定]ボックス７４０内には、[オブジェクト位置]カーソルボタン、[カメラ位置]カーソルボタン、[カメラ回転]カーソルボタン、[カメラ奥行き]カーソルボタンが配置されている。ユーザは、[パラメータ設定]ボックス７４０内の各種カーソルボタンを操作することで、ポーズパラメータを設定することができる。[パラメータ設定]ボックス７４０の詳細については、後述する。
【００６１】
[ＣＡＤマッチング]ボタン７５０は、ＣＡＤマッチングを実行するためのボタンである。[ＣＡＤマッチング]ボタン７５０が押下されると、[パラメータ設定]ボックス７４０において設定されたポーズパラメータに基づいて、テンプレート画像とＣＡＤオブジェクトとのＣＡＤマッチングが実行され、テンプレート画像におけるタービンブレード１０の姿勢と一致するＣＡＤオブジェクトの姿勢が算出される。
【００６２】
[ＣＡＤデータ選択]ボタン７５１は、ＣＡＤマッチングに使用するＣＡＤデータファイルを選択するためのボタンである。ＣＡＤデータファイルは、メモリカード５０に記憶されている。[ＣＡＤデータ選択]ボタン７５１が押下された際の処理の詳細については、記載しない。
【００６３】
本実施形態で使用するＣＡＤデータファイルの形式には、ＳＴＬ（Ｓｔｅｒｅｏ Ｔｒｉａｎｇｕｌａｔｉｏｎ Ｌａｎｇｕａｇｅ）形式等を用いる。これらの形式のＣＡＤデータファイルでは、ＣＡＤオブジェクトが複数の三角形の空間平面によって表現されており、それらの三角形を構成する空間座標データがファイルに記録されている。
【００６４】
[ＣＡＤ計測]チェックボックス７６０は、ＣＡＤ計測を行うためのチェックボックスである。[ＣＡＤ計測]チェックボックス７６０にチェックが入ると、[閲覧画像]ボックス７０１においてＣＡＤ計測を行うことができる。[ＣＡＤ計測]チェックボックスの詳細については、後述する。
【００６５】
[閉じる]ボタン７７０は、画像の閲覧を終了するためのボタンである。[閉じる]ボタン７７０が押下されると、[画像閲覧]ウィンドウ７００が非表示となり、メインウィンドウ６００が操作される状態に戻る。
【００６６】
次に、図８〜図１０を用いて、メモリカード５０内の画像ファイルに関するディレクトリ構造を説明する。図８に示すように、メモリカード５０の直下のディレクトリは複数の保存フォルダ８００から構成されている。保存フォルダ８００は、レコード画像ファイルが保存されるフォルダである。レコード開始日時が保存フォルダ８００のフォルダ名となる。例えば、レコード開始日時が「2007/12/26 21:32:21」の場合、フォルダ名は「20071226_213221」となる。
【００６７】
各保存フォルダの直下のディレクトリは複数のレコード画像ファイル８１０から構成されている。レコード画像ファイル名は、レコード画像ファイルが保存された順にそれぞれ「001.jpg」、「002.jpg」、「003.jpg」・・・となる。但し、テンプレート画像ファイルのファイル名は「Temp.jpg」となる。
【００６８】
また、後述する画像閲覧処理の際には、保存フォルダリストおよび画像ファイルリストが作成される。
【００６９】
保存フォルダリストとは、保存フォルダの一覧表である。図９に示すように、保存フォルダリストは、保存フォルダＮｏ（保存フォルダナンバー）、レコード開始日時、およびフォルダ名から構成されている。保存フォルダＮｏには、保存フォルダが作成された順に、１、２、３・・・の番号が割り当てられる。
【００７０】
画像ファイルリストとは、各保存フォルダに保存されたレコード画像ファイルの一覧表である。図１０に示すように、画像ファイルリストは、画像ファイルＮｏ、ファイル保存日時、およびファイル名から構成されている。画像ファイルＮｏには、ファイルが保存された順に、１、２、３・・・の番号が割り当てられる。但し、テンプレート画像のみ、最後の画像ファイルＮｏが割り当てられる。
【００７１】
次に、図１１を用いて、ブレード記録ソフトの動作の流れを説明する。ステップＳＡでは、ユーザがブレード記録ソフトを起動する。このとき、リモコン２３に入力されたブレード記録ソフトの起動指示に基づいて、ＣＰＵ３４ｃは、ＲＯＭ３４ｂに格納されているブレード記録ソフトをＲＡＭ３４ａに読み込み、ブレード記録ソフトに従った動作を開始する。ステップＳＢでは、ＣＰＵ３４ｃが、メインウィンドウを表示するための処理を行う。
【００７２】
ステップＳＣでは、ＣＰＵ３４ｃが初期化処理を行う。初期化処理とは、メインウィンドウ内の各種ＧＵＩの初期状態を設定したり、ＲＡＭ３４ａに記録された各種データの初期値を設定したりする処理のことである。初期化処理の詳細については、後述する。ステップＳＤでは、ＣＰＵ３４ｃがプレビュー処理を行う。プレビュー処理とは、プレビューの開始および停止を行う処理のことである。プレビュー処理の詳細については、後述する。
【００７３】
ステップＳＥでは、ＣＰＵ３４ｃがテンプレート登録処理を行う。テンプレート登録処理とは、[テンプレート画像]ボックスにテンプレート画像を表示し、さらにテンプレート画像をＲＡＭ３４ａに記録する処理のことである。テンプレート登録処理の詳細については、後述する。ステップＳＦでは、ＣＰＵ３４ｃがレコード処理を行う。レコード処理とは、レコードの開始および停止を行う処理のことである。レコード処理の詳細については、後述する。
【００７４】
ステップＳＧでは、ＣＰＵ３４ｃが画像閲覧処理を行う。画像閲覧処理とは、ユーザがレコード画像ファイルを閲覧するために行う処理のことである。画像閲覧処理の詳細については、後述する。ステップＳＨでは、ユーザによる[終了]ボタンの押下の有無に応じて処理が分岐する。ユーザが[終了]ボタンを押下した場合、処理はステップＳＩに移行する。また、ユーザが[終了]ボタンを押下しなかった場合、処理はステップＳＤに移行する。ステップＳＩでは、ＣＰＵ３４ｃがメインウィンドウを非表示とし、ブレード記録ソフトの動作を終了する。
【００７５】
次に、図１２を用いて、初期化処理（ステップＳＣ）の流れを説明する。ステップＳＣ１では、ＣＰＵ３４ｃが、[プレビュー停止]ボタン、[テンプレート登録]ボタン、[レコード開始]ボタン、[レコード停止]ボタンの全てを、ユーザによる操作が無効の状態とする。以下、ボタン等のＧＵＩが、ユーザによる操作無効の状態（例えば、グレー状態）であることを、単に無効と記載し、ユーザによる操作有効の状態であることを、単に有効と記載する。
【００７６】
ステップＳＣ２では、ＣＰＵ３４ｃが、レコード数Ｒを０、最大レコード数ＲｍをＲｉとして、ＲＡＭ３４ａに記録する。Ｒｉは最大レコード数Ｒｍの初期値であり、Ｒｉとして所定の値がＲＡＭ３４ａに記録されている。ステップＳＣ３では、ＣＰＵ３４ｃが、[レコード数]ボックスにレコード数Ｒ（＝０）を表示するための処理を行う。ステップＳＣ４では、ＣＰＵ３４ｃが、[最大レコード数]ボックスに最大レコード数Ｒｍを表示するための処理を行う。
【００７７】
ステップＳＣ５では、ＣＰＵ３４ｃが、プレビューフラグ、レコードフラグ、保存フラグを、全てＯＦＦとして、ＲＡＭ３４ａに記録する。プレビューフラグとは、現在の状態がプレビュー状態かどうかを示すフラグである。レコードフラグとは、現在の状態がレコード中かどうかを示すフラグである。保存フラグとは、レコード中に、後述するバッファ画像をレコード画像ファイルとして保存するかどうかを示すフラグである。以下、ブレード記録ソフトの動作中に使用される全てのフラグはＯＮもしくはＯＦＦの値を取る。ステップＳＣ５の処理が終了すると、処理はステップＳＤに移行する。
【００７８】
次に、図１３を用いて、ステップＳＤのプレビュー処理の流れを説明する。ステップＳＤ１では、ＣＰＵ３４ｃが、 [プレビュー開始]ボタンがユーザにより押下されたかどうかを確認する。[プレビュー開始]ボタンが押下された場合、処理はステップＳＤ２に移行し、[プレビュー開始]ボタンが押下されていない場合、処理はステップＳＤ４に移行する。
【００７９】
ステップＳＤ２では、ＣＰＵ３４ｃが、[プレビュー開始]ボタンを無効、[プレビュー停止]ボタンを有効、[テンプレート登録]ボタンを有効とする。ステップＳＤ３では、ＣＰＵ３４ｃが、プレビューフラグをＯＮとして、ＲＡＭ３４ａに記録する。
【００８０】
ステップＳＤ４では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたプレビューフラグがＯＮかどうかを確認する。プレビューフラグがＯＮの場合、処理はステップＳＤ５に移行し、ＯＦＦの場合、処理はステップＳＤ８に移行する。
【００８１】
ステップＳＤ５では、ＣＰＵ３４ｃが、画像信号処理装置３１から１フレーム分の画像（画像信号）をフレーム画像として取り込む。なお、ステップＳＤ５よりも前の時点で、撮像素子３０ｂは１フレーム分の撮像信号を生成し、画像信号処理装置３１はその撮像信号を映像信号に変換し、１フレーム分の画像を生成している。
【００８２】
ステップＳＤ６では、ＣＰＵ３４ｃが、ステップＳＤ５で取り込んだフレーム画像をＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたフレーム画像は、ＣＰＵ３４ｃがフレーム画像を取り込む度に上書きされる。ステップＳＤ７では、ＣＰＵ３４ｃが、ステップＳＤ５で取り込んだフレーム画像を[プレビュー画像]ボックスに表示するための処理を行う。
【００８３】
ステップＳＤ８では、ＣＰＵ３４ｃが、[プレビュー停止]ボタンがユーザにより押下されたかどうかを確認する。[プレビュー停止]ボタンが押下された場合、処理はステップＳＤ９に移行し、[プレビュー停止]ボタンが押下されていない場合、処理はステップＳＥ１に移行する。
【００８４】
ステップＳＤ９では、ＣＰＵ３４ｃが、[プレビュー開始]ボタンを有効、[プレビュー停止]ボタンを無効、[テンプレート登録]ボタンを無効とする。ステップＳＤ１０では、ＣＰＵ３４ｃが、プレビューフラグをＯＦＦとして、ＲＡＭ３４ａに記録する。ステップＳＤ１０の処理が終了すると、処理はステップＳＥに移行する。
【００８５】
次に、図１４を用いて、ステップＳＥのテンプレート登録処理の流れを説明する。ステップＳＥ１では、ＣＰＵ３４ｃが、 [テンプレート登録]ボタンがユーザにより押下されたかどうかを確認する。[テンプレート登録]ボタンが押下された場合、処理はステップＳＥ２に移行し、[テンプレート登録]ボタンが押下されていない場合、処理はステップＳＦに移行する。
【００８６】
ステップＳＥ２では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたフレーム画像を、テンプレート画像として、ＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたテンプレート画像は、[テンプレート登録]ボタンが押下される度に上書きされる。ステップＳＥ３では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたフレーム画像を[テンプレート画像]ボックスに表示するための処理を行う。具体的には、ＣＰＵ３４ｃは、ＲＡＭ３４ａに記録されたフレーム画像をグラフィック画像信号に重畳する処理を行い、処理後の信号（表示信号）をモニタ２２へ出力する。
【００８７】
上記より、ステップＳＥ２〜ＳＥ３の処理は、[テンプレート登録]ボタンが押下されたタイミングで取りこまれたフレーム画像を、テンプレート画像として登録する処理であることがわかる。ステップＳＥ４では、ＣＰＵ３４ｃが[レコード開始]ボタンを有効とする。ステップＳＥ４の処理が終了すると、処理はステップＳＦに移行する。
【００８８】
次に、図１５を用いて、ステップＳＦのレコード処理の流れを説明する。ステップＳＦ１では、ＣＰＵ３４ｃが、[レコード開始]ボタンがユーザにより押下されたかどうかを確認する。[レコード開始]ボタンが押下された場合、処理はステップＳＦ２に移行し、[レコード開始]ボタンが押下されていない場合、処理はステップＳＦ９に移行する。
【００８９】
ステップＳＦ２では、ＣＰＵ３４ｃが、[プレビュー停止]ボタンを無効、[テンプレート登録]ボタンを無効、[レコード開始]ボタンを無効、[レコード停止]ボタンを有効、[画像閲覧]ボタンを無効、[最大レコード数]ボックスを無効とする。ステップＳＦ３では、ＣＰＵ３４ｃが、レコード数Ｒ、相関値Ｃ、最大相関値Ｃｍ、相関値バッファＣｂ、相関値ステータスＳｃを全て０として（Ｒ＝０、Ｃ＝０、Ｃｍ＝０、Ｃｂ＝０、Ｓｃ＝０）、ＲＡＭ３４ａに記録する。相関値Ｃ、最大相関値Ｃｍ、相関値バッファＣｂ、相関値ステータスＣｄの詳細については、後述する。
【００９０】
ステップＳＦ４では、ＣＰＵ３４ｃが、[レコード数]ボックスにレコード数Ｒ（＝０）を表示するための処理を行う。ステップＳＦ５では、ＣＰＵ３４ｃが、[最大レコード数]ボックスに入力されている最大レコード数Ｒｍを取得し、ＲＡＭ３４ａに記録する。ステップＳＦ６では、ＣＰＵ３４ｃがメモリカード５０内に保存フォルダを作成する。このとき、[レコード開始]ボタンがユーザにより押下された日時が、そのまま保存フォルダのフォルダ名となる。
【００９１】
ステップＳＦ７では、ＣＰＵ３４ｃが、図１４のステップＳＥ２でＲＡＭ３４ａに記録されたテンプレート画像を画像ファイルとして（以下、テンプレート画像ファイルと記載）、メモリカード５０内の保存フォルダに保存する。このとき、テンプレート画像ファイル名は、「Temp.jpg」となる。ステップＳＦ８では、ＣＰＵ３４ｃが、レコードフラグをＯＮとして、ＲＡＭ３４ａに記録する。
【００９２】
ステップＳＦ９では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されたレコードフラグがＯＮかどうかを確認する。レコードフラグがＯＮの場合、処理はステップＳＦ１０に移行し、レコードフラグがＯＦＦの場合、処理はステップＳＦ１８に移行する。
【００９３】
ステップＳＦ１０では、ＣＰＵ３４ｃが、テンプレート画像とフレーム画像との相関値を算出し、相関値に基づいて、レコード画像を保存するタイミングを決定する相関処理を実行する。相関処理の詳細については、後述する。ステップＳＦ１１では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録された保存フラグがＯＮかどうかを確認する。保存フラグがＯＮの場合、処理はステップＳＦ１２に移行し、保存フラグがＯＦＦの場合、処理はステップＳＦ１８に移行する。
【００９４】
ステップＳＦ１２では、ＣＰＵ３４ｃが、ステップＳＦ１０の相関処理中にＲＡＭ３４ａに記録されたレコード画像を[レコード画像]ボックスに表示するための処理を行う。ステップＳＦ１３では、ＣＰＵ３４ｃが、レコード数Ｒを１つインクリメント（Ｒ＋１をＲに代入）して、ＲＡＭ３４ａに記録する。ステップＳＦ１４では、ＣＰＵ３４ｃが、[レコード画像]ボックスにレコード数Ｒを表示するための処理を行う。
【００９５】
ステップＳＦ１５では、ＣＰＵ３４ｃが、ステップＳＦ１０の相関処理中にＲＡＭ３４ａに記録されたレコード画像を、画像ファイルとして、保存フォルダに保存する。ステップＳＦ１６では、ＣＰＵ３４ｃが、保存フラグをＯＦＦとして、ＲＡＭ３４ａに記録する。ステップＳＦ１７では、ＣＰＵ３４ｃが、レコード数Ｒが最大レコード数Ｒｍ以上（Ｒ≧Ｒｍ）であるかどうかを確認する。レコード数Ｒが最大レコード数Ｒｍ以上の場合、処理はステップＳＦ１９に移行し、最大レコード数Ｒｍ未満の場合、処理はステップＳＦ１８に移行する。
【００９６】
ステップＳＦ１８では、ＣＰＵ３４ｃが、[レコード停止]ボタンがユーザにより押下されたかどうかを確認する。[レコード停止]ボタンが押下された場合、処理はステップＳＦ１９に移行し、[レコード停止]ボタンが押下されていない場合、処理はステップＳＧに移行する。
【００９７】
ステップＳＦ１９では、ＣＰＵ３４ｃが、[プレビュー停止]ボタンを有効、[テンプレート登録]ボタンを有効、[レコード開始]ボタンを有効、[レコード停止]ボタンを無効、[画像閲覧]ボタンを有効、[最大レコード数]ボックスを有効とする。ステップＳＦ２０では、ＣＰＵ３４ｃが、レコードフラグをＯＦＦとして、ＲＡＭ３４ａに記録する。ステップＳＦ２０の処理が終了すると、処理はステップＳＧに移行する。
【００９８】
次に、図１６を用いて、ステップＳＦ１０の相関処理の流れを説明する。図１６に示す相関処理と実際の相関値の変化との対応関係については、図１７を用いて後述する。ステップＳＦ１００では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されているテンプレート画像およびフレーム画像の各画素の輝度値（明度値）を取得する。ここで、例えばＲＧＢの各成分の輝度で表された画素の輝度値は、以下の（１）式を用いて算出される。
Ｙ＝０．２９９×Ｒ＋０．５８７ ×Ｇ＋０．１１４×Ｂ ・・・（１）
【００９９】
ステップＳＦ１０１では、ＣＰＵ３４ｃが、ＲＡＭ３４ａに記録されているテンプレート画像とフレーム画像との相関値Ｃを算出する。以下、相関値Ｃの詳細を説明する。ある２枚の画像の画素位置（ｘ，ｙ）の輝度値をそれぞれｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）とすると、２枚の画像の平均輝度値はそれぞれ（２）式、（３）式で表される。但し、Ｘ，Ｙはそれぞれｘ，ｙ方向の画素数であり、Ｓｉｚｅは全画素数（Ｓｉｚｅ＝Ｘ×Ｙ）である。
【０１００】
【数１】
【０１０１】
【数２】
【０１０２】
さらに、２枚の画像の標準偏差はそれぞれ（４）式、（５）式で表される。
【０１０３】
【数３】
【０１０４】
【数４】
【０１０５】
さらに、２枚の画像の共分散は（６）式で表される。
【０１０６】
【数５】
【０１０７】
そして、２枚の画像の相関値Ｃは（７）式で表される。この相関値Ｃは、２枚の画像が類似しているかどうかを表す尺度となる。一般的に、類似していれば相関値は１に近い値となり、類似していなければ０に近づく傾向にある。
【０１０８】
【数６】
【０１０９】
画像サイズを間引いた上で相関値を求める場合は、上記の各式において、ｘ，ｙに関する総和を計算する際にｘ，ｙの増加ステップ数を変更し、さらに全画素数Ｓｉｚｅを変更すればよい。例えば、画像サイズを１／４に間引いた上で相関値を求める場合、ｘ，ｙの増加ステップ数を４とし、全画素数ＳｉｚｅをＳｉｚｅ＝（Ｘ×Ｙ）／（４×４）とすればよい。相関処理の速度を向上させたい場合は、間引き処理を用いると、計算量が少なくて済むので有効である。
【０１１０】
ステップＳＦ１０２では、ＣＰＵ３４ｃが、相関値ステータスＳｃが０（Ｓｃ＝０）であるかどうかを確認する。相関値ステータスＳｃは、相関値Ｃのステータスのことである。相関値ステータスＳｃは０〜２の値をとる。相関値ステータスＳｃが０の場合は初期状態であり、１の場合はＣＰＵ３４ｃがレコード画像として保存すべきフレーム画像をみつけるまでの状態であり、２の場合はＣＰＵ３４ｃがレコード画像として保存すべきフレーム画像をみつけた状態である。相関値ステータスＳｃが０の場合、処理はステップＳＦ１０３に移行し、相関値ステータスＳｃが０でない場合、処理はステップＳＦ１０５に移行する。
【０１１１】
ステップＳＦ１０３では、ＣＰＵ３４ｃが、相関値Ｃが相関値閾値Ｃｔより大きく（Ｃ＞Ｃｔ）、かつ相関値バッファＣｂが相関値閾値Ｃｔ以下（Ｃｂ≦Ｃｔ）であるかどうかを確認する。相関値閾値Ｃｔとは、相関値Ｃの閾値であり、相関値閾値Ｃｔとして所定の値がＲＡＭ３４ａに記録されている。相関値Ｃが相関値閾値Ｃｔと比べてどのような値をとるかによって、相関値ステータスＳｃが変化する。相関値閾値Ｃｔにどのような値が設定されるかについては、後述する。相関値バッファＣｂは、ＣＰＵ３４ｃが１つ前に算出した相関値Ｃを保持しておくためにＲＡＭ３４ａに設けられたバッファ内の値である。ステップＳＦ１０３でＣ＞ＣｔかつＣｂ≦Ｃｔの場合、処理はステップＳＦ１０４に移行し、Ｃ≦ＣｔまたはＣｂ＞Ｃｔの場合、処理はステップＳＦ１０５に移行する。
【０１１２】
ステップＳＦ１０４では、ＣＰＵ３４ｃが、相関値ステータスＳｃを１（Ｓｃ＝１）として、ＲＡＭ３４ａに記録する。ステップＳＦ１０５では、ＣＰＵ３４ｃが、相関値ステータスＳｃが１（Ｓｃ＝１）であるかどうかを確認する。相関値ステータスＳｃが１の場合、処理はステップＳＦ１０６に移行し、相関値ステータスＳｃが１でない場合、処理はステップＳＦ１１０に移行する。
【０１１３】
ステップＳＦ１０６では、ＣＰＵ３４ｃが、相関値Ｃが最大相関値Ｃｍより大きいかどうか（Ｃ＞Ｃｍ）を確認する。最大相関値Ｃｍとは、相関値Ｃの最大値を保持しておくためのバッファの値である。Ｃ＞Ｃｍの場合、処理はステップＳＦ１０７に移行し、Ｃ≦Ｃｍの場合、処理はステップＳＦ１０８に移行する。
【０１１４】
ステップＳＦ１０７では、ＣＰＵ３４ｃが、最大相関値Ｃｍを相関値Ｃ（Ｃｍ＝Ｃ）として、ＲＡＭ３４ａに記録する。ステップＳＦ１０９では、ＣＰＵ３４ｃが、フレーム画像をバッファ画像としてＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたバッファ画像は、ステップＳＦ１０９の処理が実行される度に上書きされる。バッファ画像とは、ＣＰＵ３４ｃが、フレーム画像がレコード画像（テンプレート画像と相関の高い画像）であると確認できるまでフレーム画像を一時的に保持しておくためにＲＡＭ３４ａに設けられたバッファ内の画像のことである。
【０１１５】
ステップＳＦ１０８では、ＣＰＵ３４ｃが、相関値ステータスＳｃを２（Ｓｃ＝２）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１０では、ＣＰＵ３４ｃが、相関値ステータスＳｃが２（Ｓｃ＝２）であるかどうかを確認する。相関値ステータスＳｃが２の場合、処理はステップＳＦ１１１に移行し、相関値ステータスＳｃが２でない場合、処理はステップＳＦ１１６に移行する。
【０１１６】
ステップＳＦ１１１では、ＣＰＵ３４ｃが、相関値Ｃが相関値閾値Ｃｔより小さく（Ｃ＜Ｃｔ）かつ相関値バッファＣｂが相関値閾値Ｃｔ以上（Ｃｂ≧Ｃｔ）であるかどうかを確認する。Ｃ＜ＣｔかつＣｂ≧Ｃｔの場合、処理はステップＳＦ１１２に移行し、Ｃ≧ＣｔまたはＣｂ＜Ｃｔの場合、処理はステップＳＦ１１６に移行する。
【０１１７】
ステップＳＦ１１２では、ＣＰＵ３４ｃが、相関値ステータスＳｃを０（Ｓｃ＝０）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１３では、ＣＰＵ３４ｃが、最大相関値Ｃｍを０（Ｃｍ＝０）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１４では、ＣＰＵ３４ｃが、バッファ画像をレコード画像としてＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録されたレコード画像は、ステップＳＦ１１４の処理が実行される度に上書きされる。ステップＳＦ１１５では、ＣＰＵ３４ｃが、保存フラグをＯＮとして、ＲＡＭ３４ａに記録する。
【０１１８】
ステップＳＦ１１６では、ＣＰＵ３４ｃが、相関値バッファＣｂを相関値Ｃ（Ｃｂ＝Ｃ）として、ＲＡＭ３４ａに記録する。ステップＳＦ１１６の処理が終了すると、処理はステップＳＦ１１に移行する。
【０１１９】
図１７は、相関値Ｃの経時変化を示すグラフである。以下、図１７を参照しながら、レコード処理および相関処理の詳細を説明する。
【０１２０】
図１７に示すグラフの横軸は時間であり、縦軸はステップＳＦ１０１でＣＰＵ３４ｃが算出する相関値Ｃである。相関値Ｃには、周期的に極大値と極小値が現われている。相関値Ｃが極大値を示す領域は、テンプレート画像とブレード画像との相関値を示している。また、相関値Ｃが極小値を示す領域は、テンプレート画像とブレードの背景（ジェットエンジンの内壁等）の画像との相関値を示している。相関値閾値Ｃｔは、両者のほぼ中間の値になるように設定され、ＲＡＭ３４ａに記録されている。
【０１２１】
まず、ユーザが[レコード開始]ボタンを押下したタイミング（ｔ＝０）から、相関値Ｃが相関値閾値Ｃｔより大きくなるタイミング（ｔ＝ｔ１）までの間、相関値ステータスＳｃは０（Ｓｃ＝０）である。続いて、ｔ＝ｔ１から、相関値Ｃが極大値を示すタイミング（ｔ＝ｔ２）までの間、相関値ステータスＳｃは１（Ｓｃ＝１）である。この間、最大相関値Ｃｍは相関値Ｃに順次更新され（Ｃｍ＝Ｃ：ステップＳＦ１０７）、かつフレーム画像はバッファ画像としてＲＡＭ３４ａに順次記録される（ステップＳＦ１０９）。
【０１２２】
続いて、ｔ＝ｔ２から、相関値Ｃが相関値閾値Ｃｔより小さくなるタイミング（ｔ＝ｔ３）までの間、相関値ステータスＳｃは２（Ｓｃ＝２）である。この間、最大相関値Ｃｍは更新されず一定のままであり、かつフレーム画像がバッファ画像としてＲＡＭ３４ａに記録されることはない。
【０１２３】
続いて、ｔ＝ｔ３において、相関値ステータスＳｃは再度０（Ｓｃ＝０）となり（ステップＳＦ１１２）、バッファ画像はレコード画像としてＲＡＭ３４ａに記録される（ステップＳＦ１１４）。このときのバッファ画像は、ｔ＝ｔ２において、相関値Ｃが極大を示すタイミングでのフレーム画像である。これ以降、ユーザが[レコード停止]ボタンを押下するまで、相関値Ｃが極大を示すタイミング（ｔ＝ｔ４，ｔ５，ｔ６，・・・）におけるフレーム画像がレコード画像として順次保存される。
【０１２４】
本実施形態の変形例として、ジェットエンジン１の個体を識別する手段を設けると共にジェットエンジン１毎のタービンブレード１０の最大枚数を内視鏡装置３に記憶させておき、識別されたジェットエンジン１に対応した最大枚数をブレード記録ソフトの動作時に用いてもよい。ジェットエンジン１の個体を識別する手段としては、例えばバーコードやＩＣタグ等をジェットエンジン１に取り付け、バーコードリーダやＩＣタグリーダ等の読み取り器を内視鏡装置３に接続し、読み取り器でバーコードやＩＣタグ等からジェットエンジン１の識別情報を読み取るようにすればよい。
【０１２５】
上記の処理によれば、以下の効果を得ることができる。上記の処理では、タービンブレードを撮像した複数のフレーム画像の中から、テンプレート画像との画像比較の結果である相関値に基づいて、一部のフレーム画像を選択することによって、フレーム画像内のタービンブレードの位置や角度がテンプレート画像内のタービンブレードの位置や角度と同じになったときのフレーム画像を取得することができる。そのため、タービンブレードの回転と撮像のタイミングを合わせるための特別な制御を必要とせず、簡易な方法でタービンブレードの画像を取得することができる。
【０１２６】
本実施形態で示した手法により取得したタービンブレードの画像を用いて、タービンブレードの検査を行うことが可能となる。特に、図６のレコード画像ボックス６０３にレコード画像を表示することによって、タービンブレードの検査をリアルタイムで行うことができる。また、このレコード画像を画像ファイルとして記録媒体に保存することによって、検査を行うことが可能な時間や場所を拡張することができる。さらに、タービンブレードの画像を保存する場合に、内視鏡映像をそのまま動画ファイルとして保存すると、ファイルサイズが大きくなってしまうが、本実施形態のように、内視鏡映像のうち、一部のフレーム画像を静止画像ファイルとして保存することによって、記録媒体の記録容量が圧迫されることを防ぎながら、検査に必要なタービンブレードの画像を保存することができる。
【０１２７】
また、テンプレート画像を基準にして、フレーム画像内のタービンブレードの位置や角度がテンプレート画像内のタービンブレードの位置や角度と同じになったときのフレーム画像を取得することによって、ユーザにとってタービンブレードの検査を行うのに適した状態で撮像したフレーム画像を取得することができ、検査を効率的に行うことができる。また、フレーム画像の中から選択したテンプレート画像を使用することによって、図１７に示した相関値の経時変化がはっきりとするので、所望の状態で撮像したフレーム画像を取得する精度を向上することができる。さらに、フレーム画像の中から選択したテンプレート画像を表示することによって、取得するフレーム画像内のタービンブレードの状態がユーザにとって適した状態となっているか否かをユーザに確認させることができる。
【０１２８】
次に、図１８を用いて、ステップＳＧの画像閲覧処理の流れを説明する。ステップＳＧ１では、ＣＰＵ３４ｃが、[画像閲覧]ボタンがユーザにより押下されたかどうかを確認する。[画像閲覧]ボタンが押下された場合、処理はステップＳＧ２に移行し、[画像閲覧]ボタンが押下されていない場合、処理はステップＳＨに移行する。
【０１２９】
ステップＳＧ２では、ＣＰＵ３４ｃが、[画像閲覧]ウィンドウを表示するための処理を行う。前述したように、[画像閲覧]ウィンドウが表示されている間、メインウィンドウはユーザによる操作が無効の状態となる。ステップＳＧ３では、ＣＰＵ３４ｃが初期化処理を行う。初期化処理とは、[画像閲覧]ウィンドウ内の各種ＧＵＩの初期状態を設定したり、ＲＡＭ３４ａに記録された各種データの初期値を設定したりする処理のことである。初期化処理の詳細については、後述する。
【０１３０】
ステップＳＧ８では、ＣＰＵ３４ｃがＣＡＤ計測処理を行う。ＣＡＤ計測処理では、ＣＡＤデータを利用してタービンブレード１０の計測が行われる。ＣＡＤ計測処理の詳細については、後述する。
【０１３１】
ステップＳＧ４では、ＣＰＵ３４ｃが日時選択処理行う。日時選択処理とは、ユーザが[日時選択]ボックスのレコード開始日時の選択を変更することをＣＰＵ３４ｃが検出し、[閲覧画像]ボックスに表示される画像を変更する処理のことである。日時選択処理の詳細については、後述する。
【０１３２】
ステップＳＧ５では、ＣＰＵ３４ｃが画像選択処理を行う。画像選択処理とは、ユーザが[<< 前]ボタン、[次 >>]ボタンを押下することをＣＰＵ３４ｃが検出し、[閲覧画像]ボックスに表示される画像を変更する処理のことである。画像選択処理の詳細については、後述する。
【０１３３】
ステップＳＧ６では、ＣＰＵ３４ｃが、[閉じる]ボタンがユーザにより押下されたかどうかを確認する。[閉じる]ボタンが押下された場合、処理はステップＳＧ７に移行し、[閉じる]ボタンが押下されていない場合、処理はステップＳＧ８に移行する。ステップＳＧ７では、ＣＰＵ３４ｃが、[画像閲覧]ウィンドウを非表示とする処理を行う。ステップＳＧ７の処理が終了すると、処理はステップＳＨに移行する。
【０１３４】
次に、図１９を用いて、ステップＳＧ３の初期化処理の流れを説明する。ステップＳＧ３００では、ＣＰＵ３４ｃが保存フォルダリストを作成する。ステップＳＧ３０１では、ＣＰＵ３４ｃが、作成された保存フォルダリストをＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録された保存フォルダリストは、保存フォルダリストが作成される度に、上書きされる。
【０１３５】
ステップＳＧ３０２では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、保存フォルダＮｏが１の保存フォルダ内の画像ファイルリストを作成する。ステップＳＧ３０３では、ＣＰＵ３４ｃが、作成された画像ファイルリストをＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録された画像フォルダリストは、画像フォルダリストが作成される度に上書きされる。
【０１３６】
ステップＳＧ３０４では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、全てのレコード開始日時を[日時選択]ボックスにリスト表示するための処理を行う。ステップＳＧ３０５では、ＣＰＵ３４ｃが、[日時選択]ボックスにリスト形式で表示されたレコード開始日時のうち、保存フォルダリストにおいて、保存フォルダＮｏが１のレコード開始日時を強調表示するための処理を行う。
【０１３７】
ステップＳＧ３０６では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ３０７では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１３８】
ステップＳＧ３０８では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、保存フォルダＮｏが１の保存フォルダ内の画像ファイル数を[画像ファイル数]ボックスに表示するための処理を行う。ステップＳＧ３０９では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ３０９の処理が終了すると、処理はステップＳＧ４に移行する。
【０１３９】
なお、詳細は記載しないが、上記の初期化処理において、ＣＰＵ３４ｃが、その時点でＲＡＭ３４ａに記録されている画像ファイルリストに基づいて、[ＣＡＤマッチング]ボックスにテンプレート画像を表示するための処理を行い、テンプレート画像が表示されるものとする。
【０１４０】
次に、図２０を用いて、ステップＳＧ４の日時選択処理の流れを説明する。ステップＳＧ４００では、ＣＰＵ３４ｃが、[日時選択]ボックスにおけるレコード開始日時の選択がユーザにより変更されたかどうかを確認する。レコード開始日時の選択が変更された場合、処理はステップＳＧ４０１に移行し、レコード開始日時の選択が変更されていない場合、処理はステップＳＧ５に移行する。
【０１４１】
ステップＳＧ４０１では、ＣＰＵ３４ｃが、[日時選択]ボックスにおいてユーザが選択したレコード開始日時をもつ保存フォルダの保存フォルダＮｏを保存フォルダリストから取得する。このとき取得したフォルダナンバーをＦとする。ステップＳＧ４０２では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、保存フォルダＮｏがＦの保存フォルダ内の画像ファイルリストを作成する。ステップＳＧ４０３では、ＣＰＵ３４ｃが、ステップＳＧ４０２で作成された画像ファイルリストをＲＡＭ３４ａに記録する。ＲＡＭ３４ａに記録された画像ファイルリストは、画像ファイルリストが作成される度に上書きされる。
【０１４２】
ステップＳＧ４０４では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ４０５では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１４３】
ステップＳＧ４０６では、ＣＰＵ３４ｃが、保存フォルダリストにおいて、フォルダＮｏが１の保存フォルダ内の画像ファイル数を[画像ファイル数]ボックスに表示するための処理を行う。ステップＳＧ４０７では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、画像ファイルＮｏが１の画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ４０７の処理が終了すると、処理はステップＳＧ５に移行する。
【０１４４】
なお、詳細は記載しないが、上記の日時選択処理において、ＣＰＵ３４ｃが、その時点でＲＡＭ３４ａに記録されている画像ファイルリストに基づいて、[ＣＡＤマッチング]ボックスにテンプレート画像を表示するための処理を行い、テンプレート画像が表示されるものとする。
【０１４５】
次に、図２１を用いて、ステップＳＧ５の画像選択処理の流れを説明する。ステップＳＧ５００では、ＣＰＵ３４ｃが、[<< 前]ボタンがユーザにより押下されたかどうかを確認する。[<< 前]ボタンが押下された場合、処理はステップＳＧ５０１に移行し、[<< 前]ボタンが押下されていない場合、処理はステップＳＧ５０４に移行する。
【０１４６】
ステップＳＧ５０１では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、現在の[閲覧画像]ボックスに表示されている画像ファイルの画像ファイルＮｏより、１つ前の画像ファイルＮｏをもつ画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ５０２では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ前の画像ファイルＮｏをもつ画像ファイルの画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１４７】
ステップＳＧ５０３では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ前の画像ファイルＮｏをもつ画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ５０４では、ＣＰＵ３４ｃが、[次 >>]ボタンがユーザにより押下されたかどうかを確認する。[次 >>]ボタンが押下された場合、処理はステップＳＧ５０５に移行し、[次 >>]ボタンが押下されていない場合、処理はステップＳＧ６に移行する。
【０１４８】
ステップＳＧ５０５では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、現在の[閲覧画像]ボックスに表示されている画像ファイルの画像ファイルＮｏより、１つ後の画像ファイルＮｏをもつ画像ファイルを[閲覧画像]ボックスに表示するための処理を行う。ステップＳＧ５０６では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ後の画像ファイルＮｏをもつ画像ファイルの画像ファイル名を[画像ファイル名]ボックスに表示するための処理を行う。
【０１４９】
ステップＳＧ５０７では、ＣＰＵ３４ｃが、画像ファイルリストにおいて、上記１つ後の画像ファイルＮｏをもつ画像ファイルの保存日時を[保存日時]ボックスに表示するための処理を行う。ステップＳＧ５０７の処理が終了すると、処理はステップＳＧ６に移行する。
【０１５０】
次に、図２２を用いて、ステップＳＧ８のＣＡＤ計測処理の流れを説明する。ステップＳＧ８００では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤデータ選択]ボタンの押下を検出し、ＣＡＤデータファイルの選択を行う。ＣＡＤデータファイルの選択方法、選択画面等については、ここでは記載しない。ＣＡＤデータファイルが選択されると、ＣＰＵ３４ｃは、メモリカード５０内のＣＡＤデータファイルに記録されたＣＡＤデータを読み込み、そのＣＡＤデータに基づいて、[ＣＡＤマッチング]ボックスのテンプレート画像上にＣＡＤオブジェクトを重畳した画像（第１の画像）を表示するための処理を行う。
【０１５１】
ステップＳＧ８０１では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスの操作を検出し、ＣＡＤオブジェクトの姿勢を示すポーズパラメータの設定を行う。ポーズパラメータの設定の詳細については、後述する。
【０１５２】
ステップＳＧ８０２では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤマッチング]ボタンの押下を検出し、ＣＡＤマッチングを実行する。ＣＡＤマッチングの詳細については、後述する。
【０１５３】
ステップＳＧ８０３では、ＣＰＵ３４ｃが、ユーザによる[ＣＡＤ計測]チェックボックスおよび[閲覧画像]ボックスの操作を検出し、ＣＡＤ計測を行う。ＣＡＤ計測の詳細については、後述する。
【０１５４】
ステップＳＧ８０４では、ＣＰＵ３４ｃが、ＣＡＤ計測の結果を [閲覧画像]ボックスに重畳表示するための処理を行う。
【０１５５】
次に、図２３〜図３０を用いて、ステップＳＧ８０１におけるポーズパラメータの設定手順の詳細を説明する（参考文献１：US2009/0096790）。ポーズパラメータの設定は、ユーザが[ＣＡＤマッチング]ボックスを確認しながら[パラメータ設定]ボックスを操作することによって行う。以下、[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスの図を用いながら、ポーズパラメータを設定していく様子を説明する。
【０１５６】
図２３は、ポーズパラメータが設定される前の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。[ＣＡＤマッチング]ボックス２３００には、テンプレート画像のみが表示されている。
【０１５７】
図７の[ＣＡＤデータ選択]ボタン７５１の操作によってＣＡＤデータファイルが選択されると、図２４、図２５、図２７、図２９に示すようにテンプレート画像上にＣＡＤオブジェクトＯＢが重畳表示される。ＣＡＤオブジェクトはワイヤーフレームで表示されているが、レンダリング処理によって表面が半透明に塗りつぶされて表示されていても良いし、ワイヤーフレームとレンダリング処理後のＣＡＤオブジェクトとの両方が表示されていても良い。
【０１５８】
図２４は、[オブジェクト位置]カーソルボタンによって、ＣＡＤオブジェクトＯＢの位置の設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。ＣＡＤオブジェクト位置とは、ポーズパラメータの１つであり、[ＣＡＤマッチング]ボックス内におけるＣＡＤオブジェクトの２次元平面上の位置（pixel単位）のことである。ＣＡＤオブジェクト位置は３次元空間上のＣＡＤオブジェクトの位置ではないことに注意が必要である。
【０１５９】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[オブジェクト位置]カーソルボタンを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが、図中の矢印が示す上下左右のいずれかの方向に移動する。ＣＡＤオブジェクトＯＢの移動と同時に、[オブジェクト位置]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているオブジェクト位置をpixel単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードの中心に位置するようにＣＡＤオブジェクトＯＢを移動させることにより、オブジェクト位置を決定する。
【０１６０】
図２５は、[カメラ位置]カーソルボタンによって、カメラ位置の設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。カメラ位置とは、ポーズパラメータの１つであり、ＣＡＤオブジェクトを観察している３次元空間上の視点位置のことである。
【０１６１】
ここで注意しなければならないのは、カメラ位置における視線方向は、常にＣＡＤオブジェクト（厳密には、ＣＡＤオブジェクトの３次元空間上の重心点）を向いているということである。さらに、カメラ位置を変更しても、視点からＣＡＤオブジェクトまでの距離は一定であるということである。後述するように、視点からＣＡＤオブジェクトまでの距離は、[カメラ奥行き]カーソルボタンの操作によって変更される。すなわち、カメラ位置を変更するということは、図２６のように、視線方向が常にＣＡＤオブジェクトＯＢを向いている視点を、ＣＡＤオブジェクトＯＢを中心とする一定の半径をもつ球面ＳＰ上に沿って移動させる、ということと同様である。
【０１６２】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[カメラ位置]カーソルボタンを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが、図中の矢印が示すパン方向、チルト方向のいずれかに３次元的に回転する。ＣＡＤオブジェクトＯＢの回転と同時に、[カメラ位置]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているカメラ位置をmm単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードに可能な限りマッチするように、ＣＡＤオブジェクトを回転させることにより、カメラ位置を決定する。このカメラ位置は、参考文献１における、ＣＡＤオブジェクトのポーズを設定するパラメータλ（経度）およびφ（緯度）に相当する。
【０１６３】
図２７は、[カメラ回転]カーソルボタンによって、カメラ回転角度の設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。カメラ回転角度とは、ポーズパラメータの１つであり、ＣＡＤオブジェクトを観察している３次元空間上の視点の、視線回りの回転角度のことである。すなわち、カメラ回転角度を変更するということは、図２８のように、視点位置を固定したまま、ＣＡＤオブジェクトＯＢの方向へ向いた視点の、視線回りの回転角度を変更する、ということと同様である。
【０１６４】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[カメラ回転]カーソルを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが、図中の矢印が示すロール方向に３次元的に回転する。ＣＡＤオブジェクトＯＢの回転と同時に、[カメラ回転]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているカメラ回転角度をdeg単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードに可能な限りマッチするように、ＣＡＤオブジェクトＯＢを回転させることにより、カメラ回転角度を決定する。このカメラ回転角度は、参考文献１における、ＣＡＤオブジェクトのポーズを設定するパラメータω（カメラ光軸周りの回転角度）に相当する。
【０１６５】
図２９は、[カメラ奥行き]カーソルボタンによって、カメラ奥行きの設定を行う際の[ＣＡＤマッチング]ボックスと[パラメータ設定]ボックスを示している。カメラ奥行きとは、ポーズパラメータの１つであり、ＣＡＤオブジェクトを観察している３次元空間上の視点からＣＡＤオブジェクトまでの距離のことである。すなわち、カメラ奥行きを変更するということは、図３０のように、ＣＡＤオブジェクトＯＢ方向へ向いた視点からＣＡＤオブジェクトＯＢまでの距離を変更する、ということと同様である。
【０１６６】
ユーザが、リモコン２３を操作することによってカーソルＣの操作指示を入力し、[カメラ奥行き]カーソルボタンを押下すると、[ＣＡＤマッチング]ボックス内のＣＡＤオブジェクトＯＢが拡大または縮小する。ＣＡＤオブジェクトＯＢの拡大または縮小と同時に、[カメラ奥行き]カーソルボタンの下に配置された数値ボックスの値が変化する。この数値ボックスは、現在設定されているカメラ奥行きをmm単位で表示するためのボックスである。ユーザは、テンプレート画像における、ＣＡＤマッチングを行いたいタービンブレードに可能な限りマッチするように、ＣＡＤオブジェクトＯＢを拡大または縮小させることにより、カメラ奥行きを決定する。このカメラ奥行きは、参考文献１における、ＣＡＤオブジェクトのポーズを設定するパラメータｄ（距離）に相当する。
【０１６７】
次に、図３１〜図３４を用いて、ステップＳＧ８０２におけるＣＡＤマッチングの詳細を説明する。ポーズパラメータの設定が終了したら、ユーザは図７の[ＣＡＤマッチング]ボタン７５０を押下する。[ＣＡＤマッチング]ボタン７５０が押下されると、ＣＰＵ３４ｃは、ＣＡＤマッチング処理を実行し、ＣＡＤオブジェクトの姿勢を、テンプレート画像におけるタービンブレードの姿勢と一致するように制御する。本実施形態のＣＡＤマッチング処理は、参考文献１に記載されているＣＡＤマッチングの手法と同様の手法で実現されている。
【０１６８】
ＣＰＵ３４ｃは、ユーザによって設定されたポーズパラメータを所定の範囲内で変化させながら、各ポーズパラメータに対応したスクリーン平面（視点とＣＡＤオブジェクトとの間に位置し、視線方向に垂直に交わる空間平面）にＣＡＤデータを投影することにより、各スクリーン平面に対応した投影データを生成し、各投影データとテンプレート画像とのマッチングを行う。ＣＰＵ３４ｃは、テンプレート画像とのマッチングスコア（マッチングの度合いを表す数値）が最も高かった投影データに対応するポーズパラメータを選択する。
【０１６９】
ポーズパラメータのうち、カメラ位置、カメラ回転角度、カメラ奥行きは、参考文献１における、λ、φ、ω、ｄと同様に、所定の範囲をもたせた上でＣＡＤマッチング処理に適用される。具体的には、[パラメータ設定]ボックスにおいて設定されたカメラ位置、カメラ回転、カメラ奥行きの各数値ボックスの値を基準として、所定の範囲[λmin, λmax]、[φmin, φmax]、[ωmin, ωmax]、[dmin, dmax]が設定される。各所定の範囲の幅は、ＲＡＭ３４ａに予め記録された所定値に基づいて決定される。
【０１７０】
ＣＡＤマッチングが完了すると、[パラメータ設定]ボックス内の、カメラ位置、カメラ回転、カメラ奥行きの各数値ボックスの値が更新される。これらの値は、ＣＡＤマッチング結果であり、テンプレート画像のタービンブレードと、ＣＡＤオブジェクトとが、最も良くマッチするポーズパラメータである。そして、このＣＡＤマッチング結果に応じて、[ＣＡＤマッチング]ボックスのＣＡＤオブジェクトの姿勢が変更される。
【０１７１】
ここで、ステップＳＧ８０１，ＳＧ８０２の手順を要約すると、ユーザは、ポーズパラメータ設定において、テンプレート画像のタービンブレードとＣＡＤオブジェクトとを大まかにマッチングさせ、そのマッチング後の状態をもとに、ＣＰＵ３４ｃがＣＡＤマッチング処理を実行することで、詳細なマッチングを行う、と言うことができる。
【０１７２】
次に、ステップＳＧ８０３におけるＣＡＤ計測およびステップＳＧ８０４における計測結果表示の詳細を説明する。ＣＡＤマッチングの実行後、ユーザが図７の[ＣＡＤ計測]チェックボックス７６０にチェックを入れると、ユーザは[閲覧画像]ボックス７０１においてＣＡＤ計測を行うことができる。[ＣＡＤ計測]チェックボックス７６０にチェックが入ると、ＣＰＵ３４ｃは、 [閲覧画像]ボックス７０１の閲覧画像上にＣＡＤオブジェクトを重畳した画像（第２の画像）を表示するための処理を行う。
【０１７３】
このとき、ＣＰＵ３４ｃは、ステップＳＧ８０２で得られたＣＡＤマッチング結果に基づいて、[ＣＡＤマッチング]ボックスにおいて、テンプレート画像のタービンブレードとマッチしたＣＡＤオブジェクトの姿勢と同じ姿勢を保ったＣＡＤオブジェクトを閲覧画像に重畳表示する。これによって、図３１のように、[閲覧画像]ボックス７０１の閲覧画像上にＣＡＤオブジェクトＯＢが重畳表示される。閲覧画像は、テンプレート画像におけるタービンブレードの姿勢と同じ姿勢のタービンブレードを撮像した画像であるので、再度ＣＡＤマッチングを行うことなく、閲覧画像のタービンブレードとＣＡＤオブジェクトとのマッチングが完了した状態の画像を得ることができる。
【０１７４】
ユーザは、リモコン２３を操作することによってカーソルの操作指示を入力し、カーソルを移動させ、 [閲覧画像]ボックス７０１におけるＣＡＤオブジェクトＯＢ上の点を１点目の計測点として指定する。計測点が指定されると、ＣＰＵ３４ｃは、カーソルの位置に基づいて、[閲覧画像]ボックス７０１における計測点の位置を認識し、その位置に計測点を表示するための処理を行う。これによって、図３２のように、計測点Ｓ１が表示される。さらに、ＣＰＵ３４ｃは計測点の３次元座標を算出する。この３次元座標は、指定された点の、ＣＡＤオブジェクト表面における３次元座標であり、ＣＡＤデータを用いて算出される。３次元座標の算出方法の詳細については、後述する。
【０１７５】
続いて、ユーザは、リモコン２３を操作することによってカーソルの操作指示を入力し、カーソルを移動させ、 [閲覧画像]ボックス７０１におけるＣＡＤオブジェクト上の別の点を２点目の計測点として指定する。ＣＰＵ３４ｃは、１点目の計測点と同様に２点目の計測点を表示するための処理を行う。これによって、図３３のように、計測点Ｓ２が表示される。さらに、ＣＰＵ３４ｃは計測点の３次元座標を算出する。
【０１７６】
続いて、ＣＰＵ３４ｃは、２つの計測点の３次元座標間の距離（２点間距離）を算出する。上記が、ステップＳＧ８０３におけるＣＡＤ計測の内容である。ＣＰＵ３４ｃは、２点間距離を算出すると、続けて、２点間距離を表示するための処理を行う。これによって、図３４のように、２点間距離Ｄが計測結果として表示される。本実施形態のＣＡＤ計測では、閲覧画像のタービンブレードとＣＡＤオブジェクトとがマッチングした状態で計測を行うので、ユーザは、ＣＡＤオブジェクトに対して計測を行いながら、あたかも閲覧画像のタービンブレードに対して直接計測を行っているかのように、作業を進めることができる。
【０１７７】
ステップＳＧ５の画像選択処理において、ユーザが[<< 前]ボタンもしくは[次 >>]ボタンを押下し、［閲覧画像]ボックス７０１に表示される閲覧画像を切り替えても、[ＣＡＤ計測]チェックボックス７６０にチェックが入っている間、ＣＡＤオブジェクトは［閲覧画像]ボックス７０１の閲覧画像上に重畳表示されたままになっている。
【０１７８】
このとき、閲覧画像上に重畳されたＣＡＤオブジェクトの姿勢は、閲覧画像が切り替わっても、同じままである。ユーザが[<< 前]ボタンもしくは[次 >>]ボタンを押下した際に、順次表示される閲覧画像は全て、テンプレート画像のタービンブレードと同じ姿勢のタービンブレードを撮影した画像であるので、ユーザは、改めてポーズパラメータの設定やＣＡＤマッチングを実行する必要はなく、各閲覧画像に対して、ＣＡＤ計測を行うことができる。ユーザは、各閲覧画像に対するＣＡＤ計測を行うことにより、各閲覧画像のタービンブレードに発生している欠陥等のサイズ（寸法）を計測することができる。
【０１７９】
[ＣＡＤ計測]チェックボックス７６０のチェックが外されると、[閲覧画像]ボックス７０１に表示されていたＣＡＤオブジェクト、計測点、および２点間距離が非表示となり、ＣＡＤ計測が終了する。本実施形態では２点間計測を行う例を説明したが、指定された領域の面積や凹部の深さ等の計測に対して本実施形態を適用してもよい。
【０１８０】
次に、図３５〜図３８を用いて、指定された計測点の、ＣＡＤオブジェクト表面における３次元座標の算出方法について説明する。図３５は、３次元空間におけるＣＡＤオブジェクトの一部と視点Ｅ（カメラ位置）との関係を示している。
【０１８１】
ＣＡＤオブジェクトは、複数の三角形の空間平面から構成されている。視点ＥからＣＡＤオブジェクトの重心点Ｇへ向かう方向を視線方向とする。視点ＥとＣＡＤオブジェクトとの間には、視線方向と垂直に交わるスクリーン平面ＳＣが設定されている。このスクリーン平面ＳＣは、[閲覧画像]ボックスに相当するものであり、スクリーン平面ＳＣ上に映っているＣＡＤオブジェクトの平面投影像が、[閲覧画像]ボックスに重畳されているＣＡＤオブジェクトであると考えて良い。
【０１８２】
ユーザが[閲覧画像]ボックスにおけるＣＡＤオブジェクト上の点を指定すると、ＣＰＵ３４ｃは、図３６のように、スクリーン平面ＳＣ上に計測点Ｓを設定する。計測点Ｓと視点Ｅとを通る空間直線を直線Ｌとする。そして、ＣＰＵ３４ｃは、ＣＡＤオブジェクトを構成する複数の三角形の中から、直線Ｌと交差する全ての三角形を検索する。直線と空間三角形とが交差するかどうかを判定する方法として、例えばTomas Mollerの交差判定法を用いることが可能である。この例では、図３７のように、三角形Ｔ１，Ｔ２が、直線Ｌと交差する三角形であると判定される。
【０１８３】
そして、図３８のように、ＣＰＵ３４ｃは、直線Ｌと三角形Ｔ１，Ｔ２との交点を算出し、算出したそれぞれの交点を交点Ｆ１，Ｆ２とする。ここでは、ＣＡＤオブジェクト表面における３次元座標を算出したいので、ＣＰＵ３４ｃは、交点Ｆ１，Ｆ２のうち、より視点Ｅに近い方を選択する。この場合、ＣＰＵ３４ｃは、交点Ｆ１の３次元座標を、ＣＡＤオブジェクト表面における３次元座標として算出する。上記では、直線Ｌと交差すると判定された三角形を２つのみとしたが、ＣＡＤオブジェクトの形状や視線方向によっては、より多くの三角形が交差すると判定される場合もある。その場合も、直線Ｌと三角形との交点をそれぞれ求め、求めた交点の中で、最も視点Ｅに近い交点を選択することになる。
【０１８４】
上記では、ポーズパラメータ設定において、ユーザがＣＡＤオブジェクトをテンプレート画像のタービンブレードに大まかにマッチさせる操作を行った後、ＣＡＤマッチング処理が実行されているが、以下のようにしてもよい。例えば、高い計測精度を要求しなくてもよいのであれば、ユーザがＣＡＤオブジェクトをテンプレート画像のタービンブレードに大まかにマッチさせる操作を行った後、ＣＡＤマッチング処理を実行せずにＣＡＤ計測を行ってもよい。あるいは、ＣＡＤマッチング処理の処理時間の増加やＣＡＤマッチング処理の失敗を考慮しなくてもよいのであれば、ユーザがＣＡＤオブジェクトをテンプレート画像のタービンブレードに大まかにマッチさせる操作を行わず、ＣＡＤマッチング処理を実行してもよい。
【０１８５】
上述したように、本実施形態によれば、テンプレート画像のタービンブレードのみに対してＣＡＤオブジェクトのＣＡＤマッチングを１度行うだけで、複数の閲覧画像に対して、ＣＡＤマッチングを再度行うことなく、ＣＡＤ計測を行うことが可能となる。したがって、閲覧画像に対してＣＡＤ計測を行う際、ＣＡＤマッチングの操作が不要になるため、計測時の手間を低減することができる。
【０１８６】
本実施形態のテンプレート画像は、ブレード画像を抽出する際の基準となる画像であると共に、ブレード画像を用いたＣＡＤ計測を行う際のＣＡＤオブジェクトの姿勢をＣＡＤマッチングによって決定する際の基準となる画像である。本実施形態では、ブレード画像を用いてＣＡＤ計測を行う際にＣＡＤマッチングを行わないので、より高い計測精度を得るためには、テンプレート画像とブレード画像との相関がより高くなると共に、ＣＡＤオブジェクトとマッチさせやすいブレードが映っているテンプレート画像を選択することが望ましい。このため、形状や色等に関する欠陥のない良品のブレードを撮像した画像をテンプレート画像とすることが望ましい。
【０１８７】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１８８】
１・・・ジェットエンジン、２・・・ターニングツール、３・・・内視鏡装置、４・・・ビデオ端子ケーブル、５・・・ビデオキャプチャカード、６・・・ＰＣ、７・・・ＬＡＮケーブル、１０・・・タービンブレード、２０・・・内視鏡挿入部、２１・・・内視鏡装置本体、２２，２５・・・モニタ（表示部）、２３・・・リモコン（入力装置）、２４・・・ＰＣ本体、３０ａ・・・撮像光学系、３０ｂ・・・撮像素子、３１・・・画像信号処理装置、３２・・・光源、３３・・・湾曲制御ユニット、３４，３５・・・制御用コンピュータ、３４ａ，３５ａ・・・ＲＡＭ、３４ｂ・・・ＲＯＭ、３４ｃ，３５ｃ・・・ＣＰＵ（テンプレート画像抽出部、ブレード画像抽出部、制御部、算出部）、３４ｄ，３５ｄ・・・ネットワークＩ／Ｆ、３４ｅ・・・ＲＳ２３２Ｃ Ｉ／Ｆ、３４ｆ・・・カードＩ／Ｆ、３５ｂ・・・ＨＤＤ、３５ｅ・・・ＵＳＢ Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、
前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、
予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、
前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、
入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、
を備えたことを特徴とする画像処理方法。
【請求項２】
前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第３のステップでは、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御した後、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記第４のステップでは、前記第３のステップで姿勢が制御された前記物体の姿勢と同一姿勢の前記物体を前記第２のブレード画像に重畳することを特徴とする請求項１〜請求項４のいずれか一項に記載の画像処理方法。
【請求項６】
前記第２のブレード画像を切り替えながら、前記第４のステップと前記第５のステップを繰り返すことを特徴とする請求項１〜請求項５のいずれか一項に記載の画像処理方法。
【請求項７】
前記第５のステップではさらに、前記物体上に前記計測点を表示することを特徴とする請求項１〜請求項６のいずれか一項に記載の画像処理方法。
【請求項８】
前記第５のステップではさらに、前記物体のサイズを表示することを特徴とする請求項１〜請求項７のいずれか一項に記載の画像処理方法。
【請求項９】
前記テンプレート画像が、良品のブレードを撮像した画像であることを特徴とする請求項１〜請求項８のいずれか一項に記載の画像処理方法。
【請求項１０】
ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、
前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、
予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、
前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、
入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、
をコンピュータに実行させるためのプログラム。
【請求項１１】
ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出するテンプレート画像抽出部と、
前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出するブレード画像抽出部と、
予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示した後、前記物体の画像を前記第２のブレード画像に重畳した第２の画像を表示する表示部と、
前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する制御部と、
入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する算出部と、
を備えたことを特徴とする画像処理装置。
【請求項１】
ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、
前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、
予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、
前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、
入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、
を備えたことを特徴とする画像処理方法。
【請求項２】
前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第３のステップでは、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記第３のステップでは、入力装置を介して入力される指示に基づいて、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御した後、前記３次元形状の情報に基づいて、前記テンプレート画像におけるブレードの姿勢に一致する前記物体の姿勢を算出し、算出した姿勢となるように、前記第１の画像における前記物体の姿勢を制御することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記第４のステップでは、前記第３のステップで姿勢が制御された前記物体の姿勢と同一姿勢の前記物体を前記第２のブレード画像に重畳することを特徴とする請求項１〜請求項４のいずれか一項に記載の画像処理方法。
【請求項６】
前記第２のブレード画像を切り替えながら、前記第４のステップと前記第５のステップを繰り返すことを特徴とする請求項１〜請求項５のいずれか一項に記載の画像処理方法。
【請求項７】
前記第５のステップではさらに、前記物体上に前記計測点を表示することを特徴とする請求項１〜請求項６のいずれか一項に記載の画像処理方法。
【請求項８】
前記第５のステップではさらに、前記物体のサイズを表示することを特徴とする請求項１〜請求項７のいずれか一項に記載の画像処理方法。
【請求項９】
前記テンプレート画像が、良品のブレードを撮像した画像であることを特徴とする請求項１〜請求項８のいずれか一項に記載の画像処理方法。
【請求項１０】
ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出する第１のステップと、
前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出する第２のステップと、
予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示部に表示し、前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する第３のステップと、
前記第３のステップで姿勢が制御された前記物体の画像を前記第２のブレード画像に重畳した第２の画像を前記表示部に表示する第４のステップと、
入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する第５のステップと、
をコンピュータに実行させるためのプログラム。
【請求項１１】
ジェットエンジン内に周期的に配置されたブレードを撮像した動画像を構成する第１のブレード画像からテンプレート画像を抽出するテンプレート画像抽出部と、
前記第１のブレード画像と前記テンプレート画像とを比較し、比較結果に基づいて、前記第１のブレード画像の中から、前記テンプレート画像におけるブレードの姿勢と一致する姿勢のブレードを含む第２のブレード画像を抽出するブレード画像抽出部と、
予め算出された３次元形状を有する物体の画像を前記テンプレート画像に重畳した第１の画像を表示した後、前記物体の画像を前記第２のブレード画像に重畳した第２の画像を表示する表示部と、
前記テンプレート画像におけるブレードの姿勢に一致するように、前記第１の画像における前記物体の姿勢を制御する制御部と、
入力装置を介して入力される指示に基づいて指定される、前記第２の画像における前記物体上の計測点の３次元座標を算出し、算出した３次元座標に基づいて、前記物体のサイズを算出する算出部と、
を備えたことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２６】
【図２８】
【図３０】
【図３５】
【図３６】
【図３７】
【図３８】
【図６】
【図７】
【図２３】
【図２４】
【図２５】
【図２７】
【図２９】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２６】
【図２８】
【図３０】
【図３５】
【図３６】
【図３７】
【図３８】
【図６】
【図７】
【図２３】
【図２４】
【図２５】
【図２７】
【図２９】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１２−１５４６７２（Ｐ２０１２−１５４６７２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１１９２８（Ｐ２０１１−１１９２８）
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]