画像処理システム及び画像処理方法
【課題】ひずみや応力といったセンサの処理結果を視覚的に把握できるような、新規データ表示を行なう画像処理システム及び画像処理方法の提供。
【解決手段】現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、現実空間の撮影画像を取得する手段と、撮影画像の各フレームの取得時間範囲を取得する手段と、センサから送られるセンサ情報を取得する手段と、センサ情報と共にセンサ情報を取得した時刻を取得する手段と、センサの位置を取得する手段と、センサ情報に関連する仮想画像を形成する手段と、仮想画像を取得時刻ごとに静止画像表示することが可能であり、静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する撮影画像を選択し、仮想画像を撮影画像のセンサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する手段と、を有する。
【解決手段】現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、現実空間の撮影画像を取得する手段と、撮影画像の各フレームの取得時間範囲を取得する手段と、センサから送られるセンサ情報を取得する手段と、センサ情報と共にセンサ情報を取得した時刻を取得する手段と、センサの位置を取得する手段と、センサ情報に関連する仮想画像を形成する手段と、仮想画像を取得時刻ごとに静止画像表示することが可能であり、静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する撮影画像を選択し、仮想画像を撮影画像のセンサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実画像に仮想画像を重ね合わせて表示する画像処理システムとその画像処理方法に関する。
【背景技術】
【０００２】
従来、橋梁部材等の建築物の点検・調査において、ひずみゲージや変位計等のセンサより得られるデータを解析しグラフ化して表示してきた。しかしこれらのデータではどの場所にどのようなひずみがあるのかを視覚的に把握し難いという問題を有する。
【０００３】
そこで、データを有効に表示するための可視化ソフト（例えば、AVS, Visualizer, Paraview）が提案されている。これによれば補完機能が充実しており、画像化、ベクトル表示に優れている。しかし、可視化のベースとなるモデルの作成が必要であるため、時間がかかる。また当該表示方法においても、モデルの精度をあげなければそれぞれの表示がどこのデータなのかは明確には分からないという問題を有していた。
【０００４】
これらとは別の可視化技術として、情報通信の分野において拡張現実感（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が利用されている。これらの技術を利用することにより、現実空間の画像に、ＣＧ等の仮想空間の画像を重ね合わせて表示し、実際には見えないものや補足的な情報などを、状況に対応させてユーザに表示することができる（例えば、特許文献１、非特許文献１、２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−９９１８８号公報
【非特許文献】
【０００６】
【非特許文献１】橋本 直著 ＡＲＴｏｏｌＫｉｔ拡張現実感プログラミング入門
【非特許文献２】谷尻 豊寿著 拡張現実感を実現するＡＲＴｏｏｌｋｉｔプログラミングテクニック
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、ひずみや応力といったセンサの処理結果を視覚的に把握できるような、新規データ表示する画像処理システム及び画像処理方法を提供することを目的とする。
【０００８】
工学的な分野において、客観性を示すため、センサ等で取得した物理量およびそれを誘起した外力を書類で残す（示す）必要がある。アニメーションは報告書として書類に残すのには適当な形式ではない。工学的な意味のある情報を、紙面に残す手段が必要とされている。そこで、本発明は、センサ等により取得した物理量等のセンサ情報を簡単に紙面に残す手段を提供する。
【０００９】
従来のＡＲ技術を単に利用して、これらのひずみや応力といった物理量を測定するシステムで、動的に（アニメーションで）観察したとしても感覚的に変動を把握できるものの、これらの挙動の変化を詳細に分析することは困難であった。実際、土木建築物等の強度を測定する用途に用いられることが想定されるが、補強手段の検討には、橋梁に架かる外力（たとえば、特に車両の通過に伴なう力、他に風力、温度応力、地震力など）に応じて発生するひずみや応力や加速度などを詳細に分析する必要がある。そのような場合には、現実画像（走行している車両の位置）と仮想画像（物理量など）の厳密な時間同期された合成画像が必要となる。
【００１０】
そこで、本発明は、センサなどからの解析結果を現実画像に重ね合わせて表示する画像処理システム及び画像処理方法において、センサ情報を静止画像表示して解析可能にし、更に、センサの情報と現実画像との同期が取れており、現実空間において発生した現象に基づき、センサ情報がいかに変化するかを解析できる画像処理システム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明（１）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１２】
本発明（２）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１３】
本発明（３）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記撮影画像のフレームの取得時刻のうち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定手段と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成手段と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１４】
本発明（４）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１５】
本発明（５）は、前記静止画像を、印刷装置により印刷する印刷出力手段を有することを特徴とする、前記発明（１）〜（４）のいずれか一つの画像処理システムである。
【００１６】
本発明（６）は、前記撮影画像とは異なる現実空間の第二の撮影画像を取得する第二撮影画像取得手段と、
前記第二の撮影画像の取得時刻又は取得時間範囲を記憶する第二撮影画像取得時刻又は時間範囲取得手段と、
を有し、前記画像出力手段が当該第二の撮影画像と前記撮影画像の二つの画像を前記撮影画像又は仮想画像と同期して表示する、前記発明（１）〜（５）のいずれか一つの画像処理システムである。
【００１７】
本発明（７）は、現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００１８】
本発明（８）は、現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００１９】
本発明（９）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記撮影画像のフレームの取得時刻うち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定工程と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成工程と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００２０】
本発明（１０）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００２１】
本発明（１１）は、前記発明（７）〜（１０）いずれか一つの画像処理方法をコンピュータに実行させるためのプログラムである。
【００２２】
本明細書において使用する各種用語の意味を説明する。ここで、撮影画像の各フレームの「取得時間範囲」とは、各フレームの画像取得開始時間から、次のフレームの画像取得開始時間までの時間範囲を意味する。ここで、センサ情報の「取得時間範囲」とは、センサ情報の取得開始時間から、次のセンサ情報の画像取得開始時間までの時間範囲を意味する。撮影画像の各フレームの「取得時刻」とは、特に限定されないが、例えば、画像フレームの取得開始時間など、各フレームにおける一定の基準を定めた時刻を意味する。
【００２３】
本発明（Ａ）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像と、前記仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像とを選択し、前記撮影画像の前記センサの位置に対応する箇所に前記仮想画像を重ね合わせて合成し出力する画像出力手段と、
を有する画像処理システムである。
【００２４】
本発明（Ｂ）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像と、前記仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像とを選択し、前記撮影画像の前記センサの位置に対応する箇所に前記仮想画像を重ね合わせて合成し出力する画像出力手段と、
を有する画像処理システムである。
【００２５】
本発明（Ｃ）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像と、前記仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像とを選択し、前記撮影画像の前記センサの位置に対応する箇所に前記仮想画像を重ね合わせて合成し出力する画像出力手段と、
を有する画像処理システムである。
【発明の効果】
【００２６】
本発明によれば、センサの処理結果を視覚的に把握できるようなデータ表示形式を提供できるという効果を奏する。また、従来の可視化ソフトのようにモデルを作成する必要は無く、各センサの処理結果の表示がどこのデータなのかが明確に把握できるような表示形態を提供することが可能となる。
【００２７】
一般的に一秒間あたりの撮影画像取得頻度とセンサ情報の取得頻度とは異なるが、取得頻度の高い情報は、時間範囲と共に記憶し、取得頻度の高い情報は時刻と共に記憶して、これらの情報を照らし合わせて合成画像を生成する。このように構成することによって、センサの取得時間に応じた撮影画像を重ね合わせて表示できるので、センサの配された現実空間での現象と照らし合わせながら、センサ情報の経時変化を解析することが可能となる。
【００２８】
撮影画像取得頻度とセンサ情報の取得頻度とが、異なる場合であっても、撮影画像のフレームごとの取得時刻と、センサ情報の取得時刻を記憶して、センサ情報に対して最も近い時刻を有する撮影画像のフレームの撮影画像を選択して合成画像を生成する。このように構成することによって、センサの取得時間に応じた撮影画像を重ね合わせて表示できるので、センサの配された現実空間での現象と照らし合わせながら、センサ情報の経時変化を解析することが可能となる。
【００２９】
また、撮影画像取得頻度とセンサ情報取得頻度が異なる場合であって、同時刻において画像及びセンサ情報を取得していなくても、撮影画像取得時刻におけるセンサ情報の推定値を算出して、当該推定値に基づいた仮想画像を生成し、重ね合わせて表示することにより、現実空間での現象と照らし合わせながら、センサ情報の経時変化を解析することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】図１は、第一の実施形態に係る画像処理システムの機能構成を示すブロック図である。
【図２】図２は、センサ情報の取得タイミングと、画像フレームの取得タイミングを概念的に表した図である。
【図３】図３は、画像取得時刻におけるセンサ情報の推定値の算出方法について説明する図である。
【図４】図４は、カメラにより撮影される現実画像に対して、第一の実施形態に係るシステムにより処理された画像である（（ｂ）は、（ａ）の拡大図である）。
【図５】図５は、第一の実施形態に係る画像処理システムのメイン処理のフローチャートである。
【図６】図６は、ステップＳ３６０において行なわれる処理の詳細を示すフローチャートである。
【図７】図７は、本発明に係る画像処理システムにより、測定結果を解析するための解析処理のフローチャートである。
【図８】図８は、本発明に係る画像処理システムにより、測定結果を解析するためのステップＳ３６０Ａにおいて行なわれる処理の詳細を示すフローチャートである。
【図９】図９は、本発明に係る画像処理システムにより、測定結果を解析するための解析処理のフローチャートである。
【図１０】図１０は、本発明に係る画像処理システムにより、センサ情報の推定値を算出する解析処理のフローチャートである。
【図１１】図１１は、第三の実施形態に係る画像処理システムのメイン処理のフローチャートである。
【図１２】図１２は、第四の実施形態に係る画像処理システムの機能構成を示すブロック図である。
【図１３】図１３は、第四の実施形態に係る画像処理システムにより生成される画像の例を示した図である。
【発明を実施するための形態】
【００３１】
第一の実施形態
図１は、本最良形態に係る画像処理システムの機能構成を示すブロック図である。図１に示すように本最良形態に係るシステムは、マーカＭが配置された現実空間Ｒの画像を撮影するカメラ１１０と、現実空間のマーカＭの周辺に配置されたセンサ１２０と、前記センサからの情報を取得可能なデータロガー１３０と、画像処理システム１４０と、表示装置１６０と、入力装置１７０とを有する。尚、ここで現実空間とは、画面に映っている空間に限定されず、実際の空間を意味する。
【００３２】
カメラ１１０は、現実空間の動画像を撮影する。撮影した各フレーム画像は、画像信号として画像処理システム１４０に入力される。カメラ１１０は、秒間フレーム数が多い（例えば１秒間に５０フレーム以上）高速撮影用のカメラであってもよい。この場合、カメラの撮影映像のフレーム数が、センサ情報の取得頻度よりも高くなる場合もある。
【００３３】
現実空間中にはマーカＭが配置されていると共に、かかるマーカＭの周辺にはセンサ１２０が配置されている。マーカＭの形態情報は既知であり、マーカＭの形態情報は、あらかじめ配置情報記憶部１４１に記憶されている。具体的には、マーカＭの色、形状、大きさ、基準点からの各辺までの距離等である。図１においてマーカＭは一つしか示さなかったが、当該マーカは複数あってもよい。二つ以上マーカが設けられることにより、一つのマーカが隠れていても、仮想画像を表示することが可能となる、または、センサ位置の特定の精度が向上するなどの効果を奏する。複数のマーカを存在させる場合、これらのマーカのパターンはマーカ毎に異なる。尚、複数のマーカを使用する場合の処理は、公知文献（例えば、谷尻豊寿著、拡張現実感を実現するＡＲＴｏｏｌｋｉｔプログラミングテクニック、２００８年）に記載の通り、周知である。マーカＭは、位置及び姿勢が識別可能であれば特に限定されないが、非対称の図形であることが好適である。また、色差でマーカを識別する場合には、色差が最も出やすい白と黒から構成されるマーカであることが好適である。また、マーカＭの枠は図中では四角形の形状としたが、形状には特に限定されず、例えば、三角形、五角形、六角形、七角形、八角形の何れであってもよいし、バーコードや、２次元コードや、フラクタル図形であってもよい。これらの中でも、四角形が特に好適である。更に、マーカの枠内には、例えば、方向を識別可能な図形又は文字からなる図形が描かれていることが好適である。
【００３４】
センサ１２０は、公知の各種センサを用いることができ、特に限定されないが、例えば、ひずみゲージ、ロードセル、変位計、温度センサ、湿度センサ、加速度センサ、ジャイロセンサ、距離センサ、磁気センサ、光位置センサ、光波距離計等が挙げられる。また、センサ１２０の数は、一つに限定されず、複数個であってもよい。これらのセンサ１２０は、データロガー１３０と接続されており、センサによる測定結果を処理して、センサ情報の取得時刻と共に、画像処理システムへと当該処理結果が供給される。また、これらのセンサの中でも、ひずみゲージを３つ積層した３軸のひずみゲージなどを用いることにより、主ひずみ、主応力などのベクトル量を算出することが可能となり、これらのベクトルの絶対値及び方向を従来の方法と比較してよりわかり易く表示することができる。
【００３５】
表示装置１６０は、公知の表示装置を使用することができ、特に限定されないが、例えば、コンピュータ用のディスプレイや、ユーザの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）を使用することが可能である。これらの中でも、後々に解析結果を表示するためにはコンピュータ用のディスプレイを用いることが好適である。また、入力装置１７０は、特に限定されないが、例えば、マウス、キーボードを使用することができる。
【００３６】
続いて、画像処理システム１４０について説明する。
【００３７】
画像入力部１４２は、カメラ１１０から送出される各フレームの撮影画像を受信すると、これを撮影画像の取得時刻（例えば、フレーム画像の取得開始時刻など）、又は、フレームの取得開始時間から次のフレーム取得時間までのフレーム取得時間範囲と共に画像記憶部１４３及びマーカ検出部１４４に送出する。これらの撮影画像の取得時刻又は取得時間範囲はカメラなどの撮影手段から送られるものを使用してもよいし、画像処理システムにおいて計算してもよい。
【００３８】
マーカ検出部１４４は、画像入力部１４２から撮影画像を受けると、当該撮像画中に映っているマーカを検出し、画像座標を計算する。なお、画像座標及び後述するマーカの姿勢を求める方法については公知文献（例えば、加藤博一ら著、マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、ＴＶＲＳＪ Ｖｏｌ．４ Ｎｏ．４ １９９９年）に記載の通り、周知である。
【００３９】
配置情報生成部１４５は、マーカ検出部１４４からの画像座標情報と、配置情報記憶部１４１に記憶されているマーカＭの形態情報とに基づき、マーカの配置情報（位置・姿勢情報）を計算する。
【００４０】
配置情報記憶部１４１は、前述したマーカＭの形態情報の他、配置情報生成部１４５が生成した配置情報を格納する。
【００４１】
撮影手段位置姿勢推定部１４６は、マーカ検出部１４４が求めたマーカの配置情報から、現フレームにおけるカメラ１１０の位置姿勢を求める（推定する）。直前のフレームについて推定したカメラ１１０の撮像面上に投影した位置（画像座標）と、マーカ検出部１４４が求めた画像座標との誤差が最小になるように、カメラ１１０の位置姿勢を、非線形最適化の繰り返しによって算出する。ここで求まる位置姿勢は、現フレームにおけるカメラ１１０の位置姿勢である。
【００４２】
画像記憶部１４３は、画像入力部１４２を介してカメラ１１０から受けた撮影画像を当該画像の各フレームの取得時間範囲と共に一時的に記憶する。
【００４３】
操作入力部１４７は、操作入力装置１７０から送出された指示信号を、撮影手段位置姿勢推定部１４６や配置情報編集部１４８に送出する。
【００４４】
配置情報編集部１４８は、マーカとセンサの相対的な位置情報を編集するための機能を備える。ここで、マーカとセンサの相対的な位置情報とは、例えば、マーカの一点を基準点として、当該基準点を原点とするマーカ座標上において、センサが位置する座標の情報を指す。
【００４５】
センサ情報入力部１５１は、データロガー１３０から送出されたセンサから得られたデータ及びデータ取得時刻をセンサ情報処理部１５２に送出する。
【００４６】
センサ情報処理部１５２は、当該データを解析し、解析結果を計算により求める。センサ情報処理部１５２で算出された解析結果は、センサ情報画像生成部１５４に送出される。
【００４７】
センサ情報記憶部１５３は、センサ情報処理部１５２が求めた解析結果及び対応するデータ取得時刻を一時的に記憶する。
【００４８】
センサ情報画像生成部１５４は、操作者により指定された形式で、上記のセンサ情報処理部１５２により求められた解析結果を反映したセンサ情報画像を生成する。ここで、指定可能な形式は、画像情報記憶部１５５に格納されており、例えば、情報処理により得られる結果を色で示すための画像や、結果のスカラ値反映する大きさの異なる円形画像や、得られた結果がベクトル値である場合には大きさと方向を反映するための矢印画像や、数値表示画像や、グラフ表示画像や、その他３Ｄの表示画像が挙げられる。
【００４９】
合成部１４９は、画像記憶部１４３から取得した撮影画像上に、センサの位置に反映した場所にセンサ情報の処理結果を反映する画像を示す合成画像を生成する。具体的には、合成部１４９は、撮影手段位置姿勢推定部１４６からの撮影手段位置姿勢情報及びマーカとセンサの相対的な位置情報を踏まえて、センサ情報画像生成部１５４が生成したセンサ情報画像が撮影画像におけるセンサ位置に対応する箇所に配された仮想画像を生成する。画像記憶部１４３から取得した撮影画像と当該仮想画像とを、同期して合成する。
【００５０】
本発明に係る画像処理システムにおいては、単にリアルタイムにセンサ測定情報と画像情報を重ね合わせて表示するのみならず、センサ情報や撮影画像等を記録して、後から当該センサ情報を反映した仮想画像と撮影画像と重ね合わせた静止画像を表示させられるように構成する。また、静止画像をＪＰＧやＢＭＰの形式の画像ファイルとして出力できるように構成してもよい。
【００５１】
静止画像による解析処理において、解析部１９０は、操作者により指定され時刻のセンサ情報又はフレームの画像に基づいて、合成部１４９おいて静止画像を生成させるように指示をする。センサ情報処理部１５２に対して、必要なセンサ情報をセンサ情報記憶部１５３から読み込み、更に解析処理結果をセンサ情報画像生成部１５４に送り出し仮想画像を生成させる。また、画像記憶部１４３から必要なフレームの画像を読み出し、画像入力部１４２及び合成部１４９に送り出させる。また画像入力部１４２に送り出された画像はマーカ検出部１４４に送り出され、空間認識の処理に使用される。
【００５２】
より具体的には、単位時間あたりのセンサデータ取得回数が、画像フレームの取得回数よりも多い場合、センサ情報の取得時間ｔ＋ｘにおけるセンサ情報に対応する仮想画像と、現実空間を撮影した撮影画像とを、図２に示すように、仮想画像に対応する前記センサ情報の取得時間ｔ＋ｘが含まれる取得時間範囲を有する前記撮影画像のフレームに対応させて合成して静止画像表示する。
【００５３】
例えば、センサ情報取得時刻が、ｔ＋５／１０である場合には、当該時間範囲ｔ〜ｔ＋１を有するｆ１が該当する撮影画像のフレームとして合成される。また、その他、ｔ，ｔ＋１／１０，ｔ＋２／１０，ｔ＋３／１０，・・・・・ｔ＋９／１０までのセンサ情報取得時刻に対応する仮想画像が、ｆ１と合成されて出力される。また、センサ情報取得時刻がｔ＋１＋１／１０〜ｔ＋１＋９／１０までのセンサ情報取得時刻に対応する仮想画像は、ｆ２と合成される。このように、センサのデータ取得タイミングに併せて仮想画像を表示することが可能となるので、非常に速い経時変化が発生する場合であっても、後から解析してセンサ情報の経時変化を追跡することが可能となる。
【００５４】
上記とは逆に単位時間当たりの画像フレームの取得回数が、センサデータ取得回数よりも大きい場合には、センサ情報の取得時間範囲内に含まれる画像取得時間を有するフレームを選択して静止画表示する。
【００５５】
その他、センサ情報の取得時刻と、画像の取得時刻を記憶して、センサ情報に対応する仮想画像をセンサ情報取得時刻と最も近い時刻を有する画像フレームを選択して、重ね合わせて表示することができる。
【００５６】
例えば、センサ情報取得時刻が、ｔ＋４／１０である場合には、最も近い画像取得時刻であるｔを有するフレームの画像ｆ１を選択して重ね合わせて表示する。また、センサ情報取得時刻がｔ＋６／１０である場合には、最も近い画像取得時刻であるｔ＋１を有するフレームの画像ｆ２を選択して静止画表示する。センサ情報取得時刻がｔ＋５／１０である場合には、ｆ１又はｆ２を選択して静止画表示する。このようにセンサ情報取得時刻に対応した仮想画像を、取得時刻の最も近いフレームの撮影画像を選択して重ね合わせて表示することにより、センサ情報の取得頻度と、画像取得頻度の何れが高い場合であっても処理を変更せずに、画像を重ね合わせて表示することが可能となる。
【００５７】
上記のような静止画像の表示方法のほかに、撮影画像のフレームに該当する静止画像を選択して、当該撮影画像の取得時刻におけるセンサ情報の推定値を算出して、当該推定値に関連する仮想画像を形成し重ね合わせて表示する方法が挙げられる。この場合、撮影画像の取得時刻に近接する取得時刻を有するセンサ情報から、撮影画像の取得時刻におけるセンサ情報の推定値を算出する。センサ情報の推定値の算出方法としては、特に限定されないが、例えば、撮影画像取得時刻の直前直後の取得時刻を有するセンサ情報から推定する比例配分法により求めることができる。図３のように、センサ取得時刻Ｔｍ１にセンサ情報値Ｖ１を、センサ取得時刻Ｔｍ２にセンサ情報値Ｖ２を取得したとする。また、選択したフレームにおける撮影画像の取得時刻はＴｃ１であったとする。このとき、Ｔｃ１に合成するセンサ情報値Ｖｘを前後のデータから例えば線形の関係を想定して算出して推定する。
すなわち、
Ｖｘ ＝ （Ｖ２−Ｖ１）・（Ｔｃ１−Ｔｍ１）／（Ｔｍ２−Ｔｍ１）＋Ｖ１ （１）
このほか、推定値は公知の数学的方法により算出可能であり、上記の比例配分法の他に、多項式近似などにより求めることができる。
【００５８】
また、本発明に係る画像処理システムは、当該静止画像を印刷するプリンタなどの印刷装置１８０に出力可能に構成してもよい。このように構成することにより、本システムにより解析した結果を報告書として使用することができる。
【００５９】
ここで、カメラ１１０により撮影される現実画像と、本発明に係る撮影画像の様子を図４に示す。このように、現実画像上に存在するセンサの近傍に、センサにより得られた測定結果を反映した画像を示す。
【００６０】
続いて、本発明に係る画像処理システムが、撮影画像上におけるセンサ部分に測定結果を反映した仮想画像を重ね合わせて表示するための測定処理のフローチャートについて説明する（図５）。尚、測定処理に入る前に、初期化処理を行う。初期化処理としては、ＧＵＬＴの初期化、ビデオディバイスの設定、ウィンドウの設定、カメラパラメータの設定、パターンファイルの設定等を行なう。初期化処理は、公知文献（例えば、谷尻豊寿著、拡張現実感を実現するＡＲＴｏｏｌｋｉｔプログラミングテクニック、２００８年）に記載の通り、周知である。
【００６１】
はじめにステップＳ３１０では、画像入力部１４２は、カメラ１１０から送出される撮影画像の画像信号を受け、当該画像信号に基づき撮影画像を生成し、各フレームの取得開始時間範囲と共に送出する。画像信号に基づいて画像を生成する方法は周知の技術を用いることが可能である。
【００６２】
次にステップＳ３２０では、マーカ検出部１４４は、ステップＳ３１０で生成された撮影画像から、幾何特徴の投影像としてのマーカを検出する。マーカの検出方法は、公知の方法を用いることができるが、例えば、カメラから得られた画像を二値画像化することによりマーカを認識することが可能である。
【００６３】
次にステップＳ３３０では、配置情報生成部１４５は、上記ステップＳ３２０において検出したマーカＭの信頼度の比較処理を行う。マーカとして検出される領域の中には、マーカでない領域も含まれる。そこで、検出されたマーカについて、マーカの形態情報と照らし合わせ、信頼度の比較処理を行う。これにより、マーカでない領域の検出（誤検出）を防止する。複数のマーカを使用する場合には、マーカごとに信頼度の比較処理を行う。
【００６４】
次にステップＳ３４０では、配置情報生成部１４５は、マーカＭの位置・姿勢の計算処理をおこなう。当該ステップＳ３２０、Ｓ３３０及びＳ３４０より、撮影画像中におけるそれぞれのマーカの位置及び姿勢の情報を取得することができる。
【００６５】
次にステップ３５０では、配置情報生成部１４５は、座標変換行列の適用を行なう。当該処理により、マーカの画像座標を変換し、仮想画像を描画するための座標へと変換する。
【００６６】
次にステップＳ３６０では、オブジェクト（仮想画像）を選択して描画するが、当該ステップにおける処理については後で詳細に述べる。
【００６７】
次にステップＳ３７０では、入力装置１７０から処理を終了させる指示を入力されたか否かを、操作入力部１４７が判断する。このような判断の結果、終了指示されていない場合には、測定処理のはじめのステップＳ３１０に戻って処理を繰り返す。一方、終了指示されている場合には、本処理を終了する。
【００６８】
次に、上記ステップＳ３６０の処理について詳述する。図６は、ステップＳ３６０において行なわれる処理の詳細を示すフローチャートである。
【００６９】
まず、ステップＳ３６１では、配置情報生成部１４５は、マーカＭの配置情報を基にセンサの位置、又は、位置及び姿勢の計算を行なう。センサから得られる情報が、スカラ量である場合には、センサの位置のみの計算であっても、位置及び姿勢の計算を行ってもよいが、ベクトル量である場合には位置及び姿勢の計算を行うことが好適である。ここでは、例えば、マーカＭのうち一点を基準点としてあらかじめ選定し、あらかじめ入力された当該基準点からの位置、又は、位置及び姿勢情報を基に、センサの位置、又は、位置及び姿勢の計算を行なう。なお、センサの位置情報と姿勢情報は、あらかじめ入力装置１７０から入力し、操作入力部１４７及び配置情報編集部１４８を介して、配置情報記憶部１４１に格納される。
【００７０】
次にステップＳ３６２では、センサ情報処理部１５２は、センサ情報入力部１５１から入力されたデータを基にセンサの測定結果の計算処理を行う。ここで、センサとして三素子が積層された３軸のひずみゲージを用いた場合、センサの情報と、あらかじめ入力されたゲージの種類、貼り付け方向、結線順序の情報よりロゼット解析の計算法を用いて主ひずみ、主応力等のベクトル値を得ることができる。
【００７１】
次にステップＳ３６３では、センサ情報画像生成部１５４は、センサの測定結果を反映するオブジェクトの選択を行なう。当該オブジェクトは、画像情報記憶部１５５に格納されており、これらの格納されたオブジェクトの中からセンサの測定結果を反映するオブジェクトを選択する。
【００７２】
ステップＳ３６４では、ステップＳ３５０において座標変換行列の適用がされた情報を基にして、上記ステップＳ３６２で選択されたオブジェクトが配置された仮想空間の画像を描画する。この際、現実空間の画像と仮想空間の画像を同期する。この際、カメラ１１０により取得される動画のフレーム間隔と、センサデータ取得間隔が一致しない場合がしばしばあるが、この場合、例えば、動画のフレーム数よりもセンサのデータ取得数のほうが多い場合には、フレームの時間範囲の中間時点のセンサのデータ処理結果を反映した画像を重ね合わせるのが好適である。また、重ね合わせる画像として、数値を選択する場合には、カメラ座標のｘｙ平面に対して平行に表示することが好適である。
【００７３】
本最良形態に係る画像処理システムにより、測定結果を解析するための解析処理のフローチャートについて説明する（図７）。はじめにステップＳ３０１Ａにおいて、表示しようとする時間が入力されているか否かを判断する。当該数値は、入力装置１７０により表示しようとする時間を入力する。数値が入力されていない場合には、ステップＳ３７０Ａへと進む。数値が入力されている場合には、次のステップＳ３１０Ａへと進む。ステップＳ３１０Ａにおいて、上記のステップで入力された時間範囲を有する撮影画像フレームを選択して読み込む、又は、上記のステップで入力された時間範囲と最も近い取得時刻を有する撮影画像フレームを選択して読み込む。続いて、ステップＳ３２０Ａ〜Ｓ３５０Ａにおいては、上述のステップ３２０〜３５０と同様の処理を行う。
【００７４】
ステップＳ３６０Ａにおいては、数値入力された時間に対応するセンサ情報に基づいて仮想画像を生成して描画する。図８に示すように、基本的に測定処理におけるステップＳ３６０と同様の処理を行うが、ステップＳ３６５Ａにおいて、上記の数値入力に基づいて、指定された時間に対応するセンサ情報を読み込む。当該ステップにより、数値入力された時間に対応する仮想画像を表示することができる。
【００７５】
ステップＳ３８０Ａにおいては、プリントアウトの指示があるか否かを判断する。指示がある場合には、次のステップＳ３８５Ａにおいて、表示されている静止画像を印刷装置１８０に出力する。プリントアウトの指示がない場合には、ステップＳ３９０Ａへと進む。
【００７６】
ステップＳ３９０Ａにおいては、合成画像表示の終了指示があるか否かを判断する。ここで終了指示がある場合には、次のステップＳ３７０Ａへと進み、指示がない場合には、ステップＳ３８０Ａの先頭へと戻る。
【００７７】
ステップＳ３７０Ａにおいては、終了指示があるか否かを判断する。終了指示がある場合には、当該処理を終了し、終了指示がない場合には、当該解析処理の先頭に戻る。
【００７８】
以上のように、センサ情報に対応する仮想画像と、各フレームの撮影画像を合成して表示するに際して、センサ情報の取得時刻が、当該フレームの取得時間範囲に含まれるように当該二つの画像を重ね合わせられるようにして静止画像表示する。
【００７９】
上記の解析方法の変形例としては、画像フレーム取得頻度が、センサ情報取得頻度よりも大きい場合には、ステップＳ３０１Ａにおいて画像フレームが選択されているか否かを判断し、ステップＳ３１０Ａにおいて、選択されたフレームの撮影画像を読み込む。またステップＳ３６５Ａにおいて、選択した画像フレームの取得時刻が含まれる時間範囲を有するセンサ情報を読み込む。
【００８０】
その他、ステップＳ３０１Ａにおいて、センサ情報の取得時刻又は、画像フレームの選択がなされているか判断し、センサ情報の取得時刻が選択されている場合にはステップＳ３１０Ａにおいて、センサ情報の取得時刻に最も近い取得時刻を有するフレームの撮影画像を選択して読み込む。一方、画像フレームが選択されている場合には、ステップＳ３１０Ａにおいて、当該撮影画像を読み込み、ステップＳ３６５Ａにおいてフレームの取得時刻に最も近い取得時刻を有するセンサ情報を読み込む。
【００８１】
また別の解析方法として、図９に示す解析方法が用いられる。上記の解析方法と処理フローとの共通部分が多いので、上記のフローに対応したステップ番号を付して説明を省略し、ここでは、上記の処理方法との相違点について中心的に述べる。
【００８２】
本解析方法は、撮影画像のフレームごとに静止画像表示し、当該静止画像表示した撮影画像の取得時刻おけるセンサ情報の推定値を算出して、当該推定値を反映した仮想画像を生成し合成する。すなわち、上記の処理方法と相違点としては、ステップＳ３０１Ａ−２において、画像の指定があるか否かを判断する。ここで、画像とは撮影画像のフレームに対応する画像である。当該画像は入力装置１７０により選択する。続いて、ステップ３１０Ａ−２において、選択された画像の画像フレームを読み込む。
【００８３】
ステップ３６０Ａ−２において、選択された画像フレームの取得時刻のセンサ情報の推定値を反映した仮想画像を生成し描画する。ここで、推定値は、図１０に示すような方法により算出される。ステップＳ３６７Ａ−２において、画像取得時刻に近接した取得時刻を有する複数のセンサ情報の読み出しを行なう。ここで近接したセンサ情報とは、例えば、比例配分法により推定値を算出する場合には、画像取得時刻Ｔｃ１に対して、直前の取得時刻Ｔｍ１を有するセンサ情報Ｖ１と、直後の取得時刻Ｔｍ２を有するセンサ情報Ｖ２を読み込む。
【００８４】
続いて、ステップＳ３６８Ａ−２において、前ステップにおいて読み出した値より、推定値を算出する。例えば、上記の値より、傾きを求めて、Ｖ１からの時間差により発生する値の差分を算出し、Ｖ１に加えて推定値を算出する。ここで、センサ情報により得られる値がベクトル量などの複数のパラメータを有する場合には、パラメータごとに推定値を算出する。その後、ステップＳ３６９Ａ−２において、当該推定値から測定結果を算出する。
【００８５】
以上のような処理により、撮影画像から所望のフレームに対応する画像を選択して、その時刻におけるセンサ情報の解析結果を表示することができる。
【００８６】
第二の実施形態
第一の実施形態に係るシステムにより合成する画像は、センサの情報を反映した画像を現実画像と合成して表示するものであったが、第二の実施形態は、当該機能に加えて、構造物の有限要素法（ＦＥＭ）解析結果、境界要素法（ＢＥＭ）解析結果、骨組解析結果、差分法解析結果、温度分布等の解析情報画像を更に重ね合わせて表示することができることを特徴とする。
【００８７】
第二の実施形態に係るシステム２４０は、第一の実施形態と概ね同じ構成を有しているため、共通の構成については説明を省略又は同一記号を付して説明を省略する。
第一の実施形態と第二の実施形態の相違点は、前記画像出力手段が、前記マーカの配置情報に基づきＦＥＭ解析結果、ＢＥＭ解析結果、骨組解析結果、差分法解析結果、温度分布等の解析結果を反映した仮想画像を合成する手段を有する点である。解析結果として、より詳細には、ＦＥＭ解析、ＢＥＭ解析、骨組み解析、差分法解析等の解析手法を用いて、構造解析（例えば、振動解析、固有値解析、地震解析等）、温度解析、流体解析を行って得られる、応力分布、変位分布、速度分布、温度分布が挙げられる。
以下、ＦＥＭ解析結果を重ねて表示する場合について説明する。
【００８８】
ここで、ＦＥＭ解析とは、橋梁等の土木建造物等の構造計算を行なう周知のＦＥＭ解析方法を使用することが可能であり、非線形解析であっても、線形解析であってもよい。これらの解析結果を反映する画像をあらかじめ配置情報記憶部１４１に記憶させておき、合成画像を描画する際に当該画像を併せて描画する。
【００８９】
より詳細には、第一の実施形態におけるステップＳ３６４において、撮影手段位置推定部１４６は、上記ステップＳ３６２で選択されたオブジェクトのみならず、配置情報記憶部１４１に記憶されたＦＥＭ解析結果を反映した画像を現実画像上に描画する。
【００９０】
第二の実施形態の変形例として、マーカを複数配置して現実空間のより正確な空間座標情報を算出して、当該空間座標に基づいて、ＦＥＭ解析結果を反映した仮想画像を合成する態様が挙げられる。
【００９１】
この場合、一つのマーカの配置情報に基づいて、ＦＥＭ解析結果を重ね合わせるよりも、より正確な重ねあわせを行なうことが可能となる。例えば、一つのマーカで、現実空間の空間座標を取得しようとすれば、マーカの微秒なずれにより回転誤差が生じたり、スケールの読み間違いが発生したり、パースペクティブ（奥行きのスケール）の誤差が発生するといった問題を有する。これらの問題に対して、同一平面状に二つのマーカを貼り付けることにより、回転誤差や、スケールの読み間違いを補正することが可能となる。その他、二つの面にマーカを貼り付けることによりパースペクティブの誤差を補正することが可能となる。
【００９２】
第三の実施形態
第三の実施形態係る画像処理システムは、第一の実施形態の構成と基本的に共通するが、表示する現実画像に静止画像を使用する点で異なる。本形態に係るシステムは、例えば、センサとして温度センサを使用するときなどセンサ情報の経時的変化が少ない場合や、センサ情報を取得する対象が建築物などの動きを有しないものである場合に使用することが好適である。以下、第一の実施形態と相違する点について詳述する。尚、第一の実施形態と共通する構成については説明を省略する。
【００９３】
第三の実施形態におけるシステムは、測定処理が異なる。本形態に係る測定処理のフローチャートを図１１に示す。大きな相違点は、Ｓ３７０の終了後、終了指示がない場合にはＳ３６０に戻り、オブジェクトの選択・描画のみを繰り返し行なうことである。はじめに得られた画像のマーカの位置姿勢情報等の算出を行い、センサの測定結果を反映する画像を表示する。
【００９４】
第四の実施形態
第四の実施形態係る画像処理システムは、第一の実施形態の構成と基本的に共通するが、カメラを複数使用する点で異なる。一台のカメラで映し出せない部分の画像を取得して、拡張現実感画像と並べて表示することにより、例えば、橋梁の上を車が通過する際に橋脚にどのような応力が加わるのかを視覚的に解り易く表示することが可能となる。図１２は、第四の実施形態に係る画像処理システムの機能構成を示すブロック図である。第一の実施形態と共通する構成については同一記号を付して説明を省略する。
【００９５】
本実施形態に係る画像処理システムは、カメラを二台（カメラ１１０ａ及び１１０ｂ）使用する点で異なる。カメラ１１０ａ及び１１０ｂは、現実空間の動画像又は静止画像を撮影する。撮影した各フレーム画像は、時間範囲の情報と共に画像信号として画像処理システム１４０に入力される。カメラ１１０ａにより撮影された画像は、画像入力部１４２に送出され、更に画像入力部は画像及び画像取得時間範囲を画像記憶部１４３及びマーカ検出部１４４に送出する。一方、カメラ１１０ｂにより撮影された画像は、画像信号として第二画像入力部１５６に送出され、画像及び画像取得時刻又は取得時間範囲は第二画像記憶部１５７に送出する。
【００９６】
カメラ１１０ａにより入力された画像は、第一の実施形態と同様の処理を行ってもよいし、第二、第三の実施形態の処理をおこなってもよい。また、カメラ１１０ｂから入力された画像は、前記処理により現実画像と仮想画像が合成された画像と前記画像取得時刻範囲を照らし合わせて同期させて別のウィンドウ等で並べて表示する。
【００９７】
解析処理においては、解析部１９０は、第一の実施形態と同様に、カメラ１１０ａによる撮影画像と、センサ情報を反映した仮想画像とを合成した静止画像を表示するように指示をする。この際、解析部１９０は、カメラ１１０ｂからの画像が記憶されている第二画像記憶部１５７に対して、所定の取得時刻又は取得時間範囲を有するフレームに対応する撮影画像を出力するように指示する。
【００９８】
センサ情報の取得時刻又は取得時間範囲を指定して、静止画表示する場合には、カメラ１１０ａ及びカメラ１１０ｂからの撮影画像の中から、第一の実施形態と同様の処理を施して、適切な取得時刻又は取得時間範囲を有するフレームを選択して、静止画像表示することができる。
【００９９】
一方、カメラ１１０ａ又はカメラ１１０ｂのフレームの撮影画像を指定して静止画表示する場合には、第一の実施形態に準じた方法により、撮影画像の取得時間範囲又は取得時刻と、センサ情報の取得時間範囲又は取得時刻と照らし合わせて、センサ情報を選択又は推定値を算出して仮想画像を表示させることができる。カメラ１１０ａの画像フレームと、カメラ１１０ｂの画像フレームの同期方法は、例えば、一方のカメラの画像フレームでは取得時間範囲を取得して、もう一方のカメラの画像フレームでは取得時刻を取得しておき、カメラ画像の取得時刻が範囲に含まれる取得時間範囲を有するフレームの撮影画像と同期して表示する方法が挙げられる。また、両方のカメラのフレームの取得時刻を記憶しておき、指定されたフレームの画像と最も近い時刻を有するフレームの撮影画像を選択して表示してもよい。
【０１００】
図１３は、本形態に係る画像処理システムにより生成される画像の例を示した図である。図１３（ａ）は、例として使用する構造体のモデルの概略構造を示す図である。ここでは、横リブ１と、垂直補鋼材２とを有し、横リブと垂直補鋼材の距離が１．２５ｍとする構造体の上部を時速４０ｋｍ／時の車両のタイヤＢが通過する際の着目点Ｐの主応力の経時変化を測定する。図１３（ｂ）は、当該測定の解析時において表示される静止画像の概念図であり、構造体の上を車両のタイヤが通過する様子と、その下に位置する着目点Ｐにおける主応力の変化が矢印で示されるようなベクトル量として表示される。このように構成することにより、単に視覚的に経時変化を捕らえるだけでなく、客観的なデータの解析資料として使用することができるので、当該解析結果に基づき補強対策を講じることも可能である。
【０１０１】
このように本最良形態に係る画像処理システムについて詳述したが、当該画像処理システム１４０を構成する、マーカ検出部１４４、配置情報生成部１４５、撮影手段位置姿勢推定部１４５、配置情報編集部１４８、合成部１４９、センサ情報処理部１５２、センサ情報画像生成部１５４、解析部１９０については、コンピュータプログラムとして実装することができる。そしてまた、画像記憶部１４３、配置情報記憶部１４１、センサ情報記憶部１５３、画像情報記憶部１５５については、ＲＡＭやハードディスクなどのメモリ装置によって実装することができる。また、画像入力部１４２、操作入力部１４７、センサ情報入力部１５１については、インターフェースによって実装することができる。すなわち、上記メモリ装置、インターフェースを有するコンピュータに、上記コンピュータプログラムをインストールさせ、そしてこのコンピュータが係るコンピュータプログラムを実行することで、このコンピュータは、画像処理システム１４０と同様の動作を行うことになる。ここで、コンピュータハードウエアについては周知の装置を使用することができる。
【符号の説明】
【０１０２】
Ｍ：マーカ
Ｒ：現実空間
１１０：カメラ
１２０：センサ
１３０：データロガー
１４０：画像処理システム
１６０：表示装置
１７０：入力装置
１９０：解析部
【技術分野】
【０００１】
本発明は、現実画像に仮想画像を重ね合わせて表示する画像処理システムとその画像処理方法に関する。
【背景技術】
【０００２】
従来、橋梁部材等の建築物の点検・調査において、ひずみゲージや変位計等のセンサより得られるデータを解析しグラフ化して表示してきた。しかしこれらのデータではどの場所にどのようなひずみがあるのかを視覚的に把握し難いという問題を有する。
【０００３】
そこで、データを有効に表示するための可視化ソフト（例えば、AVS, Visualizer, Paraview）が提案されている。これによれば補完機能が充実しており、画像化、ベクトル表示に優れている。しかし、可視化のベースとなるモデルの作成が必要であるため、時間がかかる。また当該表示方法においても、モデルの精度をあげなければそれぞれの表示がどこのデータなのかは明確には分からないという問題を有していた。
【０００４】
これらとは別の可視化技術として、情報通信の分野において拡張現実感（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が利用されている。これらの技術を利用することにより、現実空間の画像に、ＣＧ等の仮想空間の画像を重ね合わせて表示し、実際には見えないものや補足的な情報などを、状況に対応させてユーザに表示することができる（例えば、特許文献１、非特許文献１、２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−９９１８８号公報
【非特許文献】
【０００６】
【非特許文献１】橋本 直著 ＡＲＴｏｏｌＫｉｔ拡張現実感プログラミング入門
【非特許文献２】谷尻 豊寿著 拡張現実感を実現するＡＲＴｏｏｌｋｉｔプログラミングテクニック
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、ひずみや応力といったセンサの処理結果を視覚的に把握できるような、新規データ表示する画像処理システム及び画像処理方法を提供することを目的とする。
【０００８】
工学的な分野において、客観性を示すため、センサ等で取得した物理量およびそれを誘起した外力を書類で残す（示す）必要がある。アニメーションは報告書として書類に残すのには適当な形式ではない。工学的な意味のある情報を、紙面に残す手段が必要とされている。そこで、本発明は、センサ等により取得した物理量等のセンサ情報を簡単に紙面に残す手段を提供する。
【０００９】
従来のＡＲ技術を単に利用して、これらのひずみや応力といった物理量を測定するシステムで、動的に（アニメーションで）観察したとしても感覚的に変動を把握できるものの、これらの挙動の変化を詳細に分析することは困難であった。実際、土木建築物等の強度を測定する用途に用いられることが想定されるが、補強手段の検討には、橋梁に架かる外力（たとえば、特に車両の通過に伴なう力、他に風力、温度応力、地震力など）に応じて発生するひずみや応力や加速度などを詳細に分析する必要がある。そのような場合には、現実画像（走行している車両の位置）と仮想画像（物理量など）の厳密な時間同期された合成画像が必要となる。
【００１０】
そこで、本発明は、センサなどからの解析結果を現実画像に重ね合わせて表示する画像処理システム及び画像処理方法において、センサ情報を静止画像表示して解析可能にし、更に、センサの情報と現実画像との同期が取れており、現実空間において発生した現象に基づき、センサ情報がいかに変化するかを解析できる画像処理システム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明（１）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１２】
本発明（２）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１３】
本発明（３）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記撮影画像のフレームの取得時刻のうち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定手段と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成手段と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１４】
本発明（４）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システムである。
【００１５】
本発明（５）は、前記静止画像を、印刷装置により印刷する印刷出力手段を有することを特徴とする、前記発明（１）〜（４）のいずれか一つの画像処理システムである。
【００１６】
本発明（６）は、前記撮影画像とは異なる現実空間の第二の撮影画像を取得する第二撮影画像取得手段と、
前記第二の撮影画像の取得時刻又は取得時間範囲を記憶する第二撮影画像取得時刻又は時間範囲取得手段と、
を有し、前記画像出力手段が当該第二の撮影画像と前記撮影画像の二つの画像を前記撮影画像又は仮想画像と同期して表示する、前記発明（１）〜（５）のいずれか一つの画像処理システムである。
【００１７】
本発明（７）は、現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００１８】
本発明（８）は、現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００１９】
本発明（９）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記撮影画像のフレームの取得時刻うち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定工程と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成工程と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００２０】
本発明（１０）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法である。
【００２１】
本発明（１１）は、前記発明（７）〜（１０）いずれか一つの画像処理方法をコンピュータに実行させるためのプログラムである。
【００２２】
本明細書において使用する各種用語の意味を説明する。ここで、撮影画像の各フレームの「取得時間範囲」とは、各フレームの画像取得開始時間から、次のフレームの画像取得開始時間までの時間範囲を意味する。ここで、センサ情報の「取得時間範囲」とは、センサ情報の取得開始時間から、次のセンサ情報の画像取得開始時間までの時間範囲を意味する。撮影画像の各フレームの「取得時刻」とは、特に限定されないが、例えば、画像フレームの取得開始時間など、各フレームにおける一定の基準を定めた時刻を意味する。
【００２３】
本発明（Ａ）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像と、前記仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像とを選択し、前記撮影画像の前記センサの位置に対応する箇所に前記仮想画像を重ね合わせて合成し出力する画像出力手段と、
を有する画像処理システムである。
【００２４】
本発明（Ｂ）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像と、前記仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像とを選択し、前記撮影画像の前記センサの位置に対応する箇所に前記仮想画像を重ね合わせて合成し出力する画像出力手段と、
を有する画像処理システムである。
【００２５】
本発明（Ｃ）は、現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像と、前記仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像とを選択し、前記撮影画像の前記センサの位置に対応する箇所に前記仮想画像を重ね合わせて合成し出力する画像出力手段と、
を有する画像処理システムである。
【発明の効果】
【００２６】
本発明によれば、センサの処理結果を視覚的に把握できるようなデータ表示形式を提供できるという効果を奏する。また、従来の可視化ソフトのようにモデルを作成する必要は無く、各センサの処理結果の表示がどこのデータなのかが明確に把握できるような表示形態を提供することが可能となる。
【００２７】
一般的に一秒間あたりの撮影画像取得頻度とセンサ情報の取得頻度とは異なるが、取得頻度の高い情報は、時間範囲と共に記憶し、取得頻度の高い情報は時刻と共に記憶して、これらの情報を照らし合わせて合成画像を生成する。このように構成することによって、センサの取得時間に応じた撮影画像を重ね合わせて表示できるので、センサの配された現実空間での現象と照らし合わせながら、センサ情報の経時変化を解析することが可能となる。
【００２８】
撮影画像取得頻度とセンサ情報の取得頻度とが、異なる場合であっても、撮影画像のフレームごとの取得時刻と、センサ情報の取得時刻を記憶して、センサ情報に対して最も近い時刻を有する撮影画像のフレームの撮影画像を選択して合成画像を生成する。このように構成することによって、センサの取得時間に応じた撮影画像を重ね合わせて表示できるので、センサの配された現実空間での現象と照らし合わせながら、センサ情報の経時変化を解析することが可能となる。
【００２９】
また、撮影画像取得頻度とセンサ情報取得頻度が異なる場合であって、同時刻において画像及びセンサ情報を取得していなくても、撮影画像取得時刻におけるセンサ情報の推定値を算出して、当該推定値に基づいた仮想画像を生成し、重ね合わせて表示することにより、現実空間での現象と照らし合わせながら、センサ情報の経時変化を解析することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】図１は、第一の実施形態に係る画像処理システムの機能構成を示すブロック図である。
【図２】図２は、センサ情報の取得タイミングと、画像フレームの取得タイミングを概念的に表した図である。
【図３】図３は、画像取得時刻におけるセンサ情報の推定値の算出方法について説明する図である。
【図４】図４は、カメラにより撮影される現実画像に対して、第一の実施形態に係るシステムにより処理された画像である（（ｂ）は、（ａ）の拡大図である）。
【図５】図５は、第一の実施形態に係る画像処理システムのメイン処理のフローチャートである。
【図６】図６は、ステップＳ３６０において行なわれる処理の詳細を示すフローチャートである。
【図７】図７は、本発明に係る画像処理システムにより、測定結果を解析するための解析処理のフローチャートである。
【図８】図８は、本発明に係る画像処理システムにより、測定結果を解析するためのステップＳ３６０Ａにおいて行なわれる処理の詳細を示すフローチャートである。
【図９】図９は、本発明に係る画像処理システムにより、測定結果を解析するための解析処理のフローチャートである。
【図１０】図１０は、本発明に係る画像処理システムにより、センサ情報の推定値を算出する解析処理のフローチャートである。
【図１１】図１１は、第三の実施形態に係る画像処理システムのメイン処理のフローチャートである。
【図１２】図１２は、第四の実施形態に係る画像処理システムの機能構成を示すブロック図である。
【図１３】図１３は、第四の実施形態に係る画像処理システムにより生成される画像の例を示した図である。
【発明を実施するための形態】
【００３１】
第一の実施形態
図１は、本最良形態に係る画像処理システムの機能構成を示すブロック図である。図１に示すように本最良形態に係るシステムは、マーカＭが配置された現実空間Ｒの画像を撮影するカメラ１１０と、現実空間のマーカＭの周辺に配置されたセンサ１２０と、前記センサからの情報を取得可能なデータロガー１３０と、画像処理システム１４０と、表示装置１６０と、入力装置１７０とを有する。尚、ここで現実空間とは、画面に映っている空間に限定されず、実際の空間を意味する。
【００３２】
カメラ１１０は、現実空間の動画像を撮影する。撮影した各フレーム画像は、画像信号として画像処理システム１４０に入力される。カメラ１１０は、秒間フレーム数が多い（例えば１秒間に５０フレーム以上）高速撮影用のカメラであってもよい。この場合、カメラの撮影映像のフレーム数が、センサ情報の取得頻度よりも高くなる場合もある。
【００３３】
現実空間中にはマーカＭが配置されていると共に、かかるマーカＭの周辺にはセンサ１２０が配置されている。マーカＭの形態情報は既知であり、マーカＭの形態情報は、あらかじめ配置情報記憶部１４１に記憶されている。具体的には、マーカＭの色、形状、大きさ、基準点からの各辺までの距離等である。図１においてマーカＭは一つしか示さなかったが、当該マーカは複数あってもよい。二つ以上マーカが設けられることにより、一つのマーカが隠れていても、仮想画像を表示することが可能となる、または、センサ位置の特定の精度が向上するなどの効果を奏する。複数のマーカを存在させる場合、これらのマーカのパターンはマーカ毎に異なる。尚、複数のマーカを使用する場合の処理は、公知文献（例えば、谷尻豊寿著、拡張現実感を実現するＡＲＴｏｏｌｋｉｔプログラミングテクニック、２００８年）に記載の通り、周知である。マーカＭは、位置及び姿勢が識別可能であれば特に限定されないが、非対称の図形であることが好適である。また、色差でマーカを識別する場合には、色差が最も出やすい白と黒から構成されるマーカであることが好適である。また、マーカＭの枠は図中では四角形の形状としたが、形状には特に限定されず、例えば、三角形、五角形、六角形、七角形、八角形の何れであってもよいし、バーコードや、２次元コードや、フラクタル図形であってもよい。これらの中でも、四角形が特に好適である。更に、マーカの枠内には、例えば、方向を識別可能な図形又は文字からなる図形が描かれていることが好適である。
【００３４】
センサ１２０は、公知の各種センサを用いることができ、特に限定されないが、例えば、ひずみゲージ、ロードセル、変位計、温度センサ、湿度センサ、加速度センサ、ジャイロセンサ、距離センサ、磁気センサ、光位置センサ、光波距離計等が挙げられる。また、センサ１２０の数は、一つに限定されず、複数個であってもよい。これらのセンサ１２０は、データロガー１３０と接続されており、センサによる測定結果を処理して、センサ情報の取得時刻と共に、画像処理システムへと当該処理結果が供給される。また、これらのセンサの中でも、ひずみゲージを３つ積層した３軸のひずみゲージなどを用いることにより、主ひずみ、主応力などのベクトル量を算出することが可能となり、これらのベクトルの絶対値及び方向を従来の方法と比較してよりわかり易く表示することができる。
【００３５】
表示装置１６０は、公知の表示装置を使用することができ、特に限定されないが、例えば、コンピュータ用のディスプレイや、ユーザの頭部に装着するヘッドマウントディスプレイ（ＨＭＤ）を使用することが可能である。これらの中でも、後々に解析結果を表示するためにはコンピュータ用のディスプレイを用いることが好適である。また、入力装置１７０は、特に限定されないが、例えば、マウス、キーボードを使用することができる。
【００３６】
続いて、画像処理システム１４０について説明する。
【００３７】
画像入力部１４２は、カメラ１１０から送出される各フレームの撮影画像を受信すると、これを撮影画像の取得時刻（例えば、フレーム画像の取得開始時刻など）、又は、フレームの取得開始時間から次のフレーム取得時間までのフレーム取得時間範囲と共に画像記憶部１４３及びマーカ検出部１４４に送出する。これらの撮影画像の取得時刻又は取得時間範囲はカメラなどの撮影手段から送られるものを使用してもよいし、画像処理システムにおいて計算してもよい。
【００３８】
マーカ検出部１４４は、画像入力部１４２から撮影画像を受けると、当該撮像画中に映っているマーカを検出し、画像座標を計算する。なお、画像座標及び後述するマーカの姿勢を求める方法については公知文献（例えば、加藤博一ら著、マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、ＴＶＲＳＪ Ｖｏｌ．４ Ｎｏ．４ １９９９年）に記載の通り、周知である。
【００３９】
配置情報生成部１４５は、マーカ検出部１４４からの画像座標情報と、配置情報記憶部１４１に記憶されているマーカＭの形態情報とに基づき、マーカの配置情報（位置・姿勢情報）を計算する。
【００４０】
配置情報記憶部１４１は、前述したマーカＭの形態情報の他、配置情報生成部１４５が生成した配置情報を格納する。
【００４１】
撮影手段位置姿勢推定部１４６は、マーカ検出部１４４が求めたマーカの配置情報から、現フレームにおけるカメラ１１０の位置姿勢を求める（推定する）。直前のフレームについて推定したカメラ１１０の撮像面上に投影した位置（画像座標）と、マーカ検出部１４４が求めた画像座標との誤差が最小になるように、カメラ１１０の位置姿勢を、非線形最適化の繰り返しによって算出する。ここで求まる位置姿勢は、現フレームにおけるカメラ１１０の位置姿勢である。
【００４２】
画像記憶部１４３は、画像入力部１４２を介してカメラ１１０から受けた撮影画像を当該画像の各フレームの取得時間範囲と共に一時的に記憶する。
【００４３】
操作入力部１４７は、操作入力装置１７０から送出された指示信号を、撮影手段位置姿勢推定部１４６や配置情報編集部１４８に送出する。
【００４４】
配置情報編集部１４８は、マーカとセンサの相対的な位置情報を編集するための機能を備える。ここで、マーカとセンサの相対的な位置情報とは、例えば、マーカの一点を基準点として、当該基準点を原点とするマーカ座標上において、センサが位置する座標の情報を指す。
【００４５】
センサ情報入力部１５１は、データロガー１３０から送出されたセンサから得られたデータ及びデータ取得時刻をセンサ情報処理部１５２に送出する。
【００４６】
センサ情報処理部１５２は、当該データを解析し、解析結果を計算により求める。センサ情報処理部１５２で算出された解析結果は、センサ情報画像生成部１５４に送出される。
【００４７】
センサ情報記憶部１５３は、センサ情報処理部１５２が求めた解析結果及び対応するデータ取得時刻を一時的に記憶する。
【００４８】
センサ情報画像生成部１５４は、操作者により指定された形式で、上記のセンサ情報処理部１５２により求められた解析結果を反映したセンサ情報画像を生成する。ここで、指定可能な形式は、画像情報記憶部１５５に格納されており、例えば、情報処理により得られる結果を色で示すための画像や、結果のスカラ値反映する大きさの異なる円形画像や、得られた結果がベクトル値である場合には大きさと方向を反映するための矢印画像や、数値表示画像や、グラフ表示画像や、その他３Ｄの表示画像が挙げられる。
【００４９】
合成部１４９は、画像記憶部１４３から取得した撮影画像上に、センサの位置に反映した場所にセンサ情報の処理結果を反映する画像を示す合成画像を生成する。具体的には、合成部１４９は、撮影手段位置姿勢推定部１４６からの撮影手段位置姿勢情報及びマーカとセンサの相対的な位置情報を踏まえて、センサ情報画像生成部１５４が生成したセンサ情報画像が撮影画像におけるセンサ位置に対応する箇所に配された仮想画像を生成する。画像記憶部１４３から取得した撮影画像と当該仮想画像とを、同期して合成する。
【００５０】
本発明に係る画像処理システムにおいては、単にリアルタイムにセンサ測定情報と画像情報を重ね合わせて表示するのみならず、センサ情報や撮影画像等を記録して、後から当該センサ情報を反映した仮想画像と撮影画像と重ね合わせた静止画像を表示させられるように構成する。また、静止画像をＪＰＧやＢＭＰの形式の画像ファイルとして出力できるように構成してもよい。
【００５１】
静止画像による解析処理において、解析部１９０は、操作者により指定され時刻のセンサ情報又はフレームの画像に基づいて、合成部１４９おいて静止画像を生成させるように指示をする。センサ情報処理部１５２に対して、必要なセンサ情報をセンサ情報記憶部１５３から読み込み、更に解析処理結果をセンサ情報画像生成部１５４に送り出し仮想画像を生成させる。また、画像記憶部１４３から必要なフレームの画像を読み出し、画像入力部１４２及び合成部１４９に送り出させる。また画像入力部１４２に送り出された画像はマーカ検出部１４４に送り出され、空間認識の処理に使用される。
【００５２】
より具体的には、単位時間あたりのセンサデータ取得回数が、画像フレームの取得回数よりも多い場合、センサ情報の取得時間ｔ＋ｘにおけるセンサ情報に対応する仮想画像と、現実空間を撮影した撮影画像とを、図２に示すように、仮想画像に対応する前記センサ情報の取得時間ｔ＋ｘが含まれる取得時間範囲を有する前記撮影画像のフレームに対応させて合成して静止画像表示する。
【００５３】
例えば、センサ情報取得時刻が、ｔ＋５／１０である場合には、当該時間範囲ｔ〜ｔ＋１を有するｆ１が該当する撮影画像のフレームとして合成される。また、その他、ｔ，ｔ＋１／１０，ｔ＋２／１０，ｔ＋３／１０，・・・・・ｔ＋９／１０までのセンサ情報取得時刻に対応する仮想画像が、ｆ１と合成されて出力される。また、センサ情報取得時刻がｔ＋１＋１／１０〜ｔ＋１＋９／１０までのセンサ情報取得時刻に対応する仮想画像は、ｆ２と合成される。このように、センサのデータ取得タイミングに併せて仮想画像を表示することが可能となるので、非常に速い経時変化が発生する場合であっても、後から解析してセンサ情報の経時変化を追跡することが可能となる。
【００５４】
上記とは逆に単位時間当たりの画像フレームの取得回数が、センサデータ取得回数よりも大きい場合には、センサ情報の取得時間範囲内に含まれる画像取得時間を有するフレームを選択して静止画表示する。
【００５５】
その他、センサ情報の取得時刻と、画像の取得時刻を記憶して、センサ情報に対応する仮想画像をセンサ情報取得時刻と最も近い時刻を有する画像フレームを選択して、重ね合わせて表示することができる。
【００５６】
例えば、センサ情報取得時刻が、ｔ＋４／１０である場合には、最も近い画像取得時刻であるｔを有するフレームの画像ｆ１を選択して重ね合わせて表示する。また、センサ情報取得時刻がｔ＋６／１０である場合には、最も近い画像取得時刻であるｔ＋１を有するフレームの画像ｆ２を選択して静止画表示する。センサ情報取得時刻がｔ＋５／１０である場合には、ｆ１又はｆ２を選択して静止画表示する。このようにセンサ情報取得時刻に対応した仮想画像を、取得時刻の最も近いフレームの撮影画像を選択して重ね合わせて表示することにより、センサ情報の取得頻度と、画像取得頻度の何れが高い場合であっても処理を変更せずに、画像を重ね合わせて表示することが可能となる。
【００５７】
上記のような静止画像の表示方法のほかに、撮影画像のフレームに該当する静止画像を選択して、当該撮影画像の取得時刻におけるセンサ情報の推定値を算出して、当該推定値に関連する仮想画像を形成し重ね合わせて表示する方法が挙げられる。この場合、撮影画像の取得時刻に近接する取得時刻を有するセンサ情報から、撮影画像の取得時刻におけるセンサ情報の推定値を算出する。センサ情報の推定値の算出方法としては、特に限定されないが、例えば、撮影画像取得時刻の直前直後の取得時刻を有するセンサ情報から推定する比例配分法により求めることができる。図３のように、センサ取得時刻Ｔｍ１にセンサ情報値Ｖ１を、センサ取得時刻Ｔｍ２にセンサ情報値Ｖ２を取得したとする。また、選択したフレームにおける撮影画像の取得時刻はＴｃ１であったとする。このとき、Ｔｃ１に合成するセンサ情報値Ｖｘを前後のデータから例えば線形の関係を想定して算出して推定する。
すなわち、
Ｖｘ ＝ （Ｖ２−Ｖ１）・（Ｔｃ１−Ｔｍ１）／（Ｔｍ２−Ｔｍ１）＋Ｖ１ （１）
このほか、推定値は公知の数学的方法により算出可能であり、上記の比例配分法の他に、多項式近似などにより求めることができる。
【００５８】
また、本発明に係る画像処理システムは、当該静止画像を印刷するプリンタなどの印刷装置１８０に出力可能に構成してもよい。このように構成することにより、本システムにより解析した結果を報告書として使用することができる。
【００５９】
ここで、カメラ１１０により撮影される現実画像と、本発明に係る撮影画像の様子を図４に示す。このように、現実画像上に存在するセンサの近傍に、センサにより得られた測定結果を反映した画像を示す。
【００６０】
続いて、本発明に係る画像処理システムが、撮影画像上におけるセンサ部分に測定結果を反映した仮想画像を重ね合わせて表示するための測定処理のフローチャートについて説明する（図５）。尚、測定処理に入る前に、初期化処理を行う。初期化処理としては、ＧＵＬＴの初期化、ビデオディバイスの設定、ウィンドウの設定、カメラパラメータの設定、パターンファイルの設定等を行なう。初期化処理は、公知文献（例えば、谷尻豊寿著、拡張現実感を実現するＡＲＴｏｏｌｋｉｔプログラミングテクニック、２００８年）に記載の通り、周知である。
【００６１】
はじめにステップＳ３１０では、画像入力部１４２は、カメラ１１０から送出される撮影画像の画像信号を受け、当該画像信号に基づき撮影画像を生成し、各フレームの取得開始時間範囲と共に送出する。画像信号に基づいて画像を生成する方法は周知の技術を用いることが可能である。
【００６２】
次にステップＳ３２０では、マーカ検出部１４４は、ステップＳ３１０で生成された撮影画像から、幾何特徴の投影像としてのマーカを検出する。マーカの検出方法は、公知の方法を用いることができるが、例えば、カメラから得られた画像を二値画像化することによりマーカを認識することが可能である。
【００６３】
次にステップＳ３３０では、配置情報生成部１４５は、上記ステップＳ３２０において検出したマーカＭの信頼度の比較処理を行う。マーカとして検出される領域の中には、マーカでない領域も含まれる。そこで、検出されたマーカについて、マーカの形態情報と照らし合わせ、信頼度の比較処理を行う。これにより、マーカでない領域の検出（誤検出）を防止する。複数のマーカを使用する場合には、マーカごとに信頼度の比較処理を行う。
【００６４】
次にステップＳ３４０では、配置情報生成部１４５は、マーカＭの位置・姿勢の計算処理をおこなう。当該ステップＳ３２０、Ｓ３３０及びＳ３４０より、撮影画像中におけるそれぞれのマーカの位置及び姿勢の情報を取得することができる。
【００６５】
次にステップ３５０では、配置情報生成部１４５は、座標変換行列の適用を行なう。当該処理により、マーカの画像座標を変換し、仮想画像を描画するための座標へと変換する。
【００６６】
次にステップＳ３６０では、オブジェクト（仮想画像）を選択して描画するが、当該ステップにおける処理については後で詳細に述べる。
【００６７】
次にステップＳ３７０では、入力装置１７０から処理を終了させる指示を入力されたか否かを、操作入力部１４７が判断する。このような判断の結果、終了指示されていない場合には、測定処理のはじめのステップＳ３１０に戻って処理を繰り返す。一方、終了指示されている場合には、本処理を終了する。
【００６８】
次に、上記ステップＳ３６０の処理について詳述する。図６は、ステップＳ３６０において行なわれる処理の詳細を示すフローチャートである。
【００６９】
まず、ステップＳ３６１では、配置情報生成部１４５は、マーカＭの配置情報を基にセンサの位置、又は、位置及び姿勢の計算を行なう。センサから得られる情報が、スカラ量である場合には、センサの位置のみの計算であっても、位置及び姿勢の計算を行ってもよいが、ベクトル量である場合には位置及び姿勢の計算を行うことが好適である。ここでは、例えば、マーカＭのうち一点を基準点としてあらかじめ選定し、あらかじめ入力された当該基準点からの位置、又は、位置及び姿勢情報を基に、センサの位置、又は、位置及び姿勢の計算を行なう。なお、センサの位置情報と姿勢情報は、あらかじめ入力装置１７０から入力し、操作入力部１４７及び配置情報編集部１４８を介して、配置情報記憶部１４１に格納される。
【００７０】
次にステップＳ３６２では、センサ情報処理部１５２は、センサ情報入力部１５１から入力されたデータを基にセンサの測定結果の計算処理を行う。ここで、センサとして三素子が積層された３軸のひずみゲージを用いた場合、センサの情報と、あらかじめ入力されたゲージの種類、貼り付け方向、結線順序の情報よりロゼット解析の計算法を用いて主ひずみ、主応力等のベクトル値を得ることができる。
【００７１】
次にステップＳ３６３では、センサ情報画像生成部１５４は、センサの測定結果を反映するオブジェクトの選択を行なう。当該オブジェクトは、画像情報記憶部１５５に格納されており、これらの格納されたオブジェクトの中からセンサの測定結果を反映するオブジェクトを選択する。
【００７２】
ステップＳ３６４では、ステップＳ３５０において座標変換行列の適用がされた情報を基にして、上記ステップＳ３６２で選択されたオブジェクトが配置された仮想空間の画像を描画する。この際、現実空間の画像と仮想空間の画像を同期する。この際、カメラ１１０により取得される動画のフレーム間隔と、センサデータ取得間隔が一致しない場合がしばしばあるが、この場合、例えば、動画のフレーム数よりもセンサのデータ取得数のほうが多い場合には、フレームの時間範囲の中間時点のセンサのデータ処理結果を反映した画像を重ね合わせるのが好適である。また、重ね合わせる画像として、数値を選択する場合には、カメラ座標のｘｙ平面に対して平行に表示することが好適である。
【００７３】
本最良形態に係る画像処理システムにより、測定結果を解析するための解析処理のフローチャートについて説明する（図７）。はじめにステップＳ３０１Ａにおいて、表示しようとする時間が入力されているか否かを判断する。当該数値は、入力装置１７０により表示しようとする時間を入力する。数値が入力されていない場合には、ステップＳ３７０Ａへと進む。数値が入力されている場合には、次のステップＳ３１０Ａへと進む。ステップＳ３１０Ａにおいて、上記のステップで入力された時間範囲を有する撮影画像フレームを選択して読み込む、又は、上記のステップで入力された時間範囲と最も近い取得時刻を有する撮影画像フレームを選択して読み込む。続いて、ステップＳ３２０Ａ〜Ｓ３５０Ａにおいては、上述のステップ３２０〜３５０と同様の処理を行う。
【００７４】
ステップＳ３６０Ａにおいては、数値入力された時間に対応するセンサ情報に基づいて仮想画像を生成して描画する。図８に示すように、基本的に測定処理におけるステップＳ３６０と同様の処理を行うが、ステップＳ３６５Ａにおいて、上記の数値入力に基づいて、指定された時間に対応するセンサ情報を読み込む。当該ステップにより、数値入力された時間に対応する仮想画像を表示することができる。
【００７５】
ステップＳ３８０Ａにおいては、プリントアウトの指示があるか否かを判断する。指示がある場合には、次のステップＳ３８５Ａにおいて、表示されている静止画像を印刷装置１８０に出力する。プリントアウトの指示がない場合には、ステップＳ３９０Ａへと進む。
【００７６】
ステップＳ３９０Ａにおいては、合成画像表示の終了指示があるか否かを判断する。ここで終了指示がある場合には、次のステップＳ３７０Ａへと進み、指示がない場合には、ステップＳ３８０Ａの先頭へと戻る。
【００７７】
ステップＳ３７０Ａにおいては、終了指示があるか否かを判断する。終了指示がある場合には、当該処理を終了し、終了指示がない場合には、当該解析処理の先頭に戻る。
【００７８】
以上のように、センサ情報に対応する仮想画像と、各フレームの撮影画像を合成して表示するに際して、センサ情報の取得時刻が、当該フレームの取得時間範囲に含まれるように当該二つの画像を重ね合わせられるようにして静止画像表示する。
【００７９】
上記の解析方法の変形例としては、画像フレーム取得頻度が、センサ情報取得頻度よりも大きい場合には、ステップＳ３０１Ａにおいて画像フレームが選択されているか否かを判断し、ステップＳ３１０Ａにおいて、選択されたフレームの撮影画像を読み込む。またステップＳ３６５Ａにおいて、選択した画像フレームの取得時刻が含まれる時間範囲を有するセンサ情報を読み込む。
【００８０】
その他、ステップＳ３０１Ａにおいて、センサ情報の取得時刻又は、画像フレームの選択がなされているか判断し、センサ情報の取得時刻が選択されている場合にはステップＳ３１０Ａにおいて、センサ情報の取得時刻に最も近い取得時刻を有するフレームの撮影画像を選択して読み込む。一方、画像フレームが選択されている場合には、ステップＳ３１０Ａにおいて、当該撮影画像を読み込み、ステップＳ３６５Ａにおいてフレームの取得時刻に最も近い取得時刻を有するセンサ情報を読み込む。
【００８１】
また別の解析方法として、図９に示す解析方法が用いられる。上記の解析方法と処理フローとの共通部分が多いので、上記のフローに対応したステップ番号を付して説明を省略し、ここでは、上記の処理方法との相違点について中心的に述べる。
【００８２】
本解析方法は、撮影画像のフレームごとに静止画像表示し、当該静止画像表示した撮影画像の取得時刻おけるセンサ情報の推定値を算出して、当該推定値を反映した仮想画像を生成し合成する。すなわち、上記の処理方法と相違点としては、ステップＳ３０１Ａ−２において、画像の指定があるか否かを判断する。ここで、画像とは撮影画像のフレームに対応する画像である。当該画像は入力装置１７０により選択する。続いて、ステップ３１０Ａ−２において、選択された画像の画像フレームを読み込む。
【００８３】
ステップ３６０Ａ−２において、選択された画像フレームの取得時刻のセンサ情報の推定値を反映した仮想画像を生成し描画する。ここで、推定値は、図１０に示すような方法により算出される。ステップＳ３６７Ａ−２において、画像取得時刻に近接した取得時刻を有する複数のセンサ情報の読み出しを行なう。ここで近接したセンサ情報とは、例えば、比例配分法により推定値を算出する場合には、画像取得時刻Ｔｃ１に対して、直前の取得時刻Ｔｍ１を有するセンサ情報Ｖ１と、直後の取得時刻Ｔｍ２を有するセンサ情報Ｖ２を読み込む。
【００８４】
続いて、ステップＳ３６８Ａ−２において、前ステップにおいて読み出した値より、推定値を算出する。例えば、上記の値より、傾きを求めて、Ｖ１からの時間差により発生する値の差分を算出し、Ｖ１に加えて推定値を算出する。ここで、センサ情報により得られる値がベクトル量などの複数のパラメータを有する場合には、パラメータごとに推定値を算出する。その後、ステップＳ３６９Ａ−２において、当該推定値から測定結果を算出する。
【００８５】
以上のような処理により、撮影画像から所望のフレームに対応する画像を選択して、その時刻におけるセンサ情報の解析結果を表示することができる。
【００８６】
第二の実施形態
第一の実施形態に係るシステムにより合成する画像は、センサの情報を反映した画像を現実画像と合成して表示するものであったが、第二の実施形態は、当該機能に加えて、構造物の有限要素法（ＦＥＭ）解析結果、境界要素法（ＢＥＭ）解析結果、骨組解析結果、差分法解析結果、温度分布等の解析情報画像を更に重ね合わせて表示することができることを特徴とする。
【００８７】
第二の実施形態に係るシステム２４０は、第一の実施形態と概ね同じ構成を有しているため、共通の構成については説明を省略又は同一記号を付して説明を省略する。
第一の実施形態と第二の実施形態の相違点は、前記画像出力手段が、前記マーカの配置情報に基づきＦＥＭ解析結果、ＢＥＭ解析結果、骨組解析結果、差分法解析結果、温度分布等の解析結果を反映した仮想画像を合成する手段を有する点である。解析結果として、より詳細には、ＦＥＭ解析、ＢＥＭ解析、骨組み解析、差分法解析等の解析手法を用いて、構造解析（例えば、振動解析、固有値解析、地震解析等）、温度解析、流体解析を行って得られる、応力分布、変位分布、速度分布、温度分布が挙げられる。
以下、ＦＥＭ解析結果を重ねて表示する場合について説明する。
【００８８】
ここで、ＦＥＭ解析とは、橋梁等の土木建造物等の構造計算を行なう周知のＦＥＭ解析方法を使用することが可能であり、非線形解析であっても、線形解析であってもよい。これらの解析結果を反映する画像をあらかじめ配置情報記憶部１４１に記憶させておき、合成画像を描画する際に当該画像を併せて描画する。
【００８９】
より詳細には、第一の実施形態におけるステップＳ３６４において、撮影手段位置推定部１４６は、上記ステップＳ３６２で選択されたオブジェクトのみならず、配置情報記憶部１４１に記憶されたＦＥＭ解析結果を反映した画像を現実画像上に描画する。
【００９０】
第二の実施形態の変形例として、マーカを複数配置して現実空間のより正確な空間座標情報を算出して、当該空間座標に基づいて、ＦＥＭ解析結果を反映した仮想画像を合成する態様が挙げられる。
【００９１】
この場合、一つのマーカの配置情報に基づいて、ＦＥＭ解析結果を重ね合わせるよりも、より正確な重ねあわせを行なうことが可能となる。例えば、一つのマーカで、現実空間の空間座標を取得しようとすれば、マーカの微秒なずれにより回転誤差が生じたり、スケールの読み間違いが発生したり、パースペクティブ（奥行きのスケール）の誤差が発生するといった問題を有する。これらの問題に対して、同一平面状に二つのマーカを貼り付けることにより、回転誤差や、スケールの読み間違いを補正することが可能となる。その他、二つの面にマーカを貼り付けることによりパースペクティブの誤差を補正することが可能となる。
【００９２】
第三の実施形態
第三の実施形態係る画像処理システムは、第一の実施形態の構成と基本的に共通するが、表示する現実画像に静止画像を使用する点で異なる。本形態に係るシステムは、例えば、センサとして温度センサを使用するときなどセンサ情報の経時的変化が少ない場合や、センサ情報を取得する対象が建築物などの動きを有しないものである場合に使用することが好適である。以下、第一の実施形態と相違する点について詳述する。尚、第一の実施形態と共通する構成については説明を省略する。
【００９３】
第三の実施形態におけるシステムは、測定処理が異なる。本形態に係る測定処理のフローチャートを図１１に示す。大きな相違点は、Ｓ３７０の終了後、終了指示がない場合にはＳ３６０に戻り、オブジェクトの選択・描画のみを繰り返し行なうことである。はじめに得られた画像のマーカの位置姿勢情報等の算出を行い、センサの測定結果を反映する画像を表示する。
【００９４】
第四の実施形態
第四の実施形態係る画像処理システムは、第一の実施形態の構成と基本的に共通するが、カメラを複数使用する点で異なる。一台のカメラで映し出せない部分の画像を取得して、拡張現実感画像と並べて表示することにより、例えば、橋梁の上を車が通過する際に橋脚にどのような応力が加わるのかを視覚的に解り易く表示することが可能となる。図１２は、第四の実施形態に係る画像処理システムの機能構成を示すブロック図である。第一の実施形態と共通する構成については同一記号を付して説明を省略する。
【００９５】
本実施形態に係る画像処理システムは、カメラを二台（カメラ１１０ａ及び１１０ｂ）使用する点で異なる。カメラ１１０ａ及び１１０ｂは、現実空間の動画像又は静止画像を撮影する。撮影した各フレーム画像は、時間範囲の情報と共に画像信号として画像処理システム１４０に入力される。カメラ１１０ａにより撮影された画像は、画像入力部１４２に送出され、更に画像入力部は画像及び画像取得時間範囲を画像記憶部１４３及びマーカ検出部１４４に送出する。一方、カメラ１１０ｂにより撮影された画像は、画像信号として第二画像入力部１５６に送出され、画像及び画像取得時刻又は取得時間範囲は第二画像記憶部１５７に送出する。
【００９６】
カメラ１１０ａにより入力された画像は、第一の実施形態と同様の処理を行ってもよいし、第二、第三の実施形態の処理をおこなってもよい。また、カメラ１１０ｂから入力された画像は、前記処理により現実画像と仮想画像が合成された画像と前記画像取得時刻範囲を照らし合わせて同期させて別のウィンドウ等で並べて表示する。
【００９７】
解析処理においては、解析部１９０は、第一の実施形態と同様に、カメラ１１０ａによる撮影画像と、センサ情報を反映した仮想画像とを合成した静止画像を表示するように指示をする。この際、解析部１９０は、カメラ１１０ｂからの画像が記憶されている第二画像記憶部１５７に対して、所定の取得時刻又は取得時間範囲を有するフレームに対応する撮影画像を出力するように指示する。
【００９８】
センサ情報の取得時刻又は取得時間範囲を指定して、静止画表示する場合には、カメラ１１０ａ及びカメラ１１０ｂからの撮影画像の中から、第一の実施形態と同様の処理を施して、適切な取得時刻又は取得時間範囲を有するフレームを選択して、静止画像表示することができる。
【００９９】
一方、カメラ１１０ａ又はカメラ１１０ｂのフレームの撮影画像を指定して静止画表示する場合には、第一の実施形態に準じた方法により、撮影画像の取得時間範囲又は取得時刻と、センサ情報の取得時間範囲又は取得時刻と照らし合わせて、センサ情報を選択又は推定値を算出して仮想画像を表示させることができる。カメラ１１０ａの画像フレームと、カメラ１１０ｂの画像フレームの同期方法は、例えば、一方のカメラの画像フレームでは取得時間範囲を取得して、もう一方のカメラの画像フレームでは取得時刻を取得しておき、カメラ画像の取得時刻が範囲に含まれる取得時間範囲を有するフレームの撮影画像と同期して表示する方法が挙げられる。また、両方のカメラのフレームの取得時刻を記憶しておき、指定されたフレームの画像と最も近い時刻を有するフレームの撮影画像を選択して表示してもよい。
【０１００】
図１３は、本形態に係る画像処理システムにより生成される画像の例を示した図である。図１３（ａ）は、例として使用する構造体のモデルの概略構造を示す図である。ここでは、横リブ１と、垂直補鋼材２とを有し、横リブと垂直補鋼材の距離が１．２５ｍとする構造体の上部を時速４０ｋｍ／時の車両のタイヤＢが通過する際の着目点Ｐの主応力の経時変化を測定する。図１３（ｂ）は、当該測定の解析時において表示される静止画像の概念図であり、構造体の上を車両のタイヤが通過する様子と、その下に位置する着目点Ｐにおける主応力の変化が矢印で示されるようなベクトル量として表示される。このように構成することにより、単に視覚的に経時変化を捕らえるだけでなく、客観的なデータの解析資料として使用することができるので、当該解析結果に基づき補強対策を講じることも可能である。
【０１０１】
このように本最良形態に係る画像処理システムについて詳述したが、当該画像処理システム１４０を構成する、マーカ検出部１４４、配置情報生成部１４５、撮影手段位置姿勢推定部１４５、配置情報編集部１４８、合成部１４９、センサ情報処理部１５２、センサ情報画像生成部１５４、解析部１９０については、コンピュータプログラムとして実装することができる。そしてまた、画像記憶部１４３、配置情報記憶部１４１、センサ情報記憶部１５３、画像情報記憶部１５５については、ＲＡＭやハードディスクなどのメモリ装置によって実装することができる。また、画像入力部１４２、操作入力部１４７、センサ情報入力部１５１については、インターフェースによって実装することができる。すなわち、上記メモリ装置、インターフェースを有するコンピュータに、上記コンピュータプログラムをインストールさせ、そしてこのコンピュータが係るコンピュータプログラムを実行することで、このコンピュータは、画像処理システム１４０と同様の動作を行うことになる。ここで、コンピュータハードウエアについては周知の装置を使用することができる。
【符号の説明】
【０１０２】
Ｍ：マーカ
Ｒ：現実空間
１１０：カメラ
１２０：センサ
１３０：データロガー
１４０：画像処理システム
１６０：表示装置
１７０：入力装置
１９０：解析部
【特許請求の範囲】
【請求項１】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項２】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項３】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記撮影画像のフレームの取得時刻のうち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定手段と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成手段と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項４】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項５】
前記静止画像を、印刷装置により印刷する印刷出力手段を有することを特徴とする、請求項１〜４のいずれか一項記載の画像処理システム。
【請求項６】
前記撮影画像とは異なる現実空間の第二の撮影画像を取得する第二撮影画像取得手段と、
前記第二の撮影画像の取得時刻又は取得時間範囲を記憶する第二撮影画像取得時刻又は時間範囲取得手段と、
を有し、前記画像出力手段が当該第二の撮影画像と前記撮影画像の二つの画像を前記撮影画像又は仮想画像と同期して表示する、請求項１〜５のいずれか一項記載の画像処理システム。
【請求項７】
現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項８】
現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項９】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記撮影画像のフレームの取得時刻うち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定工程と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成工程と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項１０】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項１１】
請求項７〜１０いずれか一項記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項２】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項３】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記撮影画像のフレームの取得時刻のうち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定手段と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成手段と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項４】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理システムであって、
現実空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得手段と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得手段と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得手段と、
前記センサの位置を取得するセンサ位置情報取得手段と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成手段と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力手段と、
を有する画像処理システム。
【請求項５】
前記静止画像を、印刷装置により印刷する印刷出力手段を有することを特徴とする、請求項１〜４のいずれか一項記載の画像処理システム。
【請求項６】
前記撮影画像とは異なる現実空間の第二の撮影画像を取得する第二撮影画像取得手段と、
前記第二の撮影画像の取得時刻又は取得時間範囲を記憶する第二撮影画像取得時刻又は時間範囲取得手段と、
を有し、前記画像出力手段が当該第二の撮影画像と前記撮影画像の二つの画像を前記撮影画像又は仮想画像と同期して表示する、請求項１〜５のいずれか一項記載の画像処理システム。
【請求項７】
現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時間範囲を取得する撮影画像取得時間範囲取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻が含まれる時間範囲を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項８】
現実空間に配されたセンサ情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した取得時間範囲を取得するセンサ情報時間範囲取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時間範囲ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時間範囲に含まれる時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項９】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記撮影画像のフレームの取得時刻うち選択された少なくとも一つに対して、近接する時刻における複数のセンサ情報から、前記フレームの撮影画像取得時刻におけるセンサ情報の推定値を算出する、センサ情報推定工程と、
前記センサ情報の推定値に関連する仮想画像を形成する仮想画像形成工程と、
前記撮影画像のフレームごとに静止画表示することが可能であり、前記フレームの撮影画像の取得時刻に対応する前記センサ情報の推定値に関する仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項１０】
現実空間に配されたセンサの情報の経時変化を解析するための画像処理方法であって、
現実空間の撮影画像を取得する撮影画像取得工程と、
前記撮影画像の各フレームの取得時刻を取得する撮影画像取得時刻取得工程と、
現実空間に配されたセンサから送られるセンサ情報を取得するセンサ情報取得工程と、
前記センサ情報と共にセンサ情報を取得した時刻を取得するセンサ情報時刻取得工程と、
前記センサの位置を取得するセンサ位置情報取得工程と、
前記センサ情報に関連する仮想画像を形成する仮想画像形成工程と、
前記仮想画像を取得時刻ごとに静止画像表示することが可能であり、前記静止画像表示した仮想画像に対応するセンサ情報の取得時刻に対して最も近い取得時刻を有するフレームに対応する前記撮影画像を選択し、前記仮想画像を前記撮影画像の前記センサの位置に対応する箇所に重ね合わせて合成し静止画像として出力する画像出力工程と、
を有する画像処理方法。
【請求項１１】
請求項７〜１０いずれか一項記載の画像処理方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図４】
【図１３】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図４】
【図１３】
【公開番号】特開２０１１−４４１３０（Ｐ２０１１−４４１３０Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２０１０−１０１５１６（Ｐ２０１０−１０１５１６）
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（５０８３２７５８２）株式会社ＴＴＥＳ (4)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２２年４月２６日（２０１０．４．２６）
【出願人】（５０８３２７５８２）株式会社ＴＴＥＳ (4)
【Ｆターム（参考）】
[ Back to top ]