誤差検出装置及び誤差検出プログラム
【課題】対象物の撮影画像の撮影方向及び撮影距離等に基づく二次元表示上の誤差の許容量を考慮して、対象物の当該対象物の設計情報に対する誤差を検出する誤差検出装置及び誤差検出プログラムを提供する。
【解決手段】誤差検出装置１は、対象物三次元情報１１３の表示画像と対象物の撮影画像情報１１１とを位置合わせする位置合わせ手段１０１と、撮影の視点となる座標と対象物三次元情報１１３の対象物を構成する面との距離及び撮影方向と面とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、対象物三次元情報１１３の表示画像の座標に対応づけて誤差マップ１１４を生成する誤差マップ生成手段１０２と、対象物三次元情報１１３の表示画像及び撮影画像情報１１１から対象物の輪郭となるエッジ点を抽出するエッジ抽出手段１０３と、エッジ点と誤差マップ１１４とを比較してエッジ点が誤差を有するか否か判定する誤差点判定手段１０４とを有する。
【解決手段】誤差検出装置１は、対象物三次元情報１１３の表示画像と対象物の撮影画像情報１１１とを位置合わせする位置合わせ手段１０１と、撮影の視点となる座標と対象物三次元情報１１３の対象物を構成する面との距離及び撮影方向と面とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、対象物三次元情報１１３の表示画像の座標に対応づけて誤差マップ１１４を生成する誤差マップ生成手段１０２と、対象物三次元情報１１３の表示画像及び撮影画像情報１１１から対象物の輪郭となるエッジ点を抽出するエッジ抽出手段１０３と、エッジ点と誤差マップ１１４とを比較してエッジ点が誤差を有するか否か判定する誤差点判定手段１０４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、誤差検出装置及び誤差検出プログラムに関する。
【背景技術】
【０００２】
対象物の撮影画像と対象物の三次元の設計情報とを比較する技術が提案されている。
【０００３】
これに関連する技術として、特許文献１には、三次元の位置関係が既知のマーカと対象物とをカメラを用いて撮影した画像を入力する入力手段と、入力された画像上のマーカの位置を用いて対象物とカメラとの位置姿勢関係を求める位置姿勢検出手段と、三次元の設計情報を位置姿勢検出手段が求めた位置姿勢関係に基づいて撮影画像上に重畳して表示する重畳表示手段と、撮影画像とその上に重畳して表示された三次元の設計情報との差分から誤差を抽出する手段とを有する誤差検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−９２６４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、少なくとも対象物の撮影画像の撮影方向及び撮影距離等に基づく二次元表示上の誤差の許容量を考慮して、対象物の当該対象物の設計情報に対する誤差を検出する誤差検出装置及び誤差検出プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］ 対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段と、
を有する誤差検出装置。
【０００７】
［２］前記設計情報の表示画像に前記誤差点判定手段が誤差を有すると判定した前記誤差点を表示する誤差点表示手段をさらに有する請求項１に記載の誤差検出装置。
【０００８】
［３］前記抽出手段は、複数の撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出し、
前記誤差点判定手段は、前記複数の撮影画像から抽出した前記対象物の輪郭となる座標が、当該座標に対応する誤差許容量分布画像の二次元表示上の誤差の許容量を超えるとき誤差点であると判定し、
前記誤差点判定手段が判定した前記複数の撮影画像の誤差点のうち座標が近似している誤差点から、当該誤差点に対応する誤差許容量分布画像の二次元表示上の許容量の大きいものを代表の誤差点として選別する誤差点選別手段をさらに有する請求項２に記載の誤差検出装置。
【０００９】
［４］前記誤差点表示手段は、前記設計情報の表示画像に表示された誤差点が選択されたとき、前記誤差点選別手段が選別した前記代表の誤差点に対応づけられた撮影画像の視点座標から前記設計情報の表示画像と前記誤差点とを表示する請求項３に記載の誤差検出装置。
【００１０】
［５］前記生成手段は、前記誤差許容量分布画像の各座標の範囲を当該座標の前記二次元表示上の誤差の許容量に基づいて定義して膨張処理し、
前記誤差点判定手段は、前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の膨張された前記範囲内に含まれるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する請求項１〜４のいずれかに記載の誤差検出装置。
【００１１】
［６］コンピュータを、
対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段として機能させる誤差検出プログラム。
【発明の効果】
【００１２】
請求項１又は６に係る発明によれば、少なくとも対象物の撮影画像の撮影方向及び撮影距離等に基づく二次元表示上の誤差の許容量を考慮して、対象物の当該対象物の設計情報に対する誤差を検出することができる。
【００１３】
請求項２に係る発明によれば、誤差点を設計情報の表示画像とともに表示することができる。
【００１４】
請求項３に係る発明によれば、複数の撮影画像から二次元表示上の誤差の許容量が大きい誤差点を選別することができる。
【００１５】
請求項４に係る発明によれば、二次元表示上の誤差の許容量が大きい誤差点に対応した視点座標から設計情報の表示画像を表示することができる。
【００１６】
請求項５に係る発明によれば、二次元表示上の誤差の許容量に応じて膨張処理された誤差許容量分布画像に応じて対象物の輪郭となる座標が誤差点であるか否か判定することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施形態に係る誤差検出システムの構成例を示す概略図である。
【図２】図２は、本実施形態に係る誤差検出装置の構成例を示すブロック図である。
【図３】図３（ａ）及び（ｂ）は撮影画像情報の内容の一例を示す概略図、図３（ｃ）は撮影情報の内容の一例を示す概略図、図３（ｄ）は対象物三次元情報１１３の表示画像の一例を示す概略図である。
【図４】図４（ａ）及び（ｂ）は、二次元表示に伴う誤差を計算するための各パラメータを説明するための概略図である。
【図５】図５（ａ）及び（ｂ）は、誤差マップの構成の一例を示す概略図である。
【図６】図６（ａ）〜（ｃ２）は、誤差マップの膨張処理の方法の一例を説明するための概略図である。
【図７】図７（ａ）及び（ｂ）は、エッジ抽出手段の動作例を説明するための概略図である。
【図８Ａ】図８Ａ（ａ）及び（ｂ）は、エッジ抽出手段によって抽出されたエッジ点集合から生成されるエッジ情報である。
【図８Ｂ】図８Ｂ（ａ）及び（ｂ）は、エッジ抽出手段によって計算された誤差距離を含むエッジ情報である。
【図９】図９（ａ）〜（ｄ）は、誤差点判定手段の動作の一例を説明するための概略図である。
【図１０】図１０（ａ）は、誤差点判定手段によってエッジ情報１１５にエッジラベルが付与された誤差情報の内容例を示す概略図、図１０（ｂ）は、誤差点選別手段の動作を説明するための概略図である。
【図１１】図１１は、誤差点表示手段１０６が生成する誤差三次元情報の表示画像の一例を示す概略図である。
【図１２】図１２（ａ）及び（ｂ）は、誤差点表示手段が生成する誤差三次元情報の表示画像の他の例を示す概略図である。
【図１３】図１３は、誤差検出装置１の動作の一例を示すフローチャートである。
【図１４】図１４（ａ）〜（ｃ２）は、誤差マップにおいて膨張処理を行わずにエッジ点に誤差があるか否か判定する方法の一例を説明するための概略図である。
【発明を実施するための形態】
【００１８】
（誤差検出システムの構成）
図１は、本実施形態に係る誤差検出システムの構成例を示す概略図である。
【００１９】
この誤差検出システム５は、誤差検出装置１と、対象物３を撮影するカメラ２とをＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等で接続して構成される。
【００２０】
誤差検出装置１は、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶部等の電子部品を本体内部に備え、カメラ２で撮影した結果に生成された画像情報を処理する情報処理装置であり、画像を表示する液晶ディスプレイ等の表示部１２、操作内容に応じた操作信号を出力するキーボードやマウス等の操作部１３等を有する。なお、誤差検出装置１は、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２１】
カメラ２は、対象物３を撮影方向２０ａ以外にも他の複数の撮影方向から撮影し、撮影した撮影方向２０ａ及び他の複数の撮影方向を対応する撮影した画像情報とともに記録し、これらの情報を誤差検出装置１に送信する。
【００２２】
対象物３は、複数の面から構成される立体形状物である。なお、対象物３の表面は、模様を有していてもよく、材質等の種類は特に問わない
【００２３】
（誤差検出装置の構成）
図２は、本実施形態に係る誤差検出装置１の構成例を示すブロック図である。
【００２４】
誤差検出装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、キーボード及びマウス等であって操作内容に応じた操作信号を出力する操作部１３と、カメラ２と情報を通信する通信部１４とを備える。
【００２５】
なお、誤差検出装置１は、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、表示部１２や操作部１３を備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。
【００２６】
制御部１０は、後述する誤差検出プログラム１１０を実行することで、撮影画像情報受付手段１００、位置合わせ手段１０１、誤差マップ生成手段１０２、エッジ抽出手段１０３、誤差点判定手段１０４、誤差点選別手段１０５及び誤差点表示手段１０６等として機能する。
【００２７】
撮影画像情報受付手段１００は、通信部１４を介してカメラ２で撮影された撮影画像情報１１１及び撮影方向や撮影位置、レンズ特性等の内容を含む撮影情報１１２を受け付けて、記憶部１１に格納する。
【００２８】
位置合わせ手段１０１は、対象物三次元情報１１３を二次元で表示して得られる画像である表示画像を撮影画像情報１１１に合わせる三次元座標の変換行列を計算して求め、その変換行列によって撮影画像情報１１１と対象物三次元情報１１３とを位置合わせする。なお、変換行列は３次元位置を平行移動・回転・拡大縮小させる行列である。また、位置合わせは、行列に限らず３次元位置を平行移動・回転・拡大縮小させる作用素であればよい。
【００２９】
誤差マップ生成手段１０２は、対象物三次元情報１１３及び位置合わせの対象である撮影画像情報１１１に対応した撮影情報１１２から後述する方法で二次元表示上の誤差の許容量を計算して、計算した誤差の許容量を後述する表示画像１２０の座標に対応付けた誤差マップ１１４を生成する。
【００３０】
エッジ抽出手段１０３は、撮影画像情報１１１と、撮影画像情報１１１と位置合わせされた対象物三次元情報１１３とからそれぞれ対象物３のエッジ（輪郭）に該当する座標（以下、「エッジ点」という。）を抽出してエッジ情報１１５を生成する。
【００３１】
誤差点判定手段１０４は、エッジ抽出手段１０３が抽出したエッジ点と、誤差マップ生成手段１０２が生成した誤差マップ１１４とを比較してエッジ点が誤差を有する誤差点か否かを判定するとともに、判定結果をエッジ情報１１５に反映して誤差情報１１６として生成する。
【００３２】
誤差点選別手段１０５は、誤差情報１１６に同一の点である蓋然性が高い誤差点が２以上存在する場合に、より確からしい誤差点を選別する。
【００３３】
誤差点表示手段１０６は、誤差情報１１６の誤差点を対象物三次元情報１１３の表示画像上にプロットして表示する。
【００３４】
記憶部１１は、制御部１０を上述した各手段１００〜１０６として動作させる誤差検出プログラム１１０、カメラ２で撮影された対象物３の画像情報である撮影画像情報１１１、撮影を行ったときのカメラ２の撮影方向や撮影位置、レンズ特性等の情報を含む撮影情報１１２、対象物３を製造するために三次元で記載された設計情報である対象物三次元情報１１３、誤差マップ生成手段１０２が生成した誤差マップ１１４、エッジ抽出手段１０３が抽出したエッジ情報１１５及び誤差点判定手段１０４が生成した誤差情報１１６等を記憶する。
【００３５】
図３（ａ）及び（ｂ）は撮影画像情報の内容の一例を示す概略図、図３（ｃ）は撮影情報の内容の一例を示す概略図、図３（ｄ）は対象物三次元情報１１３の表示画像の一例を示す概略図である。
【００３６】
図３（ａ）に示す撮影画像情報１１１ａは、後述する図３（ｃ）に示す撮影情報１１２に示すように、カメラ２によって撮影方向２０ａから対象物３を撮影することで得られる情報である。
【００３７】
また、図３（ｂ）に示す撮影画像情報１１１ｂは、図３（ｃ）に示す撮影情報１１２に示すようにカメラ２によって撮影方向２０ｂから対象物３を撮影することで得られる情報である。
【００３８】
図３（ｃ）に示す対象物三次元表示画像１１３Ａは、対象物三次元情報１１３を再生することで表示部１２に表示される表示画像１２０である。対象物三次元表示画像１１３Ａは、操作部１３に対する利用者の操作内容に応じてその表示内容を拡大・縮小や回転等されるものであってもよい。
【００３９】
図３（ｄ）に示す撮影情報１１２は、カメラ２で生成される撮影画像情報の識別子が記録される撮影画像情報欄及び撮影画像情報の撮影方向が記録される撮影方向欄等を有する。
【００４０】
（誤差検出装置の動作）
以下に、誤差検出装置１の動作例を図１〜図８を参照しつつ、（１）基本動作、（２）誤差マップ生成動作、（３）誤差点検出動作、（４）誤差点表示動作に分けて説明する。
【００４１】
（１）基本動作
まず、利用者は、カメラ２によって複数の撮影方向から対象物３を撮影する。カメラ２は、撮影した撮影画像情報１１１とともに、撮影方向や撮影位置、レンズ特性等から得られる撮影情報１１２をカメラ２の記憶部に格納する。
【００４２】
利用者は、誤差検出装置１の操作部１３を操作してカメラ２との通信を指示する。操作部１３は、操作に応じて操作信号を出力する。
【００４３】
誤差検出装置１は、操作部１３から操作信号を受信するとカメラ２と通信部１４を介して通信を開始する。次に、撮影画像情報受付手段１００は、カメラ２の記憶部から撮影画像情報１１１及び撮影情報１１２を受け付けて記憶部１１に格納する。なお、撮影画像情報受付手段１００は、カメラ２以外の外部装置から予め撮影された撮影画像情報１１１及び撮影情報１１２を受け付けてもよい。
【００４４】
次に、利用者が操作部１３を介して記憶部に格納された撮影画像情報１１１と対象物三次元情報１１３との位置合わせを要求すると、誤差検出装置１の位置合わせ手段１０１は、まず、対象物三次元情報１１３の表示画像を、例えば、撮影画像情報１１１ａに位置合わせする。
【００４５】
位置合わせの方法は、例えば、撮影画像情報１１１と対象物三次元情報１１３とからそれぞれの座標を一致させるための特徴的な点を利用者の操作により選択し、これらの特徴的な点の位置を合わせる変換行列を計算して求め、その変換行列によって対象物三次元情報１１３の座標を変換して撮影画像情報１１１との位置を合わせる。なお、変換行列は３次元位置を平行移動・回転・拡大縮小させる行列である。
【００４６】
（２）誤差マップ生成動作
図１３は、誤差検出装置１の動作の一例を示すフローチャートである。
【００４７】
次に、誤差マップ生成手段１０２は、撮影画像情報１１１ａに位置合わせされた対象物三次元情報１１３から以下に説明する方法で誤差マップ１１４ａを生成する（Ｓ１）。
【００４８】
まず、誤差マップ生成手段１０２は、撮影画像情報１１１ａに位置合わせされた対象物三次元情報１１３の視点となる視点座標、つまり、カメラ２の撮影方向２０ａに対応する視点座標と、対象物を形成する複数の面との関係から定まる二次元表示上の誤差の許容量であるｍを計算する。
【００４９】
図４（ａ）及び（ｂ）は、二次元表示上の誤差の許容量を計算するための各パラメータを説明するための概略図である。
【００５０】
対象物３を構成する面を物体表面Ｓ、物体表面Ｓの法線をｎ、対象物３に対する視点座標をカメラ位置Ｐ、表示部１２の表示画面に該当する仮想的な平面を画像平面Ｉ及び設計上の許容誤差を許容誤差ｅとしたとき、撮影方向と法線ｎとの角度ａ、視点座標と物体表面Ｓとの距離ｄ及び焦点距離ｆを用いて二次元表示上の誤差の許容量であるｍは、以下に示す式（１）のように表される。
【数１】
なお、（ｘ、ｙ）は、対象物三次元情報１１３の表示画像１２０上の座標を示し、画像の解像度（ｐｉｘｅｌ）分存在するものである。
【００５１】
次に、誤差マップ生成手段１０２は、ｍの値が予め定めた閾値より小さい場合及び法線ｎが連続的に変化する場合（平面でない場合）に、ｍの値をｍ＝０とし、表示画像１２０の座標に対応付けて、以下に説明する誤差マップ１１４ａを生成する。
【００５２】
図５（ａ）及び（ｂ）は、誤差マップの構成の一例を示す概略図である。
【００５３】
図５（ａ）に示す誤差マップ１１４ａは、ｍ＝０の点及び上述した方法によりｍ＝０とされた点の集合を領域１１４ａ１として、また、ｍ≠０である点の集合を領域１１４ａ２として表示している。
【００５４】
次に、誤差マップ生成手段１０２は、誤差マップ１１４ａの各座標の範囲をｍの値に比例させて膨張処理し（Ｓ２）、誤差マップ１１４ｂを生成する。領域１１４ｂ１は、領域１１４ａ１と同様にｍ＝０である点の集合であり、領域１１４ｂ２は、領域１１４ａ２を膨張処理した領域である。
【００５５】
なお、膨張処理において異なるｍの値を有する隣り合う領域間の調整については以下に説明する方法で対処する。
【００５６】
図６（ａ）〜（ｃ２）は、誤差マップの膨張処理の方法の一例を説明するための概略図である。
【００５７】
図６（ａ）に示すように、膨張処理前の領域Ａ１がｍ＝２であって、領域Ａ２がｍ＝６であるとしたとき、隣り合う領域がない場合は、図６（ｂ）に示すように、膨張処理によって領域Ａ１、Ａ２はそれぞれの外側に２ｐｉｘｅｌ、６ｐｉｘｅｌ拡張される。この場合にいずれの領域を優先させるのかによって後述する誤差検出の結果が変化する。
【００５８】
例えば、図６（ｃ１）に示すように、ｍの値の大きい領域、つまり領域Ａ２を優先させて領域を境界ｌ２まで拡張すると、許容誤差内にある点の誤検出が減少する。
【００５９】
また、例えば、図６（ｃ２）に示すように、ｍの値の小さい領域、つまり領域Ａ１を優先させて領域を境界ｌ１まで拡張すると、誤差を有する点の検出漏れが減少する。
【００６０】
また、例えば、図６（ｃ３）に示すように、ｍが中間値であるｍ＝４であって境界ｌ１及びｌ２によって定義される領域Ａ３を生成すると、図６（ｃ１）及び（ｃ２）に示した場合の中間的な性質で誤差を有する点が検出される。
【００６１】
（３）誤差点検出動作
図７（ａ）及び（ｂ）は、エッジ抽出手段１０３の動作例を説明ための概略図である。
【００６２】
次に、エッジ抽出手段１０３は、表示画像１２０については対象物三次元情報の面の法線や平面の境界を定義する情報等を使い、撮影画像情報１１１ａからは写真の濃淡値等を用いて、Ｓｏｂｅｌフィルタに代表されるエッジ抽出の方法を用いて対象物３のエッジに該当する座標点を抽出する。その結果、図７（ａ）に示すように、表示画像１２０に基づいてエッジ点集合１１５Ａが抽出される（Ｓ３）。また、図７（ｂ）に示すように、撮影画像情報１１１ａに基づいてエッジ点集合１１５Ｂが抽出される。なお、エッジ点集合１１５Ａは、対象物三次元情報１１３の画素単位（ｐｉｘｅｌ）で座標が抽出され、エッジ点集合１１５Ｂは、撮影画像情報１１１ａの画素単位（ｐｉｘｅｌ）で座標が抽出される。なお、エッジ抽出手段１０３は、エッジ点の抽出の際にノイズが含まれないようにするため、孤立点除去などのノイズ除去を行ってもよい。
【００６３】
図８Ａ（ａ）及び（ｂ）は、エッジ抽出手段１０３によって抽出されたエッジ点集合から生成されるエッジ情報である。
【００６４】
図８Ａ（ａ）に示すように、エッジ情報１１５ａは、対象物三次元情報１１３の表示画像１２０におけるエッジの二次元座標を示すエッジの二次元座標欄と、表示画像１２０の撮影方向と対応する撮影画像情報の写真番号を示す写真番号欄とを有する。
【００６５】
図８Ａ（ｂ）に示すように、エッジ情報１１５ｂは、撮影画像情報１１１ａの座標におけるエッジの座標を示すエッジの画像上の座標欄と、撮影画像情報１１１ａの写真番号を示す写真番号欄とを有する。
【００６６】
図８Ｂ（ａ）及び（ｂ）は、エッジ抽出手段１０３によって計算された誤差距離を含むエッジ情報である。
【００６７】
まず、エッジ抽出手段１０３は、エッジ点集合１１５ａについて、各エッジ点に最も近いエッジ点集合１１５ｂ内の点との距離を計算し、誤差距離として記録する。例えば、図８Ｂに示すように、エッジ点集合１１５ａのエッジの二次元座標（２０２、３２５）に最も近いエッジ点集合１１５ｂのエッジの画像上の座標は（２０３、３２４）であり、その誤差距離は、
である。エッジ点集合１１５ｂについても同様に、各エッジの画像上の座標点に最も近いエッジ点集合１１５ａ内のエッジの二次元座標との距離を計算し、誤差距離として記録する。以上より、図８Ｂ（ａ）に示すエッジ情報１１５ａ’及び図８Ｂ（ｂ）に示すエッジ情報１１５ｂ’が得られる。
【００６８】
図９（ａ）〜（ｄ）は、誤差点判定手段１０４の動作の一例を説明するための概略図である。
【００６９】
次に、誤差点判定手段１０４は、図９（ａ）（図７（ａ）及び（ｂ））に示すエッジ抽出手段１０３が抽出したエッジ点集合１１５Ａ及び１１５Ｂと、図９（ｂ）に示す誤差マップ生成手段１０２が生成して膨張処理を実行した誤差マップ１１４ｂとを合成して（Ｓ４）、図９（ｃ）に示す誤差画像１１６Ａを生成する。
【００７０】
次に、誤差点判定手段１０４は、領域１１４ｂ２に含まれるエッジ点であって、その誤差距離（図８Ｂ（ａ）及び（ｂ））が、誤差マップ１１４ｂの許容量ｍよりも大きい場合、誤差のあるエッジであると判定し（Ｓ５）、その旨を示すエッジラベルＩを付与する。エッジラベルＩが付与されたエッジ点の集合１１６ｂ１は図９（ｄ）において太い実線で示される。
【００７１】
また、領域１１４ｂ２に含まれるエッジ点であって、その誤差距離（図８Ｂ（ａ）及び（ｂ））が、誤差マップ１１４ｂの許容量ｍよりも小さい場合、誤差のないエッジであると判定し、その旨を示すエッジラベルＩＩを付与する。エッジラベルＩＩＩが付与されたエッジ点の集合１１６ｂ２は図９（ｄ）において細い実線で示される。
【００７２】
また、領域１１４ｂ１に含まれるエッジ点は検査外のエッジであると判定し、その旨を示すエッジラベルＩＩＩを付与する。エッジラベルＩＩＩが付与されたエッジ点の集合１１６ｂ３は図９（ｄ）において破線で示される。
【００７３】
図１０（ａ）は、誤差点判定手段１０４によってエッジ情報１１５にエッジラベルが付与された誤差情報の内容例を示す概略図である。
【００７４】
誤差情報１１６ｂは、エッジ情報１１５ａ及び１１５ｂのエッジの三次元座標欄と、エッジの画像上の座標欄と、写真番号欄とを有し、さらにエッジラベル欄を有する。エッジの三次元座標は、エッジの画像上の座標（ｘ、ｙ）とカメラアングル（撮影方向及び撮影距離）並びに対象物３の位置から求める。
【００７５】
図１０（ｂ）は、誤差点選別手段１０５の動作を説明するための概略図である。
【００７６】
誤差点選別手段１０５は、複数の撮影画像情報について上述したステップＳ５を行い、複数の撮影画像情報１１１における誤差情報をマージし（Ｓ６）、生成された誤差情報１１６ｃにおいて、エッジ点の三次元座標が近いデータについてエッジラベルがＩＩＩ以外のもの、法線ｎとのなす角ａが小さいもの又はｍの値が大きいもの等の基準に基づいて最も信用できるデータを選別する（Ｓ７）。
【００７７】
（４）誤差点表示動作
図１１は、誤差点表示手段１０６が生成する誤差三次元情報の表示画像の一例を示す概略図である。
【００７８】
次に、誤差点表示手段１０６は、対象物三次元情報１１３の表示画像１２０上に誤差情報１１６ｃをエッジラベルごとにエッジラベルＩが付与されたエッジ点の集合１１６ｃ１、エッジラベルＩＩが付与されたエッジ点の集合１１６ｃ２、エッジラベルＩＩＩが付与されたエッジ点の集合１１６ｃ３をプロットし（Ｓ８）、誤差三次元情報１１６Ｃを生成する。
【００７９】
図１２（ａ）及び（ｂ）は、誤差点表示手段１０６が生成する誤差三次元情報の表示画像の他の例を示す概略図である。
【００８０】
また、誤差点表示手段１０６は、図１２（ａ）に示すように、利用者の操作に応じてカーソル１２０ａによって誤差三次元情報１１６Ｃの表示画像１２０の任意のエッジ点が選択されると、選択されたエッジ点の複数の撮影画像情報におけるｍの値を比較し、図１２（ｂ）に示すように、最もｍの値の大きいエッジ点に対応した撮影画像情報の撮影方向における誤差三次元情報１１６Ｂ’の表示画像１２０を表示する。
【００８１】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。
【００８２】
図１４（ａ）〜（ｃ２）は、誤差マップにおいて膨張処理を行わずにエッジ点に誤差があるか否か判定する方法の一例を説明するための概略図である。
【００８３】
図１４（ａ）に示すように、領域Ａ１がｍ＝２であって、領域Ａ２がｍ＝６であるとしたときに、図１４（ｂ）に示すように、撮影画像情報１１１のエッジ点の集合よりなる撮影画像の線ｌｐｈｏｔｏと対象物三次元情報１１３のエッジ点の集合よりなる三次元画像の線ｌ３Ｄとが存在する場合について、以下に説明するように撮影画像の線ｌｐｈｏｔｏ及び三次元画像の線ｌ３Ｄのそれぞれについて誤差があるか否か判断する。
【００８４】
例えば、図１４（ｃ１）に示すように、撮影画像の線ｌｐｈｏｔｏについては、三次元画像の線ｌ３Ｄまでのベクトルｄｐｈｏｔｏの値が、ベクトルの示す先の誤差マップの値ｍ＝６以上であれば、誤差点判定手段１０４は誤差があると判断する。
【００８５】
また、図１４（ｃ２）に示すように、三次元画像の線ｌ３Ｄについては、三次元画像の線ｌｐｈｏｔｏまでのベクトルｄ３Ｄの値が、ベクトルの示す先の誤差マップの値ｍ＝２以上であれば、誤差点判定手段１０４は誤差があると判断する。
【００８６】
また、上記誤差検出プログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、撮影画像情報受付手段１００、位置合わせ手段１０１、誤差マップ生成手段１０２、エッジ抽出手段１０３、誤差点判定手段１０４、誤差点選別手段１０５及び誤差点表示手段１０６の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【符号の説明】
【００８７】
１ 誤差検出装置
２ カメラ
３ 対象物
５ 誤差検出システム
１０ 制御部
１１ 記憶部
１２ 表示部
１３ 操作部
１４ 通信部
１００ 撮影画像情報受付手段
１０１ 位置合わせ手段
１０２ 誤差マップ生成手段
１０３ エッジ抽出手段
１０４ 誤差点判定手段
１０５ 誤差点選別手段
１０６ 誤差点表示手段
１１０ 誤差検出プログラム
１１１ 撮影画像情報
１１２ 撮影情報
１１３ 対象物三次元情報
１１４ 誤差マップ
１１５ エッジ情報
１１５Ａ エッジ点集合
１１５Ｂ エッジ点集合
１１５ａ エッジ情報
１１５ｂ エッジ情報
１１６ 誤差情報
１１６Ａ 誤差画像
１１６Ｂ 誤差三次元情報
１１６Ｃ 誤差三次元情報
１２０ 表示画像
【技術分野】
【０００１】
本発明は、誤差検出装置及び誤差検出プログラムに関する。
【背景技術】
【０００２】
対象物の撮影画像と対象物の三次元の設計情報とを比較する技術が提案されている。
【０００３】
これに関連する技術として、特許文献１には、三次元の位置関係が既知のマーカと対象物とをカメラを用いて撮影した画像を入力する入力手段と、入力された画像上のマーカの位置を用いて対象物とカメラとの位置姿勢関係を求める位置姿勢検出手段と、三次元の設計情報を位置姿勢検出手段が求めた位置姿勢関係に基づいて撮影画像上に重畳して表示する重畳表示手段と、撮影画像とその上に重畳して表示された三次元の設計情報との差分から誤差を抽出する手段とを有する誤差検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−９２６４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、少なくとも対象物の撮影画像の撮影方向及び撮影距離等に基づく二次元表示上の誤差の許容量を考慮して、対象物の当該対象物の設計情報に対する誤差を検出する誤差検出装置及び誤差検出プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］ 対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段と、
を有する誤差検出装置。
【０００７】
［２］前記設計情報の表示画像に前記誤差点判定手段が誤差を有すると判定した前記誤差点を表示する誤差点表示手段をさらに有する請求項１に記載の誤差検出装置。
【０００８】
［３］前記抽出手段は、複数の撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出し、
前記誤差点判定手段は、前記複数の撮影画像から抽出した前記対象物の輪郭となる座標が、当該座標に対応する誤差許容量分布画像の二次元表示上の誤差の許容量を超えるとき誤差点であると判定し、
前記誤差点判定手段が判定した前記複数の撮影画像の誤差点のうち座標が近似している誤差点から、当該誤差点に対応する誤差許容量分布画像の二次元表示上の許容量の大きいものを代表の誤差点として選別する誤差点選別手段をさらに有する請求項２に記載の誤差検出装置。
【０００９】
［４］前記誤差点表示手段は、前記設計情報の表示画像に表示された誤差点が選択されたとき、前記誤差点選別手段が選別した前記代表の誤差点に対応づけられた撮影画像の視点座標から前記設計情報の表示画像と前記誤差点とを表示する請求項３に記載の誤差検出装置。
【００１０】
［５］前記生成手段は、前記誤差許容量分布画像の各座標の範囲を当該座標の前記二次元表示上の誤差の許容量に基づいて定義して膨張処理し、
前記誤差点判定手段は、前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の膨張された前記範囲内に含まれるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する請求項１〜４のいずれかに記載の誤差検出装置。
【００１１】
［６］コンピュータを、
対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段として機能させる誤差検出プログラム。
【発明の効果】
【００１２】
請求項１又は６に係る発明によれば、少なくとも対象物の撮影画像の撮影方向及び撮影距離等に基づく二次元表示上の誤差の許容量を考慮して、対象物の当該対象物の設計情報に対する誤差を検出することができる。
【００１３】
請求項２に係る発明によれば、誤差点を設計情報の表示画像とともに表示することができる。
【００１４】
請求項３に係る発明によれば、複数の撮影画像から二次元表示上の誤差の許容量が大きい誤差点を選別することができる。
【００１５】
請求項４に係る発明によれば、二次元表示上の誤差の許容量が大きい誤差点に対応した視点座標から設計情報の表示画像を表示することができる。
【００１６】
請求項５に係る発明によれば、二次元表示上の誤差の許容量に応じて膨張処理された誤差許容量分布画像に応じて対象物の輪郭となる座標が誤差点であるか否か判定することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施形態に係る誤差検出システムの構成例を示す概略図である。
【図２】図２は、本実施形態に係る誤差検出装置の構成例を示すブロック図である。
【図３】図３（ａ）及び（ｂ）は撮影画像情報の内容の一例を示す概略図、図３（ｃ）は撮影情報の内容の一例を示す概略図、図３（ｄ）は対象物三次元情報１１３の表示画像の一例を示す概略図である。
【図４】図４（ａ）及び（ｂ）は、二次元表示に伴う誤差を計算するための各パラメータを説明するための概略図である。
【図５】図５（ａ）及び（ｂ）は、誤差マップの構成の一例を示す概略図である。
【図６】図６（ａ）〜（ｃ２）は、誤差マップの膨張処理の方法の一例を説明するための概略図である。
【図７】図７（ａ）及び（ｂ）は、エッジ抽出手段の動作例を説明するための概略図である。
【図８Ａ】図８Ａ（ａ）及び（ｂ）は、エッジ抽出手段によって抽出されたエッジ点集合から生成されるエッジ情報である。
【図８Ｂ】図８Ｂ（ａ）及び（ｂ）は、エッジ抽出手段によって計算された誤差距離を含むエッジ情報である。
【図９】図９（ａ）〜（ｄ）は、誤差点判定手段の動作の一例を説明するための概略図である。
【図１０】図１０（ａ）は、誤差点判定手段によってエッジ情報１１５にエッジラベルが付与された誤差情報の内容例を示す概略図、図１０（ｂ）は、誤差点選別手段の動作を説明するための概略図である。
【図１１】図１１は、誤差点表示手段１０６が生成する誤差三次元情報の表示画像の一例を示す概略図である。
【図１２】図１２（ａ）及び（ｂ）は、誤差点表示手段が生成する誤差三次元情報の表示画像の他の例を示す概略図である。
【図１３】図１３は、誤差検出装置１の動作の一例を示すフローチャートである。
【図１４】図１４（ａ）〜（ｃ２）は、誤差マップにおいて膨張処理を行わずにエッジ点に誤差があるか否か判定する方法の一例を説明するための概略図である。
【発明を実施するための形態】
【００１８】
（誤差検出システムの構成）
図１は、本実施形態に係る誤差検出システムの構成例を示す概略図である。
【００１９】
この誤差検出システム５は、誤差検出装置１と、対象物３を撮影するカメラ２とをＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等で接続して構成される。
【００２０】
誤差検出装置１は、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶部等の電子部品を本体内部に備え、カメラ２で撮影した結果に生成された画像情報を処理する情報処理装置であり、画像を表示する液晶ディスプレイ等の表示部１２、操作内容に応じた操作信号を出力するキーボードやマウス等の操作部１３等を有する。なお、誤差検出装置１は、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２１】
カメラ２は、対象物３を撮影方向２０ａ以外にも他の複数の撮影方向から撮影し、撮影した撮影方向２０ａ及び他の複数の撮影方向を対応する撮影した画像情報とともに記録し、これらの情報を誤差検出装置１に送信する。
【００２２】
対象物３は、複数の面から構成される立体形状物である。なお、対象物３の表面は、模様を有していてもよく、材質等の種類は特に問わない
【００２３】
（誤差検出装置の構成）
図２は、本実施形態に係る誤差検出装置１の構成例を示すブロック図である。
【００２４】
誤差検出装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、キーボード及びマウス等であって操作内容に応じた操作信号を出力する操作部１３と、カメラ２と情報を通信する通信部１４とを備える。
【００２５】
なお、誤差検出装置１は、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、表示部１２や操作部１３を備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。
【００２６】
制御部１０は、後述する誤差検出プログラム１１０を実行することで、撮影画像情報受付手段１００、位置合わせ手段１０１、誤差マップ生成手段１０２、エッジ抽出手段１０３、誤差点判定手段１０４、誤差点選別手段１０５及び誤差点表示手段１０６等として機能する。
【００２７】
撮影画像情報受付手段１００は、通信部１４を介してカメラ２で撮影された撮影画像情報１１１及び撮影方向や撮影位置、レンズ特性等の内容を含む撮影情報１１２を受け付けて、記憶部１１に格納する。
【００２８】
位置合わせ手段１０１は、対象物三次元情報１１３を二次元で表示して得られる画像である表示画像を撮影画像情報１１１に合わせる三次元座標の変換行列を計算して求め、その変換行列によって撮影画像情報１１１と対象物三次元情報１１３とを位置合わせする。なお、変換行列は３次元位置を平行移動・回転・拡大縮小させる行列である。また、位置合わせは、行列に限らず３次元位置を平行移動・回転・拡大縮小させる作用素であればよい。
【００２９】
誤差マップ生成手段１０２は、対象物三次元情報１１３及び位置合わせの対象である撮影画像情報１１１に対応した撮影情報１１２から後述する方法で二次元表示上の誤差の許容量を計算して、計算した誤差の許容量を後述する表示画像１２０の座標に対応付けた誤差マップ１１４を生成する。
【００３０】
エッジ抽出手段１０３は、撮影画像情報１１１と、撮影画像情報１１１と位置合わせされた対象物三次元情報１１３とからそれぞれ対象物３のエッジ（輪郭）に該当する座標（以下、「エッジ点」という。）を抽出してエッジ情報１１５を生成する。
【００３１】
誤差点判定手段１０４は、エッジ抽出手段１０３が抽出したエッジ点と、誤差マップ生成手段１０２が生成した誤差マップ１１４とを比較してエッジ点が誤差を有する誤差点か否かを判定するとともに、判定結果をエッジ情報１１５に反映して誤差情報１１６として生成する。
【００３２】
誤差点選別手段１０５は、誤差情報１１６に同一の点である蓋然性が高い誤差点が２以上存在する場合に、より確からしい誤差点を選別する。
【００３３】
誤差点表示手段１０６は、誤差情報１１６の誤差点を対象物三次元情報１１３の表示画像上にプロットして表示する。
【００３４】
記憶部１１は、制御部１０を上述した各手段１００〜１０６として動作させる誤差検出プログラム１１０、カメラ２で撮影された対象物３の画像情報である撮影画像情報１１１、撮影を行ったときのカメラ２の撮影方向や撮影位置、レンズ特性等の情報を含む撮影情報１１２、対象物３を製造するために三次元で記載された設計情報である対象物三次元情報１１３、誤差マップ生成手段１０２が生成した誤差マップ１１４、エッジ抽出手段１０３が抽出したエッジ情報１１５及び誤差点判定手段１０４が生成した誤差情報１１６等を記憶する。
【００３５】
図３（ａ）及び（ｂ）は撮影画像情報の内容の一例を示す概略図、図３（ｃ）は撮影情報の内容の一例を示す概略図、図３（ｄ）は対象物三次元情報１１３の表示画像の一例を示す概略図である。
【００３６】
図３（ａ）に示す撮影画像情報１１１ａは、後述する図３（ｃ）に示す撮影情報１１２に示すように、カメラ２によって撮影方向２０ａから対象物３を撮影することで得られる情報である。
【００３７】
また、図３（ｂ）に示す撮影画像情報１１１ｂは、図３（ｃ）に示す撮影情報１１２に示すようにカメラ２によって撮影方向２０ｂから対象物３を撮影することで得られる情報である。
【００３８】
図３（ｃ）に示す対象物三次元表示画像１１３Ａは、対象物三次元情報１１３を再生することで表示部１２に表示される表示画像１２０である。対象物三次元表示画像１１３Ａは、操作部１３に対する利用者の操作内容に応じてその表示内容を拡大・縮小や回転等されるものであってもよい。
【００３９】
図３（ｄ）に示す撮影情報１１２は、カメラ２で生成される撮影画像情報の識別子が記録される撮影画像情報欄及び撮影画像情報の撮影方向が記録される撮影方向欄等を有する。
【００４０】
（誤差検出装置の動作）
以下に、誤差検出装置１の動作例を図１〜図８を参照しつつ、（１）基本動作、（２）誤差マップ生成動作、（３）誤差点検出動作、（４）誤差点表示動作に分けて説明する。
【００４１】
（１）基本動作
まず、利用者は、カメラ２によって複数の撮影方向から対象物３を撮影する。カメラ２は、撮影した撮影画像情報１１１とともに、撮影方向や撮影位置、レンズ特性等から得られる撮影情報１１２をカメラ２の記憶部に格納する。
【００４２】
利用者は、誤差検出装置１の操作部１３を操作してカメラ２との通信を指示する。操作部１３は、操作に応じて操作信号を出力する。
【００４３】
誤差検出装置１は、操作部１３から操作信号を受信するとカメラ２と通信部１４を介して通信を開始する。次に、撮影画像情報受付手段１００は、カメラ２の記憶部から撮影画像情報１１１及び撮影情報１１２を受け付けて記憶部１１に格納する。なお、撮影画像情報受付手段１００は、カメラ２以外の外部装置から予め撮影された撮影画像情報１１１及び撮影情報１１２を受け付けてもよい。
【００４４】
次に、利用者が操作部１３を介して記憶部に格納された撮影画像情報１１１と対象物三次元情報１１３との位置合わせを要求すると、誤差検出装置１の位置合わせ手段１０１は、まず、対象物三次元情報１１３の表示画像を、例えば、撮影画像情報１１１ａに位置合わせする。
【００４５】
位置合わせの方法は、例えば、撮影画像情報１１１と対象物三次元情報１１３とからそれぞれの座標を一致させるための特徴的な点を利用者の操作により選択し、これらの特徴的な点の位置を合わせる変換行列を計算して求め、その変換行列によって対象物三次元情報１１３の座標を変換して撮影画像情報１１１との位置を合わせる。なお、変換行列は３次元位置を平行移動・回転・拡大縮小させる行列である。
【００４６】
（２）誤差マップ生成動作
図１３は、誤差検出装置１の動作の一例を示すフローチャートである。
【００４７】
次に、誤差マップ生成手段１０２は、撮影画像情報１１１ａに位置合わせされた対象物三次元情報１１３から以下に説明する方法で誤差マップ１１４ａを生成する（Ｓ１）。
【００４８】
まず、誤差マップ生成手段１０２は、撮影画像情報１１１ａに位置合わせされた対象物三次元情報１１３の視点となる視点座標、つまり、カメラ２の撮影方向２０ａに対応する視点座標と、対象物を形成する複数の面との関係から定まる二次元表示上の誤差の許容量であるｍを計算する。
【００４９】
図４（ａ）及び（ｂ）は、二次元表示上の誤差の許容量を計算するための各パラメータを説明するための概略図である。
【００５０】
対象物３を構成する面を物体表面Ｓ、物体表面Ｓの法線をｎ、対象物３に対する視点座標をカメラ位置Ｐ、表示部１２の表示画面に該当する仮想的な平面を画像平面Ｉ及び設計上の許容誤差を許容誤差ｅとしたとき、撮影方向と法線ｎとの角度ａ、視点座標と物体表面Ｓとの距離ｄ及び焦点距離ｆを用いて二次元表示上の誤差の許容量であるｍは、以下に示す式（１）のように表される。
【数１】
なお、（ｘ、ｙ）は、対象物三次元情報１１３の表示画像１２０上の座標を示し、画像の解像度（ｐｉｘｅｌ）分存在するものである。
【００５１】
次に、誤差マップ生成手段１０２は、ｍの値が予め定めた閾値より小さい場合及び法線ｎが連続的に変化する場合（平面でない場合）に、ｍの値をｍ＝０とし、表示画像１２０の座標に対応付けて、以下に説明する誤差マップ１１４ａを生成する。
【００５２】
図５（ａ）及び（ｂ）は、誤差マップの構成の一例を示す概略図である。
【００５３】
図５（ａ）に示す誤差マップ１１４ａは、ｍ＝０の点及び上述した方法によりｍ＝０とされた点の集合を領域１１４ａ１として、また、ｍ≠０である点の集合を領域１１４ａ２として表示している。
【００５４】
次に、誤差マップ生成手段１０２は、誤差マップ１１４ａの各座標の範囲をｍの値に比例させて膨張処理し（Ｓ２）、誤差マップ１１４ｂを生成する。領域１１４ｂ１は、領域１１４ａ１と同様にｍ＝０である点の集合であり、領域１１４ｂ２は、領域１１４ａ２を膨張処理した領域である。
【００５５】
なお、膨張処理において異なるｍの値を有する隣り合う領域間の調整については以下に説明する方法で対処する。
【００５６】
図６（ａ）〜（ｃ２）は、誤差マップの膨張処理の方法の一例を説明するための概略図である。
【００５７】
図６（ａ）に示すように、膨張処理前の領域Ａ１がｍ＝２であって、領域Ａ２がｍ＝６であるとしたとき、隣り合う領域がない場合は、図６（ｂ）に示すように、膨張処理によって領域Ａ１、Ａ２はそれぞれの外側に２ｐｉｘｅｌ、６ｐｉｘｅｌ拡張される。この場合にいずれの領域を優先させるのかによって後述する誤差検出の結果が変化する。
【００５８】
例えば、図６（ｃ１）に示すように、ｍの値の大きい領域、つまり領域Ａ２を優先させて領域を境界ｌ２まで拡張すると、許容誤差内にある点の誤検出が減少する。
【００５９】
また、例えば、図６（ｃ２）に示すように、ｍの値の小さい領域、つまり領域Ａ１を優先させて領域を境界ｌ１まで拡張すると、誤差を有する点の検出漏れが減少する。
【００６０】
また、例えば、図６（ｃ３）に示すように、ｍが中間値であるｍ＝４であって境界ｌ１及びｌ２によって定義される領域Ａ３を生成すると、図６（ｃ１）及び（ｃ２）に示した場合の中間的な性質で誤差を有する点が検出される。
【００６１】
（３）誤差点検出動作
図７（ａ）及び（ｂ）は、エッジ抽出手段１０３の動作例を説明ための概略図である。
【００６２】
次に、エッジ抽出手段１０３は、表示画像１２０については対象物三次元情報の面の法線や平面の境界を定義する情報等を使い、撮影画像情報１１１ａからは写真の濃淡値等を用いて、Ｓｏｂｅｌフィルタに代表されるエッジ抽出の方法を用いて対象物３のエッジに該当する座標点を抽出する。その結果、図７（ａ）に示すように、表示画像１２０に基づいてエッジ点集合１１５Ａが抽出される（Ｓ３）。また、図７（ｂ）に示すように、撮影画像情報１１１ａに基づいてエッジ点集合１１５Ｂが抽出される。なお、エッジ点集合１１５Ａは、対象物三次元情報１１３の画素単位（ｐｉｘｅｌ）で座標が抽出され、エッジ点集合１１５Ｂは、撮影画像情報１１１ａの画素単位（ｐｉｘｅｌ）で座標が抽出される。なお、エッジ抽出手段１０３は、エッジ点の抽出の際にノイズが含まれないようにするため、孤立点除去などのノイズ除去を行ってもよい。
【００６３】
図８Ａ（ａ）及び（ｂ）は、エッジ抽出手段１０３によって抽出されたエッジ点集合から生成されるエッジ情報である。
【００６４】
図８Ａ（ａ）に示すように、エッジ情報１１５ａは、対象物三次元情報１１３の表示画像１２０におけるエッジの二次元座標を示すエッジの二次元座標欄と、表示画像１２０の撮影方向と対応する撮影画像情報の写真番号を示す写真番号欄とを有する。
【００６５】
図８Ａ（ｂ）に示すように、エッジ情報１１５ｂは、撮影画像情報１１１ａの座標におけるエッジの座標を示すエッジの画像上の座標欄と、撮影画像情報１１１ａの写真番号を示す写真番号欄とを有する。
【００６６】
図８Ｂ（ａ）及び（ｂ）は、エッジ抽出手段１０３によって計算された誤差距離を含むエッジ情報である。
【００６７】
まず、エッジ抽出手段１０３は、エッジ点集合１１５ａについて、各エッジ点に最も近いエッジ点集合１１５ｂ内の点との距離を計算し、誤差距離として記録する。例えば、図８Ｂに示すように、エッジ点集合１１５ａのエッジの二次元座標（２０２、３２５）に最も近いエッジ点集合１１５ｂのエッジの画像上の座標は（２０３、３２４）であり、その誤差距離は、
である。エッジ点集合１１５ｂについても同様に、各エッジの画像上の座標点に最も近いエッジ点集合１１５ａ内のエッジの二次元座標との距離を計算し、誤差距離として記録する。以上より、図８Ｂ（ａ）に示すエッジ情報１１５ａ’及び図８Ｂ（ｂ）に示すエッジ情報１１５ｂ’が得られる。
【００６８】
図９（ａ）〜（ｄ）は、誤差点判定手段１０４の動作の一例を説明するための概略図である。
【００６９】
次に、誤差点判定手段１０４は、図９（ａ）（図７（ａ）及び（ｂ））に示すエッジ抽出手段１０３が抽出したエッジ点集合１１５Ａ及び１１５Ｂと、図９（ｂ）に示す誤差マップ生成手段１０２が生成して膨張処理を実行した誤差マップ１１４ｂとを合成して（Ｓ４）、図９（ｃ）に示す誤差画像１１６Ａを生成する。
【００７０】
次に、誤差点判定手段１０４は、領域１１４ｂ２に含まれるエッジ点であって、その誤差距離（図８Ｂ（ａ）及び（ｂ））が、誤差マップ１１４ｂの許容量ｍよりも大きい場合、誤差のあるエッジであると判定し（Ｓ５）、その旨を示すエッジラベルＩを付与する。エッジラベルＩが付与されたエッジ点の集合１１６ｂ１は図９（ｄ）において太い実線で示される。
【００７１】
また、領域１１４ｂ２に含まれるエッジ点であって、その誤差距離（図８Ｂ（ａ）及び（ｂ））が、誤差マップ１１４ｂの許容量ｍよりも小さい場合、誤差のないエッジであると判定し、その旨を示すエッジラベルＩＩを付与する。エッジラベルＩＩＩが付与されたエッジ点の集合１１６ｂ２は図９（ｄ）において細い実線で示される。
【００７２】
また、領域１１４ｂ１に含まれるエッジ点は検査外のエッジであると判定し、その旨を示すエッジラベルＩＩＩを付与する。エッジラベルＩＩＩが付与されたエッジ点の集合１１６ｂ３は図９（ｄ）において破線で示される。
【００７３】
図１０（ａ）は、誤差点判定手段１０４によってエッジ情報１１５にエッジラベルが付与された誤差情報の内容例を示す概略図である。
【００７４】
誤差情報１１６ｂは、エッジ情報１１５ａ及び１１５ｂのエッジの三次元座標欄と、エッジの画像上の座標欄と、写真番号欄とを有し、さらにエッジラベル欄を有する。エッジの三次元座標は、エッジの画像上の座標（ｘ、ｙ）とカメラアングル（撮影方向及び撮影距離）並びに対象物３の位置から求める。
【００７５】
図１０（ｂ）は、誤差点選別手段１０５の動作を説明するための概略図である。
【００７６】
誤差点選別手段１０５は、複数の撮影画像情報について上述したステップＳ５を行い、複数の撮影画像情報１１１における誤差情報をマージし（Ｓ６）、生成された誤差情報１１６ｃにおいて、エッジ点の三次元座標が近いデータについてエッジラベルがＩＩＩ以外のもの、法線ｎとのなす角ａが小さいもの又はｍの値が大きいもの等の基準に基づいて最も信用できるデータを選別する（Ｓ７）。
【００７７】
（４）誤差点表示動作
図１１は、誤差点表示手段１０６が生成する誤差三次元情報の表示画像の一例を示す概略図である。
【００７８】
次に、誤差点表示手段１０６は、対象物三次元情報１１３の表示画像１２０上に誤差情報１１６ｃをエッジラベルごとにエッジラベルＩが付与されたエッジ点の集合１１６ｃ１、エッジラベルＩＩが付与されたエッジ点の集合１１６ｃ２、エッジラベルＩＩＩが付与されたエッジ点の集合１１６ｃ３をプロットし（Ｓ８）、誤差三次元情報１１６Ｃを生成する。
【００７９】
図１２（ａ）及び（ｂ）は、誤差点表示手段１０６が生成する誤差三次元情報の表示画像の他の例を示す概略図である。
【００８０】
また、誤差点表示手段１０６は、図１２（ａ）に示すように、利用者の操作に応じてカーソル１２０ａによって誤差三次元情報１１６Ｃの表示画像１２０の任意のエッジ点が選択されると、選択されたエッジ点の複数の撮影画像情報におけるｍの値を比較し、図１２（ｂ）に示すように、最もｍの値の大きいエッジ点に対応した撮影画像情報の撮影方向における誤差三次元情報１１６Ｂ’の表示画像１２０を表示する。
【００８１】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。
【００８２】
図１４（ａ）〜（ｃ２）は、誤差マップにおいて膨張処理を行わずにエッジ点に誤差があるか否か判定する方法の一例を説明するための概略図である。
【００８３】
図１４（ａ）に示すように、領域Ａ１がｍ＝２であって、領域Ａ２がｍ＝６であるとしたときに、図１４（ｂ）に示すように、撮影画像情報１１１のエッジ点の集合よりなる撮影画像の線ｌｐｈｏｔｏと対象物三次元情報１１３のエッジ点の集合よりなる三次元画像の線ｌ３Ｄとが存在する場合について、以下に説明するように撮影画像の線ｌｐｈｏｔｏ及び三次元画像の線ｌ３Ｄのそれぞれについて誤差があるか否か判断する。
【００８４】
例えば、図１４（ｃ１）に示すように、撮影画像の線ｌｐｈｏｔｏについては、三次元画像の線ｌ３Ｄまでのベクトルｄｐｈｏｔｏの値が、ベクトルの示す先の誤差マップの値ｍ＝６以上であれば、誤差点判定手段１０４は誤差があると判断する。
【００８５】
また、図１４（ｃ２）に示すように、三次元画像の線ｌ３Ｄについては、三次元画像の線ｌｐｈｏｔｏまでのベクトルｄ３Ｄの値が、ベクトルの示す先の誤差マップの値ｍ＝２以上であれば、誤差点判定手段１０４は誤差があると判断する。
【００８６】
また、上記誤差検出プログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、撮影画像情報受付手段１００、位置合わせ手段１０１、誤差マップ生成手段１０２、エッジ抽出手段１０３、誤差点判定手段１０４、誤差点選別手段１０５及び誤差点表示手段１０６の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【符号の説明】
【００８７】
１ 誤差検出装置
２ カメラ
３ 対象物
５ 誤差検出システム
１０ 制御部
１１ 記憶部
１２ 表示部
１３ 操作部
１４ 通信部
１００ 撮影画像情報受付手段
１０１ 位置合わせ手段
１０２ 誤差マップ生成手段
１０３ エッジ抽出手段
１０４ 誤差点判定手段
１０５ 誤差点選別手段
１０６ 誤差点表示手段
１１０ 誤差検出プログラム
１１１ 撮影画像情報
１１２ 撮影情報
１１３ 対象物三次元情報
１１４ 誤差マップ
１１５ エッジ情報
１１５Ａ エッジ点集合
１１５Ｂ エッジ点集合
１１５ａ エッジ情報
１１５ｂ エッジ情報
１１６ 誤差情報
１１６Ａ 誤差画像
１１６Ｂ 誤差三次元情報
１１６Ｃ 誤差三次元情報
１２０ 表示画像
【特許請求の範囲】
【請求項１】
対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段と、
を有する誤差検出装置。
【請求項２】
前記設計情報の表示画像に前記誤差点判定手段が誤差を有すると判定した前記誤差点を表示する誤差点表示手段をさらに有する請求項１に記載の誤差検出装置。
【請求項３】
前記抽出手段は、複数の撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出し、
前記誤差点判定手段は、前記複数の撮影画像から抽出した前記対象物の輪郭となる座標が、当該座標に対応する誤差許容量分布画像の二次元表示上の誤差の許容量を超えるとき誤差点であると判定し、
前記誤差点判定手段が判定した前記複数の撮影画像の誤差点のうち座標が近似している誤差点から、当該誤差点に対応する誤差許容量分布画像の二次元表示上の許容量の大きいものを代表の誤差点として選別する誤差点選別手段をさらに有する請求項２に記載の誤差検出装置。
【請求項４】
前記誤差点表示手段は、前記設計情報の表示画像に表示された誤差点が選択されたとき、前記誤差点選別手段が選別した前記代表の誤差点に対応づけられた撮影画像の視点座標から前記設計情報の表示画像と前記誤差点とを表示する請求項３に記載の誤差検出装置。
【請求項５】
前記生成手段は、前記誤差許容量分布画像の各座標の範囲を当該座標の前記二次元表示上の誤差の許容量に基づいて膨張処理し、
前記誤差点判定手段は、前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の膨張された前記範囲内に含まれるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する請求項１〜４のいずれかに記載の誤差検出装置。
【請求項６】
コンピュータを、
対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段として機能させる誤差検出プログラム。
【請求項１】
対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段と、
を有する誤差検出装置。
【請求項２】
前記設計情報の表示画像に前記誤差点判定手段が誤差を有すると判定した前記誤差点を表示する誤差点表示手段をさらに有する請求項１に記載の誤差検出装置。
【請求項３】
前記抽出手段は、複数の撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出し、
前記誤差点判定手段は、前記複数の撮影画像から抽出した前記対象物の輪郭となる座標が、当該座標に対応する誤差許容量分布画像の二次元表示上の誤差の許容量を超えるとき誤差点であると判定し、
前記誤差点判定手段が判定した前記複数の撮影画像の誤差点のうち座標が近似している誤差点から、当該誤差点に対応する誤差許容量分布画像の二次元表示上の許容量の大きいものを代表の誤差点として選別する誤差点選別手段をさらに有する請求項２に記載の誤差検出装置。
【請求項４】
前記誤差点表示手段は、前記設計情報の表示画像に表示された誤差点が選択されたとき、前記誤差点選別手段が選別した前記代表の誤差点に対応づけられた撮影画像の視点座標から前記設計情報の表示画像と前記誤差点とを表示する請求項３に記載の誤差検出装置。
【請求項５】
前記生成手段は、前記誤差許容量分布画像の各座標の範囲を当該座標の前記二次元表示上の誤差の許容量に基づいて膨張処理し、
前記誤差点判定手段は、前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の膨張された前記範囲内に含まれるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する請求項１〜４のいずれかに記載の誤差検出装置。
【請求項６】
コンピュータを、
対象物の設計の内容を示す三次元の設計情報を二次元の表示画像として表示するための視点を示す視点座標に作用素を適用し、前記設計情報に基づいて形成された対象物の撮影画像と当該設計情報の表示画像とを位置合わせする位置合わせ手段と、
少なくとも、前記位置合わせ手段によって前記撮影画像と位置合わせされた前記設計情報の視点座標と前記設計情報の前記対象物を構成する面との距離及び前記設計情報の視点座標と前記設計情報の前記対象物を構成する面の座標とを通る直線と当該面の法線とのなす角度に基づいて算出される二次元表示上の誤差の許容量を、前記設計情報の二次元の表示画像の座標に対応づけて誤差の許容量の分布を示す誤差許容量分布画像を生成する生成手段と、
前記設計情報の表示画像及び前記撮影画像からそれぞれ前記対象物の輪郭となる座標を抽出する抽出手段と、
前記抽出手段が抽出した前記設計情報の表示画像の前記対象物の輪郭となる座標と対応する前記撮影画像の前記対象物の輪郭となる座標との距離が、前記生成手段が生成した前記誤差許容量分布画像の対応する座標の前記二次元表示上の誤差の許容量を超えるときに前記設計情報の表示画像及び前記撮影画像の前記対象物の輪郭となる座標を誤差を有する誤差点と判定する誤差点判定手段として機能させる誤差検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１４１８９９（Ｐ２０１２−１４１８９９Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−８１０（Ｐ２０１１−８１０）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]