画像処理装置、画像処理システム及びプログラム
【課題】物体を見る際にその物体について解析した解析結果を併せて確認する。
【解決手段】画像処理装置１０は、物体８を撮像した撮像画像を撮像装置２から取得し、物体８に対応する３次元モデルを所与の条件の下で解析し、解析結果に基づき３次元モデルの表面に描画する解析結果描画画像を物体８の表面に投影するように投影装置４を制御する。
【解決手段】画像処理装置１０は、物体８を撮像した撮像画像を撮像装置２から取得し、物体８に対応する３次元モデルを所与の条件の下で解析し、解析結果に基づき３次元モデルの表面に描画する解析結果描画画像を物体８の表面に投影するように投影装置４を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
物体の強度や状態等を検査する場合には、ＣＡＤ（Computer Aided design）データ等の物体に対応した３次元モデルデータをコンピュータにより解析することが行われている。また、下記の特許文献１には、ヘッドマウントディスプレイを介して見たモックアップ上に製品の外観を表す画像を重畳させて出力する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３４９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
物体の検査において、物体に力を加えた場合に生じる異音や破損等の現象は実物で確認し、加えた力による応力分布等の解析結果はコンピュータのディスプレイで確認すると、物体を見る際にその物体について解析した解析結果を併せて確認できなかった。
【０００５】
本発明の目的の一つは、物体を見る際にその物体について解析した解析結果を併せて確認できる画像処理装置、画像処理システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の画像処理装置の発明は、物体を撮像した撮像画像を取得する撮像画像取得手段と、前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段と、を含むことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記物体を検査する検査装置から検査情報を取得する検査情報取得手段をさらに含み、前記解析手段は、前記検査情報取得手段により取得された検査情報に基づいて前記３次元モデルを解析することを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記撮像画像に含まれる前記検査装置の位置に基づいて、当該検査装置により検査される前記物体上の位置を取得する位置取得手段をさらに含み、前記検査情報は、前記検査装置から前記物体に加えられた力、当該力の方向、及び当該力が加えられた面積の情報を含み、前記解析手段は、前記位置取得手段により取得された位置と、前記検査情報取得手段により取得された検査情報とに基づいて前記３次元モデルを解析することを特徴とする。
【０００９】
また、請求項４に記載の画像処理システムの発明は、物体を撮像する撮像装置と、前記物体に映像を投影する投影装置と、画像処理装置と、を含み、前記画像処理装置は、前記撮像装置から前記物体を撮像した撮像画像を取得する撮像画像取得手段と、前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記投影装置により前記物体の前記表面に投影するように制御する投影制御手段と、を含むことを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項４に記載の画像処理システムにおいて、前記物体を検査する検査装置をさらに含み、前記検査装置は、前記物体の検査に係る検査情報を前記画像処理装置に送信する検査情報送信手段を含み、前記解析手段は、前記検査情報送信手段により送信された検査情報に基づいて前記３次元モデルを解析することを特徴とする。
【００１１】
また、請求項６に記載のプログラムの発明は、物体を撮像した撮像画像を取得する撮像画像取得手段と、前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、物体を見る際にその物体について解析した解析結果を併せて確認できる。
【００１３】
請求項２に記載の発明によれば、物体について現に行われている検査と並行して、当該検査に基づく解析結果を確認できる。
【００１４】
請求項３に記載の発明によれば、物体について現に行われている検査と並行して、検査時に加えた力に基づく物体の解析結果を確認できる。
【００１５】
請求項４に記載の発明によれば、物体を見る際にその物体について解析した解析結果を併せて確認できる。
【００１６】
請求項５に記載の発明によれば、物体について現に行われている検査と並行して、当該検査に基づく解析結果を確認できる。
【００１７】
請求項６に記載の発明によれば、物体を見る際にその物体について解析した解析結果を併せて確認できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る画像処理システムのシステム構成図である。
【図２】検査装置の一構成例を示す図である。
【図３】画像処理装置の機能ブロック図である。
【図４】指示位置の取得処理の一例を説明する図である。
【図５】物体に投影された画像の一例を示す図である。
【図６】解析結果の投影処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２０】
図１には、本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、撮像装置２、投影装置４、検査装置６、そして画像処理装置１０を含み構成され、画像処理装置１０と、撮像装置２、投影装置４、及び検査装置６のそれぞれとは、無線又は有線によりデータを通信することとする。
【００２１】
撮像装置２は、検査対象の物体８を撮像し、当該撮像して得た画像データ（撮像画像）を画像処理装置１０に順次出力する装置であり、投影装置４は、画像処理装置１０から入力された投影画像データに基づいて、物体８側に映像を投影する装置である。本実施形態では、撮像装置２のレンズと投影装置４のレンズには同じ画角のものを用いると共に、撮像装置２及び投影装置４と、物体８との光路上に設けられたハーフミラー５に対して両者を直角に配置し、両者の光軸をハーフミラー５から物体８までの間で一致させることで、撮像装置２の撮像範囲と、投影装置４の投影範囲とを略一致させている。
【００２２】
検査装置６は、検査対象の物体８に対して検査を行うと共に、当該検査に関する情報を取得し、取得した情報を画像処理装置１０に送信する装置である。本実施形態では、検査装置６は、物体８に力を加えると共に、当該加えた力、当該力の方向及び力の加えられる面積の情報を含む検査データを画像処理装置１０に送信することとする。以下、検査装置６の具体的な構成例について説明する。
【００２３】
図２には、検査装置６の一構成例を示した。図２に示されるように、検査装置６は、先端部１２、力検出部１４、傾き検出部１６、及び無線通信部１８を含み構成されるものである。
【００２４】
先端部１２は、検査対象の物体８と接触する部位であり、先端部１２には検査対象の物体８と接触した場合に発光する発光素子が設けられている。
【００２５】
力検出部１４は、検査対象の物体８に加えられた力の大きさを検出するものであり、例えば力検出部１４はバネ等の弾性部材と当該弾性部材の変化量を測定するセンサとを備え、測定された弾性部材の変化量に基づいて検査対象の物体８に加えられた力の大きさを検出するものである。
【００２６】
傾き検出部１６は、検査装置６の傾きを検出するものであり、例えば傾き検出部１６は重力センサを備え、重力センサによって検査装置６の鉛直方向に対する傾きを検出するものである。
【００２７】
無線通信部１８は、無線通信インターフェースを含み構成され、無線通信インターフェースを介して力検出部１４及び傾き検出部１６により検出されたデータを画像処理装置１０に送信するものである。
【００２８】
図３には、画像処理装置１０の機能ブロック図を示す。図３に示されるように、画像処理装置１０は、３Ｄモデルデータ格納部２０、位置情報格納部２２、撮像画像取得部２４、指示位置取得部２６、検査データ取得部２８、解析部３０、投影画像生成部３２、及び投影画像出力部３４を含む。上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータとしての構成を備えた画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００２９】
３Ｄモデルデータ格納部２０は、半導体メモリや磁気ディスク装置等の記憶装置を含み構成され、検査対象の物体８を含む１又は複数の物体にそれぞれ対応した３次元モデルを表す３次元モデルデータを格納したものである。３次元モデルデータの座標系は３次元モデルのローカル座標として保持されることとしてよく、また、３次元モデルデータには、対応する各物体の材質情報を含むこととしてよい。なお、３次元モデルデータは、例えば３次元ＣＡＤのデータとして構成されていてもよいし、その他の形態であっても構わない。
【００３０】
位置情報格納部２２は、半導体メモリや磁気ディスク装置等の記憶装置を含み構成され、仮想の３次元空間（仮想空間）における、検査対象の物体８に対応した３次元モデルの位置、撮像装置２に対応する仮想カメラの位置及び撮像方向の情報を格納したものである。本実施形態では、位置情報格納部２２は、実空間における撮像装置２及び物体８の位置に基づいて、仮想空間における撮像装置２の位置及び撮像方向そして物体８の位置（ワールド座標系）を格納しておくこととする。
【００３１】
撮像画像取得部２４は、撮像装置２とデータ通信する入出力インターフェースを含み構成され、当該入出力インターフェースを介して撮像装置２により撮像された撮像画像を取得するものである。撮像画像取得部２４は、予め定められた時間間隔で撮像装置２から撮像画像を取得することとしてよい。本実施形態では、撮像画像には、物体８及び物体８を押圧して検査を行う検査装置６が写されているものとする。
【００３２】
指示位置取得部２６は、撮像画像取得部２４により取得された撮像画像に基づいて、撮像画像に写し出された検査装置６が物体８を指示する指示位置を取得するものである。本実施形態では、検査装置６は検査対象の物体８を押圧する場合に先端部１２が発光するため、指示位置取得部２６は、撮像画像における発光位置に基づいて検査対象の物体８の指示位置を取得することとする。以下、指示位置の取得処理の具体例について説明する。
【００３３】
図４には、指示位置取得部２６による指示位置の取得処理の一例を説明する図を示した。図４（Ａ）に示されるように、撮像画像の座標系における発光位置Ｐの座標を（Ｘ１，Ｙ１）とする。ここで撮像画像の座標系は、例えば左上を原点とし、横軸の右向きにＸ軸、縦軸の下向きにＹ軸をとることとしている。そして、図４（Ｂ）に示される仮想カメラから３次元モデルを撮像した仮想ビューにおいて、ワールド座標系における指示位置（発光位置）Ｐは、３次元モデルの上部の表面と、仮想カメラの位置と発光位置Ｐとを結んだ直線の交点の位置として取得される。次に、指示位置取得部２６は取得したワールド座標系の指示位置を３次元モデルのローカル座標系に変換することで、３次元モデルにおける指示位置の座標が得られる。
【００３４】
検査データ取得部２８は、無線通信インターフェースを含み、当該無線通信インターフェースを介して検査装置６と通信して、検査装置６に保持される検査データを取得するものである。本実施形態では、検査データには、検査装置６から物体８に加えられた力の大きさＦ（Ｎ）、検査装置６の傾き、検査装置６と物体８との接触面積の各データが含まれるものとする。なお、本実施形態では、検査装置６と物体８との接触面積は、先端部１２の面積であって予め定められていることとする。
【００３５】
解析部３０は、指示位置取得部２６により取得された３次元モデルにおける指示位置、そして、検査データ取得部２８により取得された検査データに基づいて、検査装置６により検査されている物体８の状態を解析するものである。本実施形態では、解析部３０は、検査装置６により物体８に加えられた力に基づく物体８の応力分布を解析し、当該解析した応力分布を可視化し３次元モデルにマッピングするテクスチャ画像を生成することとする。
【００３６】
解析部３０は、３次元モデルにおける指示位置と、当該指示位置に加えられた力、当該力の方向及び面積と、物体８を構成する材質等を、所与の構造解析プログラムに入力して３次元モデルの応力分布を解析すると共に、当該解析結果を示すテクスチャ画像を生成する。テクスチャ画像の生成は、物体８の少なくとも一部の面について行うこととしてよく、本実施形態では３次元モデルの上側の表面にマッピングするテクスチャ画像を生成することとしている。
【００３７】
投影画像生成部３２は、解析部３０による解析の結果生成されたテクスチャ画像を、３次元モデルの対応位置にマッピングさせると共に、当該テクスチャ画像をマッピングした３次元モデル（又は３次元モデルを除いたテクスチャ画像のみ）を仮想カメラに基づいてレンダリングして投影画像を生成するものである。以下、投影画像生成部３２による処理を具体的に説明する。
【００３８】
投影画像生成部３２は、３次元モデルに解析結果を示すテクスチャ画像をマッピングし、位置情報格納部２２に格納された３次元モデルの位置に上記テクスチャ画像をマッピングした３次元モデルを配置する。次に、投影画像生成部３２は、配置した３次元モデルを、位置情報格納部２２に格納された撮像装置２の撮像位置及び撮像方向に基づいてレンダリングして投影画像を生成する。また、投影画像生成部３２は、投影画像を生成するにあたり、３次元モデルにマッピングさせたテクスチャ画像のみを、位置情報格納部２２に格納された３次元モデルの対応位置に配置してレンダリングすることで投影画像を生成してもよい。
【００３９】
投影画像出力部３４は、投影装置４とデータ通信する入出力インターフェースを含み構成され、入出力インターフェースを介して投影画像生成部３２により生成した投影画像を投影装置４に出力して投影させるものである。
【００４０】
図５には、投影画像出力部３４により投影装置４に出力された投影画像に基づいて物体８に投影された画像の一例を示したものである。図５に示されるように、物体８について行われた検査に基づく解析結果（応力分布）を示す画像が、実際の物体８の表面に投影されて表示されるものである。本実施形態では、撮像装置２と投影装置４との画角及び光軸を略一致させているため、仮想ビューで表示された画像を実物側に投影することで、実物側にも同様の解析結果（応力分布）が表示されることとなる。画像処理システム１では、検査装置６が行う検査について得た検査データを画像処理装置１０に逐次送信し、画像処理装置１０が送信された検査データに基づいて行った解析処理の結果を実物側に投影することで、検査を行いながらその検査による実物の内部状態等が実物そのものに表示される。
【００４１】
次に、本実施形態に係る画像処理システム１において行われる解析結果の投影処理の具体的な流れについて説明する。
【００４２】
図６には、解析結果の投影処理のフローチャートを示した。図６に示されるように、画像処理装置１０は、検査対象の物体８に対応する３次元モデルデータ、そして撮像装置２により当該物体８を撮像した撮像画像に基づいて初期設定を行う（Ｓ１０１）。初期設定では、検査対象の物体８に対応した３次元モデルデータを３Ｄモデルデータ格納部２０から読み込むと共に、３次元モデルデータにより示される３次元モデルを仮想空間に配置する位置と、当該３次元モデルを撮像する仮想カメラの撮像位置及び撮像方向を、撮像装置２により実物の物体８を撮像した撮像画像に基づいて設定する。
【００４３】
次に、検査装置６により物体８の一部を押圧すると、画像処理装置１０は、当該検査装置６により押圧された場面を撮像装置２により撮像した撮像画像を取得する（Ｓ１０２）。画像処理装置１０は、取得した撮像画像に含まれる検査装置６の先端部１２の位置を画像解析により得ると共に、当該先端部１２の位置に基づいて検査装置６により指示された指示位置を取得する（Ｓ１０３）。さらに画像処理装置１０は、検査装置６から上記押圧した際の力の大きさや力の方向を含む検査データを取得し（Ｓ１０４）、取得した検査データ、指示位置、及び３次元モデルデータに基づいて、上記取得した位置に上記取得した力が加えられた場合の３次元モデルの状態を解析する（Ｓ１０５）。
【００４４】
画像処理装置１０は、上記解析の結果を可視化し、３次元モデルにマッピングするテクスチャ画像を生成し（Ｓ１０６）、生成したテクスチャ画像をマッピングした３次元モデルを、上記撮像位置及び撮像方向が設定された仮想カメラに基づいてレンダリングして、投影装置４によって実際の物体８側に投影する投影画像を生成する（Ｓ１０７）。画像処理装置１０は、生成した投影画像を投影装置４に出力して（Ｓ１０８）、上記生成したテクスチャ画像を実際の物体８の表面上に投影させる。
【００４５】
以上、本発明の一実施形態について説明したものであるが、本発明は上記の実施形態に限定されるものではない。例えば、本実施形態では、予め検査対象の物体８を定めておき、当該検査対象の物体８に対応した３次元モデルデータを３Ｄモデルデータ格納部２０から取得することとしているが、検査対象の物体８に対応する３次元モデルデータの特定は利用者が判断して行ってもよいし、物体８に予めＲＦＩＤ等の識別情報を付与しておいて付与した識別情報を読み取ることで対応する３次元モデルデータを特定することとしてもよい。
【００４６】
また、撮像装置２や投影装置４と、検査対象の物体８との位置関係は予め固定的に定めておくこととしてもよいし、撮像装置２や投影装置４の位置がアクチュエーター等により変更される場合には、当該変更量を取得して仮想カメラのパラメータを変更することとしてもよい。また、上記の実施形態では、撮像装置２と投影装置４とは光軸一致、同一画角のレンズを用いることとしたが、それぞれを異ならせることとしてもよく、その場合には、仮想カメラの位置が投影装置４と検査対象の物体８との位置の関係に対応するように設定することとしてよい。
【００４７】
また、上記の実施形態では、検査装置６の傾きを重力センサにより検出する例を説明したが、検査装置６の撮像画像における位置及び長さに基づいて検査装置６の傾きを検出することとしてもよい。さらに、撮像装置２や投影装置４のレンズの収差により画像が歪む場合には、当該レンズの収差を考慮して投影画像に補正を行ってから検査対象の物体８に投影させることとしてもよい。
【００４８】
また、検査対象の物体８の面ごとに映像を投影する投影装置４を割り当てて、複数台の投影装置４により解析結果を示す画像を検査対象の物体８の各面に投影させることとしても構わない。この際に、投影装置４と検査対象の物体８の各面との距離や投影角度などに応じて面ごとに投影させる投影装置４を定めることとしてもよい。また、本発明は、物体８の応力分布の解析のみならず、他の様々な状態解析結果を物体８側に投影させる際に用いてよいのはもちろんである。
【符号の説明】
【００４９】
１ 画像処理システム、２ 撮像装置、４ 投影装置、５ ハーフミラー、６ 検査装置、８ 物体、１０ 画像処理装置、１２ 先端部、１４ 力検出部、１６ 傾き検出部、１８ 無線通信部、２０ ３Ｄモデルデータ格納部、２２ 位置情報格納部、２４ 撮像画像取得部、２６ 指示位置取得部、２８ 検査データ取得部、３０ 解析部、３２ 投影画像生成部、３４ 投影画像出力部。
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
物体の強度や状態等を検査する場合には、ＣＡＤ（Computer Aided design）データ等の物体に対応した３次元モデルデータをコンピュータにより解析することが行われている。また、下記の特許文献１には、ヘッドマウントディスプレイを介して見たモックアップ上に製品の外観を表す画像を重畳させて出力する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３４９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
物体の検査において、物体に力を加えた場合に生じる異音や破損等の現象は実物で確認し、加えた力による応力分布等の解析結果はコンピュータのディスプレイで確認すると、物体を見る際にその物体について解析した解析結果を併せて確認できなかった。
【０００５】
本発明の目的の一つは、物体を見る際にその物体について解析した解析結果を併せて確認できる画像処理装置、画像処理システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の画像処理装置の発明は、物体を撮像した撮像画像を取得する撮像画像取得手段と、前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段と、を含むことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記物体を検査する検査装置から検査情報を取得する検査情報取得手段をさらに含み、前記解析手段は、前記検査情報取得手段により取得された検査情報に基づいて前記３次元モデルを解析することを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記撮像画像に含まれる前記検査装置の位置に基づいて、当該検査装置により検査される前記物体上の位置を取得する位置取得手段をさらに含み、前記検査情報は、前記検査装置から前記物体に加えられた力、当該力の方向、及び当該力が加えられた面積の情報を含み、前記解析手段は、前記位置取得手段により取得された位置と、前記検査情報取得手段により取得された検査情報とに基づいて前記３次元モデルを解析することを特徴とする。
【０００９】
また、請求項４に記載の画像処理システムの発明は、物体を撮像する撮像装置と、前記物体に映像を投影する投影装置と、画像処理装置と、を含み、前記画像処理装置は、前記撮像装置から前記物体を撮像した撮像画像を取得する撮像画像取得手段と、前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記投影装置により前記物体の前記表面に投影するように制御する投影制御手段と、を含むことを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項４に記載の画像処理システムにおいて、前記物体を検査する検査装置をさらに含み、前記検査装置は、前記物体の検査に係る検査情報を前記画像処理装置に送信する検査情報送信手段を含み、前記解析手段は、前記検査情報送信手段により送信された検査情報に基づいて前記３次元モデルを解析することを特徴とする。
【００１１】
また、請求項６に記載のプログラムの発明は、物体を撮像した撮像画像を取得する撮像画像取得手段と、前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、物体を見る際にその物体について解析した解析結果を併せて確認できる。
【００１３】
請求項２に記載の発明によれば、物体について現に行われている検査と並行して、当該検査に基づく解析結果を確認できる。
【００１４】
請求項３に記載の発明によれば、物体について現に行われている検査と並行して、検査時に加えた力に基づく物体の解析結果を確認できる。
【００１５】
請求項４に記載の発明によれば、物体を見る際にその物体について解析した解析結果を併せて確認できる。
【００１６】
請求項５に記載の発明によれば、物体について現に行われている検査と並行して、当該検査に基づく解析結果を確認できる。
【００１７】
請求項６に記載の発明によれば、物体を見る際にその物体について解析した解析結果を併せて確認できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る画像処理システムのシステム構成図である。
【図２】検査装置の一構成例を示す図である。
【図３】画像処理装置の機能ブロック図である。
【図４】指示位置の取得処理の一例を説明する図である。
【図５】物体に投影された画像の一例を示す図である。
【図６】解析結果の投影処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２０】
図１には、本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、撮像装置２、投影装置４、検査装置６、そして画像処理装置１０を含み構成され、画像処理装置１０と、撮像装置２、投影装置４、及び検査装置６のそれぞれとは、無線又は有線によりデータを通信することとする。
【００２１】
撮像装置２は、検査対象の物体８を撮像し、当該撮像して得た画像データ（撮像画像）を画像処理装置１０に順次出力する装置であり、投影装置４は、画像処理装置１０から入力された投影画像データに基づいて、物体８側に映像を投影する装置である。本実施形態では、撮像装置２のレンズと投影装置４のレンズには同じ画角のものを用いると共に、撮像装置２及び投影装置４と、物体８との光路上に設けられたハーフミラー５に対して両者を直角に配置し、両者の光軸をハーフミラー５から物体８までの間で一致させることで、撮像装置２の撮像範囲と、投影装置４の投影範囲とを略一致させている。
【００２２】
検査装置６は、検査対象の物体８に対して検査を行うと共に、当該検査に関する情報を取得し、取得した情報を画像処理装置１０に送信する装置である。本実施形態では、検査装置６は、物体８に力を加えると共に、当該加えた力、当該力の方向及び力の加えられる面積の情報を含む検査データを画像処理装置１０に送信することとする。以下、検査装置６の具体的な構成例について説明する。
【００２３】
図２には、検査装置６の一構成例を示した。図２に示されるように、検査装置６は、先端部１２、力検出部１４、傾き検出部１６、及び無線通信部１８を含み構成されるものである。
【００２４】
先端部１２は、検査対象の物体８と接触する部位であり、先端部１２には検査対象の物体８と接触した場合に発光する発光素子が設けられている。
【００２５】
力検出部１４は、検査対象の物体８に加えられた力の大きさを検出するものであり、例えば力検出部１４はバネ等の弾性部材と当該弾性部材の変化量を測定するセンサとを備え、測定された弾性部材の変化量に基づいて検査対象の物体８に加えられた力の大きさを検出するものである。
【００２６】
傾き検出部１６は、検査装置６の傾きを検出するものであり、例えば傾き検出部１６は重力センサを備え、重力センサによって検査装置６の鉛直方向に対する傾きを検出するものである。
【００２７】
無線通信部１８は、無線通信インターフェースを含み構成され、無線通信インターフェースを介して力検出部１４及び傾き検出部１６により検出されたデータを画像処理装置１０に送信するものである。
【００２８】
図３には、画像処理装置１０の機能ブロック図を示す。図３に示されるように、画像処理装置１０は、３Ｄモデルデータ格納部２０、位置情報格納部２２、撮像画像取得部２４、指示位置取得部２６、検査データ取得部２８、解析部３０、投影画像生成部３２、及び投影画像出力部３４を含む。上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータとしての構成を備えた画像処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００２９】
３Ｄモデルデータ格納部２０は、半導体メモリや磁気ディスク装置等の記憶装置を含み構成され、検査対象の物体８を含む１又は複数の物体にそれぞれ対応した３次元モデルを表す３次元モデルデータを格納したものである。３次元モデルデータの座標系は３次元モデルのローカル座標として保持されることとしてよく、また、３次元モデルデータには、対応する各物体の材質情報を含むこととしてよい。なお、３次元モデルデータは、例えば３次元ＣＡＤのデータとして構成されていてもよいし、その他の形態であっても構わない。
【００３０】
位置情報格納部２２は、半導体メモリや磁気ディスク装置等の記憶装置を含み構成され、仮想の３次元空間（仮想空間）における、検査対象の物体８に対応した３次元モデルの位置、撮像装置２に対応する仮想カメラの位置及び撮像方向の情報を格納したものである。本実施形態では、位置情報格納部２２は、実空間における撮像装置２及び物体８の位置に基づいて、仮想空間における撮像装置２の位置及び撮像方向そして物体８の位置（ワールド座標系）を格納しておくこととする。
【００３１】
撮像画像取得部２４は、撮像装置２とデータ通信する入出力インターフェースを含み構成され、当該入出力インターフェースを介して撮像装置２により撮像された撮像画像を取得するものである。撮像画像取得部２４は、予め定められた時間間隔で撮像装置２から撮像画像を取得することとしてよい。本実施形態では、撮像画像には、物体８及び物体８を押圧して検査を行う検査装置６が写されているものとする。
【００３２】
指示位置取得部２６は、撮像画像取得部２４により取得された撮像画像に基づいて、撮像画像に写し出された検査装置６が物体８を指示する指示位置を取得するものである。本実施形態では、検査装置６は検査対象の物体８を押圧する場合に先端部１２が発光するため、指示位置取得部２６は、撮像画像における発光位置に基づいて検査対象の物体８の指示位置を取得することとする。以下、指示位置の取得処理の具体例について説明する。
【００３３】
図４には、指示位置取得部２６による指示位置の取得処理の一例を説明する図を示した。図４（Ａ）に示されるように、撮像画像の座標系における発光位置Ｐの座標を（Ｘ１，Ｙ１）とする。ここで撮像画像の座標系は、例えば左上を原点とし、横軸の右向きにＸ軸、縦軸の下向きにＹ軸をとることとしている。そして、図４（Ｂ）に示される仮想カメラから３次元モデルを撮像した仮想ビューにおいて、ワールド座標系における指示位置（発光位置）Ｐは、３次元モデルの上部の表面と、仮想カメラの位置と発光位置Ｐとを結んだ直線の交点の位置として取得される。次に、指示位置取得部２６は取得したワールド座標系の指示位置を３次元モデルのローカル座標系に変換することで、３次元モデルにおける指示位置の座標が得られる。
【００３４】
検査データ取得部２８は、無線通信インターフェースを含み、当該無線通信インターフェースを介して検査装置６と通信して、検査装置６に保持される検査データを取得するものである。本実施形態では、検査データには、検査装置６から物体８に加えられた力の大きさＦ（Ｎ）、検査装置６の傾き、検査装置６と物体８との接触面積の各データが含まれるものとする。なお、本実施形態では、検査装置６と物体８との接触面積は、先端部１２の面積であって予め定められていることとする。
【００３５】
解析部３０は、指示位置取得部２６により取得された３次元モデルにおける指示位置、そして、検査データ取得部２８により取得された検査データに基づいて、検査装置６により検査されている物体８の状態を解析するものである。本実施形態では、解析部３０は、検査装置６により物体８に加えられた力に基づく物体８の応力分布を解析し、当該解析した応力分布を可視化し３次元モデルにマッピングするテクスチャ画像を生成することとする。
【００３６】
解析部３０は、３次元モデルにおける指示位置と、当該指示位置に加えられた力、当該力の方向及び面積と、物体８を構成する材質等を、所与の構造解析プログラムに入力して３次元モデルの応力分布を解析すると共に、当該解析結果を示すテクスチャ画像を生成する。テクスチャ画像の生成は、物体８の少なくとも一部の面について行うこととしてよく、本実施形態では３次元モデルの上側の表面にマッピングするテクスチャ画像を生成することとしている。
【００３７】
投影画像生成部３２は、解析部３０による解析の結果生成されたテクスチャ画像を、３次元モデルの対応位置にマッピングさせると共に、当該テクスチャ画像をマッピングした３次元モデル（又は３次元モデルを除いたテクスチャ画像のみ）を仮想カメラに基づいてレンダリングして投影画像を生成するものである。以下、投影画像生成部３２による処理を具体的に説明する。
【００３８】
投影画像生成部３２は、３次元モデルに解析結果を示すテクスチャ画像をマッピングし、位置情報格納部２２に格納された３次元モデルの位置に上記テクスチャ画像をマッピングした３次元モデルを配置する。次に、投影画像生成部３２は、配置した３次元モデルを、位置情報格納部２２に格納された撮像装置２の撮像位置及び撮像方向に基づいてレンダリングして投影画像を生成する。また、投影画像生成部３２は、投影画像を生成するにあたり、３次元モデルにマッピングさせたテクスチャ画像のみを、位置情報格納部２２に格納された３次元モデルの対応位置に配置してレンダリングすることで投影画像を生成してもよい。
【００３９】
投影画像出力部３４は、投影装置４とデータ通信する入出力インターフェースを含み構成され、入出力インターフェースを介して投影画像生成部３２により生成した投影画像を投影装置４に出力して投影させるものである。
【００４０】
図５には、投影画像出力部３４により投影装置４に出力された投影画像に基づいて物体８に投影された画像の一例を示したものである。図５に示されるように、物体８について行われた検査に基づく解析結果（応力分布）を示す画像が、実際の物体８の表面に投影されて表示されるものである。本実施形態では、撮像装置２と投影装置４との画角及び光軸を略一致させているため、仮想ビューで表示された画像を実物側に投影することで、実物側にも同様の解析結果（応力分布）が表示されることとなる。画像処理システム１では、検査装置６が行う検査について得た検査データを画像処理装置１０に逐次送信し、画像処理装置１０が送信された検査データに基づいて行った解析処理の結果を実物側に投影することで、検査を行いながらその検査による実物の内部状態等が実物そのものに表示される。
【００４１】
次に、本実施形態に係る画像処理システム１において行われる解析結果の投影処理の具体的な流れについて説明する。
【００４２】
図６には、解析結果の投影処理のフローチャートを示した。図６に示されるように、画像処理装置１０は、検査対象の物体８に対応する３次元モデルデータ、そして撮像装置２により当該物体８を撮像した撮像画像に基づいて初期設定を行う（Ｓ１０１）。初期設定では、検査対象の物体８に対応した３次元モデルデータを３Ｄモデルデータ格納部２０から読み込むと共に、３次元モデルデータにより示される３次元モデルを仮想空間に配置する位置と、当該３次元モデルを撮像する仮想カメラの撮像位置及び撮像方向を、撮像装置２により実物の物体８を撮像した撮像画像に基づいて設定する。
【００４３】
次に、検査装置６により物体８の一部を押圧すると、画像処理装置１０は、当該検査装置６により押圧された場面を撮像装置２により撮像した撮像画像を取得する（Ｓ１０２）。画像処理装置１０は、取得した撮像画像に含まれる検査装置６の先端部１２の位置を画像解析により得ると共に、当該先端部１２の位置に基づいて検査装置６により指示された指示位置を取得する（Ｓ１０３）。さらに画像処理装置１０は、検査装置６から上記押圧した際の力の大きさや力の方向を含む検査データを取得し（Ｓ１０４）、取得した検査データ、指示位置、及び３次元モデルデータに基づいて、上記取得した位置に上記取得した力が加えられた場合の３次元モデルの状態を解析する（Ｓ１０５）。
【００４４】
画像処理装置１０は、上記解析の結果を可視化し、３次元モデルにマッピングするテクスチャ画像を生成し（Ｓ１０６）、生成したテクスチャ画像をマッピングした３次元モデルを、上記撮像位置及び撮像方向が設定された仮想カメラに基づいてレンダリングして、投影装置４によって実際の物体８側に投影する投影画像を生成する（Ｓ１０７）。画像処理装置１０は、生成した投影画像を投影装置４に出力して（Ｓ１０８）、上記生成したテクスチャ画像を実際の物体８の表面上に投影させる。
【００４５】
以上、本発明の一実施形態について説明したものであるが、本発明は上記の実施形態に限定されるものではない。例えば、本実施形態では、予め検査対象の物体８を定めておき、当該検査対象の物体８に対応した３次元モデルデータを３Ｄモデルデータ格納部２０から取得することとしているが、検査対象の物体８に対応する３次元モデルデータの特定は利用者が判断して行ってもよいし、物体８に予めＲＦＩＤ等の識別情報を付与しておいて付与した識別情報を読み取ることで対応する３次元モデルデータを特定することとしてもよい。
【００４６】
また、撮像装置２や投影装置４と、検査対象の物体８との位置関係は予め固定的に定めておくこととしてもよいし、撮像装置２や投影装置４の位置がアクチュエーター等により変更される場合には、当該変更量を取得して仮想カメラのパラメータを変更することとしてもよい。また、上記の実施形態では、撮像装置２と投影装置４とは光軸一致、同一画角のレンズを用いることとしたが、それぞれを異ならせることとしてもよく、その場合には、仮想カメラの位置が投影装置４と検査対象の物体８との位置の関係に対応するように設定することとしてよい。
【００４７】
また、上記の実施形態では、検査装置６の傾きを重力センサにより検出する例を説明したが、検査装置６の撮像画像における位置及び長さに基づいて検査装置６の傾きを検出することとしてもよい。さらに、撮像装置２や投影装置４のレンズの収差により画像が歪む場合には、当該レンズの収差を考慮して投影画像に補正を行ってから検査対象の物体８に投影させることとしてもよい。
【００４８】
また、検査対象の物体８の面ごとに映像を投影する投影装置４を割り当てて、複数台の投影装置４により解析結果を示す画像を検査対象の物体８の各面に投影させることとしても構わない。この際に、投影装置４と検査対象の物体８の各面との距離や投影角度などに応じて面ごとに投影させる投影装置４を定めることとしてもよい。また、本発明は、物体８の応力分布の解析のみならず、他の様々な状態解析結果を物体８側に投影させる際に用いてよいのはもちろんである。
【符号の説明】
【００４９】
１ 画像処理システム、２ 撮像装置、４ 投影装置、５ ハーフミラー、６ 検査装置、８ 物体、１０ 画像処理装置、１２ 先端部、１４ 力検出部、１６ 傾き検出部、１８ 無線通信部、２０ ３Ｄモデルデータ格納部、２２ 位置情報格納部、２４ 撮像画像取得部、２６ 指示位置取得部、２８ 検査データ取得部、３０ 解析部、３２ 投影画像生成部、３４ 投影画像出力部。
【特許請求の範囲】
【請求項１】
物体を撮像した撮像画像を取得する撮像画像取得手段と、
前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、
前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段と、を含む
ことを特徴とする画像処理装置。
【請求項２】
前記物体を検査する検査装置から検査情報を取得する検査情報取得手段をさらに含み、
前記解析手段は、前記検査情報取得手段により取得された検査情報に基づいて前記３次元モデルを解析する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像画像に含まれる前記検査装置の位置に基づいて、当該検査装置により検査される前記物体上の位置を取得する位置取得手段をさらに含み、
前記検査情報は、前記検査装置から前記物体に加えられた力、当該力の方向、及び当該力が加えられた面積の情報を含み、
前記解析手段は、前記位置取得手段により取得された位置と、前記検査情報取得手段により取得された検査情報とに基づいて前記３次元モデルを解析する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
物体を撮像する撮像装置と、前記物体に映像を投影する投影装置と、画像処理装置と、を含み、
前記画像処理装置は、
前記撮像装置から前記物体を撮像した撮像画像を取得する撮像画像取得手段と、
前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、
前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記投影装置により前記物体の前記表面に投影するように制御する投影制御手段と、を含む
ことを特徴とする画像処理システム。
【請求項５】
前記物体を検査する検査装置をさらに含み、
前記検査装置は、前記物体の検査に係る検査情報を前記画像処理装置に送信する検査情報送信手段を含み、
前記解析手段は、前記検査情報送信手段により送信された検査情報に基づいて前記３次元モデルを解析する
ことを特徴とする請求項４に記載の画像処理システム。
【請求項６】
物体を撮像した撮像画像を取得する撮像画像取得手段と、
前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、
前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段としてコンピュータを機能させることを特徴とするプログラム。
【請求項１】
物体を撮像した撮像画像を取得する撮像画像取得手段と、
前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、
前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段と、を含む
ことを特徴とする画像処理装置。
【請求項２】
前記物体を検査する検査装置から検査情報を取得する検査情報取得手段をさらに含み、
前記解析手段は、前記検査情報取得手段により取得された検査情報に基づいて前記３次元モデルを解析する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像画像に含まれる前記検査装置の位置に基づいて、当該検査装置により検査される前記物体上の位置を取得する位置取得手段をさらに含み、
前記検査情報は、前記検査装置から前記物体に加えられた力、当該力の方向、及び当該力が加えられた面積の情報を含み、
前記解析手段は、前記位置取得手段により取得された位置と、前記検査情報取得手段により取得された検査情報とに基づいて前記３次元モデルを解析する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
物体を撮像する撮像装置と、前記物体に映像を投影する投影装置と、画像処理装置と、を含み、
前記画像処理装置は、
前記撮像装置から前記物体を撮像した撮像画像を取得する撮像画像取得手段と、
前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、
前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記投影装置により前記物体の前記表面に投影するように制御する投影制御手段と、を含む
ことを特徴とする画像処理システム。
【請求項５】
前記物体を検査する検査装置をさらに含み、
前記検査装置は、前記物体の検査に係る検査情報を前記画像処理装置に送信する検査情報送信手段を含み、
前記解析手段は、前記検査情報送信手段により送信された検査情報に基づいて前記３次元モデルを解析する
ことを特徴とする請求項４に記載の画像処理システム。
【請求項６】
物体を撮像した撮像画像を取得する撮像画像取得手段と、
前記物体に対応する３次元モデルを所与の条件の下で解析する解析手段と、
前記解析手段による解析結果に基づき前記３次元モデルの表面に描画する解析結果描画画像を前記物体の前記表面に投影するように制御する投影制御手段としてコンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２８２２８７（Ｐ２０１０−２８２２８７Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３３２４１（Ｐ２００９−１３３２４１）
【出願日】平成２１年６月２日（２００９．６．２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月２日（２００９．６．２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]