画像処理システム及び画像処理プログラム
【課題】 遠隔側の対象物と関連性を有する実物体側の対象物の詳細な画像を容易に取得して、円滑な対話を可能にする画像処理システム及び画像処理プログラムを提供することを目的とする。
【解決手段】 第１の対象物１４０を撮像する第１のビデオカメラ１２０と、第１の対象物１４０と関連性を有する第２の対象物３１０を撮像する第２のビデオカメラ３２０と、第１のビデオカメラ１２０の撮像領域内の所望の位置における視野に対応した第２のビデオカメラ３２０による撮像画像を取得する取得手段と、第２のビデオカメラ３２０による撮像画像を所定の位置で表示する表示装置１１０とを有することを特徴としている。
【解決手段】 第１の対象物１４０を撮像する第１のビデオカメラ１２０と、第１の対象物１４０と関連性を有する第２の対象物３１０を撮像する第２のビデオカメラ３２０と、第１のビデオカメラ１２０の撮像領域内の所望の位置における視野に対応した第２のビデオカメラ３２０による撮像画像を取得する取得手段と、第２のビデオカメラ３２０による撮像画像を所定の位置で表示する表示装置１１０とを有することを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【０００２】
遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う画像処理システムが知られている。このような画像処理システムとしては、例えば、特許文献１や特許文献２で示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔側の端末に送信すると共に、その端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより実物体側対象物へ投影する技術が開示されている。
また、特許文献３に示すように、離れた位置に配置されるロボットに対して、操作者が表示装置を観察しながら作業を教示する技術や、特許文献４に示すように、故障した車両の診断結果を画像として遠隔地の表示装置に送信する技術も知られている。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００５−３３７５６号公報
【特許文献３】特開平９−２１２２２８号公報
【特許文献４】特開２００２−３３１８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した画像処理システムを利用した会議等では、例えば遠隔側の端末で受信する撮像画像上の対象物と、遠隔側の利用者の手元に配布される対象物の設計図面等とを対比しながら遠隔指示を行い会議が進められる場合がある。さらに、遠隔側の利用者によっては、設計図面上の詳細な箇所に対応する対象物の撮像画像を要求したい場合もある。しかしながら、上述した画像処理システムにおける撮像手段の撮像条件は固定されているため、このような撮像画像を取得することはできない。
本発明はこのような事情に鑑みてなされたものであり、遠隔側の対象物と関連性を有する実物体側の対象物の詳細な画像を容易に取得して、円滑な対話を可能にする画像処理システム及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１に記載の発明は、第１の対象物を撮像する第１の撮像手段と、第１の対象物と関連性を有する第２の対象物を撮像する第２の撮像手段と、第１の撮像手段の撮像領域内の所望の位置における視野に対応した第２の撮像手段による撮像画像を取得する取得手段と、所定の位置において、第２の撮像手段による撮像画像を表示する表示手段とを有することを特徴とする画像処理システムである。
【０００５】
請求項２に記載の発明は、請求項１に記載の発明において、第１の撮像手段による撮像画像に基づいて、第２の撮像手段の撮像条件を変化させて取得することを特徴としている。
【０００６】
請求項３に記載の発明は、請求項１または２に記載の発明において、第２の撮像手段の撮像領域内に、第２の撮像手段による撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段を有することを特徴としている。
【０００７】
請求項４に記載の発明は、請求項１から３のいずれかに記載の発明において、表示手段は、二次元識別情報を備え、取得手段は、第１の撮像手段による撮像画像上での二次元識別情報の向き及び大きさに基づいて、取得することを特徴としている。
【０００８】
請求項５に記載の発明は、請求項１から３のいずれかに記載の発明において、表示手段は、第１の撮像手段を一体形成しており、取得手段は、第１の撮像手段による撮像画像上での第１の対象物の向き及び大きさに基づいて、取得することを特徴としている。
【０００９】
請求項６に記載の発明は、請求項１から５のいずれかに記載の発明において、取得手段は、表示手段の移動に応じて移動量を算出し、移動後の位置における視野に対応した第２の撮像手段による撮像画像を取得することを特徴としている。
【００１０】
請求項７に記載の発明は、請求項１から６のいずれかに記載の発明において、第２の撮像手段に代えて、第１の撮像手段による撮像画像に対応する第２の対象物の画像を記憶する記憶手段を有することを特徴としている。
【００１１】
請求項８に記載の発明は、請求項１から７のいずれかに記載の発明において、表示手段は、第２の撮像手段による撮像画像上に表れる第２の対象物に関する仕様をさらに表示することを特徴としている。
【００１２】
請求項９に記載の発明は、第１の対象物を第１の撮像手段に撮像させるステップと、第１の対象物に関連する第２の対象物を第２の撮像手段に撮像させるステップと、第１の撮像手段の撮像領域内の所望の位置における視野に対応した第２の撮像手段による撮像画像を取得するステップと、所定の位置において、撮像画像を表示手段に表示させるステップとをコンピュータに実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１３】
請求項１に係る発明によれば、第１の対象物と関連性を有する第２の対象物の詳細な画像が容易に取得され、表示手段に表示されるので、円滑な対話が可能となる。
【００１４】
請求項２に係る発明によれば、第１の撮像手段による撮像画像に応じて、リアルタイムに第２の撮像手段による撮像画像が取得されるようになる。
【００１５】
請求項３に係る発明によれば、第２の撮像手段の撮像領域内に、当該第２の撮像手段による撮像画像に基づいてされた指示に応じたアノテーション画像を投影することできる。
【００１６】
請求項４に係る発明によれば、表示手段に付される二次元識別情報を第１の撮像手段が撮像することで、第２の対象物の詳細な画像が容易に取得できる。
【００１７】
請求項５に係る発明によれば、表示手段に第１の撮像手段を一体形成し、当該第１の撮像手段による第１の対象物の撮像画像に基づいて、第２の対象物の詳細な画像が容易に取得できる。
【００１８】
請求項６に係る発明によれば、表示手段が第１の対象物上で移動することにより、表示手段の位置における視野に対応した第２の撮像画像を取得できる。
【００１９】
請求項７に係る発明によれば、予め記憶手段に第１の対象物と関連性を有する第２の画像を記憶させておいてもよい。
【００２０】
請求項８に係る発明によれば、第１の対象物に対応する仕様を取得するようにしてもよい。
【００２１】
請求項９に係る発明によれば、第１の対象物と関連性を有する第２の対象物の詳細な画像が容易に取得され、表示手段に表示されるので、円滑な対話が可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る画像処理システムの構成図である。
このシステムは、図１に示すように、遠隔側装置１００、実物体側装置３００等から構成されており、遠隔側装置１００と実物体側３００とは、ネットワーク２００を介して接続される。
【００２３】
遠隔側装置１００は、表示手段としての表示装置１１０、第１の撮像手段としての第１のビデオカメラ１２０、制御手段としてのコンピュータ１３０等から構成される。
【００２４】
表示装置１１０は、携帯性があるものが望ましく、例えば携帯電話、ノート型パソコン、ＰＤＡ（Personal Digital Assistant）、電子手帳等であって、画像を表示する表示画面と、表示装置１１０を識別する二次元識別情報としてのＱＲコード１１２とを有する。尚、二次元識別情報はＰＤＦ４１７、ＤａｔａＭａｔｒｉｘ、ＭａｘｉＣｏｄｅ等、相対位置（二次元座標）を特定できる特性を持つ二次元コードであれば、ＱＲコードに限られない。
【００２５】
第１のビデオカメラ１２０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）カメラで構成される。また、第１のビデオカメラ１２０は、表示装置１１０及び表示装置１１０より下に配置された第１の対象物１４０を撮像可能な位置に配置されていると共に、撮像した撮像画像はコンピュータ１３０に取り込まれる。第１の対象物１４０には、例えば設計図面等がある。また、第１の対象物１４０には識別情報１４１が付されており、当該識別情報１４１によって種々の設計図面と区別できるようになっている。尚、識別情報には、例えば設計図面から製造される型番号等があり、図１において「ＡＢＣ−０１」と記載される。
【００２６】
コンピュータ１３０は、ＣＰＵ（Central Processing Unit）等の処理装置、ＤＲＡＭ(Dynamic Random Access Memory)、ＳＲＡＭ（Static RAM）、ハードディスク等の記憶装置及びソフトウェア等により構成され、ネットワーク２００を介して、後述するサーバ３３０に接続される。コンピュータ１３０は第１のビデオカメラ１２０の動作を制御すると共に第１のビデオカメラ１２０による撮像画像をサーバ３３０に送信し、また、サーバ３３０からの画像等を受信して表示装置１１０に電波や赤外線等の無線通信で送信する。
【００２７】
実物体側装置３００は、第２の撮像手段としての第２のビデオカメラ３２０、制御手段としてのサーバ３３０を有する。
【００２８】
第２のビデオカメラ３２０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）カメラで構成される。また、第２のビデオカメラ３２０は、第２の対象物３１０を撮像可能な位置に配置されていると共に、撮像した撮像画像はサーバ３３０に取り込まれる。第２の対象物３１０は、第１の対象物１４０と関連性を有するものが該当し、例えば、第１の対象物１４０が設計図面である場合には、第２の対象物３１０は、当該設計図面により製造される回路基板等が該当する。
【００２９】
サーバ３３０は、ＣＰＵ等の処理装置、ＤＲＡＭ、ＳＲＡＭ、ハードディスク等の記憶装置及びソフトウェア等により構成され、ネットワーク２００を介して、コンピュータ１３０に接続される。サーバ３３０は、コンピュータ１３０からの画像を受信して、所定の処理を行い、第２のビデオカメラ３２０の動作を制御すると共に、第２のビデオカメラ３２０による撮像画像をコンピュータ１３０に送信する。
【００３０】
さらに、上述したサーバ３３０について図２を参照して説明する。
図２は第１実施形態に係るサーバ３３０の要部を示す機能ブロック図である。尚、図２に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。
【００３１】
サーバ３３０は、識別情報受信部３３１、対象物特定部３３３、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５、撮像画像送信部３４７等を備える。尚、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５等から本発明の取得手段が構成される。
【００３２】
識別情報受信部３３１は、コンピュータ１３０から送信される第１の対象物１４０の型番号等の識別情報１４１を受信し、対象物特定部３３３に送信する。
【００３３】
対象物特定部３３３は、識別情報１４１に基づいた第２の対象物３１０に関する識別情報を特定する。例えば、型番号「ＡＢＣ−０１」を受信した場合には、当該型番号「ＡＢＣ−０１」に対応する第２の対象物３１０の識別情報を特定する。特定された第２の対象物３１０の識別情報は、撮像手段制御部３４３へ送信される。尚、第１の対象物１４０に関する識別情報と、第２の対象物３１０に関する識別情報は同じであることが望ましい。
【００３４】
撮像画像受信部３３９は、第１のビデオカメラ１２０によって撮像された撮像画像を受信して、当該撮像画像を撮像条件算出部３４１に送信する。当該撮像画像には、ＱＲコード１１２が付された表示装置１１０及び第１の対象物１４０等が撮像されている。
【００３５】
撮像条件算出部３４１は、撮像画像に基づいて表示装置１１０等の撮像条件を算出する。すなわち、撮像画像にはＱＲコード１１２が撮像されているため、撮像画像に対するＱＲコード１１２の占有する割合や、ＱＲコード１１２の切り出しシンボルを解析することによって、第１のビデオカメラ１２０と表示装置１１０との相対的な位置を算出する。例えば、撮像画像におけるＱＲコード１１２の占有する割合を解析することで、第１のビデオカメラ１２０から表示装置１１０までの距離、または、第１の対象物１４０から表示装置１１０までの距離を算出したり、切り出しシンボルを解析することで、第１のビデオカメラ１２０を基準とした表示装置１１０の回転角度を算出したりする。
【００３６】
撮像手段制御部３４３は、特定された第２の対象物３１０に関する識別情報及び算出された撮像条件に応じて、第２のビデオカメラ３２０の動作を制御する。より詳しくは、第２のビデオカメラ３２０を特定された識別情報に対応する第２の対象物３１０に近づけたり、撮像条件に従って当該第２の対象物３１０から遠ざけたり、また、第２の対象物３１０の上を水平移動させたりする。尚、第２のビデオカメラ３２０を第２の対象物３１０に近づける代わりに、第２のビデオカメラ３２０にズーム機能等を搭載し、当該ズーム機能を制御することによって、第２の対象物３１０を拡大して撮像するようにしてもよい。
【００３７】
撮像画像取得部３４５は、第２のビデオカメラ３２０によって撮像される撮像画像を取得する。取得した撮像画像は撮像画像送信部３４７へ送信される。
撮像画像送信部３４７は、例えばモデム等で構成され、受信した撮像画像を遠隔側端末１００へ送信する。
【００３８】
続いて、第１実施形態に係るサーバの動作について図面を参照して説明する。
図３はサーバ３３０における処理の一例を示すフローチャートである。
サーバ３３０は、まず、第１の対象物１４０に関する識別情報を受信したか否かを判断する（ステップＳ１）。識別情報を受信した場合には、サーバ３３０は、次に、識別情報から第２の対象物３１０の識別情報を特定する（ステップＳ２）。
【００３９】
サーバ３３０は、次に、第１のビデオカメラ１２０による撮像画像を受信したか否かを判断する（ステップＳ３）。撮像画像を受信した場合には、サーバ３３０は、次に、第１のビデオカメラ１２０による第１の対象物１４０の撮像条件を算出する（ステップＳ４）。例えば、第１のビデオカメラ１２０によって撮像された表示装置１１０のＱＲコード１１２の撮像画像から、第１のビデオカメラ１２０と表示装置１１０との距離、第１の対象物１４０と表示装置１１０との距離等を算出する。算出した撮像条件は第２のビデオカメラ３２０を制御する際に使用される。
【００４０】
サーバ３３０は、次に、特定された識別情報及び算出された撮像条件に応じて、第２のビデオカメラ３２０を移動させる（ステップＳ５）。撮像条件は、第１のビデオカメラ１２０からの表示装置１１０の距離、及び、第１のビデオカメラ１２０を基準とした表示装置１１０の位置を有するため、サーバ３３０は、第２の対象物３１０からの第２のビデオカメラ３２０の高さ、及び、第２の対象物３１０を基準とした第２のビデオカメラ３２０の位置を撮像条件に合わせるように、第２のビデオカメラ３２０を移動させる。
【００４１】
サーバ３３０は、サーバ３３０からの指示に従って移動した第２のビデオカメラ３２０に、その位置における第２の対象物３１０を撮像させ、第２のビデオカメラ３２０による撮像画像を取得する（ステップＳ６）。当該撮像画像は、第１の対象物１４０上の所定の位置及び高さに位置する表示装置１１０の表示画面に表示される画像と概ね同様となる。
【００４２】
サーバ３３０は、撮像画像を遠隔側装置１００へ送信する（ステップＳ７）。遠隔側装置１００では、コンピュータ１３０が当該撮像画像を受信して、表示装置１１０に送信する。従って、表示装置１１０の表示画面では、第１の対象物１４０に対応した第２の対象物３１０の画像が表示される。
【００４３】
さらに、上述した処理に応じた画像処理システムの動作について図４乃至図７を参照して説明する。
まず、表示装置１１０を第１の対象物１４０の上で水平移動させた場合について図４及び図５を参照して説明する。
図４は表示装置１１０に表示される画像の一例、図５は実物体側装置３００における第２のビデオカメラ３２０の移動の一例である。
【００４４】
例えば表示装置１１０は、図４に示すように、第１の対象物１４０より上の位置Ａで第１の対象物１４０に応じた電子部品３１２ａを表示する。ここで、例えば表示装置１１０を位置Ｂに水平移動させた場合、第１のビデオカメラ１２０によりＱＲコード１１２が移動に応じて撮像され、当該撮像画像がサーバ３３０へ送信される。
【００４５】
サーバ３３０は、図５に示すように、位置Ａ´で撮像領域Ｒ１内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を制御しているが、コンピュータ１３０からの撮像画像を受信することで、サーバ３３０では撮像条件が算出され、サーバ３３０は位置Ｂ´で撮像領域Ｒ２内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を撮像させながら水平移動させる。その結果、位置Ｂ´で撮像された撮像画像はサーバ３３０に取り込まれ、コンピュータ１３０に送信される。
【００４６】
コンピュータ１３０は、第２のビデオカメラ３２０の位置Ｂ´における撮像画像を受信すると、当該撮像画像を表示装置１１０に送信する。したがって、表示装置１１０の表示画面は、図４に示すように、位置Ｂにおいて、第１の対象物１４０に対応する電子部品３１２ｂの画像を表示する。
【００４７】
次に、表示装置１１０を第１の対象物１４０から遠ざけた場合について図６及び図７を参照して説明する。
図６は表示装置１１０に表示される画像の一例、図７は実物体側装置３００における第２のビデオカメラ３２０の移動の一例である。
【００４８】
例えば表示装置１１０は、図６に示すように、第１の対象物１４０より上の位置Ａで第１の対象物１４０に応じた電子部品３１２ａを表示する。ここで、例えば表示装置１１０を位置Ｃにまで第１の対象物１４０から遠ざけた場合、第１のビデオカメラ１２０によりＱＲコード１１２が移動に応じて撮像され、当該撮像画像がサーバ３３０へ送信される。
【００４９】
サーバ３３０は、図７に示すように、位置Ａ´で撮像領域Ｒ１内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を制御しているが、コンピュータ１３０からの撮像画像を受信することで、サーバ３３０では撮像条件が算出され、サーバ３３０は位置Ｃ´で撮像領域Ｒ３内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を第２の対象物３１０から遠ざける。第２のビデオカメラ３２０は第２の対象物３１０から遠ざかった結果、撮像領域Ｒ１より広い撮像領域Ｒ３を撮像するようになる。位置Ｃ´で撮像された撮像画像はサーバ３３０に取り込まれ、コンピュータ１３０に送信される。
【００５０】
コンピュータ１３０は、第２のビデオカメラ３２０の位置Ｃ´における撮像画像を受信すると、当該撮像画像を表示装置１１０に送信する。したがって、表示装置１１０の表示画面は、図６に示すように、位置Ｃにおいて、第１の対象物１４０に対応する電子部品３１２ｃ〜３１２ｅの画像を表示する。
【００５１】
（第２実施形態）
続いて、本発明の第２実施形態に係る画像処理システムについて図面を参照して説明する。
図８は本発明の第２実施形態に係る画像処理システムの構成図である。尚、図１に示される画像処理システムの各部と同様の構成には同一符号を付し、その説明を省略する。
本システムは、図８に示すように、遠隔側装置１００、実物体側装置３００等から構成されており、遠隔側装置１００と実物体側３００とは、ネットワーク２００を介して接続される。
【００５２】
遠隔側装置１００は、第１のビデオカメラ付表示装置１１４、コンピュータ１３０等から構成される。すなわち、第１実施形態に係る画像処理システムにおいては、遠隔側装置１００が表示装置１１０と第１のビデオカメラ１２０とを別として備えていたが、第２実施形態に係る画像処理システムにおいては、それらの代わりに、第１のビデオカメラ付表示装置１１４が使用される。
【００５３】
第１のビデオカメラ付表示装置１１４は、表示手段としての表示装置に、第１の撮像手段としての第１のビデオカメラが一体形成されて構成される。第１のビデオカメラ付表示装置１１４は第１の対象物１４０を撮像し、より詳しくは、所定の撮像領域Ｒ内の第１の対象物１４０を撮像する。尚、当該撮像画像は、静止画または動画のどちらでもよい。撮像した撮像画像は無線通信によってコンピュータ１３０に取り込まれる。
【００５４】
コンピュータ１３０は、第１のビデオカメラ付表示装置１１４による撮像画像を受信して、当該撮像画像をサーバ３３０に送信すると共に、サーバ３３０から送信される画像等を第１のビデオカメラ付表示装置１１４に無線通信で送信する。
【００５５】
次にサーバ３３０の各機能について図９を参照して説明する。
図９は第２実施形態に係るサーバ３３０の要部を示す機能ブロック図である。尚、図９に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。また、図２に示されるサーバの各部と同様の構成には同一符号を付し、その説明を省略する。
【００５６】
サーバ３３０は、識別情報受信部３３１、対象物特定部３３３、図面画像記憶部３３５、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５、撮像画像送信部３４７等を備える。尚、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５等から本発明の取得手段が構成される。
【００５７】
図面画像記憶部３３５は、種々の第１の対象物１４０の全体画像や、電子部品の性能、仕様（スペック）や資料等をデータベース化して記憶しており、対象物特定部３３３からの制御に基づいて当該全体図面を抽出し、撮像条件算出部３４１へ送信する。これらの画像や仕様等は、サーバ３３０を管理する管理者等によって予め記憶させておく。尚、記憶させておく第１の対象物１４０の画像は、第１の対象物１４０の全体が表示される画像、または、第１の対象物１４０の部分的な画像のいずれでもよい。
【００５８】
撮像条件算出部３４１は、図面画像記憶部３３５から抽出された第１の対象物１４０の全体図面の画像と、コンピュータ１３０から受信した撮像画像上の第１の対象物１４０とを照合する。照合は、画像の位相情報を用いたレジストレーションやＦＦＴ（Fast Fourier Transform：高速フーリエ変換）オーバーサンプリング法、ＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる画像の雑音、回転、拡大・縮小等に対して頑健な局所特徴量を算出する手法等、既知のアルゴリズムによって実現される。これにより、受信した撮像画像上の第１の対象物１４０の拡大または縮小倍率が判断でき、第２のビデオカメラ３２０の撮像条件を制御できる。
【００５９】
続いて、第２実施形態に係るサーバの処理について図１０を参照して説明する。
図１０はサーバ３３０における処理の一例を示すフローチャートである。
サーバ３３０は、まず、第１の対象物１４０に関する識別情報を受信したか否かを判断する（ステップＳ１１）。識別情報を受信した場合には、サーバ３３０は、次に、図面画像記憶部３３５から第１の対象物１４０の全体図を抽出する（ステップＳ１２）。
【００６０】
サーバ３３０は、次いで、第１のビデオカメラ付表示装置１１４によって撮像された第１の対象物１４０の撮像画像を受信したか否かを判断する（ステップＳ１３）。当該撮像画像を受信した場合には、サーバ３３０は、図面画像記憶部１４０から抽出された第１の対象物１４０の全体図及び受信した撮像画像上の設計図とを照合し、照合結果に応じた撮像条件を算出する（ステップＳ１４）。
【００６１】
例えば、サーバ３３０は、第１のビデオカメラ付表示装置１１４によって撮像領域Ｒ内の第１の対象物１４０の撮像画像を受信し、また、当該撮像画像に応じた第１の対象物の画像を図面画像記憶部３３５から抽出するが、撮像画像と第１の対象物１４０の画像とを照合することで、第１のビデオカメラ付表示装置１１４の第１の対象物１４０に対する撮像条件を算出することができる。算出された撮像条件は第２のビデオカメラ３２０を制御する際に使用される。
【００６２】
サーバ３３０は、次に、算出された撮像条件に基づき、第２のビデオカメラ３２０の移動させる（ステップＳ１５）。すなわち、撮像条件は、第１の対象物１４０からの第１のビデオカメラ付表示装置１１４の高さ、及び、第１の対象物１４０を基準としたビデオカメラ付携帯端末１１４の位置を有するため、サーバ３３０は、第２の対象物３１０からの第２のビデオカメラ３２０の高さ、及び、第２の対象物３１０を基準とした第２のビデオカメラ３２０の位置を撮像条件に合わせるように、第２のビデオカメラ３２０を撮像させながら移動させる。
【００６３】
第２のビデオカメラ３２０は、サーバ３３０からの指示に従って移動した位置において、電子部品３１２を搭載した第２の対象物３１０を撮像する。サーバ３３０は、第２のビデオカメラ３２０による撮像画像を取得する（ステップＳ１６）。当該撮像画像は、第１のビデオカメラ付表示装置１１４によって撮像された第１の対象物１４０の撮像画像に基づいた第２の対象物３１０の撮像画像となる。
【００６４】
サーバ３３０は、撮像画像を遠隔側装置１００へ送信する（ステップＳ１７）。遠隔側装置１００では、コンピュータ１３０が当該撮像画像を受信して、第１のビデオカメラ付表示装置１１４に送信する。従って、第１のビデオカメラ付表示装置１１４の表示画面では、撮像領域Ｒ内の第１の対象物１４０に応じた第２の対象物３１０の画像が表示される。
【００６５】
第１のビデオカメラ付表示装置１１４を使用し、上述したような処理を行うことによって、ＱＲコード１１２を使用しないでも、例えば、図４に示すように第１のビデオカメラ付表示装置１１４を第１の対象物１４０上で水平移動させると、図５に示すように第２のビデオカメラ３２０が移動し、その結果、第１のビデオカメラ付表示装置１１４の表示画面に第２のビデオカメラ３２０による撮像画像が表示され、また、図６に示すように第１のビデオカメラ付表示装置１１４を第１の対象物１４０から遠ざけるように移動させると、図７に示すように第２のビデオカメラ３２０が移動し、その結果、第１のビデオカメラ付表示装置１１４の表示画面に第２のビデオカメラ３２０による撮像画像が表示される。
【００６６】
尚、本発明は、上述した第１実施形態、第２実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、上述した第１実施形態、第２実施形態においては、第１の対象物として設計図面、第２の対象物として当該設計図面に対応する回路基板を使用したが、第１の対象物として回路基板、第２の対象物として当該回路基板に対応する設計図面とするようにしてもよい。
【００６７】
また、上述した第１実施形態、第２実施形態においては、実物体側装置における１つのサーバによって第２のビデオカメラを制御する実施形態としたが、例えば、２台以上のサーバによって第２のビデオカメラをそれぞれ制御する実施形態としてもよい。また、実物体側装置において、第２のビデオカメラを使用した即時（リアルタイム）の撮像画像送信とせず、予め第２のビデオカメラによる撮像画像を記憶させておき、遠隔側装置からの指示があった際に、その指示に応じた部分的な画像を送信するようにしてもよい。これによりネットワークの輻輳が回避されるようになる。また、第２のビデオカメラの撮像領域内に、第２のビデオカメラによる撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段を形成するようにしてもよい。
【００６８】
また、上述した実施形態においては、表示装置の表示画面に、サーバから送信される第２の対象物の画像を表示させるようにしたが、例えば、画像表示用のアプリケーションソフトウェアをＰＣ（Personal Computer）等の端末にインストールして、受信した第２の対象物の画像を当該アプリケーションソフトウェアに表示させる実施形態としてもよい。ＰＣに予め第１の対象物の画像を記憶しておくことによって、その第１の対象物の画像に応じた第２の対象物の画像をアプリケーションソフトウェアに表示させ、これらを対比して参照することもできる。この場合、アプリケーションソフトウェアに移動があった場合には、撮像条件を算出し、実物体側装置の第２のビデオカメラを制御し、第２のビデオカメラによる撮像画像をアプリケーションソフトウェアに表示させるようにする。
【００６９】
また、上述した実施形態において、実物体側装置３００に投影手段としてのプロジェクタが、第２のビデオカメラ３２０と画角（視野）がほぼ同一となるように配置され、さらに、コンピュータ１３０により制御される表示装置や入力装置が遠隔側装置１００に配置されるようにしてもよい。表示装置は例えば液晶ディスプレイやＣＲＴディスプレイ等が該当し、入力装置はキーボードやマウス等が該当する。例えば、本発明の取得手段により、第２のビデオカメラ３２０により撮像画像を取得し、遠隔側装置１００の表示装置に表示させる。当該撮像画像に応じて入力装置からアノテーション画像の投影指示が行われた場合には、サーバ３３０の制御によりプロジェクタに投影指示されたアノテーション画像を第２の対象物３１０に投影させることも可能である。尚、プロジェクタによる投影は、小型化のためにハーフミラーを介して行われることが望ましく、その際には第２のビデオカメラ３２０と同主点となることが望ましい。アノテーション画像を用いた円滑な対話が可能となる。
【００７０】
さらに、例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。コンピュータと表示装置等との通信は、有線による通信であってもよい。
【産業上の利用可能性】
【００７１】
以上説明したように、本発明によれば、遠隔側の対象物と関連性を有する実物体側の対象物の詳細な画像が容易に取得され、表示手段に表示されるので、産業上の利用可能性が高い。
【図面の簡単な説明】
【００７２】
【図１】第１実施形態に係る画像処理システムの構成図である。
【図２】サーバの要部構成を示す機能ブロック図である。
【図３】サーバにおける処理の一例を示すフローチャートである。
【図４】遠隔側装置における表示装置の表示画面の一例を説明するための図である。
【図５】実物体側装置における第２のビデオカメラの動作の一例を説明するための図である。
【図６】遠隔側装置における表示装置の表示画面の一例を説明するための図である。
【図７】実物体側装置における第２のビデオカメラの動作の一例を説明するための図である。
【図８】第２実施形態に係る画像処理システムの構成図である。
【図９】サーバの要部構成を示す機能ブロック図である。
【図１０】サーバにおける処理の一例を示すフローチャートである。
【符号の説明】
【００７３】
１００ 遠隔側装置
１１０ 表示装置
１１２ ＱＲコード
１１３ 表示画面
１１４ 第１のビデオカメラ付表示装置
１２０ 第１のビデオカメラ
１３０ コンピュータ
１４０ 第１の対象物
１４１ 識別情報
２００ ネットワーク
３００ 実物体側装置
３１０ 第２の対象物
３１２、３１２ａ〜３１２ｅ 電子部品
３２０ 第２のビデオカメラ
３３０ サーバ
３３１ 識別情報受信部
３３３ 対象物特定部
３３５ 画像記憶部
３３９ 撮像画像受信部
３４１ 撮像条件算出部
３４３ 撮像手段制御部
３４５ 撮像画像取得部
３４７ 撮像画像送信部
Ｒ、Ｒ１〜Ｒ３ 撮像領域
【技術分野】
【０００１】
本発明は、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【０００２】
遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う画像処理システムが知られている。このような画像処理システムとしては、例えば、特許文献１や特許文献２で示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔側の端末に送信すると共に、その端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより実物体側対象物へ投影する技術が開示されている。
また、特許文献３に示すように、離れた位置に配置されるロボットに対して、操作者が表示装置を観察しながら作業を教示する技術や、特許文献４に示すように、故障した車両の診断結果を画像として遠隔地の表示装置に送信する技術も知られている。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００５−３３７５６号公報
【特許文献３】特開平９−２１２２２８号公報
【特許文献４】特開２００２−３３１８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した画像処理システムを利用した会議等では、例えば遠隔側の端末で受信する撮像画像上の対象物と、遠隔側の利用者の手元に配布される対象物の設計図面等とを対比しながら遠隔指示を行い会議が進められる場合がある。さらに、遠隔側の利用者によっては、設計図面上の詳細な箇所に対応する対象物の撮像画像を要求したい場合もある。しかしながら、上述した画像処理システムにおける撮像手段の撮像条件は固定されているため、このような撮像画像を取得することはできない。
本発明はこのような事情に鑑みてなされたものであり、遠隔側の対象物と関連性を有する実物体側の対象物の詳細な画像を容易に取得して、円滑な対話を可能にする画像処理システム及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１に記載の発明は、第１の対象物を撮像する第１の撮像手段と、第１の対象物と関連性を有する第２の対象物を撮像する第２の撮像手段と、第１の撮像手段の撮像領域内の所望の位置における視野に対応した第２の撮像手段による撮像画像を取得する取得手段と、所定の位置において、第２の撮像手段による撮像画像を表示する表示手段とを有することを特徴とする画像処理システムである。
【０００５】
請求項２に記載の発明は、請求項１に記載の発明において、第１の撮像手段による撮像画像に基づいて、第２の撮像手段の撮像条件を変化させて取得することを特徴としている。
【０００６】
請求項３に記載の発明は、請求項１または２に記載の発明において、第２の撮像手段の撮像領域内に、第２の撮像手段による撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段を有することを特徴としている。
【０００７】
請求項４に記載の発明は、請求項１から３のいずれかに記載の発明において、表示手段は、二次元識別情報を備え、取得手段は、第１の撮像手段による撮像画像上での二次元識別情報の向き及び大きさに基づいて、取得することを特徴としている。
【０００８】
請求項５に記載の発明は、請求項１から３のいずれかに記載の発明において、表示手段は、第１の撮像手段を一体形成しており、取得手段は、第１の撮像手段による撮像画像上での第１の対象物の向き及び大きさに基づいて、取得することを特徴としている。
【０００９】
請求項６に記載の発明は、請求項１から５のいずれかに記載の発明において、取得手段は、表示手段の移動に応じて移動量を算出し、移動後の位置における視野に対応した第２の撮像手段による撮像画像を取得することを特徴としている。
【００１０】
請求項７に記載の発明は、請求項１から６のいずれかに記載の発明において、第２の撮像手段に代えて、第１の撮像手段による撮像画像に対応する第２の対象物の画像を記憶する記憶手段を有することを特徴としている。
【００１１】
請求項８に記載の発明は、請求項１から７のいずれかに記載の発明において、表示手段は、第２の撮像手段による撮像画像上に表れる第２の対象物に関する仕様をさらに表示することを特徴としている。
【００１２】
請求項９に記載の発明は、第１の対象物を第１の撮像手段に撮像させるステップと、第１の対象物に関連する第２の対象物を第２の撮像手段に撮像させるステップと、第１の撮像手段の撮像領域内の所望の位置における視野に対応した第２の撮像手段による撮像画像を取得するステップと、所定の位置において、撮像画像を表示手段に表示させるステップとをコンピュータに実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１３】
請求項１に係る発明によれば、第１の対象物と関連性を有する第２の対象物の詳細な画像が容易に取得され、表示手段に表示されるので、円滑な対話が可能となる。
【００１４】
請求項２に係る発明によれば、第１の撮像手段による撮像画像に応じて、リアルタイムに第２の撮像手段による撮像画像が取得されるようになる。
【００１５】
請求項３に係る発明によれば、第２の撮像手段の撮像領域内に、当該第２の撮像手段による撮像画像に基づいてされた指示に応じたアノテーション画像を投影することできる。
【００１６】
請求項４に係る発明によれば、表示手段に付される二次元識別情報を第１の撮像手段が撮像することで、第２の対象物の詳細な画像が容易に取得できる。
【００１７】
請求項５に係る発明によれば、表示手段に第１の撮像手段を一体形成し、当該第１の撮像手段による第１の対象物の撮像画像に基づいて、第２の対象物の詳細な画像が容易に取得できる。
【００１８】
請求項６に係る発明によれば、表示手段が第１の対象物上で移動することにより、表示手段の位置における視野に対応した第２の撮像画像を取得できる。
【００１９】
請求項７に係る発明によれば、予め記憶手段に第１の対象物と関連性を有する第２の画像を記憶させておいてもよい。
【００２０】
請求項８に係る発明によれば、第１の対象物に対応する仕様を取得するようにしてもよい。
【００２１】
請求項９に係る発明によれば、第１の対象物と関連性を有する第２の対象物の詳細な画像が容易に取得され、表示手段に表示されるので、円滑な対話が可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。
（第１実施形態）
図１は本発明の第１実施形態に係る画像処理システムの構成図である。
このシステムは、図１に示すように、遠隔側装置１００、実物体側装置３００等から構成されており、遠隔側装置１００と実物体側３００とは、ネットワーク２００を介して接続される。
【００２３】
遠隔側装置１００は、表示手段としての表示装置１１０、第１の撮像手段としての第１のビデオカメラ１２０、制御手段としてのコンピュータ１３０等から構成される。
【００２４】
表示装置１１０は、携帯性があるものが望ましく、例えば携帯電話、ノート型パソコン、ＰＤＡ（Personal Digital Assistant）、電子手帳等であって、画像を表示する表示画面と、表示装置１１０を識別する二次元識別情報としてのＱＲコード１１２とを有する。尚、二次元識別情報はＰＤＦ４１７、ＤａｔａＭａｔｒｉｘ、ＭａｘｉＣｏｄｅ等、相対位置（二次元座標）を特定できる特性を持つ二次元コードであれば、ＱＲコードに限られない。
【００２５】
第１のビデオカメラ１２０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）カメラで構成される。また、第１のビデオカメラ１２０は、表示装置１１０及び表示装置１１０より下に配置された第１の対象物１４０を撮像可能な位置に配置されていると共に、撮像した撮像画像はコンピュータ１３０に取り込まれる。第１の対象物１４０には、例えば設計図面等がある。また、第１の対象物１４０には識別情報１４１が付されており、当該識別情報１４１によって種々の設計図面と区別できるようになっている。尚、識別情報には、例えば設計図面から製造される型番号等があり、図１において「ＡＢＣ−０１」と記載される。
【００２６】
コンピュータ１３０は、ＣＰＵ（Central Processing Unit）等の処理装置、ＤＲＡＭ(Dynamic Random Access Memory)、ＳＲＡＭ（Static RAM）、ハードディスク等の記憶装置及びソフトウェア等により構成され、ネットワーク２００を介して、後述するサーバ３３０に接続される。コンピュータ１３０は第１のビデオカメラ１２０の動作を制御すると共に第１のビデオカメラ１２０による撮像画像をサーバ３３０に送信し、また、サーバ３３０からの画像等を受信して表示装置１１０に電波や赤外線等の無線通信で送信する。
【００２７】
実物体側装置３００は、第２の撮像手段としての第２のビデオカメラ３２０、制御手段としてのサーバ３３０を有する。
【００２８】
第２のビデオカメラ３２０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）カメラで構成される。また、第２のビデオカメラ３２０は、第２の対象物３１０を撮像可能な位置に配置されていると共に、撮像した撮像画像はサーバ３３０に取り込まれる。第２の対象物３１０は、第１の対象物１４０と関連性を有するものが該当し、例えば、第１の対象物１４０が設計図面である場合には、第２の対象物３１０は、当該設計図面により製造される回路基板等が該当する。
【００２９】
サーバ３３０は、ＣＰＵ等の処理装置、ＤＲＡＭ、ＳＲＡＭ、ハードディスク等の記憶装置及びソフトウェア等により構成され、ネットワーク２００を介して、コンピュータ１３０に接続される。サーバ３３０は、コンピュータ１３０からの画像を受信して、所定の処理を行い、第２のビデオカメラ３２０の動作を制御すると共に、第２のビデオカメラ３２０による撮像画像をコンピュータ１３０に送信する。
【００３０】
さらに、上述したサーバ３３０について図２を参照して説明する。
図２は第１実施形態に係るサーバ３３０の要部を示す機能ブロック図である。尚、図２に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。
【００３１】
サーバ３３０は、識別情報受信部３３１、対象物特定部３３３、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５、撮像画像送信部３４７等を備える。尚、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５等から本発明の取得手段が構成される。
【００３２】
識別情報受信部３３１は、コンピュータ１３０から送信される第１の対象物１４０の型番号等の識別情報１４１を受信し、対象物特定部３３３に送信する。
【００３３】
対象物特定部３３３は、識別情報１４１に基づいた第２の対象物３１０に関する識別情報を特定する。例えば、型番号「ＡＢＣ−０１」を受信した場合には、当該型番号「ＡＢＣ−０１」に対応する第２の対象物３１０の識別情報を特定する。特定された第２の対象物３１０の識別情報は、撮像手段制御部３４３へ送信される。尚、第１の対象物１４０に関する識別情報と、第２の対象物３１０に関する識別情報は同じであることが望ましい。
【００３４】
撮像画像受信部３３９は、第１のビデオカメラ１２０によって撮像された撮像画像を受信して、当該撮像画像を撮像条件算出部３４１に送信する。当該撮像画像には、ＱＲコード１１２が付された表示装置１１０及び第１の対象物１４０等が撮像されている。
【００３５】
撮像条件算出部３４１は、撮像画像に基づいて表示装置１１０等の撮像条件を算出する。すなわち、撮像画像にはＱＲコード１１２が撮像されているため、撮像画像に対するＱＲコード１１２の占有する割合や、ＱＲコード１１２の切り出しシンボルを解析することによって、第１のビデオカメラ１２０と表示装置１１０との相対的な位置を算出する。例えば、撮像画像におけるＱＲコード１１２の占有する割合を解析することで、第１のビデオカメラ１２０から表示装置１１０までの距離、または、第１の対象物１４０から表示装置１１０までの距離を算出したり、切り出しシンボルを解析することで、第１のビデオカメラ１２０を基準とした表示装置１１０の回転角度を算出したりする。
【００３６】
撮像手段制御部３４３は、特定された第２の対象物３１０に関する識別情報及び算出された撮像条件に応じて、第２のビデオカメラ３２０の動作を制御する。より詳しくは、第２のビデオカメラ３２０を特定された識別情報に対応する第２の対象物３１０に近づけたり、撮像条件に従って当該第２の対象物３１０から遠ざけたり、また、第２の対象物３１０の上を水平移動させたりする。尚、第２のビデオカメラ３２０を第２の対象物３１０に近づける代わりに、第２のビデオカメラ３２０にズーム機能等を搭載し、当該ズーム機能を制御することによって、第２の対象物３１０を拡大して撮像するようにしてもよい。
【００３７】
撮像画像取得部３４５は、第２のビデオカメラ３２０によって撮像される撮像画像を取得する。取得した撮像画像は撮像画像送信部３４７へ送信される。
撮像画像送信部３４７は、例えばモデム等で構成され、受信した撮像画像を遠隔側端末１００へ送信する。
【００３８】
続いて、第１実施形態に係るサーバの動作について図面を参照して説明する。
図３はサーバ３３０における処理の一例を示すフローチャートである。
サーバ３３０は、まず、第１の対象物１４０に関する識別情報を受信したか否かを判断する（ステップＳ１）。識別情報を受信した場合には、サーバ３３０は、次に、識別情報から第２の対象物３１０の識別情報を特定する（ステップＳ２）。
【００３９】
サーバ３３０は、次に、第１のビデオカメラ１２０による撮像画像を受信したか否かを判断する（ステップＳ３）。撮像画像を受信した場合には、サーバ３３０は、次に、第１のビデオカメラ１２０による第１の対象物１４０の撮像条件を算出する（ステップＳ４）。例えば、第１のビデオカメラ１２０によって撮像された表示装置１１０のＱＲコード１１２の撮像画像から、第１のビデオカメラ１２０と表示装置１１０との距離、第１の対象物１４０と表示装置１１０との距離等を算出する。算出した撮像条件は第２のビデオカメラ３２０を制御する際に使用される。
【００４０】
サーバ３３０は、次に、特定された識別情報及び算出された撮像条件に応じて、第２のビデオカメラ３２０を移動させる（ステップＳ５）。撮像条件は、第１のビデオカメラ１２０からの表示装置１１０の距離、及び、第１のビデオカメラ１２０を基準とした表示装置１１０の位置を有するため、サーバ３３０は、第２の対象物３１０からの第２のビデオカメラ３２０の高さ、及び、第２の対象物３１０を基準とした第２のビデオカメラ３２０の位置を撮像条件に合わせるように、第２のビデオカメラ３２０を移動させる。
【００４１】
サーバ３３０は、サーバ３３０からの指示に従って移動した第２のビデオカメラ３２０に、その位置における第２の対象物３１０を撮像させ、第２のビデオカメラ３２０による撮像画像を取得する（ステップＳ６）。当該撮像画像は、第１の対象物１４０上の所定の位置及び高さに位置する表示装置１１０の表示画面に表示される画像と概ね同様となる。
【００４２】
サーバ３３０は、撮像画像を遠隔側装置１００へ送信する（ステップＳ７）。遠隔側装置１００では、コンピュータ１３０が当該撮像画像を受信して、表示装置１１０に送信する。従って、表示装置１１０の表示画面では、第１の対象物１４０に対応した第２の対象物３１０の画像が表示される。
【００４３】
さらに、上述した処理に応じた画像処理システムの動作について図４乃至図７を参照して説明する。
まず、表示装置１１０を第１の対象物１４０の上で水平移動させた場合について図４及び図５を参照して説明する。
図４は表示装置１１０に表示される画像の一例、図５は実物体側装置３００における第２のビデオカメラ３２０の移動の一例である。
【００４４】
例えば表示装置１１０は、図４に示すように、第１の対象物１４０より上の位置Ａで第１の対象物１４０に応じた電子部品３１２ａを表示する。ここで、例えば表示装置１１０を位置Ｂに水平移動させた場合、第１のビデオカメラ１２０によりＱＲコード１１２が移動に応じて撮像され、当該撮像画像がサーバ３３０へ送信される。
【００４５】
サーバ３３０は、図５に示すように、位置Ａ´で撮像領域Ｒ１内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を制御しているが、コンピュータ１３０からの撮像画像を受信することで、サーバ３３０では撮像条件が算出され、サーバ３３０は位置Ｂ´で撮像領域Ｒ２内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を撮像させながら水平移動させる。その結果、位置Ｂ´で撮像された撮像画像はサーバ３３０に取り込まれ、コンピュータ１３０に送信される。
【００４６】
コンピュータ１３０は、第２のビデオカメラ３２０の位置Ｂ´における撮像画像を受信すると、当該撮像画像を表示装置１１０に送信する。したがって、表示装置１１０の表示画面は、図４に示すように、位置Ｂにおいて、第１の対象物１４０に対応する電子部品３１２ｂの画像を表示する。
【００４７】
次に、表示装置１１０を第１の対象物１４０から遠ざけた場合について図６及び図７を参照して説明する。
図６は表示装置１１０に表示される画像の一例、図７は実物体側装置３００における第２のビデオカメラ３２０の移動の一例である。
【００４８】
例えば表示装置１１０は、図６に示すように、第１の対象物１４０より上の位置Ａで第１の対象物１４０に応じた電子部品３１２ａを表示する。ここで、例えば表示装置１１０を位置Ｃにまで第１の対象物１４０から遠ざけた場合、第１のビデオカメラ１２０によりＱＲコード１１２が移動に応じて撮像され、当該撮像画像がサーバ３３０へ送信される。
【００４９】
サーバ３３０は、図７に示すように、位置Ａ´で撮像領域Ｒ１内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を制御しているが、コンピュータ１３０からの撮像画像を受信することで、サーバ３３０では撮像条件が算出され、サーバ３３０は位置Ｃ´で撮像領域Ｒ３内の第２の対象物３１０を撮像するよう第２のビデオカメラ３２０を第２の対象物３１０から遠ざける。第２のビデオカメラ３２０は第２の対象物３１０から遠ざかった結果、撮像領域Ｒ１より広い撮像領域Ｒ３を撮像するようになる。位置Ｃ´で撮像された撮像画像はサーバ３３０に取り込まれ、コンピュータ１３０に送信される。
【００５０】
コンピュータ１３０は、第２のビデオカメラ３２０の位置Ｃ´における撮像画像を受信すると、当該撮像画像を表示装置１１０に送信する。したがって、表示装置１１０の表示画面は、図６に示すように、位置Ｃにおいて、第１の対象物１４０に対応する電子部品３１２ｃ〜３１２ｅの画像を表示する。
【００５１】
（第２実施形態）
続いて、本発明の第２実施形態に係る画像処理システムについて図面を参照して説明する。
図８は本発明の第２実施形態に係る画像処理システムの構成図である。尚、図１に示される画像処理システムの各部と同様の構成には同一符号を付し、その説明を省略する。
本システムは、図８に示すように、遠隔側装置１００、実物体側装置３００等から構成されており、遠隔側装置１００と実物体側３００とは、ネットワーク２００を介して接続される。
【００５２】
遠隔側装置１００は、第１のビデオカメラ付表示装置１１４、コンピュータ１３０等から構成される。すなわち、第１実施形態に係る画像処理システムにおいては、遠隔側装置１００が表示装置１１０と第１のビデオカメラ１２０とを別として備えていたが、第２実施形態に係る画像処理システムにおいては、それらの代わりに、第１のビデオカメラ付表示装置１１４が使用される。
【００５３】
第１のビデオカメラ付表示装置１１４は、表示手段としての表示装置に、第１の撮像手段としての第１のビデオカメラが一体形成されて構成される。第１のビデオカメラ付表示装置１１４は第１の対象物１４０を撮像し、より詳しくは、所定の撮像領域Ｒ内の第１の対象物１４０を撮像する。尚、当該撮像画像は、静止画または動画のどちらでもよい。撮像した撮像画像は無線通信によってコンピュータ１３０に取り込まれる。
【００５４】
コンピュータ１３０は、第１のビデオカメラ付表示装置１１４による撮像画像を受信して、当該撮像画像をサーバ３３０に送信すると共に、サーバ３３０から送信される画像等を第１のビデオカメラ付表示装置１１４に無線通信で送信する。
【００５５】
次にサーバ３３０の各機能について図９を参照して説明する。
図９は第２実施形態に係るサーバ３３０の要部を示す機能ブロック図である。尚、図９に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。また、図２に示されるサーバの各部と同様の構成には同一符号を付し、その説明を省略する。
【００５６】
サーバ３３０は、識別情報受信部３３１、対象物特定部３３３、図面画像記憶部３３５、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５、撮像画像送信部３４７等を備える。尚、撮像画像受信部３３９、撮像条件算出部３４１、撮像手段制御部３４３、撮像画像取得部３４５等から本発明の取得手段が構成される。
【００５７】
図面画像記憶部３３５は、種々の第１の対象物１４０の全体画像や、電子部品の性能、仕様（スペック）や資料等をデータベース化して記憶しており、対象物特定部３３３からの制御に基づいて当該全体図面を抽出し、撮像条件算出部３４１へ送信する。これらの画像や仕様等は、サーバ３３０を管理する管理者等によって予め記憶させておく。尚、記憶させておく第１の対象物１４０の画像は、第１の対象物１４０の全体が表示される画像、または、第１の対象物１４０の部分的な画像のいずれでもよい。
【００５８】
撮像条件算出部３４１は、図面画像記憶部３３５から抽出された第１の対象物１４０の全体図面の画像と、コンピュータ１３０から受信した撮像画像上の第１の対象物１４０とを照合する。照合は、画像の位相情報を用いたレジストレーションやＦＦＴ（Fast Fourier Transform：高速フーリエ変換）オーバーサンプリング法、ＳＩＦＴ（Scale Invariant Feature Transform）と呼ばれる画像の雑音、回転、拡大・縮小等に対して頑健な局所特徴量を算出する手法等、既知のアルゴリズムによって実現される。これにより、受信した撮像画像上の第１の対象物１４０の拡大または縮小倍率が判断でき、第２のビデオカメラ３２０の撮像条件を制御できる。
【００５９】
続いて、第２実施形態に係るサーバの処理について図１０を参照して説明する。
図１０はサーバ３３０における処理の一例を示すフローチャートである。
サーバ３３０は、まず、第１の対象物１４０に関する識別情報を受信したか否かを判断する（ステップＳ１１）。識別情報を受信した場合には、サーバ３３０は、次に、図面画像記憶部３３５から第１の対象物１４０の全体図を抽出する（ステップＳ１２）。
【００６０】
サーバ３３０は、次いで、第１のビデオカメラ付表示装置１１４によって撮像された第１の対象物１４０の撮像画像を受信したか否かを判断する（ステップＳ１３）。当該撮像画像を受信した場合には、サーバ３３０は、図面画像記憶部１４０から抽出された第１の対象物１４０の全体図及び受信した撮像画像上の設計図とを照合し、照合結果に応じた撮像条件を算出する（ステップＳ１４）。
【００６１】
例えば、サーバ３３０は、第１のビデオカメラ付表示装置１１４によって撮像領域Ｒ内の第１の対象物１４０の撮像画像を受信し、また、当該撮像画像に応じた第１の対象物の画像を図面画像記憶部３３５から抽出するが、撮像画像と第１の対象物１４０の画像とを照合することで、第１のビデオカメラ付表示装置１１４の第１の対象物１４０に対する撮像条件を算出することができる。算出された撮像条件は第２のビデオカメラ３２０を制御する際に使用される。
【００６２】
サーバ３３０は、次に、算出された撮像条件に基づき、第２のビデオカメラ３２０の移動させる（ステップＳ１５）。すなわち、撮像条件は、第１の対象物１４０からの第１のビデオカメラ付表示装置１１４の高さ、及び、第１の対象物１４０を基準としたビデオカメラ付携帯端末１１４の位置を有するため、サーバ３３０は、第２の対象物３１０からの第２のビデオカメラ３２０の高さ、及び、第２の対象物３１０を基準とした第２のビデオカメラ３２０の位置を撮像条件に合わせるように、第２のビデオカメラ３２０を撮像させながら移動させる。
【００６３】
第２のビデオカメラ３２０は、サーバ３３０からの指示に従って移動した位置において、電子部品３１２を搭載した第２の対象物３１０を撮像する。サーバ３３０は、第２のビデオカメラ３２０による撮像画像を取得する（ステップＳ１６）。当該撮像画像は、第１のビデオカメラ付表示装置１１４によって撮像された第１の対象物１４０の撮像画像に基づいた第２の対象物３１０の撮像画像となる。
【００６４】
サーバ３３０は、撮像画像を遠隔側装置１００へ送信する（ステップＳ１７）。遠隔側装置１００では、コンピュータ１３０が当該撮像画像を受信して、第１のビデオカメラ付表示装置１１４に送信する。従って、第１のビデオカメラ付表示装置１１４の表示画面では、撮像領域Ｒ内の第１の対象物１４０に応じた第２の対象物３１０の画像が表示される。
【００６５】
第１のビデオカメラ付表示装置１１４を使用し、上述したような処理を行うことによって、ＱＲコード１１２を使用しないでも、例えば、図４に示すように第１のビデオカメラ付表示装置１１４を第１の対象物１４０上で水平移動させると、図５に示すように第２のビデオカメラ３２０が移動し、その結果、第１のビデオカメラ付表示装置１１４の表示画面に第２のビデオカメラ３２０による撮像画像が表示され、また、図６に示すように第１のビデオカメラ付表示装置１１４を第１の対象物１４０から遠ざけるように移動させると、図７に示すように第２のビデオカメラ３２０が移動し、その結果、第１のビデオカメラ付表示装置１１４の表示画面に第２のビデオカメラ３２０による撮像画像が表示される。
【００６６】
尚、本発明は、上述した第１実施形態、第２実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、上述した第１実施形態、第２実施形態においては、第１の対象物として設計図面、第２の対象物として当該設計図面に対応する回路基板を使用したが、第１の対象物として回路基板、第２の対象物として当該回路基板に対応する設計図面とするようにしてもよい。
【００６７】
また、上述した第１実施形態、第２実施形態においては、実物体側装置における１つのサーバによって第２のビデオカメラを制御する実施形態としたが、例えば、２台以上のサーバによって第２のビデオカメラをそれぞれ制御する実施形態としてもよい。また、実物体側装置において、第２のビデオカメラを使用した即時（リアルタイム）の撮像画像送信とせず、予め第２のビデオカメラによる撮像画像を記憶させておき、遠隔側装置からの指示があった際に、その指示に応じた部分的な画像を送信するようにしてもよい。これによりネットワークの輻輳が回避されるようになる。また、第２のビデオカメラの撮像領域内に、第２のビデオカメラによる撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段を形成するようにしてもよい。
【００６８】
また、上述した実施形態においては、表示装置の表示画面に、サーバから送信される第２の対象物の画像を表示させるようにしたが、例えば、画像表示用のアプリケーションソフトウェアをＰＣ（Personal Computer）等の端末にインストールして、受信した第２の対象物の画像を当該アプリケーションソフトウェアに表示させる実施形態としてもよい。ＰＣに予め第１の対象物の画像を記憶しておくことによって、その第１の対象物の画像に応じた第２の対象物の画像をアプリケーションソフトウェアに表示させ、これらを対比して参照することもできる。この場合、アプリケーションソフトウェアに移動があった場合には、撮像条件を算出し、実物体側装置の第２のビデオカメラを制御し、第２のビデオカメラによる撮像画像をアプリケーションソフトウェアに表示させるようにする。
【００６９】
また、上述した実施形態において、実物体側装置３００に投影手段としてのプロジェクタが、第２のビデオカメラ３２０と画角（視野）がほぼ同一となるように配置され、さらに、コンピュータ１３０により制御される表示装置や入力装置が遠隔側装置１００に配置されるようにしてもよい。表示装置は例えば液晶ディスプレイやＣＲＴディスプレイ等が該当し、入力装置はキーボードやマウス等が該当する。例えば、本発明の取得手段により、第２のビデオカメラ３２０により撮像画像を取得し、遠隔側装置１００の表示装置に表示させる。当該撮像画像に応じて入力装置からアノテーション画像の投影指示が行われた場合には、サーバ３３０の制御によりプロジェクタに投影指示されたアノテーション画像を第２の対象物３１０に投影させることも可能である。尚、プロジェクタによる投影は、小型化のためにハーフミラーを介して行われることが望ましく、その際には第２のビデオカメラ３２０と同主点となることが望ましい。アノテーション画像を用いた円滑な対話が可能となる。
【００７０】
さらに、例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。コンピュータと表示装置等との通信は、有線による通信であってもよい。
【産業上の利用可能性】
【００７１】
以上説明したように、本発明によれば、遠隔側の対象物と関連性を有する実物体側の対象物の詳細な画像が容易に取得され、表示手段に表示されるので、産業上の利用可能性が高い。
【図面の簡単な説明】
【００７２】
【図１】第１実施形態に係る画像処理システムの構成図である。
【図２】サーバの要部構成を示す機能ブロック図である。
【図３】サーバにおける処理の一例を示すフローチャートである。
【図４】遠隔側装置における表示装置の表示画面の一例を説明するための図である。
【図５】実物体側装置における第２のビデオカメラの動作の一例を説明するための図である。
【図６】遠隔側装置における表示装置の表示画面の一例を説明するための図である。
【図７】実物体側装置における第２のビデオカメラの動作の一例を説明するための図である。
【図８】第２実施形態に係る画像処理システムの構成図である。
【図９】サーバの要部構成を示す機能ブロック図である。
【図１０】サーバにおける処理の一例を示すフローチャートである。
【符号の説明】
【００７３】
１００ 遠隔側装置
１１０ 表示装置
１１２ ＱＲコード
１１３ 表示画面
１１４ 第１のビデオカメラ付表示装置
１２０ 第１のビデオカメラ
１３０ コンピュータ
１４０ 第１の対象物
１４１ 識別情報
２００ ネットワーク
３００ 実物体側装置
３１０ 第２の対象物
３１２、３１２ａ〜３１２ｅ 電子部品
３２０ 第２のビデオカメラ
３３０ サーバ
３３１ 識別情報受信部
３３３ 対象物特定部
３３５ 画像記憶部
３３９ 撮像画像受信部
３４１ 撮像条件算出部
３４３ 撮像手段制御部
３４５ 撮像画像取得部
３４７ 撮像画像送信部
Ｒ、Ｒ１〜Ｒ３ 撮像領域
【特許請求の範囲】
【請求項１】
第１の対象物を撮像する第１の撮像手段と、
前記第１の対象物と関連性を有する第２の対象物を撮像する第２の撮像手段と、
前記第１の撮像手段の撮像領域内の所望の位置における視野に対応した前記第２の撮像手段による撮像画像を取得する取得手段と、
前記所定の位置において、前記第２の撮像手段による撮像画像を表示する表示手段と
を有することを特徴とする画像処理システム。
【請求項２】
前記取得手段は、前記第１の撮像手段による撮像画像に基づいて、前記第２の撮像手段の撮像条件を変化させて取得することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第２の撮像手段の撮像領域内に、前記第２の撮像手段による撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段を有することを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記表示手段は、二次元識別情報を備え、
前記取得手段は、前記第１の撮像手段による撮像画像上での二次元識別情報の向き及び大きさに基づいて、取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
【請求項５】
前記表示手段は、前記第１の撮像手段を一体形成しており、
前記取得手段は、前記第１の撮像手段による撮像画像上での第１の対象物の向き及び大きさに基づいて、取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
【請求項６】
前記取得手段は、前記表示手段の移動に応じて移動量を算出し、移動後の位置における視野に対応した前記第２の撮像手段による撮像画像を取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理システム。
【請求項７】
前記第２の撮像手段に代えて、前記第１の撮像手段による撮像画像に対応する前記第２の対象物の画像を記憶する記憶手段を有することを特徴とする請求項１から６のいずれか１項に記載の画像処理システム。
【請求項８】
前記表示手段は、前記第２の撮像手段による撮像画像上に表れる第２の対象物に関する仕様をさらに表示することを特徴とする請求項１から７のいずれか１項に記載の画像処理システム。
【請求項９】
第１の対象物を第１の撮像手段に撮像させるステップと、
前記第１の対象物に関連する第２の対象物を第２の撮像手段に撮像させるステップと、
前記第１の撮像手段の撮像領域内の所望の位置における視野に対応した前記第２の撮像手段による撮像画像を取得するステップと、
前記所定の位置において、前記第２の撮像手段による撮像画像を表示手段に表示させるステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
第１の対象物を撮像する第１の撮像手段と、
前記第１の対象物と関連性を有する第２の対象物を撮像する第２の撮像手段と、
前記第１の撮像手段の撮像領域内の所望の位置における視野に対応した前記第２の撮像手段による撮像画像を取得する取得手段と、
前記所定の位置において、前記第２の撮像手段による撮像画像を表示する表示手段と
を有することを特徴とする画像処理システム。
【請求項２】
前記取得手段は、前記第１の撮像手段による撮像画像に基づいて、前記第２の撮像手段の撮像条件を変化させて取得することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第２の撮像手段の撮像領域内に、前記第２の撮像手段による撮像画像に基づいてされた指示に応じたアノテーション画像を投影する投影手段を有することを特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記表示手段は、二次元識別情報を備え、
前記取得手段は、前記第１の撮像手段による撮像画像上での二次元識別情報の向き及び大きさに基づいて、取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
【請求項５】
前記表示手段は、前記第１の撮像手段を一体形成しており、
前記取得手段は、前記第１の撮像手段による撮像画像上での第１の対象物の向き及び大きさに基づいて、取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
【請求項６】
前記取得手段は、前記表示手段の移動に応じて移動量を算出し、移動後の位置における視野に対応した前記第２の撮像手段による撮像画像を取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理システム。
【請求項７】
前記第２の撮像手段に代えて、前記第１の撮像手段による撮像画像に対応する前記第２の対象物の画像を記憶する記憶手段を有することを特徴とする請求項１から６のいずれか１項に記載の画像処理システム。
【請求項８】
前記表示手段は、前記第２の撮像手段による撮像画像上に表れる第２の対象物に関する仕様をさらに表示することを特徴とする請求項１から７のいずれか１項に記載の画像処理システム。
【請求項９】
第１の対象物を第１の撮像手段に撮像させるステップと、
前記第１の対象物に関連する第２の対象物を第２の撮像手段に撮像させるステップと、
前記第１の撮像手段の撮像領域内の所望の位置における視野に対応した前記第２の撮像手段による撮像画像を取得するステップと、
前記所定の位置において、前記第２の撮像手段による撮像画像を表示手段に表示させるステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−１３１１７４（Ｐ２００８−１３１１７４Ａ）
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願番号】特願２００６−３１１６０９（Ｐ２００６−３１１６０９）
【出願日】平成１８年１１月１７日（２００６．１１．１７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願日】平成１８年１１月１７日（２００６．１１．１７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]