遠隔指示システム及び遠隔指示方法
【課題】 少ない計算量で被写体の形状に合ったアノテーション画像を投影できる遠隔指示システムを提供する。
【解決手段】 被写体２００をビデオカメラ２０により撮像させつつその撮像画像を遠隔端末１００に送信すると共に、該遠隔端末１００でなされた前記撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させ得るサーバ５０を有する遠隔指示システム１であって、サーバ５０は、被写体２００のアノテーション画像２０１が投影される部分の三次元形状を計測し、計測した被写体２００のアノテーション画像２０１が投影される部分の三次元形状に基づいて被写体２００に投影するアノテーション画像を生成する。
【解決手段】 被写体２００をビデオカメラ２０により撮像させつつその撮像画像を遠隔端末１００に送信すると共に、該遠隔端末１００でなされた前記撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させ得るサーバ５０を有する遠隔指示システム１であって、サーバ５０は、被写体２００のアノテーション画像２０１が投影される部分の三次元形状を計測し、計測した被写体２００のアノテーション画像２０１が投影される部分の三次元形状に基づいて被写体２００に投影するアノテーション画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔指示システム及び遠隔指示方法に関する。
【背景技術】
【０００２】
遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像（投影画像図形）を実物体側でプロジェクタにより対象物へ投影する技術が知られている（特許文献１参照）。
【０００３】
また、対象物の三次元形状を計測してその対象物の形状合ったアノテーション画像を投影する技術が提案されている。例えば、対象物の３次元形状を２組のカメラ／プロジェクタにて計測し、その計測結果に基づき、指示者が存する遠隔地のＰＣに対象物のＣＧ画像を表示する。指示者が入力ツールを用いて物体の作業に関する指示を行った場合、その指示データはＰＣに送信され、指示データに応じた指示画像がプロジェクタによって対象物に投影される（特許文献２参照）。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００３−２７０７１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に記載の技術では、対象物の三次元形状を全て取得しているため対象物の三次元形状計測のための計算量が多いという問題がある。また、対象物が回転する等のように対象物が移動する場合、対象物の三次元形状の計測に時間が掛かってしまうと、対象物にあったアノテーション画像の生成が対象物の移動に間に合わない。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたもので、少ない計算量で対象物の形状に合ったアノテーション画像を投影できる遠隔指示システム及び遠隔指示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影させ得る制御手段を有する遠隔指示システムであって、前記制御手段は、前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測し、該計測した前記対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成することを特徴とする。
【０００７】
本発明よれば、対象物のアノテーション画像が投影される部分の三次元形状だけを計測し、その三次元形状に合ったアノテーション画像を生成することにより、対象物のすべての３次元形状を計測する場合に比べて、計算量を少なくでき、計算時間を短縮できる。よって、少ない計算量で対象物に合ったアノテーション画像を投影できる。これにより、対象物が移動するような場合であっても、対象物の移動に合わせてアノテーション画像を投影できる。
【０００８】
本発明の遠隔指示システムは、前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する相対位置変更手段をさらに備え、前記制御手段は、前記相対位置変更手段による前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更する。本発明によれば、対象物が回転する等のように対象物が移動する場合でも、対象物の形状の取得に時間が掛からないため、対象物の移動にアノテーション画像を追随させることができる。
【０００９】
前記制御手段は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。本発明によれば、アノテーション画像を用いることにより形状を測定するために必要な画像を別途投影する必要がないため、システムを簡素化できる。
【００１０】
前記制御手段は、前記アノテーション画像を前記対象物に一部分ずつ投影しながら前記対象物の前記アノテーション画像が投影される部分の三次元形状を測定するとよい。前記制御手段は、前記アノテーション画像が投影された対象物を撮像した撮像画像を用いて三角測量法により前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。
【００１１】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ前記対象物に投影していき、該投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。前記相対位置変更手段は、例えば前記対象物を回動させ得る回転ステージを含んで構成されている。
【００１２】
前記制御手段は、前記相対位置変更手段による前記対象物の相対的な位置関係の変更が所定期間停止した後に前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更するとよい。前記相対位置変更手段は、前記対象物を上下、左右及び斜めの方向の少なくともいずれかの方向に移動させることにより前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更するとよい。
【００１３】
前記制御手段は、前記投影手段により前記アノテーション画像を前記対象物の幅方向、前記対象物の高さ方向及び前記アノテーション画像の最小幅の方向に前記アノテーション画像を一部分ずつ投影させるとよい。
【００１４】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ投影させる際に新たに投影する箇所を強調して投影させるとよい。本発明によれば、変化のあった箇所を特定の色で投影し、また変化のあった箇所の点を大きく投影するなどのように、変化のあった箇所を強調して表示することにより、画像処理において変化のあった箇所を抽出し易くなる。
【００１５】
本発明は、対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影する遠隔指示方法であって、前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測する計測工程と、前記計測した対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成する生成工程とを有する。
【００１６】
本発明よれば、対象物のアノテーション画像が投影される部分の三次元形状だけを計測し、その三次元形状に合ったアノテーション画像を生成することにより、対象物のすべての３次元形状を計測する場合に比べて、計算量を少なくでき、計算時間を短縮できる。よって、少ない計算量で対象物に合ったアノテーション画像を投影できる。これにより、対象物が移動するような場合であっても、対象物の移動に合わせてアノテーション画像を投影できる。
【００１７】
本発明の遠隔指示方法は、前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する工程と、前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更する工程とをさらに有する。本発明によれば、対象物が回転する等のように対象物が移動する場合でも、対象物の形状の取得に時間が掛からないため、対象物の移動にアノテーション画像を追随させることができる。
【００１８】
前記計測工程は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。前記計測工程は、前記投影手段により前記対象物に一部分ずつ投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。
【発明の効果】
【００１９】
本発明によれば、少ない計算量で対象物の形状に合ったアノテーション画像を投影できる遠隔指示システム及び遠隔指示方法を提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。この遠隔指示システム１は、図１に示すように、被写体側装置１０及び遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。
【００２１】
被写体側装置１０は、撮像手段としての第１ビデオカメラ２０、第２ビデオカメラ３０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等を有する。第１ビデオカメラ２０及び第２ビデオカメラは、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体（対象物）２００を撮像すると共に、その撮像画像の情報をサーバ５０へ出力する。尚、第１ビデオカメラ２０及び第２ビデオカメラ３０は、ハーフミラー６０を透過した画像を撮像する。
【００２２】
プロジェクタ４０は、例えば液晶プロジェクタ等で構成され、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０により第１ビデオカメラ２０及び第２ビデオカメラ３０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。
【００２３】
回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を回動させることにより、第１ビデオカメラ２０、第２ビデオカメラ３０及びプロジェクタ４０に対する被写体２００の位置を変更する。サーバ５０は、第１ビデオカメラ２０、第２ビデオカメラ３０、プロジェクタ４０及び回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、第１ビデオカメラ２０が撮像した撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。また、サーバ５０は、回転ステージ７０による被写体２００の回動（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。
【００２４】
遠隔端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等を有する。表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回動による被写体２００の回動を指示するのに用いられる。
【００２５】
次に、上記構成の遠隔指示システムの動作について図２ないし図４を参照して説明する。図２は被写体側装置１０のサーバ５０における処理の一例を示すフローチャートであり、図３は遠隔端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図４は遠隔端末１００側の操作の一例を説明するための図である。
【００２６】
図２に示すように、被写体側装置１０側のサーバ５０では、第１ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、第１ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。
【００２７】
次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。
【００２８】
一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、第１ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００２９】
次に、遠隔端末１００の動作について説明する。先ず、図３に示すように、遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。
【００３０】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、遠隔端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像ＤＲを投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。
【００３１】
例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。
【００３２】
次いで、コンピュータ１２０は、遠隔端末１００でなされた第１ビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００３３】
ここで、遠隔端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、遠隔端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ２４）。
【００３４】
次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。
【００３５】
次に、被写体のアノテーション画像が投影される部分の三次元形状の測定方法について説明する。図５は、被写体のアノテーション画像が投影される部分の三次元形状を計測する際の処理フローチャートである。まず、第１ビデオカメラ２０で被写体２００を撮影する（ステップＳ３１）。次いで、サーバ５０は、第１ビデオカメラ２０を介して撮影映像データを取り込み、撮影画像データをネットワーク３００を介して遠隔端末１００へ送信する（ステップＳ３２）。
【００３６】
次に、サーバ５０は、遠隔端末１００でアノテーション画像の描画が行われたかどうかを判断する（ステップＳ３３）。サーバ５０は、遠隔端末１００でアノテーション画像の描画が行われたと判断した場合、遠隔端末１００から取得したアノテーション画像データをプロジェクタ４０の座標系に変換する（ステップＳ３４）。ここで、第１ビデオカメラ２０とプロジェクタ２０は、予めキャリブレーションされており、第１ビデオカメラ２０の映像座標とプロジェクタ４０の映像座標との関係は測定されているため、第１ビデオカメラ２０の映像座標からプロジェクタ４０の映像座標へ変換を行うことができる。
【００３７】
サーバ５０は、被写体のアノテーション画像を投影する部分を特定するために、プロジェクタ４０によりアノテーション画像２０１を一部分ずつ被写体２００に投影していく（ステップＳ３５）。ここでは、サーバ５０は、プロジェクタ４０によりアノテーション画像２０１を一画素ごと被写体２００に投影する。図６は、アノテーション画像２０１を一部ずつ除々に被写体２００に投影していく様子を示す図である。図６に示すように、アノテーション画像２０１は、時刻ｔ１では同図（ａ）の位置まで投影され、時刻ｔ２では同図（ｂ）の位置まで投影され、時刻ｔ３では同図（ｃ）の位置まで投影される。このようにして、アノテーション画像２０１を一部ずつ除々に被写体２００に投影していくことにより被写体２００のアノテーション画像が投影される部分の形状を特定する。
【００３８】
そして、サーバ５０は、アノテーション画像をプロジェクタ４０により投影している間、さらに第２ビデオカメラ３０で被写体２００を撮影する。サーバ５０は、第１ビデオカメラ２０及び第２ビデオカメラ３０から得た撮影映像データに基づいて、三角測量の原理を用いて、被写体２００のアノテーション画像が投影される部分の距離を求めながら、被写体２００のアノテーション画像２０１が投影される部分の三次元形状を計測する（ステップＳ３６）。
【００３９】
図７は、新たに投影されたアノテーション画像部分の特定方法を説明するための図である。図７において第１ビデオカメラ２０で撮影した撮影映像２１と第２ビデオカメラ３０で撮影した撮影映像３１に黒丸で示した箇所は、アノテーション画像の新たに投影され、画像上で変化の起きた座標を示している。
【００４０】
サーバ５０は、第１ビデオカメラ２０及び第２ビデオカメラ３０で撮影された映像上で変化が起きた座標、すなわち新しく描画が行われた箇所を抽出する。第１ビデオカメラ２０及び第２ビデオカメラ３０は、予めキャリブレーションされており、位置関係および焦点距離が予め測定されている。そして、サーバ５０は、第１ビデオカメラ２０で撮影された撮影映像２１及び第２ビデオカメラで撮影された撮影映像３１の中で変化が起きた座標を特定し、三角測量の原理によって、第１ビデオビデオカメラ２０に対するアノテーション画像２０１の三次元位置を測定する。これにより、アノテーション画像２０１が次第に投影されていくに従い、アノテーション画像２０１の三次元位置が計測される。
【００４１】
次に、サーバ５０は、遠隔端末１００からの制御信号に基づいて遠隔端末１００の利用者によって回転ステージ７０が制御されたかどうかを判断し（ステップＳ３７）、遠隔端末１００の利用者によって回転ステージ７０が制御された場合、回転ステージ７０の回転を制御する制御信号に基づいて回転ステージ７０の回転角を求め、求めた回転ステージ７０の回転角からアノテーション画像の移動するべき３次元位置を計算する（ステップＳ３８）。ここで、回転ステージ７０の回転軸の第１ビデオカメラ２０に対する位置は、予め測定されているため、回転ステージ７０の回転角が分かれば計算によって回転ステージ７０の回転後のアノテーション画像の３次元位置がどの位置になるかを計算できる。
【００４２】
サーバ５０は、アノテーション画像の移動すべき三次元位置に基づいて、プロジェクタ４０の投影図形を計算して被写体２００にアノテーション画像を投影する（ステップＳ３９）。図８は、アノテーション画像の移動すべき三次元位置について説明するための図である。図８において、参照符号２１は、模式的に示した第１ビデオカメラ２０の撮影映像である。アノテーション画像２０１は、回転ステージ７０の回転後は、新たなアノテーション画像２０２として投影される。
【００４３】
具体的には、サーバ５０は、第１ビデオカメラ２０に対する回転後のアノテーション画像２０１の三次元位置と、第１ビデオカメラ２０の焦点距離から、第１ビデオカメラ２０の撮影映像２１上の回転後のアノテーション画像を計算する。そして、サーバ５０は、撮影映像２１上の回転後のアノテーション画像をプロジェクタ４０の座標に変換し、プロジェクタ４０により回転後のアノテーション画像２０２を被写体２００に投影する。これにより、被写体のすべての３次元形状を計測する場合に比べて、計算量を少なくでき、計算時間を短縮できる。よって、少ない計算量で被写体に合ったアノテーション画像を投影できる。これにより、被写体が移動するような場合であっても、被写体の移動に合わせてアノテーション画像を投影できる。
【００４４】
図９は、被写体のアノテーション画像が投影される部分の三次元形状を計測する際の他の処理フローチャートである。Ｓ４８のステップが組み込まれている点が図５の動作例と異なる。図９の動作例では、サーバ５０は、回転ステージ７０による被写体２００の相対的な位置関係の変更が所定期間停止した後にプロジェクタ４０の被写体２００に対するアノテーション画像２０１の投影位置を変更する。これにより、回転中は処理を行わず、回転が終了したときに処理を行ってアノテーション画像の追随が可能となる。その他の処理は、ステップＳ４１〜ステップＳ４７がステップＳ３１〜ステップＳ３８に対応し、ステップＳ４９〜ステップＳ４１１がステップＳ３８〜ステップＳ３１０に対応する。
【００４５】
図１０は、回転ステージの移動方向を説明するための図であり、同図（ａ）は回転ステージ７０が上下左右に平行移動する場合の例、同図（ｃ）は傾きが制御できる回転ステージ７０の場合の例である。回転ステージ７０は、回転だけでなく、被写体２００を上下、左右、又は斜めの方向に移動させることによりプロジェクタ４０及び第１ビデオカメラ２０、第２ビデオカメラ３０に対する被写体２００の相対的な位置関係を変更する。なお、サーバ５０は、回転ステージ７０の制御による３次元位置の移動情報を取得できるものとする。
【００４６】
図１１は、アノテーション画像の投影方法を説明する図であり、（ａ）はアノテーション画像を幅方向に除々に投影する場合の例、（ｂ）はアノテーション画像２０１を被写体２００の高さ方向に投影する場合の例、（ｃ）はアノテーション画像２０１の最小幅の方向にアノテーション画像を除々に投影する場合の例、（ｄ）はアノテーション画像の最小幅を説明する図である。サーバ５０は、プロジェクタ４０によりアノテーション画像２０１を被写体２００の幅方向（同図（ａ））、被写体２００の高さ方向（同図（ｂ））又はアノテーション画像２０１の最小幅の方向（同図（ｃ）（ｄ））にアノテーション画像２０１を一部分ずつ投影させる。図１１（ｃ）のようにアノテーション画像の最小幅の方向へアノテーション画像の一部分ずつ投影させることで、被写体２００のアノテーション画像２０１の投影される部分の三次元形状の計測時間を短縮できる。
【００４７】
以上のように、本実施形態によれば、被写体２００のアノテーション画像２０１が投影される部分の三次元形状だけを計測し、その三次元形状に合ったアノテーション画像を生成することにより、被写体２００のすべての三次元形状を計測する場合に比べて、計算量を少なくできるため、計算時間を短縮できる。よって、少ない計算量で被写体に合ったアノテーション画像を被写体２００に投影できる。これにより、被写体２００が移動するような場合であっても、被写体２００の移動に合わせて被写体２００の同じ位置にアノテーション画像２０１を投影できる。
【００４８】
また、本実施形態によれば、被写体２００の位置を遠隔端末１００側から変更した場合であっても、変更に合わせてアノテーション画像の投影位置が自動的に変更されるので、遠隔端末１００からの操作性がさらに向上する。また、アノテーション画像２０１を被写体２００に一部分ずつ投影しながら被写体２００のアノテーション画像が投影される部分の三次元形状を測定することにより、別途被写体に三次元形状を計測するための光を投影する必要がなくなる。また、アノテーション画像２０１が投影された被写体２００を撮像した撮像画像を用いて三角測量法により被写体２００のアノテーション画像２０１が投影される部分の三次元形状を計測することにより、被写体２００におけるアノテーション画像が投影された投影部分の三次元的座標位置を正確に検出できるので、被写体２００の回転移動に伴うアノテーション画像の投影位置の修正が精密にできる。
【００４９】
上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。
【００５０】
上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ及び投影手段としてのプロジェクタを移動させる構成とすることも可能である。
【００５１】
上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。
【００５２】
上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。
【００５３】
上記実施形態では、第１ビデオカメラ２０の撮像画像のみをサーバ５０から遠隔端末１００へ配信する場合について説明したが、これに限定されるわけではなく、第２ビデオカメラ３０の撮像画像も遠隔端末１００へ配信する構成とすることも可能である。
【００５４】
なお、本発明による遠隔指示方法は、被写体側装置１０によって実現されている。また、サーバ５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現されている。
【００５５】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明の遠隔指示システムの一実施形態を示す構成図である。
【図２】被写体側装置のサーバにおける処理の一例を示すフローチャートである。
【図３】遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図４】遠隔端末側の操作の一例を説明するための図である。
【図５】被写体のアノテーション画像が投影される部分の三次元形状を計測する際の処理フローチャートである。
【図６】アノテーション画像を一部ずつ除々に被写体に投影していく様子を示す図である。
【図７】新たに投影されたアノテーション画像部分の特定方法を説明するための図である。
【図８】アノテーション画像の移動すべき三次元位置について説明するための図である。
【図９】被写体のアノテーション画像が投影される部分の三次元形状を計測する際の他の処理フローチャートである。
【図１０】回転ステージの移動方向を説明するための図である。
【図１１】アノテーション画像の投影方法を説明する図である。
【符号の説明】
【００５７】
１ 遠隔指示システム
１０ 被写体側装置
２０ ビデオカメラ
３０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
７０ 回転ステージ
１００ 遠隔端末
１２０ コンピュータ
２００ 被写体
【技術分野】
【０００１】
本発明は、遠隔指示システム及び遠隔指示方法に関する。
【背景技術】
【０００２】
遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像（投影画像図形）を実物体側でプロジェクタにより対象物へ投影する技術が知られている（特許文献１参照）。
【０００３】
また、対象物の三次元形状を計測してその対象物の形状合ったアノテーション画像を投影する技術が提案されている。例えば、対象物の３次元形状を２組のカメラ／プロジェクタにて計測し、その計測結果に基づき、指示者が存する遠隔地のＰＣに対象物のＣＧ画像を表示する。指示者が入力ツールを用いて物体の作業に関する指示を行った場合、その指示データはＰＣに送信され、指示データに応じた指示画像がプロジェクタによって対象物に投影される（特許文献２参照）。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００３−２７０７１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に記載の技術では、対象物の三次元形状を全て取得しているため対象物の三次元形状計測のための計算量が多いという問題がある。また、対象物が回転する等のように対象物が移動する場合、対象物の三次元形状の計測に時間が掛かってしまうと、対象物にあったアノテーション画像の生成が対象物の移動に間に合わない。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたもので、少ない計算量で対象物の形状に合ったアノテーション画像を投影できる遠隔指示システム及び遠隔指示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影させ得る制御手段を有する遠隔指示システムであって、前記制御手段は、前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測し、該計測した前記対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成することを特徴とする。
【０００７】
本発明よれば、対象物のアノテーション画像が投影される部分の三次元形状だけを計測し、その三次元形状に合ったアノテーション画像を生成することにより、対象物のすべての３次元形状を計測する場合に比べて、計算量を少なくでき、計算時間を短縮できる。よって、少ない計算量で対象物に合ったアノテーション画像を投影できる。これにより、対象物が移動するような場合であっても、対象物の移動に合わせてアノテーション画像を投影できる。
【０００８】
本発明の遠隔指示システムは、前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する相対位置変更手段をさらに備え、前記制御手段は、前記相対位置変更手段による前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更する。本発明によれば、対象物が回転する等のように対象物が移動する場合でも、対象物の形状の取得に時間が掛からないため、対象物の移動にアノテーション画像を追随させることができる。
【０００９】
前記制御手段は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。本発明によれば、アノテーション画像を用いることにより形状を測定するために必要な画像を別途投影する必要がないため、システムを簡素化できる。
【００１０】
前記制御手段は、前記アノテーション画像を前記対象物に一部分ずつ投影しながら前記対象物の前記アノテーション画像が投影される部分の三次元形状を測定するとよい。前記制御手段は、前記アノテーション画像が投影された対象物を撮像した撮像画像を用いて三角測量法により前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。
【００１１】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ前記対象物に投影していき、該投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。前記相対位置変更手段は、例えば前記対象物を回動させ得る回転ステージを含んで構成されている。
【００１２】
前記制御手段は、前記相対位置変更手段による前記対象物の相対的な位置関係の変更が所定期間停止した後に前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更するとよい。前記相対位置変更手段は、前記対象物を上下、左右及び斜めの方向の少なくともいずれかの方向に移動させることにより前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更するとよい。
【００１３】
前記制御手段は、前記投影手段により前記アノテーション画像を前記対象物の幅方向、前記対象物の高さ方向及び前記アノテーション画像の最小幅の方向に前記アノテーション画像を一部分ずつ投影させるとよい。
【００１４】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ投影させる際に新たに投影する箇所を強調して投影させるとよい。本発明によれば、変化のあった箇所を特定の色で投影し、また変化のあった箇所の点を大きく投影するなどのように、変化のあった箇所を強調して表示することにより、画像処理において変化のあった箇所を抽出し易くなる。
【００１５】
本発明は、対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影する遠隔指示方法であって、前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測する計測工程と、前記計測した対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成する生成工程とを有する。
【００１６】
本発明よれば、対象物のアノテーション画像が投影される部分の三次元形状だけを計測し、その三次元形状に合ったアノテーション画像を生成することにより、対象物のすべての３次元形状を計測する場合に比べて、計算量を少なくでき、計算時間を短縮できる。よって、少ない計算量で対象物に合ったアノテーション画像を投影できる。これにより、対象物が移動するような場合であっても、対象物の移動に合わせてアノテーション画像を投影できる。
【００１７】
本発明の遠隔指示方法は、前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する工程と、前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更する工程とをさらに有する。本発明によれば、対象物が回転する等のように対象物が移動する場合でも、対象物の形状の取得に時間が掛からないため、対象物の移動にアノテーション画像を追随させることができる。
【００１８】
前記計測工程は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。前記計測工程は、前記投影手段により前記対象物に一部分ずつ投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測するとよい。
【発明の効果】
【００１９】
本発明によれば、少ない計算量で対象物の形状に合ったアノテーション画像を投影できる遠隔指示システム及び遠隔指示方法を提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。この遠隔指示システム１は、図１に示すように、被写体側装置１０及び遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。
【００２１】
被写体側装置１０は、撮像手段としての第１ビデオカメラ２０、第２ビデオカメラ３０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等を有する。第１ビデオカメラ２０及び第２ビデオカメラは、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体（対象物）２００を撮像すると共に、その撮像画像の情報をサーバ５０へ出力する。尚、第１ビデオカメラ２０及び第２ビデオカメラ３０は、ハーフミラー６０を透過した画像を撮像する。
【００２２】
プロジェクタ４０は、例えば液晶プロジェクタ等で構成され、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０により第１ビデオカメラ２０及び第２ビデオカメラ３０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。
【００２３】
回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を回動させることにより、第１ビデオカメラ２０、第２ビデオカメラ３０及びプロジェクタ４０に対する被写体２００の位置を変更する。サーバ５０は、第１ビデオカメラ２０、第２ビデオカメラ３０、プロジェクタ４０及び回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、第１ビデオカメラ２０が撮像した撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。また、サーバ５０は、回転ステージ７０による被写体２００の回動（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。
【００２４】
遠隔端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等を有する。表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回動による被写体２００の回動を指示するのに用いられる。
【００２５】
次に、上記構成の遠隔指示システムの動作について図２ないし図４を参照して説明する。図２は被写体側装置１０のサーバ５０における処理の一例を示すフローチャートであり、図３は遠隔端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図４は遠隔端末１００側の操作の一例を説明するための図である。
【００２６】
図２に示すように、被写体側装置１０側のサーバ５０では、第１ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、第１ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。
【００２７】
次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。
【００２８】
一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、第１ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００２９】
次に、遠隔端末１００の動作について説明する。先ず、図３に示すように、遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。
【００３０】
次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、遠隔端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像ＤＲを投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。
【００３１】
例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。
【００３２】
次いで、コンピュータ１２０は、遠隔端末１００でなされた第１ビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００３３】
ここで、遠隔端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、遠隔端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ２４）。
【００３４】
次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。
【００３５】
次に、被写体のアノテーション画像が投影される部分の三次元形状の測定方法について説明する。図５は、被写体のアノテーション画像が投影される部分の三次元形状を計測する際の処理フローチャートである。まず、第１ビデオカメラ２０で被写体２００を撮影する（ステップＳ３１）。次いで、サーバ５０は、第１ビデオカメラ２０を介して撮影映像データを取り込み、撮影画像データをネットワーク３００を介して遠隔端末１００へ送信する（ステップＳ３２）。
【００３６】
次に、サーバ５０は、遠隔端末１００でアノテーション画像の描画が行われたかどうかを判断する（ステップＳ３３）。サーバ５０は、遠隔端末１００でアノテーション画像の描画が行われたと判断した場合、遠隔端末１００から取得したアノテーション画像データをプロジェクタ４０の座標系に変換する（ステップＳ３４）。ここで、第１ビデオカメラ２０とプロジェクタ２０は、予めキャリブレーションされており、第１ビデオカメラ２０の映像座標とプロジェクタ４０の映像座標との関係は測定されているため、第１ビデオカメラ２０の映像座標からプロジェクタ４０の映像座標へ変換を行うことができる。
【００３７】
サーバ５０は、被写体のアノテーション画像を投影する部分を特定するために、プロジェクタ４０によりアノテーション画像２０１を一部分ずつ被写体２００に投影していく（ステップＳ３５）。ここでは、サーバ５０は、プロジェクタ４０によりアノテーション画像２０１を一画素ごと被写体２００に投影する。図６は、アノテーション画像２０１を一部ずつ除々に被写体２００に投影していく様子を示す図である。図６に示すように、アノテーション画像２０１は、時刻ｔ１では同図（ａ）の位置まで投影され、時刻ｔ２では同図（ｂ）の位置まで投影され、時刻ｔ３では同図（ｃ）の位置まで投影される。このようにして、アノテーション画像２０１を一部ずつ除々に被写体２００に投影していくことにより被写体２００のアノテーション画像が投影される部分の形状を特定する。
【００３８】
そして、サーバ５０は、アノテーション画像をプロジェクタ４０により投影している間、さらに第２ビデオカメラ３０で被写体２００を撮影する。サーバ５０は、第１ビデオカメラ２０及び第２ビデオカメラ３０から得た撮影映像データに基づいて、三角測量の原理を用いて、被写体２００のアノテーション画像が投影される部分の距離を求めながら、被写体２００のアノテーション画像２０１が投影される部分の三次元形状を計測する（ステップＳ３６）。
【００３９】
図７は、新たに投影されたアノテーション画像部分の特定方法を説明するための図である。図７において第１ビデオカメラ２０で撮影した撮影映像２１と第２ビデオカメラ３０で撮影した撮影映像３１に黒丸で示した箇所は、アノテーション画像の新たに投影され、画像上で変化の起きた座標を示している。
【００４０】
サーバ５０は、第１ビデオカメラ２０及び第２ビデオカメラ３０で撮影された映像上で変化が起きた座標、すなわち新しく描画が行われた箇所を抽出する。第１ビデオカメラ２０及び第２ビデオカメラ３０は、予めキャリブレーションされており、位置関係および焦点距離が予め測定されている。そして、サーバ５０は、第１ビデオカメラ２０で撮影された撮影映像２１及び第２ビデオカメラで撮影された撮影映像３１の中で変化が起きた座標を特定し、三角測量の原理によって、第１ビデオビデオカメラ２０に対するアノテーション画像２０１の三次元位置を測定する。これにより、アノテーション画像２０１が次第に投影されていくに従い、アノテーション画像２０１の三次元位置が計測される。
【００４１】
次に、サーバ５０は、遠隔端末１００からの制御信号に基づいて遠隔端末１００の利用者によって回転ステージ７０が制御されたかどうかを判断し（ステップＳ３７）、遠隔端末１００の利用者によって回転ステージ７０が制御された場合、回転ステージ７０の回転を制御する制御信号に基づいて回転ステージ７０の回転角を求め、求めた回転ステージ７０の回転角からアノテーション画像の移動するべき３次元位置を計算する（ステップＳ３８）。ここで、回転ステージ７０の回転軸の第１ビデオカメラ２０に対する位置は、予め測定されているため、回転ステージ７０の回転角が分かれば計算によって回転ステージ７０の回転後のアノテーション画像の３次元位置がどの位置になるかを計算できる。
【００４２】
サーバ５０は、アノテーション画像の移動すべき三次元位置に基づいて、プロジェクタ４０の投影図形を計算して被写体２００にアノテーション画像を投影する（ステップＳ３９）。図８は、アノテーション画像の移動すべき三次元位置について説明するための図である。図８において、参照符号２１は、模式的に示した第１ビデオカメラ２０の撮影映像である。アノテーション画像２０１は、回転ステージ７０の回転後は、新たなアノテーション画像２０２として投影される。
【００４３】
具体的には、サーバ５０は、第１ビデオカメラ２０に対する回転後のアノテーション画像２０１の三次元位置と、第１ビデオカメラ２０の焦点距離から、第１ビデオカメラ２０の撮影映像２１上の回転後のアノテーション画像を計算する。そして、サーバ５０は、撮影映像２１上の回転後のアノテーション画像をプロジェクタ４０の座標に変換し、プロジェクタ４０により回転後のアノテーション画像２０２を被写体２００に投影する。これにより、被写体のすべての３次元形状を計測する場合に比べて、計算量を少なくでき、計算時間を短縮できる。よって、少ない計算量で被写体に合ったアノテーション画像を投影できる。これにより、被写体が移動するような場合であっても、被写体の移動に合わせてアノテーション画像を投影できる。
【００４４】
図９は、被写体のアノテーション画像が投影される部分の三次元形状を計測する際の他の処理フローチャートである。Ｓ４８のステップが組み込まれている点が図５の動作例と異なる。図９の動作例では、サーバ５０は、回転ステージ７０による被写体２００の相対的な位置関係の変更が所定期間停止した後にプロジェクタ４０の被写体２００に対するアノテーション画像２０１の投影位置を変更する。これにより、回転中は処理を行わず、回転が終了したときに処理を行ってアノテーション画像の追随が可能となる。その他の処理は、ステップＳ４１〜ステップＳ４７がステップＳ３１〜ステップＳ３８に対応し、ステップＳ４９〜ステップＳ４１１がステップＳ３８〜ステップＳ３１０に対応する。
【００４５】
図１０は、回転ステージの移動方向を説明するための図であり、同図（ａ）は回転ステージ７０が上下左右に平行移動する場合の例、同図（ｃ）は傾きが制御できる回転ステージ７０の場合の例である。回転ステージ７０は、回転だけでなく、被写体２００を上下、左右、又は斜めの方向に移動させることによりプロジェクタ４０及び第１ビデオカメラ２０、第２ビデオカメラ３０に対する被写体２００の相対的な位置関係を変更する。なお、サーバ５０は、回転ステージ７０の制御による３次元位置の移動情報を取得できるものとする。
【００４６】
図１１は、アノテーション画像の投影方法を説明する図であり、（ａ）はアノテーション画像を幅方向に除々に投影する場合の例、（ｂ）はアノテーション画像２０１を被写体２００の高さ方向に投影する場合の例、（ｃ）はアノテーション画像２０１の最小幅の方向にアノテーション画像を除々に投影する場合の例、（ｄ）はアノテーション画像の最小幅を説明する図である。サーバ５０は、プロジェクタ４０によりアノテーション画像２０１を被写体２００の幅方向（同図（ａ））、被写体２００の高さ方向（同図（ｂ））又はアノテーション画像２０１の最小幅の方向（同図（ｃ）（ｄ））にアノテーション画像２０１を一部分ずつ投影させる。図１１（ｃ）のようにアノテーション画像の最小幅の方向へアノテーション画像の一部分ずつ投影させることで、被写体２００のアノテーション画像２０１の投影される部分の三次元形状の計測時間を短縮できる。
【００４７】
以上のように、本実施形態によれば、被写体２００のアノテーション画像２０１が投影される部分の三次元形状だけを計測し、その三次元形状に合ったアノテーション画像を生成することにより、被写体２００のすべての三次元形状を計測する場合に比べて、計算量を少なくできるため、計算時間を短縮できる。よって、少ない計算量で被写体に合ったアノテーション画像を被写体２００に投影できる。これにより、被写体２００が移動するような場合であっても、被写体２００の移動に合わせて被写体２００の同じ位置にアノテーション画像２０１を投影できる。
【００４８】
また、本実施形態によれば、被写体２００の位置を遠隔端末１００側から変更した場合であっても、変更に合わせてアノテーション画像の投影位置が自動的に変更されるので、遠隔端末１００からの操作性がさらに向上する。また、アノテーション画像２０１を被写体２００に一部分ずつ投影しながら被写体２００のアノテーション画像が投影される部分の三次元形状を測定することにより、別途被写体に三次元形状を計測するための光を投影する必要がなくなる。また、アノテーション画像２０１が投影された被写体２００を撮像した撮像画像を用いて三角測量法により被写体２００のアノテーション画像２０１が投影される部分の三次元形状を計測することにより、被写体２００におけるアノテーション画像が投影された投影部分の三次元的座標位置を正確に検出できるので、被写体２００の回転移動に伴うアノテーション画像の投影位置の修正が精密にできる。
【００４９】
上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。
【００５０】
上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ及び投影手段としてのプロジェクタを移動させる構成とすることも可能である。
【００５１】
上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。
【００５２】
上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。
【００５３】
上記実施形態では、第１ビデオカメラ２０の撮像画像のみをサーバ５０から遠隔端末１００へ配信する場合について説明したが、これに限定されるわけではなく、第２ビデオカメラ３０の撮像画像も遠隔端末１００へ配信する構成とすることも可能である。
【００５４】
なお、本発明による遠隔指示方法は、被写体側装置１０によって実現されている。また、サーバ５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現されている。
【００５５】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明の遠隔指示システムの一実施形態を示す構成図である。
【図２】被写体側装置のサーバにおける処理の一例を示すフローチャートである。
【図３】遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。
【図４】遠隔端末側の操作の一例を説明するための図である。
【図５】被写体のアノテーション画像が投影される部分の三次元形状を計測する際の処理フローチャートである。
【図６】アノテーション画像を一部ずつ除々に被写体に投影していく様子を示す図である。
【図７】新たに投影されたアノテーション画像部分の特定方法を説明するための図である。
【図８】アノテーション画像の移動すべき三次元位置について説明するための図である。
【図９】被写体のアノテーション画像が投影される部分の三次元形状を計測する際の他の処理フローチャートである。
【図１０】回転ステージの移動方向を説明するための図である。
【図１１】アノテーション画像の投影方法を説明する図である。
【符号の説明】
【００５７】
１ 遠隔指示システム
１０ 被写体側装置
２０ ビデオカメラ
３０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
７０ 回転ステージ
１００ 遠隔端末
１２０ コンピュータ
２００ 被写体
【特許請求の範囲】
【請求項１】
対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影させ得る制御手段を有する遠隔指示システムであって、
前記制御手段は、前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測し、該計測した前記対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成することを特徴とする遠隔指示システム。
【請求項２】
前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する相対位置変更手段をさらに備え、
前記制御手段は、前記相対位置変更手段による前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更することを特徴とする請求項１に記載の遠隔指示システム。
【請求項３】
前記制御手段は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項４】
前記制御手段は、前記アノテーション画像を前記対象物に一部分ずつ投影しながら前記対象物の前記アノテーション画像が投影される部分の三次元形状を測定することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項５】
前記制御手段は、前記アノテーション画像が投影された対象物を撮像した撮像画像を用いて三角測量法により前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項６】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ前記対象物に投影していき、該投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項７】
前記相対位置変更手段は、前記対象物を回動させ得る回転ステージを含むことを特徴とする請求項２から請求項６のいずれかに記載の遠隔指示システム。
【請求項８】
前記制御手段は、前記相対位置変更手段による前記対象物の相対的な位置関係の変更が所定期間停止した後に前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更することを特徴とする請求項２から請求項７のいずれかに記載の遠隔指示システム。
【請求項９】
前記相対位置変更手段は、前記対象物を上下、左右及び斜めの方向の少なくともいずれかの方向に移動させることにより前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更することを特徴とする請求項２から請求項７のいずれかに記載の遠隔指示システム。
【請求項１０】
前記制御手段は、前記投影手段により前記アノテーション画像を前記対象物の幅方向、前記対象物の高さ方向及び前記アノテーション画像の最小幅の方向に前記アノテーション画像を一部分ずつ投影させることを特徴とする請求項４又は請求項６に記載の遠隔指示システム。
【請求項１１】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ投影させる際に新たに投影する箇所を強調して投影させることを特徴とする請求項４又は請求項６に記載の遠隔指示システム。
【請求項１２】
対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影する遠隔指示方法であって、
前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測する計測工程と、
前記計測した対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成する生成工程と
を有することを特徴とする遠隔指示方法。
【請求項１３】
前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する工程と、
前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更する工程とをさらに有することを特徴とする請求項１２に記載の遠隔指示方法。
【請求項１４】
前記計測工程は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１２又は請求項１３に記載の遠隔指示方法。
【請求項１５】
前記計測工程は、前記投影手段により前記対象物に一部分ずつ投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１２又は請求項１３に記載の遠隔指示方法。
【請求項１】
対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影させ得る制御手段を有する遠隔指示システムであって、
前記制御手段は、前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測し、該計測した前記対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成することを特徴とする遠隔指示システム。
【請求項２】
前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する相対位置変更手段をさらに備え、
前記制御手段は、前記相対位置変更手段による前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更することを特徴とする請求項１に記載の遠隔指示システム。
【請求項３】
前記制御手段は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項４】
前記制御手段は、前記アノテーション画像を前記対象物に一部分ずつ投影しながら前記対象物の前記アノテーション画像が投影される部分の三次元形状を測定することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項５】
前記制御手段は、前記アノテーション画像が投影された対象物を撮像した撮像画像を用いて三角測量法により前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項６】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ前記対象物に投影していき、該投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
【請求項７】
前記相対位置変更手段は、前記対象物を回動させ得る回転ステージを含むことを特徴とする請求項２から請求項６のいずれかに記載の遠隔指示システム。
【請求項８】
前記制御手段は、前記相対位置変更手段による前記対象物の相対的な位置関係の変更が所定期間停止した後に前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更することを特徴とする請求項２から請求項７のいずれかに記載の遠隔指示システム。
【請求項９】
前記相対位置変更手段は、前記対象物を上下、左右及び斜めの方向の少なくともいずれかの方向に移動させることにより前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更することを特徴とする請求項２から請求項７のいずれかに記載の遠隔指示システム。
【請求項１０】
前記制御手段は、前記投影手段により前記アノテーション画像を前記対象物の幅方向、前記対象物の高さ方向及び前記アノテーション画像の最小幅の方向に前記アノテーション画像を一部分ずつ投影させることを特徴とする請求項４又は請求項６に記載の遠隔指示システム。
【請求項１１】
前記制御手段は、前記投影手段により前記アノテーション画像を一部分ずつ投影させる際に新たに投影する箇所を強調して投影させることを特徴とする請求項４又は請求項６に記載の遠隔指示システム。
【請求項１２】
対象物を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、該遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記対象物へ投影する遠隔指示方法であって、
前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測する計測工程と、
前記計測した対象物の前記アノテーション画像が投影される部分の三次元形状に基づいて前記対象物に投影するアノテーション画像を生成する生成工程と
を有することを特徴とする遠隔指示方法。
【請求項１３】
前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する工程と、
前記対象物の移動に合わせて前記投影手段の前記対象物に対するアノテーション画像の投影位置を変更する工程とをさらに有することを特徴とする請求項１２に記載の遠隔指示方法。
【請求項１４】
前記計測工程は、前記対象物に投影されたアノテーション画像を利用して前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１２又は請求項１３に記載の遠隔指示方法。
【請求項１５】
前記計測工程は、前記投影手段により前記対象物に一部分ずつ投影されたアノテーション画像を前記撮像手段で撮像した撮像画像に基づいて前記対象物の前記アノテーション画像が投影される部分の三次元形状を計測することを特徴とする請求項１２又は請求項１３に記載の遠隔指示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−１９８８７０（Ｐ２００７−１９８８７０Ａ）
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願番号】特願２００６−１７０２０（Ｐ２００６−１７０２０）
【出願日】平成１８年１月２６日（２００６．１．２６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１９年８月９日（２００７．８．９）
【国際特許分類】
【出願日】平成１８年１月２６日（２００６．１．２６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]