情報処理システム及び情報処理装置
【課題】撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影することができる情報処理システム及び情報処理装置を提供する。
【解決手段】投影画像生成部１０５は、アノテーション画像を生成すると共に、タブレット８からコピーモードの指示が入力されたときの当該タブレット８の位置に対応する部分画像を切り出し、アノテーション画像付き部分画像を生成する。投影処理部１０６は、上記アノテーション画像と、タブレット８の位置及び姿勢を検知する検知処理部１０２の検知結果を使用して投影変換したアノテーション画像付き部分画像とをプロジェクタ４に出力する。プロジェクタ４は、アノテーション画像をコピーモードの指示が入力されたときのタブレット８の位置に、投影変換済みのアノテーション画像付き部分画像をタブレット８上にそれぞれ投影する。
【解決手段】投影画像生成部１０５は、アノテーション画像を生成すると共に、タブレット８からコピーモードの指示が入力されたときの当該タブレット８の位置に対応する部分画像を切り出し、アノテーション画像付き部分画像を生成する。投影処理部１０６は、上記アノテーション画像と、タブレット８の位置及び姿勢を検知する検知処理部１０２の検知結果を使用して投影変換したアノテーション画像付き部分画像とをプロジェクタ４に出力する。プロジェクタ４は、アノテーション画像をコピーモードの指示が入力されたときのタブレット８の位置に、投影変換済みのアノテーション画像付き部分画像をタブレット８上にそれぞれ投影する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム及び情報処理装置に関する。
【背景技術】
【０００２】
従来より、カメラとプロジェクタを使い、ユーザ間でコミュニケーションを行うシステムが知られている（例えば、特許文献１参照）。このシステムは、カメラと、当該カメラと光学的に主点を同位置にしたプロジェクタとがある第１の地点と、第１の地点にあるカメラで撮影した画像に対してアノテーション（注釈）を追記できる端末を有する第２の地点とで構成されている。第２の地点の端末においてアノテーションの追記を指示すると、第１の地点においてそのアノテーションがプロジェクタにより投影される。
【特許文献１】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１では、第２の地点にいるユーザでなければ、アノテーションの追記ができなかった。特許文献１のシステムは、第１の地点と第２の地点とが離れていてもユーザ間でコミュニケーションを図ることができるが、アノテーションの追記は第２の地点でしか実施ができなかった。
【０００４】
本発明の目的は、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができる情報処理システム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、請求項１の情報処理システムは、入力装置を含む領域を撮影する撮影装置と、注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、前記領域に注釈画像を投影する投影装置と、前記入力装置から注釈画像の座標情報を入力する入力手段、前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段、前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、及び前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段を有する情報処理装置とを備えることを特徴とする。
【０００６】
請求項２の情報処理システムは、請求項１に記載の情報処理システムにおいて、前記出力手段は、前記投影装置が前記注釈画像を前記入力装置から第１の指示が入力されたときの当該入力装置の位置に投影するように、前記生成手段で生成された注釈画像を前記投影装置に出力することを特徴とする。
【０００７】
請求項３の情報処理システムは、請求項１又は２に記載の情報処理システムにおいて、前記入力装置から第１の指示が入力される前は、前記生成手段は、前記撮影装置で予め撮影された撮影画像から当該入力装置の位置に対応する部分画像を切り出し、前記出力手段は、前記検知手段の検知結果を使用して前記部分画像を前記投影装置用の画像に変換し、前記投影装置に出力し、前記投影装置は、前記変換済みの部分画像を前記検知手段に検知される入力装置上に投影することを特徴とする。
【０００８】
請求項４の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に当該注釈画像が投影されるように、前記注釈画像を前記投影装置に出力することを特徴とする。
【０００９】
請求項５の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に、その注釈画像を前記部分画像に付加した注釈画像付き部分画像が投影されるように、当該部分画像を前記投影装置に出力することを特徴とする。
【００１０】
請求項６の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像を前記投影装置に出力することを特徴とする。
【００１１】
請求項７の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像付き部分画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力することを特徴とする。
【００１２】
請求項８の情報処理システムは、請求項１乃至７のいずれか１項に記載の情報処理システムにおいて、前記入力装置で入力された指示に応じた処理を実行する実行手段をさらに備え、前記生成手段は、複数の指示を規定する指示画像を生成し、前記出力手段は、前記検出手段の検出結果を使用して前記指示画像を前記投影装置用の画像に変換し、前記投影装置に出力し、前記投影装置は、前記出力手段から出力された変換済みの指示画像を前記入力装置上に投影し、前記入力手段は、前記入力装置に入力された座標情報と、当該入力装置上に投影された指示画像とに基づいて、当該第１画像に規定された複数の指示のうちのいずれか１つを決定し、前記実行手段は、前記決定された指示に応じた処理を実行することを特徴とする。
【００１３】
請求項９の情報処理システムは、注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と、前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、注釈画像又は指示を受け付ける第１画像を生成する生成手段、前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、前記入力装置に入力された座標情報を入力する入力手段、前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、前記投影装置は、前記検知される入力手段上に、前記指示内容又は注釈画像が反映された画像を投影することを特徴とする。
【００１４】
請求項１０の情報処理装置は、入力装置を含む領域を撮影する撮影装置と、注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、前記領域に注釈画像を投影する投影装置とに接続される接続手段と、 前記入力装置から注釈画像の座標情報を入力する入力手段と、前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段と、前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段と、前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１５】
請求項１，９，１０の発明によれば、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができる。
【００１６】
請求項２の発明によれば、第１の指示が入力されたときの入力装置の位置に注釈画像を投影することができる。
【００１７】
請求項３の発明によれば、入力装置から第１の指示が入力される前は、検知される入力装置の位置及び姿勢に応じた部分画像を入力装置上に投影することができる。
【００１８】
請求項４の発明によれば、注釈画像を当該注釈画像が入力されたときの入力装置の位置に貼り付けることができる。
【００１９】
請求項５の発明によれば、注釈画像付き部分画像が検知手段に検知される入力装置上に投影され、且つ注釈画像付き部分画像が第２の指示が入力されたときの入力装置の位置に投影されるので、注釈画像付き部分画像を複数のユーザに提供することができる。
【００２０】
請求項６の発明によれば、注釈画像を所定時間移動していない入力装置の位置に貼り付けることができる。
【００２１】
請求項７の発明によれば、注釈画像付き部分画像が検知手段に検知される入力装置上に投影され、且つ注釈画像付き部分画像が所定時間移動していない入力装置の位置に投影されるので、注釈画像付き部分画像を複数のユーザに提供することができる。
【００２２】
請求項８の発明によれば、ユーザは、入力装置上に投影される指示画像で規定する複数の指示のうちいずれか１つを入力装置で選択し、当該指示に応じた処理を実行手段に実行させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２４】
図１は、本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示すブロック図である。
【００２５】
図１の遠隔指示システムは、ローカル側のシステムとリモート側のシステムとを備えている。情報処理システムとしてのローカル側のシステムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、プロジェクタ４（投影装置）、カメラ５（撮影装置）、及びタブレット８（入力装置）を備えている。ＰＣ１には、プロジェクタ４（投影装置）、カメラ５（撮影装置）、及びタブレット８が接続されている。リモート側のシステムは、クライアントとして機能するＰＣ２を備えており、ＰＣ２には、表示装置２１が接続されている。ＰＣ１及びＰＣ２は、ネットワーク３を介して互いに接続されている。
【００２６】
プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物６が置かれたテーブル７の領域に対してアノテーション画像（注釈画像）等を投影する。アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。アノテーション画像には、ＰＣ２で入力されるものと、タブレット８で入力されるものがある。
【００２７】
カメラ５は、ビデオカメラ又はＰＴＺ（Pan Tilt Zoom）カメラで構成され、テーブル７の領域を撮影し、撮影画像をＰＣ１に出力する。この撮影画像は、表示装置２１で表示される。また、後述するように、撮影画像の一部は、タブレット８がテーブル７上にある場合に、プロジェクタ４を介して当該タブレット８上に投影される。
【００２８】
タブレット８は、形状が四角形で、感圧式のパネルを有しており、ユーザがペンを使って当該感圧式のパネルを押下する又はなぞることで、指示又はアノテーション画像を入力する。タブレット８は、入力した指示又はアノテーション画像をＰＣ１に出力する。ローカル側のユーザがタブレット８にアノテーション画像を入力すると、当該アノテーション画像はプロジェクタ４を介してテーブル７の領域に投影される。また、タブレット８は、ＰＣ１に赤外線又はbluetooth（登録商標）等の無線通信で接続されているが、通信ケーブルを使って有線通信でＰＣ１に接続してもよい。
【００２９】
尚、以下の説明において、タブレット８に投影される画像は、全てタブレット８の感圧式パネル上に投影されるものとする。
【００３０】
ＰＣ１は、カメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２１に接続されており、表示部２１は、撮影画像の表示領域２３及びユーザインターフェース（ＵＩ）２２を表示する。尚、ＰＣ２は、表示装置２１を備える一体型のパーソナルコンピュータで構成してもよい。
【００３１】
ＵＩ２２は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域２３には、カメラ５で撮影された撮影画像が表示される。同図においては、タブレット８を含むテーブル７の領域をカメラ５により撮影した撮影画像が表示領域２３に表示されている。例えば、ＵＩ２２のペンボタンが押下されて、表示領域２３内に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいてテーブル７又はタブレット８上に図形を描く。
【００３２】
尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、複数のクライアント（ＰＣ）を備えていてもよい。また、テーブル７の領域を撮影するカメラも１台に限定するものではなく、複数台あってもよい。さらに、ＰＣ１に接続されるタブレットの数は、１つでも複数でもよい。
【００３３】
図２は、ＰＣ１のハードウエア構成を示すブロック図である。
【００３４】
ＰＣ１は、装置全体を制御するＣＰＵ１１、制御プログラムを備えるＲＯＭ１２、ワーキングエリアとして機能するＲＡＭ１３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）１４、他のコンピュータと接続するためのネットワークインターフェース１５、プロジェクタ４及びカメラ５などのＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース１６（接続手段）、及びタブレット８と有線又は無線の通信を行う通信部１７（接続手段）を備えている。ＣＰＵ１１はシステムバス１８を介してＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４、ネットワークインターフェース１５、ＵＳＢインターフェース１６、及び通信部１７に接続されている。
【００３５】
図３は、ＰＣ１の機能構成を示すブロック図である。
【００３６】
ＰＣ１は、タブレット８からの座標情報又は指示入力を取得する入力処理部１０１（入力手段）と、タブレット８の移動を検知し、これらの位置及び姿勢を算出する検知処理部１０２（検知手段、判別手段）、各種のデータや情報を保存する保存部１０３と、ＰＣ１全体を制御する制御部１０４（実行手段）と、投影画像を生成する投影画像生成部１０５（生成手段）と、投影画像をタブレット８上に投影する際に投影対象の画像の変換処理を実行する投影処理部１０６（出力手段）とを備えている。
【００３７】
保存部１０３は、タブレット８上に投影される各種のＧＵＩ（Graphical User Interface）を記憶するＧＵＩデータベース１０３ａと、カメラ５で撮影された撮影画像を保存するフレームバッファ領域１０３ｂと、コピーモード実行時にカメラ５で撮影された静止画像（スナップショット）を保存するスナップショット領域１０３ｃと、コピーモード実行時のタブレット８の位置情報（即ちタブレット８の座標情報）を保存する位置保存領域１０３ｄとを備えている。
【００３８】
制御部１０４及び投影画像生成部１０５は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。入力処理部１０１は、ＣＰＵ２１及び通信部１７に相当し、検知処理部１０２及び投影処理部１０６は、ＣＰＵ２１及びＵＳＢインターフェース１６に相当し、保存部１０３は、ハードディスクドライブ（ＨＤＤ）１４に相当する。
【００３９】
以下、各機能ブロックが実行する処理を具体的に説明する。
【００４０】
まず、カメラ５がタブレット８を含むテーブル７の領域を、継続的に撮影する（例えば、０．５秒毎に撮影する）。撮影画像は、カメラ５から検知処理部１０２に送信される。
【００４１】
検知処理部１０２は、撮影した画像シーケンスからタブレット８の形状検出及びテンプレートマッチングによってタブレット８を認識する。
【００４２】
具体的には、検知処理部１０２は、前処理として撮影した画像シーケンスに対しノイズ除去や平滑化を行い、公知のCanny法を用いてエッジの検出を行う。次いで、検知処理部１０２は、検出されたエッジから公知のHough変換を用いて、複数の直線の検出を行う。このとき、検知処理部１０２は、タブレット８のサイズや平行性を考慮し、タブレット８に関係のない線分の除去を行う。その後、検知処理部１０２は、検出された複数の直線の交差点から平行四辺形の検出を行い、検出された平行四辺形をタブレット８の候補とする。最後に、検知処理部１０２は、予め撮影されたタブレット８の画像と、タブレット８の候補とを比較し、タブレット８の特徴（例えば、枠の形状、又はタブレット８に装着されたボタンなど）を持つ候補をタブレット８とする。
【００４３】
検知処理部１０２は、認識したタブレット８の位置及び姿勢を特定する座標（ここではタブレット８の４つの角の座標）を算出する。
【００４４】
投影画像生成部１０５は、タブレット８に投影する画像を生成する。投影処理部１０６は、検知処理部１０２で算出されたタブレット８の座標と投影画像生成部１０５で生成された投影用画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用画像の変換（以下、投影変換という）を行う。
【００４５】
投影処理部１０６は、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像を全投影内容の一部としてタブレット８へ投影する。このとき、プロジェクタ４はタブレット８以外の領域には、通常の投影を行っても良い。即ち、プロジェクタ４は、タブレット８と、タブレット８以外の領域とに同時に異なる内容の画像を投影することができる。投影変換された画像がタブレット８上に投影される状態を図４に示す。
【００４６】
タブレット８は、ペンで入力されたアノテーション画像の座標を入力処理部１０１に出力する。入力処理部１０１は、アノテーション画像の座標に対し、上記投影変換の逆変換を行い、投影用画像上における相対座標を算出し、制御部１０４に当該相対座標を出力する。
【００４７】
制御部１０４は、当該相対座標を投影画像生成部１０５に出力し、投影画像生成部１０５は、投影用のアノテーション画像をタブレット８に投影する画像上に生成し、投影処理部１０６に出力する。逆投影変換されたアノテーション画像が投影用画像上に形成された状態を図５に示す。投影処理部１０６は、上述したように、推定されたパラメータを用いて、投影変換を行い、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像を全投影内容の一部としてタブレット８へ投影する。
【００４８】
図６，７は、ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
【００４９】
本処理では、カメラ５がタブレット８を含むテーブル７の領域を、継続的に撮影しているものとする（例えば、０．５秒毎に撮影する）。
【００５０】
まず、制御部１０４は、入力処理部１０１を介してタブレット８からコピーモードの指示が入力されたか否かを判別する（ステップＳ１１）。ここで、コピーモードとは、プロジェクタ４側からテーブル７の領域を見て、タブレット８がテーブル７の任意の領域と重なる場合に、その任意の領域に対応する予め撮影された撮影画像が、タブレット８の移動によらず、タブレット８上に固定的に投影されるモードである。このモードが実行されると、ユーザの目の前にある実物（即ち対象物６を含むテーブル７）の一部の画像が常にタブレット８上に固定的に投影される。よって、ユーザは、テーブル７の領域内の撮影したい場所にタブレット８を重ねて、コピーモードの指示を入力することで、撮影したい場所の画像をタブレット８上に投影することができる。
【００５１】
尚、ステップＳ１１でユーザがタブレット８でコピーモードの指示を入力する場合、タブレット８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレット８に投影されるＧＵＩ内のコピーモードの位置をタップすることが必要である。
【００５２】
ステップＳ１１でコピーモードの指示が入力されていない場合（ＮＯ）の場合には、検知処理部１０２は、カメラ５からの撮影画像をフレームバッファ領域１０３ｂに保存し、タブレット８の位置及び姿勢を特定する座標（ここではタブレット８の４つの角の座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ１２）。
【００５３】
投影画像生成部１０５は、フレームバッファ領域１０３ｂから撮影画像を読み出し、タブレット８の位置及び姿勢を特定する座標に基づいて、当該撮影画像から、タブレット８に投影される部分画像を切り出し、当該部分画像を投影処理部１０６に出力する（ステップＳ１３）。投影画像生成部１０５により切り出される部分画像は、プロジェクタ４側からテーブル７の領域を見たときに、タブレット８が対象物６を含むテーブル７の領域と重なる部分の撮影画像である。従って、投影画像生成部１０５は、タブレット８がテーブル７の任意の領域と重なる場合には、当該任意の領域に重なる直前に撮影された撮影画像から当該部分画像を切り出す。図８（Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレット８と対象物６を含むテーブル７との位置関係を示す図であり、図８（Ｂ）は、対象物６上を通過するタブレット８に投影される部分画像のシーケンスを示す図である。
【００５４】
投影処理部１０６は、検知処理部１０２で算出されたタブレット８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ１４）。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレット８へ投影し（ステップＳ１５）、ステップＳ１２に戻る。
【００５５】
ステップＳ１２〜Ｓ１５のループ処理により、タブレット８の位置及び姿勢が検知されて、タブレット８の位置及び姿勢に応じた部分画像がタブレット８上に投影される。
【００５６】
ステップＳ１１でコピーモードの指示が入力された場合（ＹＥＳ）の場合には、制御部１０４は、撮影画像のスナップショット（即ち、カメラ５のシャッターを切ったときの画像）の保存指示及びスナップショットの撮影の瞬間のタブレット８の位置及び姿勢を特定する座標の保存指示を検知処理部１０２に出力する（ステップＳ１６）。
【００５７】
検知処理部１０２は、撮影画像のスナップショットをスナップショット領域１０３ｃに保存すると共に当該スナップショットの撮影の瞬間のタブレット８の位置及び姿勢を特定する座標を位置保存領域１０３ｄに保存する（ステップＳ１７）。
【００５８】
次いで、制御部１０４は、コピーモードの指示及び投影画像の生成の指示を投影画像生成部１０５に出力する（ステップＳ１８）。
【００５９】
投影画像生成部１０５は、位置保存領域１０３ｄに保存されたスナップショットの撮影の瞬間のタブレット８の座標に基づいて、スナップショット領域１０３ｃに保存されたスナップショットから投影用の部分画像を切り出し、切り出した部分画像をスナップショット領域１０３ｃに保存すると共に投影処理部１０６に出力する（ステップＳ１９）。切り出した画像は、適宜拡大縮小しても良い。
【００６０】
投影処理部１０６は、スナップショットの撮影の瞬間のタブレット８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ２０）。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレット８へ投影する（ステップＳ２１）。
【００６１】
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ２２）。
【００６２】
投影画像生成部１０５は、入力処理部１０１及び制御部１０４を介してタブレット８からアノテーション画像の座標の入力があるか否かを判別する（ステップＳ２３）。
【００６３】
ステップＳ２３でアノテーション画像の座標の入力がない場合（ＮＯ）には、ステップ１９に進み、投影画像生成部１０５は、スナップショット領域１０３ｃに保存された投影用の部分画像を投影処理部１０６に出力する。以降のステップＳ２０の処理では、投影処理部１０６は、スナップショットの撮影の瞬間のタブレット８の座標に代えて、ステップＳ２２で検知処理部１０２から出力されるタブレット８の座標を利用する。
【００６４】
以上のステップＳ１１でＹＥＳ→ステップＳ２３でＮＯ→ステップＳ１９の一連の処理により、タブレット８の移動が検知されて、タブレット８の移動位置によらず、スナップショットから切り出された投影用の部分画像がタブレット８上に投影される。
【００６５】
ステップＳ２３でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力すると共に、生成されたアノテーション画像をスナップショット領域１０３ｃに保存された投影用の部分画像に付加して、投影処理部１０６に出力する（ステップＳ２４）。
【００６６】
投影処理部１０６は、ステップＳ２２で検知処理部１０２から出力されるタブレット８の座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された部分画像及びアノテーション画像をプロジェクタ４に出力し（ステップＳ２５）、ステップＳ２１の処理に進む。以降のステップＳ２１の処理では、プロジェクタ４は、投影変換された部分画像をタブレット８に投影し、アノテーション画像を対象物６を含むテーブル７の領域に投影する。
【００６７】
以上のステップＳ１１でＹＥＳ→ステップＳ２３でＹＥＳ→ステップＳ２１の一連の処理により、タブレット８の移動が検知されて、タブレット８の移動位置によらず、アノテーション画像が付加された投影用の部分画像がタブレット８上に投影され、さらに、アノテーション画像は単独で実物（即ち、対象物６を含むテーブル７の領域）に投影される。
【００６８】
次に、ＰＣ１で実行される共有モードの処理を説明する。
【００６９】
共有モードとは、複数のユーザが１つのタブレットを共用し、プロジェクタ４がタブレット上に撮影画像の部分画像を投影し、さらにタブレット上に投影された撮影画像の部分画像をテーブル７の任意の領域に投影するモードである。タブレット８にアノテーション画像の入力がある場合には、当該アノテーション画像もタブレット８及び上記テーブル７の任意の領域に投影される。
【００７０】
図９は、ＰＣ１で実行される共有モードの処理を示すフローチャートである。
【００７１】
共有モードの前提として、ローカル側のシステムは、対象物６側にアノテーション画像が投影され、且つタブレット８の位置及び姿勢が検知され、タブレット８上には、撮影画像の一部である部分画像及びアノテーション画像が投影されている状態、又はアノテーション画像の投影はなく、タブレット８の位置及び姿勢が検知され、タブレット８上には、撮影画像の一部である部分画像が投影されている状態であるとする。
【００７２】
まず、制御部１０４は、入力処理部１０１を介してタブレット８から共有モードの指示が入力されたか否かを判別する（ステップＳ３１）。
【００７３】
尚、ステップＳ３１でユーザがタブレット８で共有モードの指示を入力する場合、タブレット８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレット８に投影されるＧＵＩ内の共有モードの位置をタップすることが必要である。
【００７４】
ステップＳ３１で共有モードの指示が入力されていない場合（ＮＯ）には、本処理を終了する。一方、ステップＳ３１で共有モードの指示が入力された場合（ＹＥＳ）には、制御部１０４は、撮影画像内のタブレット８の位置を特定する座標（以下、このタブレット８の座標を共有座標という）の保存指示を検知処理部１０２に出力する（ステップＳ３２）。
【００７５】
検知処理部１０２は、撮影画像から共有座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ３３）。尚、検知処理部１０２は、カメラ５から新たな撮影画像を入力する度にタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する。
【００７６】
投影画像生成部１０５は、入力処理部１０１及び制御部１０４を介してタブレット８からアノテーション画像の座標の入力があるか否かを判別する（ステップＳ３４）。
【００７７】
ステップＳ３４でアノテーション画像の座標の入力がない場合（ＮＯ）には、投影画像生成部１０５は、スナップショット領域１０３ｃに保存された投影用の部分画像を投影処理部１０６に出力する（ステップＳ３５）。
【００７８】
次いで、投影処理部１０６は、共有座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用の第１パラメータを推定し、この推定された第１パラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された第１の部分画像をプロジェクタ４に出力すると共に、タブレット８の位置及び姿勢の変化に応じたタブレット８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用の第２パラメータを推定し、この推定された第２パラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された第２の部分画像をプロジェクタ４に出力する（ステップ３６）。
【００７９】
プロジェクタ４は、投影変換された第１の部分画像を共有座標に対応するテーブル７の領域に投影すると共に投影変換された第２の部分画像をタブレット８へ投影する（ステップＳ３７）。
【００８０】
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力し（ステップＳ３８）、ステップＳ３４に戻る。
【００８１】
ステップＳ３４でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力すると共に、生成されたアノテーション画像をスナップショット領域１０３ｃに保存された投影用の部分画像に付加して、投影処理部１０６に出力する（ステップＳ３９）。
【００８２】
投影処理部１０６は、共有座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用の第３パラメータを推定し、この推定された第３パラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された第１のアノテーション画像付きの部分画像をプロジェクタ４に出力し、且つタブレット８の位置及び姿勢の変化に応じたタブレット８の座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用の第４パラメータを推定し、この推定された第４パラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された第２のアノテーション画像付きの部分画像をプロジェクタ４に出力する（ステップＳ４０）。
【００８３】
プロジェクタ４は、第３パラメータを用いて投影変換された第１のアノテーション画像付きの部分画像を共有座標に対応するテーブル７の領域に投影し、第４パラメータを用いて投影変換された第２のアノテーション画像付きの部分画像をタブレット８に投影し、アノテーション画像をスナップショットを撮影したときのタブレット８の位置に投影する（ステップＳ４１）。
【００８４】
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力し（ステップＳ４２）、ステップＳ３４に戻る。
【００８５】
図９の処理によれば、アノテーション画像付き部分画像が検知処理部１０２に検知されるタブレット８上に投影され、且つアノテーション画像付き部分画像が共有モードの指示が入力されたときの撮影画像内のタブレット８の位置に投影されるので、アノテーション画像付き部分画像を同時に複数のユーザに提供することができる。
【００８６】
上記共有モードでは、投影変換された部分画像又は投影変換されたアノテーション画像付きの部分画像は、タブレット８から共有モードの指示が入力されたときの撮影画像内のタブレット８の位置を特定する座標（共有座標）に投影されたが、検知処理部１０２が、タブレット８が所定時間（例えば、５分）移動していないか否かを判別し、タブレット８が所定時間（例えば、５分）移動していない場合には、共有座標の位置に代えて、その移動していないタブレット８の位置に投影変換された部分画像又は投影変換されたアノテーション画像付きの部分画像が投影されるようにしてもよい。この場合、タブレット８が移動すると、上記移動していないタブレット８の位置及び移動したタブレット８上に、投影変換された部分画像又は投影変換されたアノテーション画像付きの部分画像が投影されるので、アノテーション画像付き部分画像を同時に複数のユーザに提供することができる。
【００８７】
また、図１２に示すように、ステップＳ３４でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５が、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力し（ステップＳ６１）、投影処理部１０６が、アノテーション画像の投影変換を行い（ステップ６２）、プロジェクタ４が、アノテーション画像が入力されたときのタブレット８の位置に投影変換されたアノテーション画像を投影するようにしてもよい（ステップ６３）。この場合、アノテーション画像付き部分画像は投影されず、アノテーション画像のみが投影される。これにより、いわゆるポストイットのように、アノテーション画像を当該アノテーション画像が入力されたときのタブレット８の位置に貼り付けることができる。
【００８８】
さらに、検知処理部１０２が、タブレット８が所定時間（例えば、５分）移動していないか否かを判別し、タブレット８が所定時間（例えば、５分）移動していない場合には、その移動していないタブレット８の位置に投影変換されたアノテーション画像が投影されるようにしてもよい。これにより、いわゆるポストイットのように、アノテーション画像を所定時間移動していないタブレット８の位置に貼り付けることができる。
【００８９】
図１０は、ＧＵＩをタブレット８上に投影する処理及びタブレットで指定されたモードを実行する処理を示すフローチャートである。本処理は、ＰＣ１により実行される。
【００９０】
まず、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレット８の形状検出及びテンプレートマッチングによってタブレット８を認識し、認識したタブレット８の位置及び姿勢を特定する座標を算出し、当該タブレット８の座標を投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ５１）。
【００９１】
次に、投影画像生成部１０５は、ＧＵＩデータベース１０３ａの各種のＧＵＩの要素に基づいて、タブレット８に投影するＧＵＩ画像を生成する（ステップＳ５２）。
【００９２】
投影処理部１０６は、検知処理部１０２で算出されたタブレット８の座標と投影画像生成部１０５で生成された投影用のＧＵＩ画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、ＧＵＩ画像の投影変換を行い、投影変換されたＧＵＩ画像をプロジェクタ４に出力する（ステップＳ５３）。プロジェクタ４は、当該投影変換されたＧＵＩ画像を全投影内容の一部としてタブレット８へ投影する（ステップＳ５４）。タブレット８へ投影されたＧＵＩ画像の一例を図１１に示す。
【００９３】
タブレット８は、ペンで入力された座標を入力処理部１０１に出力する（ステップＳ５５）。入力処理部１０１は、ペンで入力された座標に対し、上記投影変換の逆変換を行い、投影画像生成部１０５から取得したＧＵＩ画像上における相対座標を算出し、ペンで入力されたモードを決定する（ステップＳ５６）。
【００９４】
制御部１０４は、入力処理部１０１から決定されたモードの情報を入力し、当該モードの情報に応じた処理を実行し（ステップＳ５７）、本処理を終了する。
【００９５】
モードの情報に応じた処理とは、例えば、入力されたモードが印刷モードの場合は、制御部１０４は、不図示のプリンタドライバに印刷開始の指示を出力する。また、入力されたモードがコピーモードの場合は、制御部１０４は、上記図６、７の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。入力されたモードが共有モードの場合は、制御部１０４は、上記図９の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。
【００９６】
図１０の処理によれば、ユーザは、タブレット８上に投影されるＧＵＩ画像で規定する複数のモードのうちいずれか１つをタブレット８で選択し、当該モードに応じた処理を制御部１０４に実行させることができる。
【００９７】
以上詳細に説明したように、本実施の形態によれば、入力処理部１０１は、タブレット８からアノテーション画像の座標情報を入力し、投影画像生成部１０５は、アノテーション画像の座標情報に基づいてアノテーション画像を生成すると共に、タブレット８からコピーモードの指示（第１の指示）が入力されたときに、カメラ５で予め撮影された撮影画像から当該タブレット８の位置に対応する部分画像を切り出し、当該部分画像にアノテーション画像を付加したアノテーション画像付き部分画像を生成する。そして、検知処理部１０２は、カメラ５で撮影された複数の撮影画像からタブレット８の位置及び姿勢を検知し、投影処理部１０６は、投影画像生成部１０５で生成されたアノテーション画像をプロジェクタ４に出力すると共に、検知処理部１０２の検知結果を使用してアノテーション画像付き部分画像を投影変換し、プロジェクタ４に出力する。プロジェクタ４は、投影処理部１０６から出力されたアノテーション画像をタブレット８からコピーモードの指示が入力されたときの当該タブレット８の位置に投影すると共に、投影処理部１０６から出力された投影変換済みのアノテーション画像付き部分画像を検知処理部１０２に検知されるタブレット８上に投影する。
【００９８】
よって、カメラ５側又はプロジェクタ４側においても、対象物を含む領域にアノテーション画像を簡単な構成で投影させることができる。タブレット８には、撮影画像の一部である部分画像が投影されるので、アノテーション画像を撮影画像内のユーザ所望の位置に追記し易くなる。表示部のような発光部材を有していないタブレットが利用できるので、消費電力を抑えることができる。
【００９９】
ＰＣ１の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、ＰＣ１に供給し、ＰＣ１のＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。
【０１００】
また、ＰＣ１のＣＰＵが、ＰＣ１の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
【０１０１】
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示すブロック図である。
【図２】ＰＣ１のハードウエア構成を示すブロック図である。
【図３】ＰＣ１の機能構成を示すブロック図である。
【図４】投影変換された画像がタブレット８上に投影される状態を示す図である。
【図５】逆投影変換されたアノテーション画像が投影用画像上に形成された状態を示す図である。
【図６】ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
【図７】ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
【図８】（Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレット８と対象物６を含むテーブル７との位置関係を示す図であり、（Ｂ）は、対象物６上を通過するタブレット８に投影される部分画像のシーケンスを示す図である。
【図９】ＰＣ１で実行される共有モードの処理を示すフローチャートである。
【図１０】ＧＵＩをタブレット８上に投影する処理及びタブレットで指定されたモードを実行する処理を示すフローチャートである。
【図１１】タブレット８へ投影されたＧＵＩ画像の一例を示す図である。
【図１２】図９の処理の一部分の変形例を示すフローチャートである。
【符号の説明】
【０１０３】
１，２ ＰＣ
３ ネットワーク
４ プロジェクタ
５ カメラ
１０１ 入力処理部
１０２ 検知処理部
１０３ 保存部
１０４ 制御部
１０５ 投影画像生成部
１０６ 投影処理部
【技術分野】
【０００１】
本発明は、情報処理システム及び情報処理装置に関する。
【背景技術】
【０００２】
従来より、カメラとプロジェクタを使い、ユーザ間でコミュニケーションを行うシステムが知られている（例えば、特許文献１参照）。このシステムは、カメラと、当該カメラと光学的に主点を同位置にしたプロジェクタとがある第１の地点と、第１の地点にあるカメラで撮影した画像に対してアノテーション（注釈）を追記できる端末を有する第２の地点とで構成されている。第２の地点の端末においてアノテーションの追記を指示すると、第１の地点においてそのアノテーションがプロジェクタにより投影される。
【特許文献１】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１では、第２の地点にいるユーザでなければ、アノテーションの追記ができなかった。特許文献１のシステムは、第１の地点と第２の地点とが離れていてもユーザ間でコミュニケーションを図ることができるが、アノテーションの追記は第２の地点でしか実施ができなかった。
【０００４】
本発明の目的は、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができる情報処理システム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、請求項１の情報処理システムは、入力装置を含む領域を撮影する撮影装置と、注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、前記領域に注釈画像を投影する投影装置と、前記入力装置から注釈画像の座標情報を入力する入力手段、前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段、前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、及び前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段を有する情報処理装置とを備えることを特徴とする。
【０００６】
請求項２の情報処理システムは、請求項１に記載の情報処理システムにおいて、前記出力手段は、前記投影装置が前記注釈画像を前記入力装置から第１の指示が入力されたときの当該入力装置の位置に投影するように、前記生成手段で生成された注釈画像を前記投影装置に出力することを特徴とする。
【０００７】
請求項３の情報処理システムは、請求項１又は２に記載の情報処理システムにおいて、前記入力装置から第１の指示が入力される前は、前記生成手段は、前記撮影装置で予め撮影された撮影画像から当該入力装置の位置に対応する部分画像を切り出し、前記出力手段は、前記検知手段の検知結果を使用して前記部分画像を前記投影装置用の画像に変換し、前記投影装置に出力し、前記投影装置は、前記変換済みの部分画像を前記検知手段に検知される入力装置上に投影することを特徴とする。
【０００８】
請求項４の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に当該注釈画像が投影されるように、前記注釈画像を前記投影装置に出力することを特徴とする。
【０００９】
請求項５の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に、その注釈画像を前記部分画像に付加した注釈画像付き部分画像が投影されるように、当該部分画像を前記投影装置に出力することを特徴とする。
【００１０】
請求項６の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像を前記投影装置に出力することを特徴とする。
【００１１】
請求項７の情報処理システムは、請求項１乃至３のいずれか１項に記載の情報処理システムにおいて、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像付き部分画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力することを特徴とする。
【００１２】
請求項８の情報処理システムは、請求項１乃至７のいずれか１項に記載の情報処理システムにおいて、前記入力装置で入力された指示に応じた処理を実行する実行手段をさらに備え、前記生成手段は、複数の指示を規定する指示画像を生成し、前記出力手段は、前記検出手段の検出結果を使用して前記指示画像を前記投影装置用の画像に変換し、前記投影装置に出力し、前記投影装置は、前記出力手段から出力された変換済みの指示画像を前記入力装置上に投影し、前記入力手段は、前記入力装置に入力された座標情報と、当該入力装置上に投影された指示画像とに基づいて、当該第１画像に規定された複数の指示のうちのいずれか１つを決定し、前記実行手段は、前記決定された指示に応じた処理を実行することを特徴とする。
【００１３】
請求項９の情報処理システムは、注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と、前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、注釈画像又は指示を受け付ける第１画像を生成する生成手段、前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、前記入力装置に入力された座標情報を入力する入力手段、前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、前記投影装置は、前記検知される入力手段上に、前記指示内容又は注釈画像が反映された画像を投影することを特徴とする。
【００１４】
請求項１０の情報処理装置は、入力装置を含む領域を撮影する撮影装置と、注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、前記領域に注釈画像を投影する投影装置とに接続される接続手段と、 前記入力装置から注釈画像の座標情報を入力する入力手段と、前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段と、前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段と、前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１５】
請求項１，９，１０の発明によれば、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができる。
【００１６】
請求項２の発明によれば、第１の指示が入力されたときの入力装置の位置に注釈画像を投影することができる。
【００１７】
請求項３の発明によれば、入力装置から第１の指示が入力される前は、検知される入力装置の位置及び姿勢に応じた部分画像を入力装置上に投影することができる。
【００１８】
請求項４の発明によれば、注釈画像を当該注釈画像が入力されたときの入力装置の位置に貼り付けることができる。
【００１９】
請求項５の発明によれば、注釈画像付き部分画像が検知手段に検知される入力装置上に投影され、且つ注釈画像付き部分画像が第２の指示が入力されたときの入力装置の位置に投影されるので、注釈画像付き部分画像を複数のユーザに提供することができる。
【００２０】
請求項６の発明によれば、注釈画像を所定時間移動していない入力装置の位置に貼り付けることができる。
【００２１】
請求項７の発明によれば、注釈画像付き部分画像が検知手段に検知される入力装置上に投影され、且つ注釈画像付き部分画像が所定時間移動していない入力装置の位置に投影されるので、注釈画像付き部分画像を複数のユーザに提供することができる。
【００２２】
請求項８の発明によれば、ユーザは、入力装置上に投影される指示画像で規定する複数の指示のうちいずれか１つを入力装置で選択し、当該指示に応じた処理を実行手段に実行させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２４】
図１は、本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示すブロック図である。
【００２５】
図１の遠隔指示システムは、ローカル側のシステムとリモート側のシステムとを備えている。情報処理システムとしてのローカル側のシステムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、プロジェクタ４（投影装置）、カメラ５（撮影装置）、及びタブレット８（入力装置）を備えている。ＰＣ１には、プロジェクタ４（投影装置）、カメラ５（撮影装置）、及びタブレット８が接続されている。リモート側のシステムは、クライアントとして機能するＰＣ２を備えており、ＰＣ２には、表示装置２１が接続されている。ＰＣ１及びＰＣ２は、ネットワーク３を介して互いに接続されている。
【００２６】
プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物６が置かれたテーブル７の領域に対してアノテーション画像（注釈画像）等を投影する。アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。アノテーション画像には、ＰＣ２で入力されるものと、タブレット８で入力されるものがある。
【００２７】
カメラ５は、ビデオカメラ又はＰＴＺ（Pan Tilt Zoom）カメラで構成され、テーブル７の領域を撮影し、撮影画像をＰＣ１に出力する。この撮影画像は、表示装置２１で表示される。また、後述するように、撮影画像の一部は、タブレット８がテーブル７上にある場合に、プロジェクタ４を介して当該タブレット８上に投影される。
【００２８】
タブレット８は、形状が四角形で、感圧式のパネルを有しており、ユーザがペンを使って当該感圧式のパネルを押下する又はなぞることで、指示又はアノテーション画像を入力する。タブレット８は、入力した指示又はアノテーション画像をＰＣ１に出力する。ローカル側のユーザがタブレット８にアノテーション画像を入力すると、当該アノテーション画像はプロジェクタ４を介してテーブル７の領域に投影される。また、タブレット８は、ＰＣ１に赤外線又はbluetooth（登録商標）等の無線通信で接続されているが、通信ケーブルを使って有線通信でＰＣ１に接続してもよい。
【００２９】
尚、以下の説明において、タブレット８に投影される画像は、全てタブレット８の感圧式パネル上に投影されるものとする。
【００３０】
ＰＣ１は、カメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２１に接続されており、表示部２１は、撮影画像の表示領域２３及びユーザインターフェース（ＵＩ）２２を表示する。尚、ＰＣ２は、表示装置２１を備える一体型のパーソナルコンピュータで構成してもよい。
【００３１】
ＵＩ２２は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域２３には、カメラ５で撮影された撮影画像が表示される。同図においては、タブレット８を含むテーブル７の領域をカメラ５により撮影した撮影画像が表示領域２３に表示されている。例えば、ＵＩ２２のペンボタンが押下されて、表示領域２３内に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいてテーブル７又はタブレット８上に図形を描く。
【００３２】
尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、複数のクライアント（ＰＣ）を備えていてもよい。また、テーブル７の領域を撮影するカメラも１台に限定するものではなく、複数台あってもよい。さらに、ＰＣ１に接続されるタブレットの数は、１つでも複数でもよい。
【００３３】
図２は、ＰＣ１のハードウエア構成を示すブロック図である。
【００３４】
ＰＣ１は、装置全体を制御するＣＰＵ１１、制御プログラムを備えるＲＯＭ１２、ワーキングエリアとして機能するＲＡＭ１３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）１４、他のコンピュータと接続するためのネットワークインターフェース１５、プロジェクタ４及びカメラ５などのＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース１６（接続手段）、及びタブレット８と有線又は無線の通信を行う通信部１７（接続手段）を備えている。ＣＰＵ１１はシステムバス１８を介してＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４、ネットワークインターフェース１５、ＵＳＢインターフェース１６、及び通信部１７に接続されている。
【００３５】
図３は、ＰＣ１の機能構成を示すブロック図である。
【００３６】
ＰＣ１は、タブレット８からの座標情報又は指示入力を取得する入力処理部１０１（入力手段）と、タブレット８の移動を検知し、これらの位置及び姿勢を算出する検知処理部１０２（検知手段、判別手段）、各種のデータや情報を保存する保存部１０３と、ＰＣ１全体を制御する制御部１０４（実行手段）と、投影画像を生成する投影画像生成部１０５（生成手段）と、投影画像をタブレット８上に投影する際に投影対象の画像の変換処理を実行する投影処理部１０６（出力手段）とを備えている。
【００３７】
保存部１０３は、タブレット８上に投影される各種のＧＵＩ（Graphical User Interface）を記憶するＧＵＩデータベース１０３ａと、カメラ５で撮影された撮影画像を保存するフレームバッファ領域１０３ｂと、コピーモード実行時にカメラ５で撮影された静止画像（スナップショット）を保存するスナップショット領域１０３ｃと、コピーモード実行時のタブレット８の位置情報（即ちタブレット８の座標情報）を保存する位置保存領域１０３ｄとを備えている。
【００３８】
制御部１０４及び投影画像生成部１０５は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。入力処理部１０１は、ＣＰＵ２１及び通信部１７に相当し、検知処理部１０２及び投影処理部１０６は、ＣＰＵ２１及びＵＳＢインターフェース１６に相当し、保存部１０３は、ハードディスクドライブ（ＨＤＤ）１４に相当する。
【００３９】
以下、各機能ブロックが実行する処理を具体的に説明する。
【００４０】
まず、カメラ５がタブレット８を含むテーブル７の領域を、継続的に撮影する（例えば、０．５秒毎に撮影する）。撮影画像は、カメラ５から検知処理部１０２に送信される。
【００４１】
検知処理部１０２は、撮影した画像シーケンスからタブレット８の形状検出及びテンプレートマッチングによってタブレット８を認識する。
【００４２】
具体的には、検知処理部１０２は、前処理として撮影した画像シーケンスに対しノイズ除去や平滑化を行い、公知のCanny法を用いてエッジの検出を行う。次いで、検知処理部１０２は、検出されたエッジから公知のHough変換を用いて、複数の直線の検出を行う。このとき、検知処理部１０２は、タブレット８のサイズや平行性を考慮し、タブレット８に関係のない線分の除去を行う。その後、検知処理部１０２は、検出された複数の直線の交差点から平行四辺形の検出を行い、検出された平行四辺形をタブレット８の候補とする。最後に、検知処理部１０２は、予め撮影されたタブレット８の画像と、タブレット８の候補とを比較し、タブレット８の特徴（例えば、枠の形状、又はタブレット８に装着されたボタンなど）を持つ候補をタブレット８とする。
【００４３】
検知処理部１０２は、認識したタブレット８の位置及び姿勢を特定する座標（ここではタブレット８の４つの角の座標）を算出する。
【００４４】
投影画像生成部１０５は、タブレット８に投影する画像を生成する。投影処理部１０６は、検知処理部１０２で算出されたタブレット８の座標と投影画像生成部１０５で生成された投影用画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用画像の変換（以下、投影変換という）を行う。
【００４５】
投影処理部１０６は、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像を全投影内容の一部としてタブレット８へ投影する。このとき、プロジェクタ４はタブレット８以外の領域には、通常の投影を行っても良い。即ち、プロジェクタ４は、タブレット８と、タブレット８以外の領域とに同時に異なる内容の画像を投影することができる。投影変換された画像がタブレット８上に投影される状態を図４に示す。
【００４６】
タブレット８は、ペンで入力されたアノテーション画像の座標を入力処理部１０１に出力する。入力処理部１０１は、アノテーション画像の座標に対し、上記投影変換の逆変換を行い、投影用画像上における相対座標を算出し、制御部１０４に当該相対座標を出力する。
【００４７】
制御部１０４は、当該相対座標を投影画像生成部１０５に出力し、投影画像生成部１０５は、投影用のアノテーション画像をタブレット８に投影する画像上に生成し、投影処理部１０６に出力する。逆投影変換されたアノテーション画像が投影用画像上に形成された状態を図５に示す。投影処理部１０６は、上述したように、推定されたパラメータを用いて、投影変換を行い、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像を全投影内容の一部としてタブレット８へ投影する。
【００４８】
図６，７は、ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
【００４９】
本処理では、カメラ５がタブレット８を含むテーブル７の領域を、継続的に撮影しているものとする（例えば、０．５秒毎に撮影する）。
【００５０】
まず、制御部１０４は、入力処理部１０１を介してタブレット８からコピーモードの指示が入力されたか否かを判別する（ステップＳ１１）。ここで、コピーモードとは、プロジェクタ４側からテーブル７の領域を見て、タブレット８がテーブル７の任意の領域と重なる場合に、その任意の領域に対応する予め撮影された撮影画像が、タブレット８の移動によらず、タブレット８上に固定的に投影されるモードである。このモードが実行されると、ユーザの目の前にある実物（即ち対象物６を含むテーブル７）の一部の画像が常にタブレット８上に固定的に投影される。よって、ユーザは、テーブル７の領域内の撮影したい場所にタブレット８を重ねて、コピーモードの指示を入力することで、撮影したい場所の画像をタブレット８上に投影することができる。
【００５１】
尚、ステップＳ１１でユーザがタブレット８でコピーモードの指示を入力する場合、タブレット８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレット８に投影されるＧＵＩ内のコピーモードの位置をタップすることが必要である。
【００５２】
ステップＳ１１でコピーモードの指示が入力されていない場合（ＮＯ）の場合には、検知処理部１０２は、カメラ５からの撮影画像をフレームバッファ領域１０３ｂに保存し、タブレット８の位置及び姿勢を特定する座標（ここではタブレット８の４つの角の座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ１２）。
【００５３】
投影画像生成部１０５は、フレームバッファ領域１０３ｂから撮影画像を読み出し、タブレット８の位置及び姿勢を特定する座標に基づいて、当該撮影画像から、タブレット８に投影される部分画像を切り出し、当該部分画像を投影処理部１０６に出力する（ステップＳ１３）。投影画像生成部１０５により切り出される部分画像は、プロジェクタ４側からテーブル７の領域を見たときに、タブレット８が対象物６を含むテーブル７の領域と重なる部分の撮影画像である。従って、投影画像生成部１０５は、タブレット８がテーブル７の任意の領域と重なる場合には、当該任意の領域に重なる直前に撮影された撮影画像から当該部分画像を切り出す。図８（Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレット８と対象物６を含むテーブル７との位置関係を示す図であり、図８（Ｂ）は、対象物６上を通過するタブレット８に投影される部分画像のシーケンスを示す図である。
【００５４】
投影処理部１０６は、検知処理部１０２で算出されたタブレット８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ１４）。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレット８へ投影し（ステップＳ１５）、ステップＳ１２に戻る。
【００５５】
ステップＳ１２〜Ｓ１５のループ処理により、タブレット８の位置及び姿勢が検知されて、タブレット８の位置及び姿勢に応じた部分画像がタブレット８上に投影される。
【００５６】
ステップＳ１１でコピーモードの指示が入力された場合（ＹＥＳ）の場合には、制御部１０４は、撮影画像のスナップショット（即ち、カメラ５のシャッターを切ったときの画像）の保存指示及びスナップショットの撮影の瞬間のタブレット８の位置及び姿勢を特定する座標の保存指示を検知処理部１０２に出力する（ステップＳ１６）。
【００５７】
検知処理部１０２は、撮影画像のスナップショットをスナップショット領域１０３ｃに保存すると共に当該スナップショットの撮影の瞬間のタブレット８の位置及び姿勢を特定する座標を位置保存領域１０３ｄに保存する（ステップＳ１７）。
【００５８】
次いで、制御部１０４は、コピーモードの指示及び投影画像の生成の指示を投影画像生成部１０５に出力する（ステップＳ１８）。
【００５９】
投影画像生成部１０５は、位置保存領域１０３ｄに保存されたスナップショットの撮影の瞬間のタブレット８の座標に基づいて、スナップショット領域１０３ｃに保存されたスナップショットから投影用の部分画像を切り出し、切り出した部分画像をスナップショット領域１０３ｃに保存すると共に投影処理部１０６に出力する（ステップＳ１９）。切り出した画像は、適宜拡大縮小しても良い。
【００６０】
投影処理部１０６は、スナップショットの撮影の瞬間のタブレット８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ２０）。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレット８へ投影する（ステップＳ２１）。
【００６１】
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ２２）。
【００６２】
投影画像生成部１０５は、入力処理部１０１及び制御部１０４を介してタブレット８からアノテーション画像の座標の入力があるか否かを判別する（ステップＳ２３）。
【００６３】
ステップＳ２３でアノテーション画像の座標の入力がない場合（ＮＯ）には、ステップ１９に進み、投影画像生成部１０５は、スナップショット領域１０３ｃに保存された投影用の部分画像を投影処理部１０６に出力する。以降のステップＳ２０の処理では、投影処理部１０６は、スナップショットの撮影の瞬間のタブレット８の座標に代えて、ステップＳ２２で検知処理部１０２から出力されるタブレット８の座標を利用する。
【００６４】
以上のステップＳ１１でＹＥＳ→ステップＳ２３でＮＯ→ステップＳ１９の一連の処理により、タブレット８の移動が検知されて、タブレット８の移動位置によらず、スナップショットから切り出された投影用の部分画像がタブレット８上に投影される。
【００６５】
ステップＳ２３でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力すると共に、生成されたアノテーション画像をスナップショット領域１０３ｃに保存された投影用の部分画像に付加して、投影処理部１０６に出力する（ステップＳ２４）。
【００６６】
投影処理部１０６は、ステップＳ２２で検知処理部１０２から出力されるタブレット８の座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された部分画像及びアノテーション画像をプロジェクタ４に出力し（ステップＳ２５）、ステップＳ２１の処理に進む。以降のステップＳ２１の処理では、プロジェクタ４は、投影変換された部分画像をタブレット８に投影し、アノテーション画像を対象物６を含むテーブル７の領域に投影する。
【００６７】
以上のステップＳ１１でＹＥＳ→ステップＳ２３でＹＥＳ→ステップＳ２１の一連の処理により、タブレット８の移動が検知されて、タブレット８の移動位置によらず、アノテーション画像が付加された投影用の部分画像がタブレット８上に投影され、さらに、アノテーション画像は単独で実物（即ち、対象物６を含むテーブル７の領域）に投影される。
【００６８】
次に、ＰＣ１で実行される共有モードの処理を説明する。
【００６９】
共有モードとは、複数のユーザが１つのタブレットを共用し、プロジェクタ４がタブレット上に撮影画像の部分画像を投影し、さらにタブレット上に投影された撮影画像の部分画像をテーブル７の任意の領域に投影するモードである。タブレット８にアノテーション画像の入力がある場合には、当該アノテーション画像もタブレット８及び上記テーブル７の任意の領域に投影される。
【００７０】
図９は、ＰＣ１で実行される共有モードの処理を示すフローチャートである。
【００７１】
共有モードの前提として、ローカル側のシステムは、対象物６側にアノテーション画像が投影され、且つタブレット８の位置及び姿勢が検知され、タブレット８上には、撮影画像の一部である部分画像及びアノテーション画像が投影されている状態、又はアノテーション画像の投影はなく、タブレット８の位置及び姿勢が検知され、タブレット８上には、撮影画像の一部である部分画像が投影されている状態であるとする。
【００７２】
まず、制御部１０４は、入力処理部１０１を介してタブレット８から共有モードの指示が入力されたか否かを判別する（ステップＳ３１）。
【００７３】
尚、ステップＳ３１でユーザがタブレット８で共有モードの指示を入力する場合、タブレット８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレット８に投影されるＧＵＩ内の共有モードの位置をタップすることが必要である。
【００７４】
ステップＳ３１で共有モードの指示が入力されていない場合（ＮＯ）には、本処理を終了する。一方、ステップＳ３１で共有モードの指示が入力された場合（ＹＥＳ）には、制御部１０４は、撮影画像内のタブレット８の位置を特定する座標（以下、このタブレット８の座標を共有座標という）の保存指示を検知処理部１０２に出力する（ステップＳ３２）。
【００７５】
検知処理部１０２は、撮影画像から共有座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ３３）。尚、検知処理部１０２は、カメラ５から新たな撮影画像を入力する度にタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する。
【００７６】
投影画像生成部１０５は、入力処理部１０１及び制御部１０４を介してタブレット８からアノテーション画像の座標の入力があるか否かを判別する（ステップＳ３４）。
【００７７】
ステップＳ３４でアノテーション画像の座標の入力がない場合（ＮＯ）には、投影画像生成部１０５は、スナップショット領域１０３ｃに保存された投影用の部分画像を投影処理部１０６に出力する（ステップＳ３５）。
【００７８】
次いで、投影処理部１０６は、共有座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用の第１パラメータを推定し、この推定された第１パラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された第１の部分画像をプロジェクタ４に出力すると共に、タブレット８の位置及び姿勢の変化に応じたタブレット８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用の第２パラメータを推定し、この推定された第２パラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された第２の部分画像をプロジェクタ４に出力する（ステップ３６）。
【００７９】
プロジェクタ４は、投影変換された第１の部分画像を共有座標に対応するテーブル７の領域に投影すると共に投影変換された第２の部分画像をタブレット８へ投影する（ステップＳ３７）。
【００８０】
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力し（ステップＳ３８）、ステップＳ３４に戻る。
【００８１】
ステップＳ３４でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力すると共に、生成されたアノテーション画像をスナップショット領域１０３ｃに保存された投影用の部分画像に付加して、投影処理部１０６に出力する（ステップＳ３９）。
【００８２】
投影処理部１０６は、共有座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用の第３パラメータを推定し、この推定された第３パラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された第１のアノテーション画像付きの部分画像をプロジェクタ４に出力し、且つタブレット８の位置及び姿勢の変化に応じたタブレット８の座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用の第４パラメータを推定し、この推定された第４パラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された第２のアノテーション画像付きの部分画像をプロジェクタ４に出力する（ステップＳ４０）。
【００８３】
プロジェクタ４は、第３パラメータを用いて投影変換された第１のアノテーション画像付きの部分画像を共有座標に対応するテーブル７の領域に投影し、第４パラメータを用いて投影変換された第２のアノテーション画像付きの部分画像をタブレット８に投影し、アノテーション画像をスナップショットを撮影したときのタブレット８の位置に投影する（ステップＳ４１）。
【００８４】
その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレット８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力し（ステップＳ４２）、ステップＳ３４に戻る。
【００８５】
図９の処理によれば、アノテーション画像付き部分画像が検知処理部１０２に検知されるタブレット８上に投影され、且つアノテーション画像付き部分画像が共有モードの指示が入力されたときの撮影画像内のタブレット８の位置に投影されるので、アノテーション画像付き部分画像を同時に複数のユーザに提供することができる。
【００８６】
上記共有モードでは、投影変換された部分画像又は投影変換されたアノテーション画像付きの部分画像は、タブレット８から共有モードの指示が入力されたときの撮影画像内のタブレット８の位置を特定する座標（共有座標）に投影されたが、検知処理部１０２が、タブレット８が所定時間（例えば、５分）移動していないか否かを判別し、タブレット８が所定時間（例えば、５分）移動していない場合には、共有座標の位置に代えて、その移動していないタブレット８の位置に投影変換された部分画像又は投影変換されたアノテーション画像付きの部分画像が投影されるようにしてもよい。この場合、タブレット８が移動すると、上記移動していないタブレット８の位置及び移動したタブレット８上に、投影変換された部分画像又は投影変換されたアノテーション画像付きの部分画像が投影されるので、アノテーション画像付き部分画像を同時に複数のユーザに提供することができる。
【００８７】
また、図１２に示すように、ステップＳ３４でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５が、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力し（ステップＳ６１）、投影処理部１０６が、アノテーション画像の投影変換を行い（ステップ６２）、プロジェクタ４が、アノテーション画像が入力されたときのタブレット８の位置に投影変換されたアノテーション画像を投影するようにしてもよい（ステップ６３）。この場合、アノテーション画像付き部分画像は投影されず、アノテーション画像のみが投影される。これにより、いわゆるポストイットのように、アノテーション画像を当該アノテーション画像が入力されたときのタブレット８の位置に貼り付けることができる。
【００８８】
さらに、検知処理部１０２が、タブレット８が所定時間（例えば、５分）移動していないか否かを判別し、タブレット８が所定時間（例えば、５分）移動していない場合には、その移動していないタブレット８の位置に投影変換されたアノテーション画像が投影されるようにしてもよい。これにより、いわゆるポストイットのように、アノテーション画像を所定時間移動していないタブレット８の位置に貼り付けることができる。
【００８９】
図１０は、ＧＵＩをタブレット８上に投影する処理及びタブレットで指定されたモードを実行する処理を示すフローチャートである。本処理は、ＰＣ１により実行される。
【００９０】
まず、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレット８の形状検出及びテンプレートマッチングによってタブレット８を認識し、認識したタブレット８の位置及び姿勢を特定する座標を算出し、当該タブレット８の座標を投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ５１）。
【００９１】
次に、投影画像生成部１０５は、ＧＵＩデータベース１０３ａの各種のＧＵＩの要素に基づいて、タブレット８に投影するＧＵＩ画像を生成する（ステップＳ５２）。
【００９２】
投影処理部１０６は、検知処理部１０２で算出されたタブレット８の座標と投影画像生成部１０５で生成された投影用のＧＵＩ画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、ＧＵＩ画像の投影変換を行い、投影変換されたＧＵＩ画像をプロジェクタ４に出力する（ステップＳ５３）。プロジェクタ４は、当該投影変換されたＧＵＩ画像を全投影内容の一部としてタブレット８へ投影する（ステップＳ５４）。タブレット８へ投影されたＧＵＩ画像の一例を図１１に示す。
【００９３】
タブレット８は、ペンで入力された座標を入力処理部１０１に出力する（ステップＳ５５）。入力処理部１０１は、ペンで入力された座標に対し、上記投影変換の逆変換を行い、投影画像生成部１０５から取得したＧＵＩ画像上における相対座標を算出し、ペンで入力されたモードを決定する（ステップＳ５６）。
【００９４】
制御部１０４は、入力処理部１０１から決定されたモードの情報を入力し、当該モードの情報に応じた処理を実行し（ステップＳ５７）、本処理を終了する。
【００９５】
モードの情報に応じた処理とは、例えば、入力されたモードが印刷モードの場合は、制御部１０４は、不図示のプリンタドライバに印刷開始の指示を出力する。また、入力されたモードがコピーモードの場合は、制御部１０４は、上記図６、７の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。入力されたモードが共有モードの場合は、制御部１０４は、上記図９の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。
【００９６】
図１０の処理によれば、ユーザは、タブレット８上に投影されるＧＵＩ画像で規定する複数のモードのうちいずれか１つをタブレット８で選択し、当該モードに応じた処理を制御部１０４に実行させることができる。
【００９７】
以上詳細に説明したように、本実施の形態によれば、入力処理部１０１は、タブレット８からアノテーション画像の座標情報を入力し、投影画像生成部１０５は、アノテーション画像の座標情報に基づいてアノテーション画像を生成すると共に、タブレット８からコピーモードの指示（第１の指示）が入力されたときに、カメラ５で予め撮影された撮影画像から当該タブレット８の位置に対応する部分画像を切り出し、当該部分画像にアノテーション画像を付加したアノテーション画像付き部分画像を生成する。そして、検知処理部１０２は、カメラ５で撮影された複数の撮影画像からタブレット８の位置及び姿勢を検知し、投影処理部１０６は、投影画像生成部１０５で生成されたアノテーション画像をプロジェクタ４に出力すると共に、検知処理部１０２の検知結果を使用してアノテーション画像付き部分画像を投影変換し、プロジェクタ４に出力する。プロジェクタ４は、投影処理部１０６から出力されたアノテーション画像をタブレット８からコピーモードの指示が入力されたときの当該タブレット８の位置に投影すると共に、投影処理部１０６から出力された投影変換済みのアノテーション画像付き部分画像を検知処理部１０２に検知されるタブレット８上に投影する。
【００９８】
よって、カメラ５側又はプロジェクタ４側においても、対象物を含む領域にアノテーション画像を簡単な構成で投影させることができる。タブレット８には、撮影画像の一部である部分画像が投影されるので、アノテーション画像を撮影画像内のユーザ所望の位置に追記し易くなる。表示部のような発光部材を有していないタブレットが利用できるので、消費電力を抑えることができる。
【００９９】
ＰＣ１の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、ＰＣ１に供給し、ＰＣ１のＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。
【０１００】
また、ＰＣ１のＣＰＵが、ＰＣ１の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
【０１０１】
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示すブロック図である。
【図２】ＰＣ１のハードウエア構成を示すブロック図である。
【図３】ＰＣ１の機能構成を示すブロック図である。
【図４】投影変換された画像がタブレット８上に投影される状態を示す図である。
【図５】逆投影変換されたアノテーション画像が投影用画像上に形成された状態を示す図である。
【図６】ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
【図７】ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。
【図８】（Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレット８と対象物６を含むテーブル７との位置関係を示す図であり、（Ｂ）は、対象物６上を通過するタブレット８に投影される部分画像のシーケンスを示す図である。
【図９】ＰＣ１で実行される共有モードの処理を示すフローチャートである。
【図１０】ＧＵＩをタブレット８上に投影する処理及びタブレットで指定されたモードを実行する処理を示すフローチャートである。
【図１１】タブレット８へ投影されたＧＵＩ画像の一例を示す図である。
【図１２】図９の処理の一部分の変形例を示すフローチャートである。
【符号の説明】
【０１０３】
１，２ ＰＣ
３ ネットワーク
４ プロジェクタ
５ カメラ
１０１ 入力処理部
１０２ 検知処理部
１０３ 保存部
１０４ 制御部
１０５ 投影画像生成部
１０６ 投影処理部
【特許請求の範囲】
【請求項１】
入力装置を含む領域を撮影する撮影装置と、
注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、
前記領域に注釈画像を投影する投影装置と、
前記入力装置から注釈画像の座標情報を入力する入力手段、
前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段、
前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、及び
前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段を有する情報処理装置とを備えることを特徴とする情報処理システム。
【請求項２】
前記出力手段は、前記投影装置が前記注釈画像を前記入力装置から第１の指示が入力されたときの当該入力装置の位置に投影するように、前記生成手段で生成された注釈画像を前記投影装置に出力することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記入力装置から第１の指示が入力される前は、前記生成手段は、前記撮影装置で予め撮影された撮影画像から当該入力装置の位置に対応する部分画像を切り出し、
前記出力手段は、前記検知手段の検知結果を使用して前記部分画像を前記投影装置用の画像に変換し、前記投影装置に出力し、
前記投影装置は、前記変換済みの部分画像を前記検知手段に検知される入力装置上に投影することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に当該注釈画像が投影されるように、前記注釈画像を前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項５】
前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に、その注釈画像を前記部分画像に付加した注釈画像付き部分画像が投影されるように、当該部分画像を前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項６】
前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、
前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像を前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項７】
前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、
前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像付き部分画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項８】
前記入力装置で入力された指示に応じた処理を実行する実行手段をさらに備え、
前記生成手段は、複数の指示を規定する指示画像を生成し、
前記出力手段は、前記検出手段の検出結果を使用して前記指示画像を前記投影装置用の画像に変換し、前記投影装置に出力し、
前記投影装置は、前記出力手段から出力された変換済みの指示画像を前記入力装置上に投影し、
前記入力手段は、前記入力装置に入力された座標情報と、当該入力装置上に投影された指示画像とに基づいて、当該第１画像に規定された複数の指示のうちのいずれか１つを決定し、
前記実行手段は、前記決定された指示に応じた処理を実行することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
【請求項９】
注釈画像又は指示を入力する入力装置と、
当該入力装置を含む領域を撮影する撮影装置と、
前記領域に注釈画像を投影する投影装置と、
前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、
注釈画像又は指示を受け付ける第１画像を生成する生成手段、
前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、
前記入力装置に入力された座標情報を入力する入力手段、
前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、
前記投影装置は、前記検知される入力手段上に、前記指示内容又は注釈画像が反映された画像を投影することを特徴とする情報処理システム。
【請求項１０】
入力装置を含む領域を撮影する撮影装置と、注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、前記領域に注釈画像を投影する投影装置とに接続される接続手段と、
前記入力装置から注釈画像の座標情報を入力する入力手段と、
前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段と、
前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段と、
前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項１】
入力装置を含む領域を撮影する撮影装置と、
注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、
前記領域に注釈画像を投影する投影装置と、
前記入力装置から注釈画像の座標情報を入力する入力手段、
前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段、
前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、及び
前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段を有する情報処理装置とを備えることを特徴とする情報処理システム。
【請求項２】
前記出力手段は、前記投影装置が前記注釈画像を前記入力装置から第１の指示が入力されたときの当該入力装置の位置に投影するように、前記生成手段で生成された注釈画像を前記投影装置に出力することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記入力装置から第１の指示が入力される前は、前記生成手段は、前記撮影装置で予め撮影された撮影画像から当該入力装置の位置に対応する部分画像を切り出し、
前記出力手段は、前記検知手段の検知結果を使用して前記部分画像を前記投影装置用の画像に変換し、前記投影装置に出力し、
前記投影装置は、前記変換済みの部分画像を前記検知手段に検知される入力装置上に投影することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に当該注釈画像が投影されるように、前記注釈画像を前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項５】
前記出力手段は、さらに前記入力装置から注釈画像が入力されたときに、当該注釈画像が入力されたときの当該入力装置の位置に、その注釈画像を前記部分画像に付加した注釈画像付き部分画像が投影されるように、当該部分画像を前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項６】
前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、
前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像を前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項７】
前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、
前記入力装置が所定時間移動していないと判別された場合に、前記出力手段は、さらに前記注釈画像付き部分画像が当該移動していない入力装置の位置に投影されるように、前記前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項８】
前記入力装置で入力された指示に応じた処理を実行する実行手段をさらに備え、
前記生成手段は、複数の指示を規定する指示画像を生成し、
前記出力手段は、前記検出手段の検出結果を使用して前記指示画像を前記投影装置用の画像に変換し、前記投影装置に出力し、
前記投影装置は、前記出力手段から出力された変換済みの指示画像を前記入力装置上に投影し、
前記入力手段は、前記入力装置に入力された座標情報と、当該入力装置上に投影された指示画像とに基づいて、当該第１画像に規定された複数の指示のうちのいずれか１つを決定し、
前記実行手段は、前記決定された指示に応じた処理を実行することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
【請求項９】
注釈画像又は指示を入力する入力装置と、
当該入力装置を含む領域を撮影する撮影装置と、
前記領域に注釈画像を投影する投影装置と、
前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、
注釈画像又は指示を受け付ける第１画像を生成する生成手段、
前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、
前記入力装置に入力された座標情報を入力する入力手段、
前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、
前記投影装置は、前記検知される入力手段上に、前記指示内容又は注釈画像が反映された画像を投影することを特徴とする情報処理システム。
【請求項１０】
入力装置を含む領域を撮影する撮影装置と、注釈画像又は指示を入力する入力装置であって、前記撮影装置で予め撮影された撮影画像から切り出された、当該入力装置の位置に対応する部分画像が投影されているものと、前記領域に注釈画像を投影する投影装置とに接続される接続手段と、
前記入力装置から注釈画像の座標情報を入力する入力手段と、
前記注釈画像の座標情報に基づいて注釈画像を生成すると共に、前記入力装置から第１の指示が入力されたときに、前記部分画像に前記生成された注釈画像を付加した注釈画像付き部分画像を生成する生成手段と、
前記撮影装置で撮影された複数の撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段と、
前記投影装置が前記注釈画像付き部分画像を前記入力装置上に投影するように、前記検知手段の検知結果を使用して前記注釈画像付き部分画像を前記投影装置用の画像に変換し、前記投影装置に出力する出力手段と
を備えることを特徴とする情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−７６９８３（Ｐ２００９−７６９８３Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４１５２６（Ｐ２００７−２４１５２６）
【出願日】平成１９年９月１８日（２００７．９．１８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月１８日（２００７．９．１８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]