情報処理システム、情報処理方法、およびコンピュータプログラム
【課題】物理的ドキュメントとコンピュータとを連動させる。
【解決手段】カメラ手段が、少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントへのユーザ・インタラクションを検出する。プロジェクタ処理手段が、前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックを提供する。表示手段を備えた計算処理装置は、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションと該計算処理装置上の作業とを連動する。前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理してもよい。前記細かい粒度のコンテンツは、個別の単語、文字、図形を含む。
【解決手段】カメラ手段が、少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントへのユーザ・インタラクションを検出する。プロジェクタ処理手段が、前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックを提供する。表示手段を備えた計算処理装置は、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションと該計算処理装置上の作業とを連動する。前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理してもよい。前記細かい粒度のコンテンツは、個別の単語、文字、図形を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物理的ドキュメント(physical documents 紙などの表示媒体上にユーザの視覚によるコンテンツの閲覧が物理的に既に可能となっている状態で提示されているドキュメント。ドキュメントの電子ファイルのようにデータの表示処理なしにはコンテンツの閲覧が不可能な状態のドキュメントと対比されるもの。)とコンピュータ（計算処理装置）とをインタラクトさせる(interact)情報処理システム、方法およびプログラムに関する。詳細には、ペーパとコンピュータとのハイブリッド・ベース・インタフェースで、物理的ドキュメントのユーザ・インタラクション(user interaction)とコンピュータ上の関連コンテンツのユーザ・インタラクションとを関連付けることに関する。
【背景技術】
【０００２】
ペーパおよびコンピュータは、ドキュメント処理のためにもっともよく使用される２つの主要な媒体である。ペーパは読むこと、および、注釈を書き込むことに適しており、軽量であるため運搬が容易であり、スペースに合わせて大きさを柔軟に変更することができ、様々な環境での使用において頑健性を有し、社会的環境に受け入れられやすい。コンピュータは、マルチメディア・プレゼンテーション、ドキュメント編集、アーカイビング、共有、検索において便利である。これらのユニークなまたは相補的な効果によって、ペーパとコンピュータとは多くの場面において共に使用されている。ペーパをコンピュータと完全に置き替えることは技術的に困難であり、費用効率に懸念があるため、予測可能な将来において、この状態は継続しそうである。
【０００３】
一般的なワークステーションの環境では、ユーザはペーパとコンピュータとを同時に使用することを所望するかもしれない。特に、図１に示すように、台の上にペーパ・ドキュメント１１２とコンピュータ１０６とが隣り合わせに置かれている場合には、ユーザは、ペーパ・ドキュメント１１２とコンピュータ１０６とを同時に使用することを所望するだろう。たとえば、物理的な紙片の記事を読み、コンピュータで要約を作成する（書く）ために、図１のような環境がよく使用される。読み書きのアクティビティとともに、特定の内容についての追加情報をインターネットで検索したり、文章を引用したり、記事の図をコピーしたり、電子メールやインスタント・メッセージ（［ＩＭ」）によって記事の興味深い部分を友人と共有したりすることが必要となることがユーザにはよくある。
【０００４】
しかしながら、ペーパとコンピュータとを同時に使用する場合、この２つの媒体の間で移動やインタラクションを容易に行う技術は存在しない。ペーパのコンテンツは、遠隔共有、ハイパーリンク、コピー・アンド・ペースト、インターネット検索、キーワード検出などのコンピュータ・ベース・デジタル・ツールとは絶縁されている。ペーパとコンピュータとの間のこのようなギャップは、ペーパをコンピュータと組み合わせて使用する場合に効率を低下し、ユーザ・エクスペリエンスを劣化する。たとえば、ビジネス・パーソンにとって、払い戻しのためにペーパ・レシートを手で書き写すことは退屈な作業であるし、経理担当者にとっても、払い戻しのための書類とオリジナルのレシートとを照合のために比較することは退屈な作業である。その他の例では、ユーザが、ある未知の外国語をどのようにコンピュータに入力するのか知らない場合、書籍の中の当該未知の外国語の単語をインターネットで検索することは困難が伴う。同様に、ペーパ・ドキュメントからコンピュータのデジタル・ドキュメントに写真をコピーすることも容易ではない。
【０００５】
ペーパとコンピュータとの境界に対処するために努力がなされてきたが、いまだ、これらの間のギャップは埋められていない。第一に、たとえば、非特許文献１および非特許文献２などの現在のシステムのほとんどは頁全体もしくはドキュメント全体とのインタラクションに焦点を当てており、ドキュメント内の細かい粒度（ページ全体よりも精細で、たとえば、個別の単語、記号、任意の領域、などの小さい範囲）の操作をサポートしていない。第２に、これらのシステム（たとえば、ページ・レベル・ハイパーリンク（非特許文献１および非特許文献２）、空間配置的追跡（非特許文献３）、テキスト転写（非特許文献４および非特許文献５）など）は、ペーパへのデジタル機能を限定的にしかサポートしておらず、上記問題に対処するには十分ではない。第３に、ハードウェア構成が柔軟性を有さず、さらに、特別にマークが付されたペーパのために何かを必要とすることによって（たとえば、非特許文献６）、これらは既存のワーク・フローに干渉するかもしれない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ウィルソン（Wilson）、「どこでも再生：コンパクト・インタラクティブ・テーブルトップ・プロジェクション・ビジョン・システム（PlayAnywhere: a compact interactive tabletop projection-vision system）、ＵＩＳＴ抄録（Proceedings of UIST）、２００５年、頁８３〜９２
【非特許文献２】ケーン（Kane）ら、「焚き火：ハイブリッド・ラップトップ・テーブルトップ・インタラクションのためのノーマディック・システム（Bonfire: a nomadic system for hybrid laptop-tabletop interaction）、ＵＩＳＴ抄録（Proceedings of UIST）、２００９年、頁１２９〜１３８
【非特許文献３】キム（Kim）ら、「ビデオ・ベース・ドキュメント追跡：物理的デスクトップと電子的デスクトップとの統一（Video-based document tracking: unifying your physical and electronic desktops）」、ＵＩＳＴ抄録（Proceedings of UIST）、２００４年、頁９９〜１０７
【非特許文献４】ニューマン（Newman）ら、「カムワークス：ペーパ・ソース・ドキュメントから効率的にキャプチャするためのビデオ・ベース・ツール（CamWorks: A Video-based Tool for Efficient Capture from Paper Source Documents）、ＩＥＥＥ マルチメディア・システム抄録（Proceedings of IEEE Multimedia System）、１９９９年、頁６４７〜６５３
【非特許文献５】ウェルナー（Wellner）、「デジタルデスク上のペーパとのインタラクション（Interacting with paper on the DigitalDesk）」、ＡＣＭ通信（Communications of the ACM）、３６（７）、１９９３年、頁８７〜９６
【非特許文献６】ソング（Song）ら、「ペンおよび空間感知モバイル・プロジェクタを用いたデジタル・ペーパのバイマニュアル・インタラクション（Bimanual Interactions on Digital Paper Using a Pen and a Spatially-aware Mobile Projector）、ＣＨＩ抄録（Proceedings of CHI）、２０１０年
【非特許文献７】バーンズ(Barnes)ら、「ビデオ・パペット：切り絵アニメのための遂行的インタフェース（Video Puppetry: A Performative Interface for Cutout Animation）」、グラフィックに関するＡＣＭトランザクション（ACM Transaction on Graphics）、Ｖｏｌ．２７、Ｎｏ．５、２００８年
【非特許文献８】リウ（Liu）ら、「ＦＩＴによる高精度・言語非依存ドキュメント検索（High Accuracy And Language Independent Document Retrieval With A Fast Invariant Transform）」、ＩＣＭＥ抄録（Proceedings of ICME）、２００９年
【非特許文献９】ヘア（Hare）ら、「マップスナッパー：モバイル・フォンのマップ画像をマッチングするための効率的なアルゴリズム処理（MapSnapper: Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones）」、マルチメディア・コンテンツ・アクセス抄録（Proceedings of Multimedia Content Access）、アルゴリズムおよびシステムII（Algorithms and Systems II）、２００８年
【非特許文献１０】バートン（Burton）ら、「遠近法で考える：思考過程の研究についての批評的エッセイ（Thinking in Perspective: Critical Essays in the Study of Thought Processes）、ルートレッジ（Routledge）、１９７８年
【非特許文献１１】リウ（Liu）ら、「埋め込みメディア・マーカ：関連メディアを示すペーパ上のマーク（Embedded Media Markers: Marks on Paper that Signify Associated Media）」、ＩＵＩ抄録（Proceedings of IUI）、２０１０年、頁１４９〜１５８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記したように、コンピュータ上のアクティビティとペーパ・ドキュメントを関連付ける現在のシステムは多くの制限を有している。したがって、物理的ドキュメントとコンピュータとで関連付けられた作業を従来に比べて高い自由度で実現するための改善が必要とされている。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、情報処理システムであって、少なくとも一つの物理的ドキュメントを撮影して得られる画像に基づいて、前記画像中の前記物理的ドキュメントに含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をするとともに、前記画像特徴点の位置に基づいて特定される、該少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出するカメラ処理手段と、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影することで提供するプロジェクタ処理手段と、を備える。
【０００９】
本発明の第２の態様は、第１の態様の情報処理システムであって、前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理し、前記細かい粒度のコンテンツは、個別の単語、文字、図形を含み、前記カメラ処理手段は前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する。
【００１０】
本発明の第３の態様は、第１の態様の情報処理システムであって、前記プロジェクタ処理手段によって提供される視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく。
【００１１】
本発明の第４の態様は、第１の態様の情報処理システムであって、前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する。
【００１２】
本発明の第５の態様は、第４の態様の情報処理システムであって、前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する。
【００１３】
本発明の第６の態様は、第１の態様の情報処理システムであって、前記計算処理装置へのユーザ・インタラクションを、前記プロジェクタ処理手段によって前記少なくとも一つの物理的ドキュメントへ提供される視覚可能なフィードバックに変換する。
【００１４】
本発明の第７の態様は、第１の態様の情報処理システムであって、前記プロジェクタ処理手段は前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する。
【００１５】
本発明の第８の態様は、第１の態様の情報処理システムであって、折り畳み可能なフレームに統合されており、運搬可能であるカメラおよびプロジェクタと、少なくとも一つのミラーと、をさらに備え、前記少なくとも一つのミラーは、前記フレームに取り付けられており、前記カメラおよびプロジェクタの光路を前記少なくとも一つの物理的ドキュメントへ反射するように、該少なくとも一つの物理的ドキュメントの上に配置されている。
【００１６】
本発明の第９の態様は、第１の態様の情報処理システムであって、前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために該コンテンツに対応するデジタル・ドキュメントを取得する。
【００１７】
本発明の第１０の態様は、第９の態様の情報処理システムであって、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす。
【００１８】
本発明の第１１の態様は、第１の態様の情報処理システムであって、前記カメラ処理手段は、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する。
【００１９】
本発明の第１２の態様は情報処理方法であって、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させる。
【００２０】
本発明の第１３の態様は、第１２の態様の情報処理方法であって、細かい粒度のコンテンツを識別するために前記少なくとも一つの物理的ドキュメントを処理し、前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する、ことをさらに含み、前記細かい粒度のコンテンツは個別の単語、文字、図形を含む。
【００２１】
本発明の第１４の態様は、第１２の態様の情報処理方法であって、前記視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく。
【００２２】
本発明の第１５の態様は、第１２の態様の情報処理方法であって、前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する。
【００２３】
本発明の第１６の態様は、第１５の態様の情報処理方法であって、前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する。
【００２４】
本発明の第１７の態様は、第１２の態様の情報処理方法であって、前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する。
【００２５】
本発明の第１８の態様は、第１２の態様の情報処理方法であって、前記計算処理装置へのユーザ・インタラクションを前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックに変換する。
【００２６】
本発明の第１９の態様は、第１８の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントの詳細なコンテンツを操作するために、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションを、該少なくとも一つの物理的ドキュメントへのユーザ・インタラクションと同時の前記計算処理装置へのユーザ・インタラクションに変換する。
【００２７】
本発明の第２０の態様は、第１２の態様の情報処理方法であって、前記物理的ドキュメントの詳細なコンテンツは、前記少なくとも一つの物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、前記計算処理装置とインタラクトするために第二の手を用いたユーザ・インタラクションによって操作される。
【００２８】
本発明の第２１の態様は、第１２の態様の情報処理方法であって、デジタル・ドキュメントの詳細なコンテンツは、前記物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、計算処理装置とインタラクトするために第２の手を用いたユーザ・インタラクションによって操作される。
【００２９】
本発明の第２２の態様は、第１２の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントとインタラクトするために、第一の手を用い、前記計算処理装置上のデジタル・ドキュメントとインタラクトするために、第二の手を用いて、該物理的ドキュメントの詳細なコンテンツと該デジタル・ドキュメントとを同時に操作する。
【００３０】
本発明の第２３の態様は、第１２の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために前記コンテンツに対応するデジタル・ドキュメントを取得する。
【００３１】
本発明の第２４の態様は、第２３の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす。
【００３２】
本発明の第２５の態様は、第１２の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する。
【００３３】
本発明の第２６の態様はプログラムであって、コンピュータを、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させるように機能させる。
【００３４】
以上および以下の記載は、説明および例示だけを目的としており、本発明もしくは本発明の応用を制限することを意図するものではない。
【発明の効果】
【００３５】
本発明のシステム、方法およびプログラムによれば、物理的ドキュメントとコンピュータとを連動させた処理を、従来と比較してより精細に実現することができる。
【図面の簡単な説明】
【００３６】
【図１】画面を有するラップトップ・コンピュータとペーパ・ドキュメントを含むノートとを含む従来のワークステーション環境を例示する。
【図２】本発明の実施形態における、カメラ、プロジェクタ、画面を備えたコンピュータを用いた物理的ドキュメントとデジタル・ドキュメントとをインタラクトさせるシステムを例示する。
【図３】本発明の実施形態において、ユーザがペーパ・マップとコンピュータとに同時にインタラクトすることができるワークスペースを例示する。コンピュータは、マップ上のユーザの指で選択されたある位置に関連付けられた画像を表示する。
【図４】本発明の実施形態において、少なくとも一つの物理的ドキュメントとコンピュータとをインタラクトさせる方法を例示する。
【図５】本発明の実施形態における、折り畳み可能なフレームに接続されている少なくとも一つのミラーを含む運搬可能なカメラ・プロジェクタ・ユニットを例示する。
【図６】従来のデジタル・ドキュメントとプリントアウト・ドキュメントのマッピングを例示する。
【図７】本発明の実施形態において、カメラ基準フレームと認識されたドキュメント基準フレームとのホモグラフィック変換を決定する方法を例示する。
【図８】本発明の実施形態において、物理的ドキュメントとインタラクトする方法のデータ・フローを例示する。
【図９】本発明の実施形態において、単語、記号およびその他のドキュメント・コンテンツを選択するために、ユーザがペーパ上で行うことができるジェスチャを例示する。
【図１０】選択されたコンテンツの外郭を強調するプロジェクタからのフィードバックを例示する。
【図１１】本発明の実施形態において、物理的ドキュメントにメニューを投影する際に適応的に配置する方法を例示する。
【図１２】本発明の実施形態において、コンピュータ上で物理的ドキュメントを制御するデジタル・プロキシ方法を例示する。
【図１３】本発明の実施形態における、第一の手による物理的ドキュメントの操作と、第二の手によるコンピュータの操作と、の両手による操作の連動を例示する。
【図１４】本発明の実施形態における、物理的ドキュメントとの両手によるインタラクションを例示する。第二の手によって制御されるコンピュータ入力デバイスは第一の手による制御ドキュメントの操作に貢献する。
【図１５】本発明の実施形態における、コンピュータ画面との両手によるインタラクションを例示する。物理的ドキュメント上の第一の手の動きは第二の手によるコンピュータ画面の操作に貢献する。
【図１６】本発明の実施形態における、ペーパ・レシートの情報を処理するための本発明のシステムの適用を例示する。
【図１７】本発明の実施形態における本発明のシステムのキーワード検出アプリケーションを例示する。
【図１８】本発明の実施形態における本発明のシステムのマップ・ナビゲーション・アプリケーションを例示する。
【図１９】本発明の実施形態において本発明のシステムが実装されるコンピュータ・システムのブロック図を例示する。
【発明を実施するための形態】
【００３７】
以下の詳細な記載において、図面を参照する。図面は例を示すためのものであり、本発明を制限するものではない。特定の実施形態および実装は本発明の原理と一貫性を有する。以下の実施形態は当業者が本発明を実施することができる程度に十分詳細に記載されている。また、以下の実施形態以外の実施形態も利用可能であり、本発明の範囲および思想から逸脱することなく、構成の変更、および／もしくは、様々な構成要素の置き替えが可能である。したがって、以下の詳細な記載は、限定的に解釈されるべきではない。さらに、本発明の様々な実施形態は汎用目的コンピュータで稼働するソフトウェアの形態で実装されてもよいし、特定目的ハードウェアの形態で実装されてもよいし、ソフトウェアおよびハードウェアの組み合わせによって実装されてもよい。
【００３８】
以下に記載される本発明の実施形態は、物理的ドキュメントとコンピュータとのインタラクションを提供する。詳細には、物理的ドキュメントとコンピュータとの間のユーザ・インタラクションを改善するために、コンピュータ上のオペレーションと統合される物理的ドキュメントの細かい粒度のコンテンツとの詳細なインタラクションが提供される。本発明の実施形態は、ハイブリッド・カメラ・プロジェクタ・インタフェースを使用して物理的ドキュメントとデジタル・コンテンツとの両手による(two-handed)細かい粒度のインタラクションもサポートする。
【００３９】
実施形態のいくつかにおいて、図２に例示するシステム１００は、カメラ１０２、プロジェクタ１０４および画面１０８を有するコンピュータ（計算処理装置）１０６を含む。カメラ１０２およびプロジェクタ１０４は物理的ドキュメント・ワークスペース１１０の上に配置されている。物理的ドキュメント・ワークスペースには少なくとも一つの物理的ドキュメント１１２（たとえば、紙片など）が配置されている。このようなフレームワークにおいて、カメラ１０２は物理的ドキュメント１１２、ユーザの指のジェスチャ、および／もしくは、ペン・ジェスチャを撮影し、コンピュータ１０６のカメラ処理手段が撮影画像を解析処理することで、コンテンツやジェスチャを認識することができる。次に、該ジェスチャにもとづいて、特定のオペレーションが実行される。プロジェクタ１０４はジェスチャもしくはコンピュータ１０６からの入力にもとづいて物理的ドキュメント１１２に、直接、視覚可能なフィードバックを提供する。コンピュータ１０６はプロセッサおよびメモリを備え、物理的ドキュメントに対応するデジタル・ドキュメント、ウェブ・ページ、アプリケーションなどを画面１０８に表示する。コンピュータ１０６のプロジェクタ処理手段では、カメラ１０２によって受信された視覚可能な入力をプロジェクタ１０４の適当なフィードバックに変換するように、もしくは、コンピュータ１０６自身への入力に変換するように、支援してもよい。カメラ１０２およびプロジェクタ１０４もプロセッサおよびメモリを備えカメラもしくはプロジェクタ処理手段として動作してもよく、カメラ１０２およびプロジェクタ１０４が個々にカメラ１０２によって受信される入力を処理し、該入力をプロジェクタ１０４の視覚可能なフィードバックに変換してもよい。
【００４０】
図５に示すように、カメラおよびプロジェクタは、単一のポータブルなカメラ・プロジェクタ・ユニットに統合されてもよい。これにより、ハードウェア・システムの運搬が容易になり、柔軟性が増す。ラップトップ、タブレットなどのポータブル・コンピュータ・デバイスもしくは携帯電話に一体的に組み合わせた場合には、システム全体がポータブルとなり得る。物理的ドキュメントは、既存のワークフローと完全に共存可能な、テキスト、図形を含む一般的なプリントされたペーパであってよい。
【００４１】
システムは、ユーザが、個別の単語、文字、記号、アイコン、ユーザによって特定された任意の領域を含む物理的なドキュメントの細部とインタラクトすることができるように細かい粒度のインタラクションを提供する。システムは、さらに、ペーパに対する多くのコンピュータの機能の提供をサポートする。たとえば、テキストや図形コンテンツをペーパ・ドキュメントからコンピュータにコピー・アンド・ペーストするため、コンピュータのウェブ・ページに物理的ドキュメントの単語をリンクするため、物理的ドキュメントの特定のキーワードをコンピュータで検索するため、ペーパ・マップの特定の場所を指示することによってコンピュータの視覚可能なストリート・レベル・マップで道案内をするため、に、ユーザはペン・ジェスチャもしくは指のジェスチャをペーパ・ドキュメントに適用することができる。これらのすべての実施形態の詳細を以下に記載する。
【００４２】
物理的ドキュメントとの細かい粒度のインタラクションにもとづいて、システムは物理的ドキュメントおよびコンピュータの両手によるクロス・メディア・インタラクションをサポートすることができる。該システムは、ペーパおよびコンピュータの情報を相補的に結合する。たとえば、物理的ドキュメントとの指もしくはペンを用いたカメラ・ベース・ユーザ・インタラクションは比較的粗く、比較的信頼できない。このインタラクションを忠実性が高くロバストなコンピュータ上でのキーボードもしくはマウス入力によって拡張することができる。その他の実施形態では、コンピュータ上でのマルチ・ポインタ・オペレーションのために、物理的ドキュメントへの指もしくはペンによる入力をコンピュータへのマウスもしくはキーボードによる入力と結合することができる。このようなハイブリッド・クロス・メディア・インタラクションによって、システムは、ペーパとコンピュータの境界を埋めることができる。
【００４３】
システムのフレームワークについてさらに記載し、次に、システムの構成要素についてさらに詳細に記載する。様々なアプリケーションの例示およびフレームワークによって可能となるインタラクションについてもさらに詳細に記載する。
【００４４】
Ｉ．システム概観
図３に示されるように、システムは物理的ドキュメント・ワークスペース１１０とデジタル・ドキュメント・ワークスペース１１４との間のブリッジとして働く。実施形態のいくつかにおいて、フレームワークは３つの主要な構成要素を含む。３つの構成要素とはカメラ１０２、プロジェクタ１０４、およびペーパ・コンピュータ連動プロセッサ１１６である。実施形態のいくつかにおいて、カメラ１０２はカメラ・デバイスによって取得される画像を処理する対応ソフトウェア・モジュールを含む。同様に、実施形態のいくつかにおいて、プロジェクタ１０４は処理を実行する対応ソフトウェア・モジュールを含む。カメラ１０２は物理的ドキュメント１１２（たとえば、図３のプリントされたマップ）を認識し、追跡し、ユーザの指先もしくはペン先の位置および移動の軌跡を追跡する。カメラ１０２からの入力にもとづいて、プロジェクタ１０４は物理的ドキュメント１１２への投影画像を生成する。該投影画像は、ユーザへ視覚可能なフィードバックを直接的に提供するために、物理的ドキュメントのコンテンツと正確に揃えられる。カメラ１０２は、認識された物理的ドキュメントのコンピュータ上にあるデジタル・バージョン（デジタル・ドキュメント）１１８を検出するプロセッサおよびメモリを備えていてもよい。カメラ１０２は、デジタル・ドキュメント・ワークスペース１１４に示されるドキュメントのデジタル・バージョンへの対応ポインタ操作として指先／ペン先によるオペレーションを解釈してもよい。
【００４５】
必要であれば、ペーパ・コンピュータ連動プロセッサ１１６は、デジタル・バージョン１１８もしくはコンピュータ１０６のその他のコンテンツを操作するために、デジタル・ドキュメント・ワークスペース１１４と物理的ドキュメント・ワークスペース１１０とのアクションを連動させる。図３において、ペーパ・コンピュータ連動プロセッサ１１６は物理的ドキュメント・ワークスペース１１０におけるペーパ・マップ１１２でユーザによって選択された位置の道路に沿って予め多方向に向けて撮影記録した風景写真１２０を表示するために、コンピュータ１０６との連動を行う。
【００４６】
物理的ドキュメントとコンピュータとのインタラクションを行う方法を図４に例示する。第１のステップＳ１０１において、カメラを用いて、システムは少なくとも一つの物理的ドキュメントを処理する。第２のステップＳ１０２において、物理的ドキュメントとのユーザ・インタラクション（たとえば、指先もしくはペン先による選択もしくはジェスチャなど）を検出する。ステップＳ１０３において、プロジェクタはユーザ・インタラクションに対応する物理的ドキュメントに視覚可能なフィードバックを投影してもよい。その他のステップＳ１０４において、たとえば、対応デジタル・ドキュメントを操作することによって、もしくは、物理的ドキュメントに関するその他のアプリケーションを制御することによって、コンピュータもしくはその他のプロセッサは、コンピュータとのユーザ・インタラクションとを連動させる。
【００４７】
本発明の実施例に係るシステムは、包括的なドキュメント認識、細かい粒度のドキュメント・コンテンツ検出、正確な投影補正、両手によるハイブリッド・ペーパ・コンピュータ入力など、のユニークな処理を可能にする。これらのすべてについて、以下により詳細に記載する。
ＩＩ．ポータブル・ユーザ・インタフェース・ハードウェア
【００４８】
実施形態のいくつかにおいて、カメラおよびプロジェクタは、図５に示されるように、カメラ・プロジェクタ・ユニット１２２として統合されていてもよい。本実施形態では、たとえば、ＵＳＢケーブルによってコンピュータ１０６と接続されるスタンドアローン・ユニットとして記載されているが、カメラおよびプロジェクタはコンピュータ１０６に部分として埋め込まれていてもよい。スタンドアローンの形態であることは構成要素、物理的ワークスペース、デジタル・ワークスペースの空間的配置により柔軟性を付与する。図２の実施形態はフレームワークの単なる例示に過ぎず、本発明はこれに限定されるものではない。図５に示すように、カメラ・プロジェクタ・ユニット１２２はフレームワークおよびワークスペース全体にわたる底面に水平に配置されていてもよい。カメラ・プロジェクタ・ユニット１２２の光路１２４は、コンパクトな形態で物理的デスクトップ・ワークスペース１１０の比較的大きなエリアをカバーするように、２つのミラー１２６によって（図示しない）折畳み可能なフレーム上に拡張される。この特徴はモバイル環境にあるユーザにとって重要である。実施形態のいくつかにおいて、物理的ドキュメント・ワークスペース１１０の表面への指先またはペン先１３０の接触を検出するために、タッチ検出手段１２８をカメラ・プロジェクタ・ユニット１２２の底面に配置してもよい。本発明のシステムの一つでは、無害な拡散レーザ光１３２のたいへん薄いシートがテーブル上に広げられる。これにより、物理的ドキュメント・ワークスペース１１０の表面をタッチする指１３０は、カメラによって取得されるビデオ・フレームにおいて赤色ドット１３４として示される。
【００４９】
ＩＩＩ．カメラ処理手段
カメラ処理手段は、コンテンツを含む物理的ドキュメントを認識し、プロジェクタの視覚可能な出力を調整するために、ドキュメントの動きを追跡する。カメラ処理手段は、以下でより詳細に記載する指先およびペン先の検出、追跡、座標系変換も実行する。既存のプラクティスと共存することができるように、コンテンツ・ベース・ドキュメント認識アルゴリズムがカメラの視野におけるペーパ・ドキュメントを認識するために選択される。実施形態のいくつかにおいて、物理的ドキュメントと区別可能であるような、何も付けていない指先またはペン先を検出し、追跡するために、カラー・ベース・アルゴリズムが使用される。この解析にもとづいて、指もしくはペンの物理的ドキュメントとのインタラクションが、ドキュメントのコンピュータ画面に表示されている対応デジタル・バージョンへのマウス・ポインティング・オペレーションに変換（マッピング）されてもよい。リアル・タイム処理を実行するために、比較的遅いが比較的正確な認識アルゴリズムと、比較的早いが比較的不正確なフレーム間追跡アルゴリズムと、を組み合わせてもよい。比較的正確な認識は、ユーザのリクエストに応じて、もしくは、固定時間間隔（たとえば、１〜２秒間隔）で自動的に、実行される。この結果にもとづいて、カメラによって取得されたビデオ・フレームにおけるペーパ・ドキュメントの正確な位置を、２つの連続的なフレームの追跡結果によって推定する。認識セッションの各々が、累積エラーを低減するために追跡手段をリセットする。追跡アルゴリズムはカメラ画像のオプティカル・フローもしくはコーナー特徴にもとづいていてもよい。実施形態のいくつかにおいて、使用されるアルゴリズムは非特許文献７に開示されているものであってもよいが、その他のアルゴリズムをドキュメントの位置および動きを追跡するために使用してもよい。
【００５０】
「物理的ドキュメント認識」
本発明のシステムの実施形態は、バーコードや特別なデジタル・ペーパを使用することを必要とせずに、通常の一般的なプリントされたドキュメントをそのまま識別するコンテンツ・ベース・ドキュメント画像認識アプローチを利用する。したがって、本発明のシステムは、既存のドキュメント処理プラクティスと完全に共存可能であり、新聞、レシート、一般的なプリントアウトなどの任意のタイプのドキュメントに使用可能となるので、広い範囲に適用可能である。ドキュメント画像を認識するために使用することができるアルゴリズムはいくつかあるが、この実施形態では、ＦＩＴ(Fast Invariant Transform)処理を選択する（非特許文献８）。ＦＩＴは汎用的な画像特徴記述子の一つであり、したがって、適用することができるドキュメント・タイプの範囲が広く（たとえば、テキスト、図形、写真など）、言語に依存しない。ＦＩＴは検索時間および特徴記憶の点からも効率的である。部分的なオクルージョン、輝度変化、拡大縮小、回転、遠近歪みにロバストであるように、画像特徴点における局所特徴を、ＦＩＴでは利用する。
【００５１】
本発明のシステムの実施形態の一つにおいて、ユーザがドキュメントをプリントする場合、特別な機器を搭載したプリンタ・ドライバがドキュメントデータを取得し、該ドキュメントデータをサーバに送信する。サーバはドキュメント中の各ページの画像特徴点を識別し、各点における４０次元のＦＩＴ特徴ベクトルを計算する。ベクトルは、ＡＮＮ（Approximate Nearest Neighbor：最近傍）対応探索のツリー構造にクラスタリングされる。ドキュメントの各ページのテキスト、図、ホットスポット（hot spots）などのその他のメタデータを抽出し、サーバでインデックスを付与する。同様な特徴計算を続くクエリ画像に適用し、結果として取り出された特徴をツリー構造と比較する。クエリ画像の特徴点がインデックスの特徴点と（いくつかの数値的な類似度測定によって）類似するならば、２つの点は適合し、それらは「対応する」ものと見なされる。（ある閾値より高く）もっとも適合するページは、画像のオリジナル・デジタル・ページとして使用される。
【００５２】
「ペン先および指先の検出」
実施形態のいくつかにおいて、カラー・ベース(色基準)の方法は、一般的には物理的ドキュメント自身である背景と対照的な指もしくはペンの色にもとづいて指先もしくはペン先を追跡する。カラー・ベースの方法は、指先もしくはペン先の色が背景と区別可能であることを前提とする。指先を検出するために、固定カラー・モデルを肌色検出のため使用し、ペン先を検出するために、色相ヒストグラム逆射影（back-projection）のために予め取得したペン先画像を使用する。しかしながら、本発明は上記に限定されるものではなく、その他の方法を使用してもよい。
【００５３】
検出点Ｐｔの位置におけるノイズを低減するために、ポスト・フィルタがＰｔ値に適用される。Ｐｔは、指先もしくはペン先の動きが閾値を越える場合のみ更新される。さらに、指もしくはペンによるオクルージョンを避けるために、検出される指先もしくはペン先の上に固定の距離を離隔して投影されるカーソルを設定するようにしてもよい。ペン先および指先の処理は同様なので、以下に記載するペン関連技術は特に注釈が付されない限り、指先によるインタラクションにも適用可能である。
【００５４】
「タッチ検出」
本発明のシステムにおいて、ペンおよび指によるタッチを検出する多くの既知の手段がある。既知の手段は、指の影を用いて指から表面までの距離のおおよその値を求めることや、前述の形態で示したように、台に近いオブジェクトを容易に検出するために台上に薄いシート状のレーザ光を拡散させること、を含む。
【００５５】
「細かい粒度でのデジタル・インタラクションと物理的インタラクションとのマッピング」
細かい粒度で、カメラによって取得されたペン・ペーパ・インタラクション（たとえば、ペーパ・ドキュメント上の単語をペンで指し示す）を解釈するために、少なくとも一つのカメラ画像から少なくとも一つの同一のデジタル・ドキュメント・ページへの正確な座標変換を決定すべきである。これにより、プリント・スタイルやペーパ・シートの空間的配置の変更に対応することが可能となる。既存のシステムは紙片の境界を検出し、囲まれている四角形を矩形のデジタル画像へマッピングする。この方法は粗い粒度のインタラクション（たとえば、ビデオを何も記載されていない一枚の用紙上に投影する）には十分よい。しかしながら、この方法は、粒度が、単語レベルでのインタラクションや記号レベルでのインタラクションに十分な程正確ではない。なぜならば、図６に示すように、プリントアウトの周囲のマージンは、プリントされたコンテンツ１１２と対応するデジタル・ドキュメント・ページ１１８との間のマッピングを不正確にするからである。マージンはプリンタ毎に異なるかもしれない。（紙片の一方の面に複数のデジタル・ページをプリントする）Ｎアップ・プリントおよびページの重なりは、この状況を悪化させるが、Ｎアップ・プリントやページの重なりはかなり一般的に発生する。
【００５６】
既存システムの限界に対処するために、図７に示すように、カメラ基準フレーム１３６と認識されたデジタル・ドキュメント基準フレーム１３８との間のホモグラフィック変換Ｈｒを導き出すために、カメラ画像の特徴点と認識されたデジタル・ドキュメント・ページの特徴点との間の対応を利用する。変換行列は、カメラ基準フレーム（カメラ・ビデオ・フレーム）１３６と認識されたデジタル・ドキュメント基準フレーム（デジタル・ドキュメント画像）１３８との間の一対一特徴点対応から導き出される。認識対象となるドキュメント画像はコンピュータのデータベースに記憶されてもよい。実施形態のいくつかにおいて、少なくとも４対の特徴点ペアが必要とされる。Ｎ（Ｎ＞４）対のペアについて、最適な変換行列を検出するために、最小二乗法を用いることができる。マッピングの精度を向上させるために、外れ値(outliers)を除去するように、ＲＡＮＳＡＣ（RANdom SAmple Consensus）に類似したアルゴリズムを適用する（たとえば、非特許文献９）。Ｈｒによって、カメラ・ビデオ・フレーム１３６において検出された指先もしくはペン先は、認識されたデジタル・ドキュメント画像１３８の座標系のポイント１４０に容易にマッピングされる。このマッピングにもとづいて、ペーパ・ドキュメント上の指／ペン・インタラクション１４２はコンピュータのデジタル・オペレーションに変換される。
【００５７】
実施形態のいくつかにおいて、一般的に、物理的ドキュメント・ワークスペース上の任意のポイントとのインタラクションをサポートするために、任意のポイントはペーパ・ドキュメント内にある必要はない。アンカー・パッド１４４をテーブル基準フレームを決定するために使用する。アンカー・パッド１４４はサイズが既知である、たとえば、矩形の濃色のペーパ・シートであってよく、その４つのコーナーはテーブル基準フレームの固定座標の４つのポイント（たとえば、（１，１）、（１，２）、（２，１）、（２，２））を決定する。較正を行う間に、カメラはその視野におけるアンカー・パッドの４つのコーナーを検出し、図７に示すように、台（もしくは物理的ドキュメント・ワークスペース１１０）とカメラ基準フレーム１３６との間のホモグラフィック変換Ｈｃを導き出す。台の表面（物理的ドキュメント・ワークスペース）１１０はつねに平面であり、台に対するカメラの姿勢は固定されているものと仮定する。したがって、Ｈｃは一定であり、一度だけ較正すればよい。
【００５８】
「セミ・リアル・タイム処理」
ペーパ上のリアル・タイム・インタラクションは、１５フレーム毎秒（ｆｐｓ）より早い画像処理速度を必要とするかもしれない。しかしながら、一実施形態のシステムは、計算処理がたいへん複雑であるため、その画像処理速度は現在おおよそ１ｆｐｓである。一方、オプティカル・フローなどのドキュメント追跡技術はリアル・タイムでページの相対的移動を推定することができるが、累積的な誤差が生じるかもしれない。オプティカル・フローとは、（オブザーバ（目もしくはカメラ）とシーンとの間の相対的な動きによって生じる）視覚可能なシーンにおけるオブジェクト、面およびエッジの明確な動きのパターンである（非特許文献１０参照）。ドキュメント認識およびドキュメント追跡はハイブリッド・ドキュメント追跡のために組み合わされてもよい。実施形態のいくつかにおいて、本発明のシステムは一定期間ごとにビデオ・フレームを認識し、Ｈｒを導き出す。その結果にもとづいて、以降のビデオ・フレームのＨｒが２つの連続するフレーム間のオプティカル・フローによって推定される。累積誤差を低減するために、認識セッション毎にオプティカル・フロー検出をリセットする。
【００５９】
ＩＶ．プロジェクタ・プロセッサ
プロジェクタ１０４は、物理的ドキュメント１１２および物理的ドキュメント・ワークスペース１１０に、直接、視覚可能な動的フィードバックを行うことができる。２つの投影タイプ、すなわち、局所投影と大域投影とがある。
【００６０】
「局所投影」
図７に示すように、局所投影によれば、投影される画像１４６はつねにペーパ・ドキュメント１１２のプリントアウト基準フレームに揃えられる。しかしながら、ペーパ・ドキュメントはユーザ・インタラクションの間に動かされるかもしれない。局所投影は、通常、特定のペーパ・ドキュメント・コンテンツのトップに情報を重ね、ペーパとともに移動しなければならない。一例として、投影された境界ボックス１４６は、図７に示すように、ペーパ・ドキュメント１１２の単語「ＦＡＣＴ」を強調する。
【００６１】
局所投影は、通常、（対応するデジタル・ドキュメント基準フレームのポインタ・オペレーションにまずマッピングされる）ペン・ペーパ・インタラクションの結果として行われる。プロジェクタのフィードバック情報は同様の基準フレームにおいて直接的に決定される。たとえば、図７に示すドキュメント基準フレーム１１０の位置（５，５）で単語「ＦＡＣＴ」を指し示すペン先１４２を検出すると、基準フレームの位置（５，５）にサイズ１０×５の矩形ボックス１４６をフィードバックとして生成する。ペーパ・ドキュメント１１２の単語に合わせられた正しい矩形投影を生成するためにプロジェクタ基準フレーム１４８にこのボックス１４６を正確にマッピングすることが課題である。
【００６２】
ハードウェア環境はマッピングを決定する際に適している。カメラ、プロジェクタ、台表面の相対的な位置は固定されており、台は平面であると仮定する。したがって、カメラ基準フレーム１３６とプロジェクタ基準フレーム１４８との間のホモグラフィック変換Ｈｐは固定されている。その結果として、ドキュメントとプロジェクタとのマッピングはＨｐ−１＊Ｈｒ−１と記述することができる。実施形態のいくつかにおいて、Ｈｐは単純な一度の較正で導き出される。既知のパターンを含む予め記憶されている画像が台表面に投影され、カメラによって取得される。投影された画像と取得された画像との間の（Ｎ個の対応ペア：Ｎ≧４）特徴対応を検出することによって、Ｈｐの値が取得される。
【００６３】
投影変換はコンテンツ・ベース・カメラ・ドキュメント変換を基礎とする。ドキュメント・ページが変わると（複数のドキュメント・ページを一つのビデオ・フレームにおいて認識してもよい）、もしくは、カメラの視野において移動しているドキュメントの位置が変わると、投影変換は変化する。投影変換はプリント・マージン、Ｎアップ・プリント、部分的オクルージョンに影響されにくい。投影変換がこのように影響を受けにくいことは、下地となるドキュメントの詳細に投影される視覚可能なフィードバック１４６を正確に合わせる上で重要である。
【００６４】
「大域投影」
局所投影と異なり、大域投影は、台基準フレーム１１０に投影１４６を合わせる。大域投影はペーパの動きに影響されない。全体ドキュメントの生成時間、関連基準などの特定のドキュメント・ページに関連しない大局的情報のいくつかが、通常、採用される。電子メール報知、インスタント・メッセージ・ダッシュボード、システム・パフォーマンス・モニタなどのアプリケーションのために、コンピュータ表示を拡張するために、周辺表示手段として使用されてもよい。
【００６５】
大域投影の主な問題は、プロジェクタの光軸と投影面の法線（もしくは、投影面に垂直な方向）とが位置合わせされていないと、投影された画像に遠近歪みが生じることである。実施形態のいくつかにおいて、投影されている画像１４６の逆歪み(reverse-distortion)によって、該投影された画像を修正することができる。投影平面１１０（すなわち、台）からプロジェクタ基準フレーム１４８への座標変換を決定することが重要である。上記したように、台カメラ変換Ｈｃおよびプロジェクタ・カメラ変換Ｈｐはすでに知られている。したがって、台プロジェクタ・ホモグラフィック変換はＨｐ−１＊Ｈｃから導き出すことができる。
【００６６】
Ｖ．ページ上の細かい粒度のインタラクション
基礎となるカメラ・プロジェクタ入力／出力手段にもとづいて、本発明の実施形態は、ペーパ・ドキュメントの柔軟性および有利性を犠牲にすることなく、コンピュータと同等のユーザ・エクスペリエンスを達成するために、ペーパでの細かい粒度のドキュメント・コンテンツ操作のためのインタラクション技術を提供する。実施形態のいくつかにおいて、物理的ドキュメント・ワークスペースにおける第一の手からのカメラ入力と、デジタル・ドキュメント・ワークスペースを操作するための第二の手からのキーボード入力およびマウス入力と、を混合することによって両手によるクロス・メディア・インタラクションを提供することもできる。両手によるインタラクションは、密に結合されたインタラクティブ・スペースとしてペーパとコンピュータとをさらに統合する。
【００６７】
図８は、ペーパ上で細かい粒度のインタラクションを行う方法の実施形態におけるデータ・フローの概観を示す。第１のステップＳ２０１において、局所的視覚可能特徴セット｛Ｆ１，．．．，Ｆｎ｝を取得するために画像特徴抽出手段にカメラ画像が提供される。ステップＳ２０２において、特徴とドキュメント画像特徴データベースの特徴とをマッチングする。カメラ画像において物理的ドキュメントのオリジナル・デジタル・ページとして、閾値を越える適合特徴｛Ｖｉ：ページｉの適合特徴セット，ｉ＝１，．．．，ｍ｝を有するｍ個のドキュメント・ページ｛Ｐ１，．．．Ｐｎ｝を採用する。特徴点対応にもとづいて、本発明のシステムは、ステップＳ２０３において、カメラ画像から適合デジタル・ページＪ，Ｊ＝１，．．．，ｍまでのホモグラフィック変換を導き出す。ペン先の位置がステップＳ２０４で検出される。ステップＳ２０５において、この変換は、注目されている（ペン先が指し示している）特定のドキュメント・ページＰｆを決定するために、カメラ画像において検出されたペン先の位置Ｔｐと組み合わされる。次に、ペン指示は、デジタル・ページＰｆにおいて、位置Ｔｆ＝Ｈｆ＊Ｔｐにおける等価なマウス指示として解釈される。ステップＳ２０６のジェスチャ処理において、ペン・ベース・コンピュータのように、システムはジェスチャ・ストロークとしてポイントのサンプルを累積し、メタデータ・データベースから特定のドキュメント・コンテンツ｛Ｔ１，．．．，Ｔｋ｝を選択する。メタデータ・データベースは、登録されているドキュメント・ページの各々について、高解像度バージョン、テキスト、単語および記号の境界ボックス、ハイパーリンクなどを記憶する。ステップＳ２０７では、システムは、現在のカーソル、注目されているページ、変換精度、ジェスチャおよび選択されたドキュメント・コンテンツを示すためにフィードバック情報を生成する。ステップＳ２０８で、該フィードバック情報はペーパに視覚可能なフィードバックを重ねるために投影画像に変換される。
【００６８】
実施形態のいくつかにおいて、システム１００は、ペーパ１１２から対応するデジタル・ドキュメント１３８にペン先入力１４２をマッピングし、視覚可能なフィードバック１４６をペーパに投影する。この機構によって、ペーパ・ドキュメントおよび物理的ドキュメント・ワークスペースは触覚ディスプレイのように扱われる。したがって、従来のペンもしくはスタイラス・タイプのコンピュータ・オペレーションが物理的ドキュメントに拡張される。
【００６９】
実施形態のいくつかにおいて、現在の入力モードが「インク」であるか「ジェスチャ」であるか、に応じて、ペン入力は自由形式の手描きであるか、コマンド・ジェスチャであるか、が解釈されてもよい。「インク」モードにおいて、入力は書き込まれた注釈として記録される。該入力は対応するデジタル・ドキュメントに記憶され、その後、レビューのために取り出されてもよいし、該デジタル・ドキュメントを見る遠隔の共同作業者とネットワークを介して共有されてもよい。本物のインク・ペンが使用される場合、ペーパに残されるインクは、デジタル・バージョンより忠実度が高い。したがって、代替的な実施形態においては、ペーパからインクによる注釈を抽出するためにインク・リフト技術(ink lifting techniques)が使用されてもよい。「ジェスチャ」モードにおいては、ペン入力がコンピュータ・コマンドを構築するために使用される。該コンピュータ・コマンドは、ドキュメント・セグメント上に実行されるべきコマンドおよび所望されるアクションのためのターゲット・セクションとして一つ以上のドキュメント・セグメントを含む。ユーザは、個別の単語、文字、記号、画像、アイコン、様々な機能のための任意の領域もしくは形状を選択するために、物理的ドキュメントにペン・ストロークを描いてもよい。
【００７０】
「コマンド・ターゲットの選択」
通常のペン・ベース・インタフェースのように、入力には２つの基本的な状態がある。すなわち、「ホバー」と「タッチ」である。実施形態のいくつかにおいて、「ホバー」状態ではペンは表面に接触することなく、ペーパの上にある。ユーザは、意図する単語に、投影されたカーソルを向かわせるために、ペンを動かすことができる。任意のタイミングで、ポインタ（ペン先）に最も近い１つの単語全体がプロジェクタ・フィードバックによって強調される（１４６）。実施形態のいくつかにおいて、入力モードが「タッチ」状態に変更され、ペンが物理的ドキュメントの表面に接触（タッチ）すると、ペン入力は次のアクションのためにドキュメント・コンテンツを選択するためのジェスチャとして解釈される。表面からペンが離されると、該ジェスチャは終了する。
【００７１】
単語、記号、その他のドキュメント・コンテンツを選択するための多くのタイプのジェスチャがある。図９（Ａ）に示すように、「ポインタ」１５０は所定のオブジェクト（たとえば、単語、東アジアの文字、数学記号、アイコン）とのポイント・アンド・クリック・インタラクションに適している。図９（Ｂ）に示すように、「アンダーライン」１５２はテキスト行もしくは楽譜の小節１５４を選択するために使用される。図９（Ｃ）に示す「曲線(bracket)」１５６および図９（Ｄ）に示す「縦線」１５８が文および複数行のテキストのセクションを選択するために使用される。図９（Ｅ）に示す「囲み線(lasso)」１６２および図９（Ｆ）に示す「斜め線(marquee)」１６４が任意のドキュメント領域１６６および１６８を選択するために使用される。図９（Ｇ）に示すように、「経路」１７０がマップ１７２の経路を設定するために使用されてもよい。図９（Ｈ）に示す「フリーフォーム」１７４は任意のタイプの入力ジェスチャであってよく、アプリケーション特定の方法で解釈されてよい。理解が容易となるように、ジェスチャおよび選択されたドキュメント・コンテンツが図９（Ａ）〜図９（Ｈ）において強調されている。しかしながら、本発明のシステムにおいて、ジェスチャはプロジェクタから投影されるフィードバックによってペーパに描かれる。
【００７２】
実施形態のいくつかにおいては、システム実装を単純にするために、マルチ・ストロークをサポートせず、ジェスチャ認識も実行しない。しかしながら、所望されるのであれば、システムはマルチ・ストロークをサポートし、ジェスチャ認識を実行してもよい。このような実施形態において、ユーザは、ジェスチャを行う前に、手動でジェスチャ・タイプを選択する必要がある。
【００７３】
上記オペレーションを実装するために、メタデータがシステム・データベースに記憶されているデジタル・ドキュメントの各々から抽出される。このようなメタデータは、ドキュメント基準フレームの単語、文字、アイコンの境界ボックス（位置およびサイズ）、ドキュメント基準フレームの単語、文字、アイコンのテキスト、および、もしあれば、関連するＵＲＬ(uniform resource locations)を含んでもよい。メタデータはコマンド・ターゲット（たとえば、アンダーラインを引くジェスチャによって選択された単語）を設定するためにペン入力と結合され、ペーパへの視覚可能なフィードバック（たとえば、選択された単語を強調するための白い矩形ブロック）を生成するためにも使用される。
【００７４】
ＶＩ．ジェスチャのコンテキスト・アウェア（前後関係感知）・フィードバック
ジェスチャに応じて投影されるフィードバックはペーパ・ドキュメントのオリジナルの視覚可能な特徴に生じ得る干渉を制限するように特別に設計される。さもなくば、物理的デジタル・インタラクション・マッピングの正確さが落ちるかもしれない。第一に、ジェスチャ・ストロークの描画は、可能であれば、行わない。たとえば、フィードバックは、アンダーライン、曲線(Bracket)、縦線ジェスチャによって選択されたテキストについてのみ投映し、未処理ジェスチャ・ストロークについては描画しない。第二に、可能な限り、（囲み線(lasso)およびフリーフォーム・ジェスチャを除いて、）細い直線セグメントを投影に使用する。細い直線は、複雑なパターンに比べて少ない特徴点を生成するからである。第三に、大きい強調領域を明るい色で塗りつぶさない。大きい強調領域を明るい色で塗りつぶすことによって生じるグレア(glare)はオリジナルのドキュメントの視覚的特徴を歪曲するかもしれないからである。最後に、実施形態のいくつかにおいて、一般的なコンピュータ・インタフェースのように、コンテンツの個別の部分を別個に強調する代わりに、投影されるフィードバックは、図１０に示されるように、選択されたコンテンツ１７７のもっとも外側の輪郭１７５のみに配置してもよい。輪郭強調は所望されない画像特徴をさらに低減するために有用である。
【００７５】
「コマンド・アクションの選択」
図１１（Ａ）において、コマンド・ターゲット１７６が特定された後、ユーザはメニュー１７８から所望のアクションを選択する必要がある。アクション・メニュー１７８は、図１１（Ａ）に示すように、ペーパ１１２上でジェスチャ１８０の終端点の右隣に、直接投影されてもよい。このような「インプレース(in-place)」・メニュー１７８は、ペンおよび指の動きをあまり必要とせず、ジェスチャおよび選択を滑らかに行うことができるようになる。しかしながら、図１１（Ａ）に示すように、投影されたメニュー１７８は下にあるテキストや写真によって隠されてしまうかもしれず、この場合、アクション・メニュー１７８のテキストを読むことは困難になる。このような状況は、（現実の作業環境ではよくあるように、）周囲の環境が明るく、プロジェクタの輝度が限定されている場合、さらに悪化する。いくつかの適応的放射分析補償方法（adaptive radiometric compensation methods）が、オリジナル画像とほぼ同様の最終投影外観を生成するように投影画像を調整するために提案されているが、これらの方法は、テキストやマップなどのように、コントラストが高く背景領域が複雑である場合適正に働かない。
【００７６】
解決方法の一つはメニューを適応的に配置することである。この場合、システムは自動的にもっともオクルージョンが少ない領域にメニュー１７８を投影する。実施形態のいくつかにおいて、これは、テクスチャがもっとも少なく投影領域内のコマンド・ターゲットから最短の領域を探索することによって実行される。基準の双方を満足する領域がない場合、最適な領域を選択するために重み付け関数を採用することができる。テキストの空間的分布は、図１１（Ｂ）にドットで示すように、カメラ画像の上記ＦＩＴ特徴ポインタ１８２の分布によって近似されてもよい。ＦＩＴ特徴ポインタはドキュメント認識の副産物であり、追加時間はほとんどかからない。図１１（Ｃ）に示すように、アルゴリズムは空いている適当な領域１８４を検出し、該領域に適合するようにメニュー１７８の大きさを（該メニューが判読できる程度に）調整する。実施形態のいくつかにおいて、このようなアルゴリズムは非特許文献１１に開示されているアルゴリズムに類似するものであってよい。さらに、たとえば、図１１（Ｄ）の分割されたメニュー１８６によって示されるように、インタフェースの整合性が維持される限り、メニュー・ウィンドウ１７８自身が、オクルージョンがない一つ以上の領域にもっともよく適合するように変更されてもよい。実施形態のいくつかにおいて、ユーザがメニューを見付けることが容易となるように、コマンド・ターゲットから該メニューへの矢印が投影されてもよい。
【００７７】
メニューを配置するために適した場所がない場合、コマンド・アクション・メニューは、オクルージョンの問題に影響されないコンピュータ画面に表示されてもよい。一貫性のあるユーザ・エクスペリエンスのためにコンピュータ画面上の固定された位置にメニューを表示することができる。ユーザは通常ペーパ・ドキュメントに実行されるコマンド・ターゲットの結果を知るためにコンピュータ画面を見る必要があるが、該コンピュータ画面にメニューを表示することによって、ペーパと該コンピュータ画面との間で目の焦点を切り替える必要性を低減することができる。
【００７８】
「認識の失敗に対する処理」
上記細かい粒度のインタラクションは正確なドキュメント認識および座標変換に依存する。しかしながら、認識は照明条件がよくなかったり、ペーパに歪みがあったり、ドキュメントに索引が付与されていなかったりすることによって、失敗することもあるかもしれない。また、行列変換は特徴点対応が不十分であるために不正確なものであるかもしれない。このようなエラーを補うように、ペーパ・インタラクションを強化するためにコンピュータを利用することができる。
【００７９】
ペーパ・ドキュメント認識が失敗すると（すなわち、適合する特徴点の数が閾値より少ないと）、本発明のシステムによる実施形態のいくつかにおいて、ユーザは上位Ｎ個のリストもしくはデータベース全体から対応するデジタル・バージョンを選択することができる。データベースに存在しないインデックスを付与されていないドキュメントの場合、ユーザはカメラを静止画像モードに切り替え、ドキュメントの高解像度写真を撮影し、該写真に手動でインデックスを付与してデータベースに記憶する。本発明のシステムは、テキスト・メタデータを生成するために写真(picture)に文字認識(OCR)を適用してもよい。
【００８０】
物理的ドキュメントの対応デジタル・バージョンが検出され、（適合する特徴点の数の推定にもとづく）変換行列の正確さが十分でない場合、本発明のシステムはデジタル・プロキシ技術を使用する。該デジタル・プロキシ技術は初期の粗いインタラクションにペーパ・ドキュメントを使用し、細かいインタラクションにコンピュータを使用する。図１２に示すように、第一の手１８８がペーパ・ドキュメント１１２上に現れると、対応デジタル・ドキュメント・ページ１３８の全体が検索して取り出され、画面１０８のポップアップ・ウィンドウ１９０に表示される。ユーザは、次に、たとえば、ページの選択領域１９６をコピーすることによって、細かい粒度でデジタル・ドキュメント１３８を操作するように、マウス１９４などのコンピュータ入力デバイスを操作するために第二の手を使用することができる。
【００８１】
上記した指もしくはペンによるジェスチャも同様にコンピュータに適用することができる。（図示しない）コンピュータにジェスチャを適用する方法の実施形態のいくつかにおいて、指もしくはペンによるジェスチャ操作が行われると、ユーザは第一の手をカメラの視野の外に出す。これに応じて、デジタル・プロキシ・ウィンドウを縮小してアイコンに変化させ、画面は、たとえば、コピーされた図を他のドキュメント・ファイルにペーストするような、クロス・メディア・オペレーションの次のステップのために以前の状態に戻る。ペーパ・ドキュメントの操作は迂回されるので、変換Ｈｒが不正確であることは重要ではない。
【００８２】
ＶＩＩ．物理的ドキュメントおよびデジタル・ドキュメントとの両手同時インタラクション
ドキュメントへの作業者による操作に関する以前の研究を見ると、ドキュメントの使用に関連する作業者は、参照、比較、照合、要約などの複数のドキュメントへの作業に時間の半分を費やしている。画面のサイズが限定されているポータブル・コンピュータの場合、マルチ・ドキュメント・インタラクションの画面を拡張するために、ペーパ・ドキュメントがよく使用される。しかしながら、このようなインタラクションは、画面上の通常のマルチ・ウィンドウ・オペレーションより複雑である。なぜならば、ドキュメントは異なるメディア（媒体）にあり、入力方法が異なるかもしれないからである。たとえば、ユーザはペーパからコンピュータへ図をコピーすることを所望したり、ウェブ・ページとペーパ上の単語とを関連付けることを所望したり、ペーパ・マップ上の位置を検出するためにコンピュータ上のストリート・ビュー・マップを使用することを所望したりするかもしれない。ペーパへの入力デバイスは、主に、指もしくはペンであり、コンピュータへの入力デバイスは、主に、キーボードもしくはマウスである。これらのクロス・メディアな複数のドキュメント・オペレーションにおいて、片方の手によるインタラクションはユーザに入力デバイスを切り替えることや身体の姿勢を変えることを要求するが、これは、不便である。
【００８３】
したがって、本発明の実施形態のいくつかは、ユーザがペーパ上のオペレーションを実行すために一方の手を使用し、コンピュータ上のオペレーションを実行するために他方の手を使用することができるように、クロス・メディアな両手インタラクションをサポートする。カメラおよびコンピュータからの２つの入力ストリームは複数のドキュメント操作をサポートするために連動される。
【００８４】
クロス・メディア・インタラクションのための方法の実施形態のいくつかにおいて、情報転送をサポートするために両手によるクロス・メディア・インタラクションを使用してもよい。たとえば、ユーザがよく知らない言語が日本語であって「富士」という単語がペーパ・ドキュメント上にあり、該単語についての情報を取得するために、ユーザは第一の手で該文字もしくは単語を指し示す。次に、ユーザは、第二の手で「ウェブ検索」などのコンピュータ上のコマンドを選択する。これに応じて、システムは選択されたテキストをコンピュータに送信する。コンピュータはウェブ検索を実行し、結果をユーザに表示する。同様に、ユーザは、ペーパ・ドキュメント上の写真を囲み線で容易に囲むことができ、次に、該写真をコンピュータ上のワープロ・ドキュメントもしくはその他のドキュメントにコピーすることができる。その他の実施形態において、情報転送の向きが逆であってもよい。マルチメディア注釈がコンピュータからペーパ・ドキュメントに投影されてもよい。該注釈はペーパに投影されるアイコンによって示され、ダブル・クリックによって再生されてもよい。ペーパとコンピュータとの境界にわたって、２つのドキュメント・セグメントをリンクする情報の関連を自然に確立するために、両手が使用されてもよい。たとえば、将来、ペーパの日本語を選択すると、コンピュータ画面のリンクされたウェブ・ページが表示されるように、ユーザはペーパ上の日本語に百科事典もしくは辞書のウェブ・ページをリンクしてもよい。ユーザは複数の表示を操作するために、同時に同一の複合ドキュメント(compound document)の異なる表示を操作することができる。たとえば、図１３に示すように、コンピュータ画面１０８の対応位置にあるストリート・ビュー画像１２０を表示するために、第一の手１８８によってプリントされているマップ１７２の位置１９８を選択し、次に、マウス１９４を制御し、選択されたマップの位置１９８に対応する対応ストリート・ビュー表示１２０の周囲をナビゲートするために第二の手１９２を使用してもよい。
【００８５】
ＶＩＩＩ．ペーパ・ドキュメント・インタラクションのための両手ハイブリッド入力
両手入力はクロス・メディア・オペレーションのためだけでなく、単一メディア・オペレーションにも使用することができる。本発明のシステムはコンピュータ入力によるペーパ・オペレーションの拡張をサポートする。これは、カメラ・プロジェクタ・ユニットおよびコンピュータの相補的な情報によって動機付けされる。カメラ・ベースの指による入力は、ペーパ操作において自然ではあるが、通常あまりロバストではなく、マウスやキーボードによる入力に比べて入力サンプリング・レートが低い。これは、ペーパ・インタラクション（特に、細かい粒度のインタラクション）についてのユーザ・エクスペリエンスを比較的低下させる。（たとえば、両手クロス・メディア・インタラクションを行っており、）ペーパ上で一方の手だけでジェスチャを行う場合、指もしくはペン入力による問題は大きくなるかもしれない。なぜならば、コンピュータに入力を提供する他方の手の指とペーパとの接触による干渉がペーパ・シートの所望しない動きの原因となるかもしれないからである。
【００８６】
ハイブリッド・システムの利用可能な情報を最適に使用するために、実施形態のいくつかにおいて、キーボードおよびマウス入力はリダイレクトされる入力であってよく、ペーパ・ドキュメントにフィードバックされてもよい。該入力は、次の細かい粒度のインタラクションのために、カメラ入力と結合されてもよい。たとえば、図１４（Ａ）〜（Ｃ）に示すように、ペーパ・ドキュメント１１２の矩形領域２００を選択するために、マウス１９４に第二の手１９２を置いたまま、図１４（Ａ）に示すように、ユーザは、該領域のおおよその位置を第一の手１８８で指し示す。図１４（Ｂ）において、カメラの視野で第一の手１８８の存在が検出されると、システムは、ペーパ・ドキュメント１１２上の指先２０４が検出されている位置にマウス・カーソル２０２を移動する。マウス・カーソル２０２はペーパ・ドキュメント１１２に投影されている。ユーザは、矩形領域２００の上でマウスをクリックし、ドラッグするために、マウス１９４を操作する。これにより、図１４（Ｃ）に示すように、初期の粗い選択からより高い忠実性で領域２００を選択し直す。第一の手１８８は、ペーパの意図しない動きを避けるために、ペーパ・ドキュメント１１２の上にただ置いておかれればよい。
【００８７】
（図示しない）コンピュータ・キーボードはペーパ・ドキュメントに高い忠実性のあるテキスト情報を付加するために使用されてもよい。たとえば、ユーザは、ペーパ上のドキュメント・セグメントを選択し、セグメントのテキスト注釈をタイプ入力してもよいし、選択されたペーパ・ドキュメント領域のＯＣＲエラーを修正するためにキーボードを使用してもよい。たとえば、このようなキーボード入力は、半自動ペーパ・レシート転写アプリケーションにおいて特に有用である。本発明のシステムは、それゆえ、コンピュータ・ドキュメントとのインタラクションを拡張するだけでなく、ペーパ・ドキュメントとのインタラクションも拡張することができる。
【００８８】
ＩＸ．物理的ドキュメントおよびデジタル・ドキュメントとの同時両手インタラクション
他の実施形態においては、カメラ入力とコンピュータ入力との融合を画面だけのインタラクションにも適用することができる。本発明のシステムは、デジタル・ドキュメントを制御するために、ペーパ・ドキュメント上のペン・ベースもしくは指ベースの指示をコンピュータにリダイレクトすることができる。ペン・ベースおよび指ベースの指示は、他のハードウェアを追加することなく、画面上でのマルチ・ポインタ・インタラクションのために、マウス入力と結合することができる。たとえば、物理的ドキュメント・ベース・ポインタおよびコンピュータ・ベース・ポインタによって、ユーザは写真を同時に拡大縮小するとともに回転することができる。その他の例において、図１５に示すように、ユーザはペーパ上で第一の手１８８をフリックする（２０６：画面上を素早く払うようにタッチする）ことによって、ドキュメントをパンし（ドキュメントの表示を振り）、第二の手１９２でマウス１９４を操作することによって特定のコンテンツ２０８を選択することができる。その他の指ベースの入力を必要とせず、マウスをパンと選択タスクとの間で切り替える必要もない。上記両手インタラクションはマルチ・タッチ・インタラクションをサポートしない通常のコンピュータで有用である。
【００８９】
Ｘ．応用
上記様々な実施形態におけるインタラクション技術はペーパとコンピュータとを混在して使用するための多くのシナリオに適用することができる。たとえば、ペーパ・レシート処理、ドキュメント操作およびマップ・ナビゲーションなどについて以下で詳細に記載する。しかしながら、これらは例示であり、本発明を限定するものではない。
【００９０】
「レシート処理」
ペーパ・レシートはシンプルで、ロバストであり、かつ、既存のペーパ・ベース・ワーク・フローと適合性を有するために広範囲にわたって使用されている。しかしながら、ペーパ・レシートを新しいデジタル財務ドキュメント・ワーク・フローと統合することは（当事者にとって）退屈であり、時間を要する。多くのリサーチおよび様々な商用製品がこの領域で進展している。しかしながら、これらの多くは出費額、日付などの情報をレシートから完全に手書きで転写することを必要とする。ＯＣＲによってレシートから情報を自動的に抽出する場合もあるが、使いやすいエラー修正インタフェースがなく、他の制限も経理担当者の検証を困難にする。
【００９１】
レシート処理の方法の実施形態のいくつかにおいて、本発明の上記システムは図１６（Ａ）〜（Ｆ）に示すようにレシートを処理することができる。図１６（Ａ）に示すように、レシート２１０がカメラの視野に置かれると、システムは以前検出したレシートを記憶している既存レシート・データベースから該レシートと同一のレシートのデジタル・バージョンを検出することによって該レシート２１０を認識しようとする。適合するデジタル・バージョンが検出されない場合、レシート２１０は新規なものとして扱われることになり、図１６（Ｂ）に示すように、投影メッセージ２１２によってユーザにその旨を報知する("Your receipt is new")。システムは、レシートの高解像度写真２１４を撮影する。該写真は図１６（Ｃ）に示すようにコンピュータ画面１０８に表示される。次に、高解像度写真２１４をシステム・データベースに記憶する。ペーパ・レシート処理の問題は、正確な座標変換のために十分な特徴点をレシートが有さないかもしれないことである。レシートのコンテンツは一般に通常のドキュメントより少ないからである。この場合、上記デジタル・プロキシ・ストラテジを使用することによって、ユーザは、類似のジェスチャおよび修正機構によって画面１０８上のレシート２１０を操作することができる。たとえば、図１６（Ｄ）に示すように、ＯＣＲの特定の領域２１６（ここでは、日付）を選択するために、ユーザは（図示しない）アンダーラインを引くジェスチャを画面１０８上のレシートの写真２１４に直接行うことができる。実施形態のいくつかにおいて、ＯＣＲの結果２１８が検証のために領域２１６の隣に表示される。ＯＣＲの結果２１８が不正確であれば、ユーザは（図示しない）キーボードを使用して修正することができる。さらに、図１６（Ｅ）に示すように、レシート処理アプリケーションはレシートの情報を入力するセル２２２を有するデータ入力ソフトウェア・アプリケーション２２０を含んでもよい。この実施形態では、ソフトウェア・アプリケーション２２０において転写されたセル値の各々は、情報が導き出されたレシートの写真２１４の関連する領域２２４にリンクされてもよい。これにより、ユーザは、図１６（Ｆ）に示すように、セルを選択することによって、レシートの関連する領域２２４を強調して、該レシート２１０の写真２１４を検索して取り出し、セル２２２の各々の情報を容易に検証することができる。
【００９２】
「ドキュメント操作」
上記したように、本発明のシステムは、ユーザがペーパ上で細かい粒度のドキュメント・オペレーションを行うことを支援する。ドキュメント・オペレーションには、たとえば、キーワード検出、コピー・アンド・ペースト、インターネット検索などがあるが、本発明はこれらに限定されるものではない。図１７（Ａ）に示すように、キーワード検出アプリケーションの実施形態において、ユーザは、ペーパ・ドキュメント１１２の単語２３０を選択するためにペン先２２８を使用することができるし、図１７（Ｂ）に示すように、ドキュメントにわたるその（選択された単語の）存在２３２を検出するために（図示しない）キーボードを用いて任意の単語をタイプ入力してもよい。システムはドキュメントのフル・テキスト検索を実行し、（図示しない）プロジェクタを介して存在２３２の正確な位置を強調表示する。実施形態のいくつかにおいて、存在２３２のいくつかは投影領域の外側にあってもよい。その場合、プロジェクタは、図１７（Ｃ）に示すように、特定の方向にある（選択された単語の）存在を示すために投影境界の付近に矢印２３４を表示してもよい。ユーザは、ドキュメントにおいてさらなる存在２３２を明らかにするために矢印２３４によって示される方向にドキュメント１１２を移動させてもよい。
【００９３】
「マップ・ナビゲーション」
ペーパ・マップは、大きく、ロバストで、高品質の表示を提供するが、デジタル・マップで利用可能な動的な情報（道路周辺風景画像や動的交通情報など）は有さない。システムの実施形態のいくつかにおいて、図１８（Ａ）に示すように、ペーパ・マップ１７２とのインタラクションはコンピュータ画面１０８上のデジタル・マップ２３６と統合することができる。図１８（Ｂ）に示すように、任意の特定のポイント２３８もしくは経路がペーパ・マップ１７２上で選択され、システムはユーザの選択を処理し、図１８（Ｃ）に示すように、選択されたポイント２３８もしくは経路まで画面１０８上に対応するストリート・ビュー画像１２０をナビゲートする。その他の実施形態において、ユーザは、街路を車両で移動するためにストリート・ビュー・マップ・アプリケーションを操作してもよい。このような動きはペーパ・マップ上にプロジェクタによって強調して表示される。
【００９４】
ＸＩ． コンピュータによる実施形態
図１９は、本発明の手法が実装されるコンピュータ／サーバ・システム７００の実施形態を例示するブロック図である。システム７００は、指示を実行するための作業を行うプロセッサ（処理手段）７０２およびメモリ（記憶手段）７０３を含むコンピュータ／サーバ・プラットフォーム７０１を含む。「コンピュータ可読記憶媒体」は、たとえば、ディスク、半導体メモリなどの任意の有形の媒体であってよい。該コンピュータ記憶媒体はプロセッサ７０２に実行のための指示を提供する際に使用される。さらに、コンピュータ・プラットフォーム７０１は、キーボード、マウス、タッチ・デバイス、音声命令入力装置など、複数の入力デバイス（入力手段）７０４からの入力を受信する。コンピュータ・プラットフォーム７０１は、ポータブル・ハード・ディスク・ドライブ、光メディア（ＣＤ、ＤＶＤ）、ディスク媒体、その他の任意の有形な媒体など、コンピュータが実行コードを読み取ることができる脱着可能な記憶デバイス（脱着可能記憶手段）７０５にさらに接続されていてもよい。コンピュータ・プラットフォームはさらにインターネットもしくはローカル・パブリック・ネットワークもしくはローカル・プライベート・ネットワークのその他の構成要素に接続するネットワーク・リソース７０６に接続していもよい。ネットワーク・リソース７０６は指示およびデータをネットワーク７０７の遠隔位置からコンピュータ・プラットフォームに提供してもよい。ネットワーク・リソース７０６への接続は、たとえば、８０２．１１規格、ブルートゥース、ワイヤレス・プロトコル、セルラー・プロトコルなどのワイヤレス・プロトコルを介してもよいし、たとえば、金属ケーブルや光学繊維ケーブルなどの物理的な送信媒体を介してもよい。ネットワーク・リソースは、データや実行可能な指示を記憶する、コンピュータ・プラットフォーム７０１とは別個の位置にある記憶デバイスを含んでもよい。コンピュータは、その他の指示およびユーザからの入力を要求し、ユーザへデータやその他の情報を出力するためのディスプレイ（表示手段）７０８とインタラクションを行う。表示手段７０８はユーザとのインタラクションを行うための入力手段として機能してもよい。
【符号の説明】
【００９５】
１０２ カメラ
１０４ プロジェクタ
１１０ 物理的ドキュメント・ワークスペース
１１２ ペーパ
１１４ デジタル・ドキュメント・ワークスペース
１１６ ペーパ・コンピュータ調整手段
１１８ デジタル・バージョン
【技術分野】
【０００１】
本発明は、物理的ドキュメント(physical documents 紙などの表示媒体上にユーザの視覚によるコンテンツの閲覧が物理的に既に可能となっている状態で提示されているドキュメント。ドキュメントの電子ファイルのようにデータの表示処理なしにはコンテンツの閲覧が不可能な状態のドキュメントと対比されるもの。)とコンピュータ（計算処理装置）とをインタラクトさせる(interact)情報処理システム、方法およびプログラムに関する。詳細には、ペーパとコンピュータとのハイブリッド・ベース・インタフェースで、物理的ドキュメントのユーザ・インタラクション(user interaction)とコンピュータ上の関連コンテンツのユーザ・インタラクションとを関連付けることに関する。
【背景技術】
【０００２】
ペーパおよびコンピュータは、ドキュメント処理のためにもっともよく使用される２つの主要な媒体である。ペーパは読むこと、および、注釈を書き込むことに適しており、軽量であるため運搬が容易であり、スペースに合わせて大きさを柔軟に変更することができ、様々な環境での使用において頑健性を有し、社会的環境に受け入れられやすい。コンピュータは、マルチメディア・プレゼンテーション、ドキュメント編集、アーカイビング、共有、検索において便利である。これらのユニークなまたは相補的な効果によって、ペーパとコンピュータとは多くの場面において共に使用されている。ペーパをコンピュータと完全に置き替えることは技術的に困難であり、費用効率に懸念があるため、予測可能な将来において、この状態は継続しそうである。
【０００３】
一般的なワークステーションの環境では、ユーザはペーパとコンピュータとを同時に使用することを所望するかもしれない。特に、図１に示すように、台の上にペーパ・ドキュメント１１２とコンピュータ１０６とが隣り合わせに置かれている場合には、ユーザは、ペーパ・ドキュメント１１２とコンピュータ１０６とを同時に使用することを所望するだろう。たとえば、物理的な紙片の記事を読み、コンピュータで要約を作成する（書く）ために、図１のような環境がよく使用される。読み書きのアクティビティとともに、特定の内容についての追加情報をインターネットで検索したり、文章を引用したり、記事の図をコピーしたり、電子メールやインスタント・メッセージ（［ＩＭ」）によって記事の興味深い部分を友人と共有したりすることが必要となることがユーザにはよくある。
【０００４】
しかしながら、ペーパとコンピュータとを同時に使用する場合、この２つの媒体の間で移動やインタラクションを容易に行う技術は存在しない。ペーパのコンテンツは、遠隔共有、ハイパーリンク、コピー・アンド・ペースト、インターネット検索、キーワード検出などのコンピュータ・ベース・デジタル・ツールとは絶縁されている。ペーパとコンピュータとの間のこのようなギャップは、ペーパをコンピュータと組み合わせて使用する場合に効率を低下し、ユーザ・エクスペリエンスを劣化する。たとえば、ビジネス・パーソンにとって、払い戻しのためにペーパ・レシートを手で書き写すことは退屈な作業であるし、経理担当者にとっても、払い戻しのための書類とオリジナルのレシートとを照合のために比較することは退屈な作業である。その他の例では、ユーザが、ある未知の外国語をどのようにコンピュータに入力するのか知らない場合、書籍の中の当該未知の外国語の単語をインターネットで検索することは困難が伴う。同様に、ペーパ・ドキュメントからコンピュータのデジタル・ドキュメントに写真をコピーすることも容易ではない。
【０００５】
ペーパとコンピュータとの境界に対処するために努力がなされてきたが、いまだ、これらの間のギャップは埋められていない。第一に、たとえば、非特許文献１および非特許文献２などの現在のシステムのほとんどは頁全体もしくはドキュメント全体とのインタラクションに焦点を当てており、ドキュメント内の細かい粒度（ページ全体よりも精細で、たとえば、個別の単語、記号、任意の領域、などの小さい範囲）の操作をサポートしていない。第２に、これらのシステム（たとえば、ページ・レベル・ハイパーリンク（非特許文献１および非特許文献２）、空間配置的追跡（非特許文献３）、テキスト転写（非特許文献４および非特許文献５）など）は、ペーパへのデジタル機能を限定的にしかサポートしておらず、上記問題に対処するには十分ではない。第３に、ハードウェア構成が柔軟性を有さず、さらに、特別にマークが付されたペーパのために何かを必要とすることによって（たとえば、非特許文献６）、これらは既存のワーク・フローに干渉するかもしれない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ウィルソン（Wilson）、「どこでも再生：コンパクト・インタラクティブ・テーブルトップ・プロジェクション・ビジョン・システム（PlayAnywhere: a compact interactive tabletop projection-vision system）、ＵＩＳＴ抄録（Proceedings of UIST）、２００５年、頁８３〜９２
【非特許文献２】ケーン（Kane）ら、「焚き火：ハイブリッド・ラップトップ・テーブルトップ・インタラクションのためのノーマディック・システム（Bonfire: a nomadic system for hybrid laptop-tabletop interaction）、ＵＩＳＴ抄録（Proceedings of UIST）、２００９年、頁１２９〜１３８
【非特許文献３】キム（Kim）ら、「ビデオ・ベース・ドキュメント追跡：物理的デスクトップと電子的デスクトップとの統一（Video-based document tracking: unifying your physical and electronic desktops）」、ＵＩＳＴ抄録（Proceedings of UIST）、２００４年、頁９９〜１０７
【非特許文献４】ニューマン（Newman）ら、「カムワークス：ペーパ・ソース・ドキュメントから効率的にキャプチャするためのビデオ・ベース・ツール（CamWorks: A Video-based Tool for Efficient Capture from Paper Source Documents）、ＩＥＥＥ マルチメディア・システム抄録（Proceedings of IEEE Multimedia System）、１９９９年、頁６４７〜６５３
【非特許文献５】ウェルナー（Wellner）、「デジタルデスク上のペーパとのインタラクション（Interacting with paper on the DigitalDesk）」、ＡＣＭ通信（Communications of the ACM）、３６（７）、１９９３年、頁８７〜９６
【非特許文献６】ソング（Song）ら、「ペンおよび空間感知モバイル・プロジェクタを用いたデジタル・ペーパのバイマニュアル・インタラクション（Bimanual Interactions on Digital Paper Using a Pen and a Spatially-aware Mobile Projector）、ＣＨＩ抄録（Proceedings of CHI）、２０１０年
【非特許文献７】バーンズ(Barnes)ら、「ビデオ・パペット：切り絵アニメのための遂行的インタフェース（Video Puppetry: A Performative Interface for Cutout Animation）」、グラフィックに関するＡＣＭトランザクション（ACM Transaction on Graphics）、Ｖｏｌ．２７、Ｎｏ．５、２００８年
【非特許文献８】リウ（Liu）ら、「ＦＩＴによる高精度・言語非依存ドキュメント検索（High Accuracy And Language Independent Document Retrieval With A Fast Invariant Transform）」、ＩＣＭＥ抄録（Proceedings of ICME）、２００９年
【非特許文献９】ヘア（Hare）ら、「マップスナッパー：モバイル・フォンのマップ画像をマッチングするための効率的なアルゴリズム処理（MapSnapper: Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones）」、マルチメディア・コンテンツ・アクセス抄録（Proceedings of Multimedia Content Access）、アルゴリズムおよびシステムII（Algorithms and Systems II）、２００８年
【非特許文献１０】バートン（Burton）ら、「遠近法で考える：思考過程の研究についての批評的エッセイ（Thinking in Perspective: Critical Essays in the Study of Thought Processes）、ルートレッジ（Routledge）、１９７８年
【非特許文献１１】リウ（Liu）ら、「埋め込みメディア・マーカ：関連メディアを示すペーパ上のマーク（Embedded Media Markers: Marks on Paper that Signify Associated Media）」、ＩＵＩ抄録（Proceedings of IUI）、２０１０年、頁１４９〜１５８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記したように、コンピュータ上のアクティビティとペーパ・ドキュメントを関連付ける現在のシステムは多くの制限を有している。したがって、物理的ドキュメントとコンピュータとで関連付けられた作業を従来に比べて高い自由度で実現するための改善が必要とされている。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、情報処理システムであって、少なくとも一つの物理的ドキュメントを撮影して得られる画像に基づいて、前記画像中の前記物理的ドキュメントに含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をするとともに、前記画像特徴点の位置に基づいて特定される、該少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出するカメラ処理手段と、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影することで提供するプロジェクタ処理手段と、を備える。
【０００９】
本発明の第２の態様は、第１の態様の情報処理システムであって、前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理し、前記細かい粒度のコンテンツは、個別の単語、文字、図形を含み、前記カメラ処理手段は前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する。
【００１０】
本発明の第３の態様は、第１の態様の情報処理システムであって、前記プロジェクタ処理手段によって提供される視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく。
【００１１】
本発明の第４の態様は、第１の態様の情報処理システムであって、前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する。
【００１２】
本発明の第５の態様は、第４の態様の情報処理システムであって、前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する。
【００１３】
本発明の第６の態様は、第１の態様の情報処理システムであって、前記計算処理装置へのユーザ・インタラクションを、前記プロジェクタ処理手段によって前記少なくとも一つの物理的ドキュメントへ提供される視覚可能なフィードバックに変換する。
【００１４】
本発明の第７の態様は、第１の態様の情報処理システムであって、前記プロジェクタ処理手段は前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する。
【００１５】
本発明の第８の態様は、第１の態様の情報処理システムであって、折り畳み可能なフレームに統合されており、運搬可能であるカメラおよびプロジェクタと、少なくとも一つのミラーと、をさらに備え、前記少なくとも一つのミラーは、前記フレームに取り付けられており、前記カメラおよびプロジェクタの光路を前記少なくとも一つの物理的ドキュメントへ反射するように、該少なくとも一つの物理的ドキュメントの上に配置されている。
【００１６】
本発明の第９の態様は、第１の態様の情報処理システムであって、前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために該コンテンツに対応するデジタル・ドキュメントを取得する。
【００１７】
本発明の第１０の態様は、第９の態様の情報処理システムであって、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす。
【００１８】
本発明の第１１の態様は、第１の態様の情報処理システムであって、前記カメラ処理手段は、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する。
【００１９】
本発明の第１２の態様は情報処理方法であって、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させる。
【００２０】
本発明の第１３の態様は、第１２の態様の情報処理方法であって、細かい粒度のコンテンツを識別するために前記少なくとも一つの物理的ドキュメントを処理し、前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する、ことをさらに含み、前記細かい粒度のコンテンツは個別の単語、文字、図形を含む。
【００２１】
本発明の第１４の態様は、第１２の態様の情報処理方法であって、前記視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく。
【００２２】
本発明の第１５の態様は、第１２の態様の情報処理方法であって、前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する。
【００２３】
本発明の第１６の態様は、第１５の態様の情報処理方法であって、前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する。
【００２４】
本発明の第１７の態様は、第１２の態様の情報処理方法であって、前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する。
【００２５】
本発明の第１８の態様は、第１２の態様の情報処理方法であって、前記計算処理装置へのユーザ・インタラクションを前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックに変換する。
【００２６】
本発明の第１９の態様は、第１８の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントの詳細なコンテンツを操作するために、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションを、該少なくとも一つの物理的ドキュメントへのユーザ・インタラクションと同時の前記計算処理装置へのユーザ・インタラクションに変換する。
【００２７】
本発明の第２０の態様は、第１２の態様の情報処理方法であって、前記物理的ドキュメントの詳細なコンテンツは、前記少なくとも一つの物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、前記計算処理装置とインタラクトするために第二の手を用いたユーザ・インタラクションによって操作される。
【００２８】
本発明の第２１の態様は、第１２の態様の情報処理方法であって、デジタル・ドキュメントの詳細なコンテンツは、前記物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、計算処理装置とインタラクトするために第２の手を用いたユーザ・インタラクションによって操作される。
【００２９】
本発明の第２２の態様は、第１２の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントとインタラクトするために、第一の手を用い、前記計算処理装置上のデジタル・ドキュメントとインタラクトするために、第二の手を用いて、該物理的ドキュメントの詳細なコンテンツと該デジタル・ドキュメントとを同時に操作する。
【００３０】
本発明の第２３の態様は、第１２の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために前記コンテンツに対応するデジタル・ドキュメントを取得する。
【００３１】
本発明の第２４の態様は、第２３の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす。
【００３２】
本発明の第２５の態様は、第１２の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する。
【００３３】
本発明の第２６の態様はプログラムであって、コンピュータを、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させるように機能させる。
【００３４】
以上および以下の記載は、説明および例示だけを目的としており、本発明もしくは本発明の応用を制限することを意図するものではない。
【発明の効果】
【００３５】
本発明のシステム、方法およびプログラムによれば、物理的ドキュメントとコンピュータとを連動させた処理を、従来と比較してより精細に実現することができる。
【図面の簡単な説明】
【００３６】
【図１】画面を有するラップトップ・コンピュータとペーパ・ドキュメントを含むノートとを含む従来のワークステーション環境を例示する。
【図２】本発明の実施形態における、カメラ、プロジェクタ、画面を備えたコンピュータを用いた物理的ドキュメントとデジタル・ドキュメントとをインタラクトさせるシステムを例示する。
【図３】本発明の実施形態において、ユーザがペーパ・マップとコンピュータとに同時にインタラクトすることができるワークスペースを例示する。コンピュータは、マップ上のユーザの指で選択されたある位置に関連付けられた画像を表示する。
【図４】本発明の実施形態において、少なくとも一つの物理的ドキュメントとコンピュータとをインタラクトさせる方法を例示する。
【図５】本発明の実施形態における、折り畳み可能なフレームに接続されている少なくとも一つのミラーを含む運搬可能なカメラ・プロジェクタ・ユニットを例示する。
【図６】従来のデジタル・ドキュメントとプリントアウト・ドキュメントのマッピングを例示する。
【図７】本発明の実施形態において、カメラ基準フレームと認識されたドキュメント基準フレームとのホモグラフィック変換を決定する方法を例示する。
【図８】本発明の実施形態において、物理的ドキュメントとインタラクトする方法のデータ・フローを例示する。
【図９】本発明の実施形態において、単語、記号およびその他のドキュメント・コンテンツを選択するために、ユーザがペーパ上で行うことができるジェスチャを例示する。
【図１０】選択されたコンテンツの外郭を強調するプロジェクタからのフィードバックを例示する。
【図１１】本発明の実施形態において、物理的ドキュメントにメニューを投影する際に適応的に配置する方法を例示する。
【図１２】本発明の実施形態において、コンピュータ上で物理的ドキュメントを制御するデジタル・プロキシ方法を例示する。
【図１３】本発明の実施形態における、第一の手による物理的ドキュメントの操作と、第二の手によるコンピュータの操作と、の両手による操作の連動を例示する。
【図１４】本発明の実施形態における、物理的ドキュメントとの両手によるインタラクションを例示する。第二の手によって制御されるコンピュータ入力デバイスは第一の手による制御ドキュメントの操作に貢献する。
【図１５】本発明の実施形態における、コンピュータ画面との両手によるインタラクションを例示する。物理的ドキュメント上の第一の手の動きは第二の手によるコンピュータ画面の操作に貢献する。
【図１６】本発明の実施形態における、ペーパ・レシートの情報を処理するための本発明のシステムの適用を例示する。
【図１７】本発明の実施形態における本発明のシステムのキーワード検出アプリケーションを例示する。
【図１８】本発明の実施形態における本発明のシステムのマップ・ナビゲーション・アプリケーションを例示する。
【図１９】本発明の実施形態において本発明のシステムが実装されるコンピュータ・システムのブロック図を例示する。
【発明を実施するための形態】
【００３７】
以下の詳細な記載において、図面を参照する。図面は例を示すためのものであり、本発明を制限するものではない。特定の実施形態および実装は本発明の原理と一貫性を有する。以下の実施形態は当業者が本発明を実施することができる程度に十分詳細に記載されている。また、以下の実施形態以外の実施形態も利用可能であり、本発明の範囲および思想から逸脱することなく、構成の変更、および／もしくは、様々な構成要素の置き替えが可能である。したがって、以下の詳細な記載は、限定的に解釈されるべきではない。さらに、本発明の様々な実施形態は汎用目的コンピュータで稼働するソフトウェアの形態で実装されてもよいし、特定目的ハードウェアの形態で実装されてもよいし、ソフトウェアおよびハードウェアの組み合わせによって実装されてもよい。
【００３８】
以下に記載される本発明の実施形態は、物理的ドキュメントとコンピュータとのインタラクションを提供する。詳細には、物理的ドキュメントとコンピュータとの間のユーザ・インタラクションを改善するために、コンピュータ上のオペレーションと統合される物理的ドキュメントの細かい粒度のコンテンツとの詳細なインタラクションが提供される。本発明の実施形態は、ハイブリッド・カメラ・プロジェクタ・インタフェースを使用して物理的ドキュメントとデジタル・コンテンツとの両手による(two-handed)細かい粒度のインタラクションもサポートする。
【００３９】
実施形態のいくつかにおいて、図２に例示するシステム１００は、カメラ１０２、プロジェクタ１０４および画面１０８を有するコンピュータ（計算処理装置）１０６を含む。カメラ１０２およびプロジェクタ１０４は物理的ドキュメント・ワークスペース１１０の上に配置されている。物理的ドキュメント・ワークスペースには少なくとも一つの物理的ドキュメント１１２（たとえば、紙片など）が配置されている。このようなフレームワークにおいて、カメラ１０２は物理的ドキュメント１１２、ユーザの指のジェスチャ、および／もしくは、ペン・ジェスチャを撮影し、コンピュータ１０６のカメラ処理手段が撮影画像を解析処理することで、コンテンツやジェスチャを認識することができる。次に、該ジェスチャにもとづいて、特定のオペレーションが実行される。プロジェクタ１０４はジェスチャもしくはコンピュータ１０６からの入力にもとづいて物理的ドキュメント１１２に、直接、視覚可能なフィードバックを提供する。コンピュータ１０６はプロセッサおよびメモリを備え、物理的ドキュメントに対応するデジタル・ドキュメント、ウェブ・ページ、アプリケーションなどを画面１０８に表示する。コンピュータ１０６のプロジェクタ処理手段では、カメラ１０２によって受信された視覚可能な入力をプロジェクタ１０４の適当なフィードバックに変換するように、もしくは、コンピュータ１０６自身への入力に変換するように、支援してもよい。カメラ１０２およびプロジェクタ１０４もプロセッサおよびメモリを備えカメラもしくはプロジェクタ処理手段として動作してもよく、カメラ１０２およびプロジェクタ１０４が個々にカメラ１０２によって受信される入力を処理し、該入力をプロジェクタ１０４の視覚可能なフィードバックに変換してもよい。
【００４０】
図５に示すように、カメラおよびプロジェクタは、単一のポータブルなカメラ・プロジェクタ・ユニットに統合されてもよい。これにより、ハードウェア・システムの運搬が容易になり、柔軟性が増す。ラップトップ、タブレットなどのポータブル・コンピュータ・デバイスもしくは携帯電話に一体的に組み合わせた場合には、システム全体がポータブルとなり得る。物理的ドキュメントは、既存のワークフローと完全に共存可能な、テキスト、図形を含む一般的なプリントされたペーパであってよい。
【００４１】
システムは、ユーザが、個別の単語、文字、記号、アイコン、ユーザによって特定された任意の領域を含む物理的なドキュメントの細部とインタラクトすることができるように細かい粒度のインタラクションを提供する。システムは、さらに、ペーパに対する多くのコンピュータの機能の提供をサポートする。たとえば、テキストや図形コンテンツをペーパ・ドキュメントからコンピュータにコピー・アンド・ペーストするため、コンピュータのウェブ・ページに物理的ドキュメントの単語をリンクするため、物理的ドキュメントの特定のキーワードをコンピュータで検索するため、ペーパ・マップの特定の場所を指示することによってコンピュータの視覚可能なストリート・レベル・マップで道案内をするため、に、ユーザはペン・ジェスチャもしくは指のジェスチャをペーパ・ドキュメントに適用することができる。これらのすべての実施形態の詳細を以下に記載する。
【００４２】
物理的ドキュメントとの細かい粒度のインタラクションにもとづいて、システムは物理的ドキュメントおよびコンピュータの両手によるクロス・メディア・インタラクションをサポートすることができる。該システムは、ペーパおよびコンピュータの情報を相補的に結合する。たとえば、物理的ドキュメントとの指もしくはペンを用いたカメラ・ベース・ユーザ・インタラクションは比較的粗く、比較的信頼できない。このインタラクションを忠実性が高くロバストなコンピュータ上でのキーボードもしくはマウス入力によって拡張することができる。その他の実施形態では、コンピュータ上でのマルチ・ポインタ・オペレーションのために、物理的ドキュメントへの指もしくはペンによる入力をコンピュータへのマウスもしくはキーボードによる入力と結合することができる。このようなハイブリッド・クロス・メディア・インタラクションによって、システムは、ペーパとコンピュータの境界を埋めることができる。
【００４３】
システムのフレームワークについてさらに記載し、次に、システムの構成要素についてさらに詳細に記載する。様々なアプリケーションの例示およびフレームワークによって可能となるインタラクションについてもさらに詳細に記載する。
【００４４】
Ｉ．システム概観
図３に示されるように、システムは物理的ドキュメント・ワークスペース１１０とデジタル・ドキュメント・ワークスペース１１４との間のブリッジとして働く。実施形態のいくつかにおいて、フレームワークは３つの主要な構成要素を含む。３つの構成要素とはカメラ１０２、プロジェクタ１０４、およびペーパ・コンピュータ連動プロセッサ１１６である。実施形態のいくつかにおいて、カメラ１０２はカメラ・デバイスによって取得される画像を処理する対応ソフトウェア・モジュールを含む。同様に、実施形態のいくつかにおいて、プロジェクタ１０４は処理を実行する対応ソフトウェア・モジュールを含む。カメラ１０２は物理的ドキュメント１１２（たとえば、図３のプリントされたマップ）を認識し、追跡し、ユーザの指先もしくはペン先の位置および移動の軌跡を追跡する。カメラ１０２からの入力にもとづいて、プロジェクタ１０４は物理的ドキュメント１１２への投影画像を生成する。該投影画像は、ユーザへ視覚可能なフィードバックを直接的に提供するために、物理的ドキュメントのコンテンツと正確に揃えられる。カメラ１０２は、認識された物理的ドキュメントのコンピュータ上にあるデジタル・バージョン（デジタル・ドキュメント）１１８を検出するプロセッサおよびメモリを備えていてもよい。カメラ１０２は、デジタル・ドキュメント・ワークスペース１１４に示されるドキュメントのデジタル・バージョンへの対応ポインタ操作として指先／ペン先によるオペレーションを解釈してもよい。
【００４５】
必要であれば、ペーパ・コンピュータ連動プロセッサ１１６は、デジタル・バージョン１１８もしくはコンピュータ１０６のその他のコンテンツを操作するために、デジタル・ドキュメント・ワークスペース１１４と物理的ドキュメント・ワークスペース１１０とのアクションを連動させる。図３において、ペーパ・コンピュータ連動プロセッサ１１６は物理的ドキュメント・ワークスペース１１０におけるペーパ・マップ１１２でユーザによって選択された位置の道路に沿って予め多方向に向けて撮影記録した風景写真１２０を表示するために、コンピュータ１０６との連動を行う。
【００４６】
物理的ドキュメントとコンピュータとのインタラクションを行う方法を図４に例示する。第１のステップＳ１０１において、カメラを用いて、システムは少なくとも一つの物理的ドキュメントを処理する。第２のステップＳ１０２において、物理的ドキュメントとのユーザ・インタラクション（たとえば、指先もしくはペン先による選択もしくはジェスチャなど）を検出する。ステップＳ１０３において、プロジェクタはユーザ・インタラクションに対応する物理的ドキュメントに視覚可能なフィードバックを投影してもよい。その他のステップＳ１０４において、たとえば、対応デジタル・ドキュメントを操作することによって、もしくは、物理的ドキュメントに関するその他のアプリケーションを制御することによって、コンピュータもしくはその他のプロセッサは、コンピュータとのユーザ・インタラクションとを連動させる。
【００４７】
本発明の実施例に係るシステムは、包括的なドキュメント認識、細かい粒度のドキュメント・コンテンツ検出、正確な投影補正、両手によるハイブリッド・ペーパ・コンピュータ入力など、のユニークな処理を可能にする。これらのすべてについて、以下により詳細に記載する。
ＩＩ．ポータブル・ユーザ・インタフェース・ハードウェア
【００４８】
実施形態のいくつかにおいて、カメラおよびプロジェクタは、図５に示されるように、カメラ・プロジェクタ・ユニット１２２として統合されていてもよい。本実施形態では、たとえば、ＵＳＢケーブルによってコンピュータ１０６と接続されるスタンドアローン・ユニットとして記載されているが、カメラおよびプロジェクタはコンピュータ１０６に部分として埋め込まれていてもよい。スタンドアローンの形態であることは構成要素、物理的ワークスペース、デジタル・ワークスペースの空間的配置により柔軟性を付与する。図２の実施形態はフレームワークの単なる例示に過ぎず、本発明はこれに限定されるものではない。図５に示すように、カメラ・プロジェクタ・ユニット１２２はフレームワークおよびワークスペース全体にわたる底面に水平に配置されていてもよい。カメラ・プロジェクタ・ユニット１２２の光路１２４は、コンパクトな形態で物理的デスクトップ・ワークスペース１１０の比較的大きなエリアをカバーするように、２つのミラー１２６によって（図示しない）折畳み可能なフレーム上に拡張される。この特徴はモバイル環境にあるユーザにとって重要である。実施形態のいくつかにおいて、物理的ドキュメント・ワークスペース１１０の表面への指先またはペン先１３０の接触を検出するために、タッチ検出手段１２８をカメラ・プロジェクタ・ユニット１２２の底面に配置してもよい。本発明のシステムの一つでは、無害な拡散レーザ光１３２のたいへん薄いシートがテーブル上に広げられる。これにより、物理的ドキュメント・ワークスペース１１０の表面をタッチする指１３０は、カメラによって取得されるビデオ・フレームにおいて赤色ドット１３４として示される。
【００４９】
ＩＩＩ．カメラ処理手段
カメラ処理手段は、コンテンツを含む物理的ドキュメントを認識し、プロジェクタの視覚可能な出力を調整するために、ドキュメントの動きを追跡する。カメラ処理手段は、以下でより詳細に記載する指先およびペン先の検出、追跡、座標系変換も実行する。既存のプラクティスと共存することができるように、コンテンツ・ベース・ドキュメント認識アルゴリズムがカメラの視野におけるペーパ・ドキュメントを認識するために選択される。実施形態のいくつかにおいて、物理的ドキュメントと区別可能であるような、何も付けていない指先またはペン先を検出し、追跡するために、カラー・ベース・アルゴリズムが使用される。この解析にもとづいて、指もしくはペンの物理的ドキュメントとのインタラクションが、ドキュメントのコンピュータ画面に表示されている対応デジタル・バージョンへのマウス・ポインティング・オペレーションに変換（マッピング）されてもよい。リアル・タイム処理を実行するために、比較的遅いが比較的正確な認識アルゴリズムと、比較的早いが比較的不正確なフレーム間追跡アルゴリズムと、を組み合わせてもよい。比較的正確な認識は、ユーザのリクエストに応じて、もしくは、固定時間間隔（たとえば、１〜２秒間隔）で自動的に、実行される。この結果にもとづいて、カメラによって取得されたビデオ・フレームにおけるペーパ・ドキュメントの正確な位置を、２つの連続的なフレームの追跡結果によって推定する。認識セッションの各々が、累積エラーを低減するために追跡手段をリセットする。追跡アルゴリズムはカメラ画像のオプティカル・フローもしくはコーナー特徴にもとづいていてもよい。実施形態のいくつかにおいて、使用されるアルゴリズムは非特許文献７に開示されているものであってもよいが、その他のアルゴリズムをドキュメントの位置および動きを追跡するために使用してもよい。
【００５０】
「物理的ドキュメント認識」
本発明のシステムの実施形態は、バーコードや特別なデジタル・ペーパを使用することを必要とせずに、通常の一般的なプリントされたドキュメントをそのまま識別するコンテンツ・ベース・ドキュメント画像認識アプローチを利用する。したがって、本発明のシステムは、既存のドキュメント処理プラクティスと完全に共存可能であり、新聞、レシート、一般的なプリントアウトなどの任意のタイプのドキュメントに使用可能となるので、広い範囲に適用可能である。ドキュメント画像を認識するために使用することができるアルゴリズムはいくつかあるが、この実施形態では、ＦＩＴ(Fast Invariant Transform)処理を選択する（非特許文献８）。ＦＩＴは汎用的な画像特徴記述子の一つであり、したがって、適用することができるドキュメント・タイプの範囲が広く（たとえば、テキスト、図形、写真など）、言語に依存しない。ＦＩＴは検索時間および特徴記憶の点からも効率的である。部分的なオクルージョン、輝度変化、拡大縮小、回転、遠近歪みにロバストであるように、画像特徴点における局所特徴を、ＦＩＴでは利用する。
【００５１】
本発明のシステムの実施形態の一つにおいて、ユーザがドキュメントをプリントする場合、特別な機器を搭載したプリンタ・ドライバがドキュメントデータを取得し、該ドキュメントデータをサーバに送信する。サーバはドキュメント中の各ページの画像特徴点を識別し、各点における４０次元のＦＩＴ特徴ベクトルを計算する。ベクトルは、ＡＮＮ（Approximate Nearest Neighbor：最近傍）対応探索のツリー構造にクラスタリングされる。ドキュメントの各ページのテキスト、図、ホットスポット（hot spots）などのその他のメタデータを抽出し、サーバでインデックスを付与する。同様な特徴計算を続くクエリ画像に適用し、結果として取り出された特徴をツリー構造と比較する。クエリ画像の特徴点がインデックスの特徴点と（いくつかの数値的な類似度測定によって）類似するならば、２つの点は適合し、それらは「対応する」ものと見なされる。（ある閾値より高く）もっとも適合するページは、画像のオリジナル・デジタル・ページとして使用される。
【００５２】
「ペン先および指先の検出」
実施形態のいくつかにおいて、カラー・ベース(色基準)の方法は、一般的には物理的ドキュメント自身である背景と対照的な指もしくはペンの色にもとづいて指先もしくはペン先を追跡する。カラー・ベースの方法は、指先もしくはペン先の色が背景と区別可能であることを前提とする。指先を検出するために、固定カラー・モデルを肌色検出のため使用し、ペン先を検出するために、色相ヒストグラム逆射影（back-projection）のために予め取得したペン先画像を使用する。しかしながら、本発明は上記に限定されるものではなく、その他の方法を使用してもよい。
【００５３】
検出点Ｐｔの位置におけるノイズを低減するために、ポスト・フィルタがＰｔ値に適用される。Ｐｔは、指先もしくはペン先の動きが閾値を越える場合のみ更新される。さらに、指もしくはペンによるオクルージョンを避けるために、検出される指先もしくはペン先の上に固定の距離を離隔して投影されるカーソルを設定するようにしてもよい。ペン先および指先の処理は同様なので、以下に記載するペン関連技術は特に注釈が付されない限り、指先によるインタラクションにも適用可能である。
【００５４】
「タッチ検出」
本発明のシステムにおいて、ペンおよび指によるタッチを検出する多くの既知の手段がある。既知の手段は、指の影を用いて指から表面までの距離のおおよその値を求めることや、前述の形態で示したように、台に近いオブジェクトを容易に検出するために台上に薄いシート状のレーザ光を拡散させること、を含む。
【００５５】
「細かい粒度でのデジタル・インタラクションと物理的インタラクションとのマッピング」
細かい粒度で、カメラによって取得されたペン・ペーパ・インタラクション（たとえば、ペーパ・ドキュメント上の単語をペンで指し示す）を解釈するために、少なくとも一つのカメラ画像から少なくとも一つの同一のデジタル・ドキュメント・ページへの正確な座標変換を決定すべきである。これにより、プリント・スタイルやペーパ・シートの空間的配置の変更に対応することが可能となる。既存のシステムは紙片の境界を検出し、囲まれている四角形を矩形のデジタル画像へマッピングする。この方法は粗い粒度のインタラクション（たとえば、ビデオを何も記載されていない一枚の用紙上に投影する）には十分よい。しかしながら、この方法は、粒度が、単語レベルでのインタラクションや記号レベルでのインタラクションに十分な程正確ではない。なぜならば、図６に示すように、プリントアウトの周囲のマージンは、プリントされたコンテンツ１１２と対応するデジタル・ドキュメント・ページ１１８との間のマッピングを不正確にするからである。マージンはプリンタ毎に異なるかもしれない。（紙片の一方の面に複数のデジタル・ページをプリントする）Ｎアップ・プリントおよびページの重なりは、この状況を悪化させるが、Ｎアップ・プリントやページの重なりはかなり一般的に発生する。
【００５６】
既存システムの限界に対処するために、図７に示すように、カメラ基準フレーム１３６と認識されたデジタル・ドキュメント基準フレーム１３８との間のホモグラフィック変換Ｈｒを導き出すために、カメラ画像の特徴点と認識されたデジタル・ドキュメント・ページの特徴点との間の対応を利用する。変換行列は、カメラ基準フレーム（カメラ・ビデオ・フレーム）１３６と認識されたデジタル・ドキュメント基準フレーム（デジタル・ドキュメント画像）１３８との間の一対一特徴点対応から導き出される。認識対象となるドキュメント画像はコンピュータのデータベースに記憶されてもよい。実施形態のいくつかにおいて、少なくとも４対の特徴点ペアが必要とされる。Ｎ（Ｎ＞４）対のペアについて、最適な変換行列を検出するために、最小二乗法を用いることができる。マッピングの精度を向上させるために、外れ値(outliers)を除去するように、ＲＡＮＳＡＣ（RANdom SAmple Consensus）に類似したアルゴリズムを適用する（たとえば、非特許文献９）。Ｈｒによって、カメラ・ビデオ・フレーム１３６において検出された指先もしくはペン先は、認識されたデジタル・ドキュメント画像１３８の座標系のポイント１４０に容易にマッピングされる。このマッピングにもとづいて、ペーパ・ドキュメント上の指／ペン・インタラクション１４２はコンピュータのデジタル・オペレーションに変換される。
【００５７】
実施形態のいくつかにおいて、一般的に、物理的ドキュメント・ワークスペース上の任意のポイントとのインタラクションをサポートするために、任意のポイントはペーパ・ドキュメント内にある必要はない。アンカー・パッド１４４をテーブル基準フレームを決定するために使用する。アンカー・パッド１４４はサイズが既知である、たとえば、矩形の濃色のペーパ・シートであってよく、その４つのコーナーはテーブル基準フレームの固定座標の４つのポイント（たとえば、（１，１）、（１，２）、（２，１）、（２，２））を決定する。較正を行う間に、カメラはその視野におけるアンカー・パッドの４つのコーナーを検出し、図７に示すように、台（もしくは物理的ドキュメント・ワークスペース１１０）とカメラ基準フレーム１３６との間のホモグラフィック変換Ｈｃを導き出す。台の表面（物理的ドキュメント・ワークスペース）１１０はつねに平面であり、台に対するカメラの姿勢は固定されているものと仮定する。したがって、Ｈｃは一定であり、一度だけ較正すればよい。
【００５８】
「セミ・リアル・タイム処理」
ペーパ上のリアル・タイム・インタラクションは、１５フレーム毎秒（ｆｐｓ）より早い画像処理速度を必要とするかもしれない。しかしながら、一実施形態のシステムは、計算処理がたいへん複雑であるため、その画像処理速度は現在おおよそ１ｆｐｓである。一方、オプティカル・フローなどのドキュメント追跡技術はリアル・タイムでページの相対的移動を推定することができるが、累積的な誤差が生じるかもしれない。オプティカル・フローとは、（オブザーバ（目もしくはカメラ）とシーンとの間の相対的な動きによって生じる）視覚可能なシーンにおけるオブジェクト、面およびエッジの明確な動きのパターンである（非特許文献１０参照）。ドキュメント認識およびドキュメント追跡はハイブリッド・ドキュメント追跡のために組み合わされてもよい。実施形態のいくつかにおいて、本発明のシステムは一定期間ごとにビデオ・フレームを認識し、Ｈｒを導き出す。その結果にもとづいて、以降のビデオ・フレームのＨｒが２つの連続するフレーム間のオプティカル・フローによって推定される。累積誤差を低減するために、認識セッション毎にオプティカル・フロー検出をリセットする。
【００５９】
ＩＶ．プロジェクタ・プロセッサ
プロジェクタ１０４は、物理的ドキュメント１１２および物理的ドキュメント・ワークスペース１１０に、直接、視覚可能な動的フィードバックを行うことができる。２つの投影タイプ、すなわち、局所投影と大域投影とがある。
【００６０】
「局所投影」
図７に示すように、局所投影によれば、投影される画像１４６はつねにペーパ・ドキュメント１１２のプリントアウト基準フレームに揃えられる。しかしながら、ペーパ・ドキュメントはユーザ・インタラクションの間に動かされるかもしれない。局所投影は、通常、特定のペーパ・ドキュメント・コンテンツのトップに情報を重ね、ペーパとともに移動しなければならない。一例として、投影された境界ボックス１４６は、図７に示すように、ペーパ・ドキュメント１１２の単語「ＦＡＣＴ」を強調する。
【００６１】
局所投影は、通常、（対応するデジタル・ドキュメント基準フレームのポインタ・オペレーションにまずマッピングされる）ペン・ペーパ・インタラクションの結果として行われる。プロジェクタのフィードバック情報は同様の基準フレームにおいて直接的に決定される。たとえば、図７に示すドキュメント基準フレーム１１０の位置（５，５）で単語「ＦＡＣＴ」を指し示すペン先１４２を検出すると、基準フレームの位置（５，５）にサイズ１０×５の矩形ボックス１４６をフィードバックとして生成する。ペーパ・ドキュメント１１２の単語に合わせられた正しい矩形投影を生成するためにプロジェクタ基準フレーム１４８にこのボックス１４６を正確にマッピングすることが課題である。
【００６２】
ハードウェア環境はマッピングを決定する際に適している。カメラ、プロジェクタ、台表面の相対的な位置は固定されており、台は平面であると仮定する。したがって、カメラ基準フレーム１３６とプロジェクタ基準フレーム１４８との間のホモグラフィック変換Ｈｐは固定されている。その結果として、ドキュメントとプロジェクタとのマッピングはＨｐ−１＊Ｈｒ−１と記述することができる。実施形態のいくつかにおいて、Ｈｐは単純な一度の較正で導き出される。既知のパターンを含む予め記憶されている画像が台表面に投影され、カメラによって取得される。投影された画像と取得された画像との間の（Ｎ個の対応ペア：Ｎ≧４）特徴対応を検出することによって、Ｈｐの値が取得される。
【００６３】
投影変換はコンテンツ・ベース・カメラ・ドキュメント変換を基礎とする。ドキュメント・ページが変わると（複数のドキュメント・ページを一つのビデオ・フレームにおいて認識してもよい）、もしくは、カメラの視野において移動しているドキュメントの位置が変わると、投影変換は変化する。投影変換はプリント・マージン、Ｎアップ・プリント、部分的オクルージョンに影響されにくい。投影変換がこのように影響を受けにくいことは、下地となるドキュメントの詳細に投影される視覚可能なフィードバック１４６を正確に合わせる上で重要である。
【００６４】
「大域投影」
局所投影と異なり、大域投影は、台基準フレーム１１０に投影１４６を合わせる。大域投影はペーパの動きに影響されない。全体ドキュメントの生成時間、関連基準などの特定のドキュメント・ページに関連しない大局的情報のいくつかが、通常、採用される。電子メール報知、インスタント・メッセージ・ダッシュボード、システム・パフォーマンス・モニタなどのアプリケーションのために、コンピュータ表示を拡張するために、周辺表示手段として使用されてもよい。
【００６５】
大域投影の主な問題は、プロジェクタの光軸と投影面の法線（もしくは、投影面に垂直な方向）とが位置合わせされていないと、投影された画像に遠近歪みが生じることである。実施形態のいくつかにおいて、投影されている画像１４６の逆歪み(reverse-distortion)によって、該投影された画像を修正することができる。投影平面１１０（すなわち、台）からプロジェクタ基準フレーム１４８への座標変換を決定することが重要である。上記したように、台カメラ変換Ｈｃおよびプロジェクタ・カメラ変換Ｈｐはすでに知られている。したがって、台プロジェクタ・ホモグラフィック変換はＨｐ−１＊Ｈｃから導き出すことができる。
【００６６】
Ｖ．ページ上の細かい粒度のインタラクション
基礎となるカメラ・プロジェクタ入力／出力手段にもとづいて、本発明の実施形態は、ペーパ・ドキュメントの柔軟性および有利性を犠牲にすることなく、コンピュータと同等のユーザ・エクスペリエンスを達成するために、ペーパでの細かい粒度のドキュメント・コンテンツ操作のためのインタラクション技術を提供する。実施形態のいくつかにおいて、物理的ドキュメント・ワークスペースにおける第一の手からのカメラ入力と、デジタル・ドキュメント・ワークスペースを操作するための第二の手からのキーボード入力およびマウス入力と、を混合することによって両手によるクロス・メディア・インタラクションを提供することもできる。両手によるインタラクションは、密に結合されたインタラクティブ・スペースとしてペーパとコンピュータとをさらに統合する。
【００６７】
図８は、ペーパ上で細かい粒度のインタラクションを行う方法の実施形態におけるデータ・フローの概観を示す。第１のステップＳ２０１において、局所的視覚可能特徴セット｛Ｆ１，．．．，Ｆｎ｝を取得するために画像特徴抽出手段にカメラ画像が提供される。ステップＳ２０２において、特徴とドキュメント画像特徴データベースの特徴とをマッチングする。カメラ画像において物理的ドキュメントのオリジナル・デジタル・ページとして、閾値を越える適合特徴｛Ｖｉ：ページｉの適合特徴セット，ｉ＝１，．．．，ｍ｝を有するｍ個のドキュメント・ページ｛Ｐ１，．．．Ｐｎ｝を採用する。特徴点対応にもとづいて、本発明のシステムは、ステップＳ２０３において、カメラ画像から適合デジタル・ページＪ，Ｊ＝１，．．．，ｍまでのホモグラフィック変換を導き出す。ペン先の位置がステップＳ２０４で検出される。ステップＳ２０５において、この変換は、注目されている（ペン先が指し示している）特定のドキュメント・ページＰｆを決定するために、カメラ画像において検出されたペン先の位置Ｔｐと組み合わされる。次に、ペン指示は、デジタル・ページＰｆにおいて、位置Ｔｆ＝Ｈｆ＊Ｔｐにおける等価なマウス指示として解釈される。ステップＳ２０６のジェスチャ処理において、ペン・ベース・コンピュータのように、システムはジェスチャ・ストロークとしてポイントのサンプルを累積し、メタデータ・データベースから特定のドキュメント・コンテンツ｛Ｔ１，．．．，Ｔｋ｝を選択する。メタデータ・データベースは、登録されているドキュメント・ページの各々について、高解像度バージョン、テキスト、単語および記号の境界ボックス、ハイパーリンクなどを記憶する。ステップＳ２０７では、システムは、現在のカーソル、注目されているページ、変換精度、ジェスチャおよび選択されたドキュメント・コンテンツを示すためにフィードバック情報を生成する。ステップＳ２０８で、該フィードバック情報はペーパに視覚可能なフィードバックを重ねるために投影画像に変換される。
【００６８】
実施形態のいくつかにおいて、システム１００は、ペーパ１１２から対応するデジタル・ドキュメント１３８にペン先入力１４２をマッピングし、視覚可能なフィードバック１４６をペーパに投影する。この機構によって、ペーパ・ドキュメントおよび物理的ドキュメント・ワークスペースは触覚ディスプレイのように扱われる。したがって、従来のペンもしくはスタイラス・タイプのコンピュータ・オペレーションが物理的ドキュメントに拡張される。
【００６９】
実施形態のいくつかにおいて、現在の入力モードが「インク」であるか「ジェスチャ」であるか、に応じて、ペン入力は自由形式の手描きであるか、コマンド・ジェスチャであるか、が解釈されてもよい。「インク」モードにおいて、入力は書き込まれた注釈として記録される。該入力は対応するデジタル・ドキュメントに記憶され、その後、レビューのために取り出されてもよいし、該デジタル・ドキュメントを見る遠隔の共同作業者とネットワークを介して共有されてもよい。本物のインク・ペンが使用される場合、ペーパに残されるインクは、デジタル・バージョンより忠実度が高い。したがって、代替的な実施形態においては、ペーパからインクによる注釈を抽出するためにインク・リフト技術(ink lifting techniques)が使用されてもよい。「ジェスチャ」モードにおいては、ペン入力がコンピュータ・コマンドを構築するために使用される。該コンピュータ・コマンドは、ドキュメント・セグメント上に実行されるべきコマンドおよび所望されるアクションのためのターゲット・セクションとして一つ以上のドキュメント・セグメントを含む。ユーザは、個別の単語、文字、記号、画像、アイコン、様々な機能のための任意の領域もしくは形状を選択するために、物理的ドキュメントにペン・ストロークを描いてもよい。
【００７０】
「コマンド・ターゲットの選択」
通常のペン・ベース・インタフェースのように、入力には２つの基本的な状態がある。すなわち、「ホバー」と「タッチ」である。実施形態のいくつかにおいて、「ホバー」状態ではペンは表面に接触することなく、ペーパの上にある。ユーザは、意図する単語に、投影されたカーソルを向かわせるために、ペンを動かすことができる。任意のタイミングで、ポインタ（ペン先）に最も近い１つの単語全体がプロジェクタ・フィードバックによって強調される（１４６）。実施形態のいくつかにおいて、入力モードが「タッチ」状態に変更され、ペンが物理的ドキュメントの表面に接触（タッチ）すると、ペン入力は次のアクションのためにドキュメント・コンテンツを選択するためのジェスチャとして解釈される。表面からペンが離されると、該ジェスチャは終了する。
【００７１】
単語、記号、その他のドキュメント・コンテンツを選択するための多くのタイプのジェスチャがある。図９（Ａ）に示すように、「ポインタ」１５０は所定のオブジェクト（たとえば、単語、東アジアの文字、数学記号、アイコン）とのポイント・アンド・クリック・インタラクションに適している。図９（Ｂ）に示すように、「アンダーライン」１５２はテキスト行もしくは楽譜の小節１５４を選択するために使用される。図９（Ｃ）に示す「曲線(bracket)」１５６および図９（Ｄ）に示す「縦線」１５８が文および複数行のテキストのセクションを選択するために使用される。図９（Ｅ）に示す「囲み線(lasso)」１６２および図９（Ｆ）に示す「斜め線(marquee)」１６４が任意のドキュメント領域１６６および１６８を選択するために使用される。図９（Ｇ）に示すように、「経路」１７０がマップ１７２の経路を設定するために使用されてもよい。図９（Ｈ）に示す「フリーフォーム」１７４は任意のタイプの入力ジェスチャであってよく、アプリケーション特定の方法で解釈されてよい。理解が容易となるように、ジェスチャおよび選択されたドキュメント・コンテンツが図９（Ａ）〜図９（Ｈ）において強調されている。しかしながら、本発明のシステムにおいて、ジェスチャはプロジェクタから投影されるフィードバックによってペーパに描かれる。
【００７２】
実施形態のいくつかにおいては、システム実装を単純にするために、マルチ・ストロークをサポートせず、ジェスチャ認識も実行しない。しかしながら、所望されるのであれば、システムはマルチ・ストロークをサポートし、ジェスチャ認識を実行してもよい。このような実施形態において、ユーザは、ジェスチャを行う前に、手動でジェスチャ・タイプを選択する必要がある。
【００７３】
上記オペレーションを実装するために、メタデータがシステム・データベースに記憶されているデジタル・ドキュメントの各々から抽出される。このようなメタデータは、ドキュメント基準フレームの単語、文字、アイコンの境界ボックス（位置およびサイズ）、ドキュメント基準フレームの単語、文字、アイコンのテキスト、および、もしあれば、関連するＵＲＬ(uniform resource locations)を含んでもよい。メタデータはコマンド・ターゲット（たとえば、アンダーラインを引くジェスチャによって選択された単語）を設定するためにペン入力と結合され、ペーパへの視覚可能なフィードバック（たとえば、選択された単語を強調するための白い矩形ブロック）を生成するためにも使用される。
【００７４】
ＶＩ．ジェスチャのコンテキスト・アウェア（前後関係感知）・フィードバック
ジェスチャに応じて投影されるフィードバックはペーパ・ドキュメントのオリジナルの視覚可能な特徴に生じ得る干渉を制限するように特別に設計される。さもなくば、物理的デジタル・インタラクション・マッピングの正確さが落ちるかもしれない。第一に、ジェスチャ・ストロークの描画は、可能であれば、行わない。たとえば、フィードバックは、アンダーライン、曲線(Bracket)、縦線ジェスチャによって選択されたテキストについてのみ投映し、未処理ジェスチャ・ストロークについては描画しない。第二に、可能な限り、（囲み線(lasso)およびフリーフォーム・ジェスチャを除いて、）細い直線セグメントを投影に使用する。細い直線は、複雑なパターンに比べて少ない特徴点を生成するからである。第三に、大きい強調領域を明るい色で塗りつぶさない。大きい強調領域を明るい色で塗りつぶすことによって生じるグレア(glare)はオリジナルのドキュメントの視覚的特徴を歪曲するかもしれないからである。最後に、実施形態のいくつかにおいて、一般的なコンピュータ・インタフェースのように、コンテンツの個別の部分を別個に強調する代わりに、投影されるフィードバックは、図１０に示されるように、選択されたコンテンツ１７７のもっとも外側の輪郭１７５のみに配置してもよい。輪郭強調は所望されない画像特徴をさらに低減するために有用である。
【００７５】
「コマンド・アクションの選択」
図１１（Ａ）において、コマンド・ターゲット１７６が特定された後、ユーザはメニュー１７８から所望のアクションを選択する必要がある。アクション・メニュー１７８は、図１１（Ａ）に示すように、ペーパ１１２上でジェスチャ１８０の終端点の右隣に、直接投影されてもよい。このような「インプレース(in-place)」・メニュー１７８は、ペンおよび指の動きをあまり必要とせず、ジェスチャおよび選択を滑らかに行うことができるようになる。しかしながら、図１１（Ａ）に示すように、投影されたメニュー１７８は下にあるテキストや写真によって隠されてしまうかもしれず、この場合、アクション・メニュー１７８のテキストを読むことは困難になる。このような状況は、（現実の作業環境ではよくあるように、）周囲の環境が明るく、プロジェクタの輝度が限定されている場合、さらに悪化する。いくつかの適応的放射分析補償方法（adaptive radiometric compensation methods）が、オリジナル画像とほぼ同様の最終投影外観を生成するように投影画像を調整するために提案されているが、これらの方法は、テキストやマップなどのように、コントラストが高く背景領域が複雑である場合適正に働かない。
【００７６】
解決方法の一つはメニューを適応的に配置することである。この場合、システムは自動的にもっともオクルージョンが少ない領域にメニュー１７８を投影する。実施形態のいくつかにおいて、これは、テクスチャがもっとも少なく投影領域内のコマンド・ターゲットから最短の領域を探索することによって実行される。基準の双方を満足する領域がない場合、最適な領域を選択するために重み付け関数を採用することができる。テキストの空間的分布は、図１１（Ｂ）にドットで示すように、カメラ画像の上記ＦＩＴ特徴ポインタ１８２の分布によって近似されてもよい。ＦＩＴ特徴ポインタはドキュメント認識の副産物であり、追加時間はほとんどかからない。図１１（Ｃ）に示すように、アルゴリズムは空いている適当な領域１８４を検出し、該領域に適合するようにメニュー１７８の大きさを（該メニューが判読できる程度に）調整する。実施形態のいくつかにおいて、このようなアルゴリズムは非特許文献１１に開示されているアルゴリズムに類似するものであってよい。さらに、たとえば、図１１（Ｄ）の分割されたメニュー１８６によって示されるように、インタフェースの整合性が維持される限り、メニュー・ウィンドウ１７８自身が、オクルージョンがない一つ以上の領域にもっともよく適合するように変更されてもよい。実施形態のいくつかにおいて、ユーザがメニューを見付けることが容易となるように、コマンド・ターゲットから該メニューへの矢印が投影されてもよい。
【００７７】
メニューを配置するために適した場所がない場合、コマンド・アクション・メニューは、オクルージョンの問題に影響されないコンピュータ画面に表示されてもよい。一貫性のあるユーザ・エクスペリエンスのためにコンピュータ画面上の固定された位置にメニューを表示することができる。ユーザは通常ペーパ・ドキュメントに実行されるコマンド・ターゲットの結果を知るためにコンピュータ画面を見る必要があるが、該コンピュータ画面にメニューを表示することによって、ペーパと該コンピュータ画面との間で目の焦点を切り替える必要性を低減することができる。
【００７８】
「認識の失敗に対する処理」
上記細かい粒度のインタラクションは正確なドキュメント認識および座標変換に依存する。しかしながら、認識は照明条件がよくなかったり、ペーパに歪みがあったり、ドキュメントに索引が付与されていなかったりすることによって、失敗することもあるかもしれない。また、行列変換は特徴点対応が不十分であるために不正確なものであるかもしれない。このようなエラーを補うように、ペーパ・インタラクションを強化するためにコンピュータを利用することができる。
【００７９】
ペーパ・ドキュメント認識が失敗すると（すなわち、適合する特徴点の数が閾値より少ないと）、本発明のシステムによる実施形態のいくつかにおいて、ユーザは上位Ｎ個のリストもしくはデータベース全体から対応するデジタル・バージョンを選択することができる。データベースに存在しないインデックスを付与されていないドキュメントの場合、ユーザはカメラを静止画像モードに切り替え、ドキュメントの高解像度写真を撮影し、該写真に手動でインデックスを付与してデータベースに記憶する。本発明のシステムは、テキスト・メタデータを生成するために写真(picture)に文字認識(OCR)を適用してもよい。
【００８０】
物理的ドキュメントの対応デジタル・バージョンが検出され、（適合する特徴点の数の推定にもとづく）変換行列の正確さが十分でない場合、本発明のシステムはデジタル・プロキシ技術を使用する。該デジタル・プロキシ技術は初期の粗いインタラクションにペーパ・ドキュメントを使用し、細かいインタラクションにコンピュータを使用する。図１２に示すように、第一の手１８８がペーパ・ドキュメント１１２上に現れると、対応デジタル・ドキュメント・ページ１３８の全体が検索して取り出され、画面１０８のポップアップ・ウィンドウ１９０に表示される。ユーザは、次に、たとえば、ページの選択領域１９６をコピーすることによって、細かい粒度でデジタル・ドキュメント１３８を操作するように、マウス１９４などのコンピュータ入力デバイスを操作するために第二の手を使用することができる。
【００８１】
上記した指もしくはペンによるジェスチャも同様にコンピュータに適用することができる。（図示しない）コンピュータにジェスチャを適用する方法の実施形態のいくつかにおいて、指もしくはペンによるジェスチャ操作が行われると、ユーザは第一の手をカメラの視野の外に出す。これに応じて、デジタル・プロキシ・ウィンドウを縮小してアイコンに変化させ、画面は、たとえば、コピーされた図を他のドキュメント・ファイルにペーストするような、クロス・メディア・オペレーションの次のステップのために以前の状態に戻る。ペーパ・ドキュメントの操作は迂回されるので、変換Ｈｒが不正確であることは重要ではない。
【００８２】
ＶＩＩ．物理的ドキュメントおよびデジタル・ドキュメントとの両手同時インタラクション
ドキュメントへの作業者による操作に関する以前の研究を見ると、ドキュメントの使用に関連する作業者は、参照、比較、照合、要約などの複数のドキュメントへの作業に時間の半分を費やしている。画面のサイズが限定されているポータブル・コンピュータの場合、マルチ・ドキュメント・インタラクションの画面を拡張するために、ペーパ・ドキュメントがよく使用される。しかしながら、このようなインタラクションは、画面上の通常のマルチ・ウィンドウ・オペレーションより複雑である。なぜならば、ドキュメントは異なるメディア（媒体）にあり、入力方法が異なるかもしれないからである。たとえば、ユーザはペーパからコンピュータへ図をコピーすることを所望したり、ウェブ・ページとペーパ上の単語とを関連付けることを所望したり、ペーパ・マップ上の位置を検出するためにコンピュータ上のストリート・ビュー・マップを使用することを所望したりするかもしれない。ペーパへの入力デバイスは、主に、指もしくはペンであり、コンピュータへの入力デバイスは、主に、キーボードもしくはマウスである。これらのクロス・メディアな複数のドキュメント・オペレーションにおいて、片方の手によるインタラクションはユーザに入力デバイスを切り替えることや身体の姿勢を変えることを要求するが、これは、不便である。
【００８３】
したがって、本発明の実施形態のいくつかは、ユーザがペーパ上のオペレーションを実行すために一方の手を使用し、コンピュータ上のオペレーションを実行するために他方の手を使用することができるように、クロス・メディアな両手インタラクションをサポートする。カメラおよびコンピュータからの２つの入力ストリームは複数のドキュメント操作をサポートするために連動される。
【００８４】
クロス・メディア・インタラクションのための方法の実施形態のいくつかにおいて、情報転送をサポートするために両手によるクロス・メディア・インタラクションを使用してもよい。たとえば、ユーザがよく知らない言語が日本語であって「富士」という単語がペーパ・ドキュメント上にあり、該単語についての情報を取得するために、ユーザは第一の手で該文字もしくは単語を指し示す。次に、ユーザは、第二の手で「ウェブ検索」などのコンピュータ上のコマンドを選択する。これに応じて、システムは選択されたテキストをコンピュータに送信する。コンピュータはウェブ検索を実行し、結果をユーザに表示する。同様に、ユーザは、ペーパ・ドキュメント上の写真を囲み線で容易に囲むことができ、次に、該写真をコンピュータ上のワープロ・ドキュメントもしくはその他のドキュメントにコピーすることができる。その他の実施形態において、情報転送の向きが逆であってもよい。マルチメディア注釈がコンピュータからペーパ・ドキュメントに投影されてもよい。該注釈はペーパに投影されるアイコンによって示され、ダブル・クリックによって再生されてもよい。ペーパとコンピュータとの境界にわたって、２つのドキュメント・セグメントをリンクする情報の関連を自然に確立するために、両手が使用されてもよい。たとえば、将来、ペーパの日本語を選択すると、コンピュータ画面のリンクされたウェブ・ページが表示されるように、ユーザはペーパ上の日本語に百科事典もしくは辞書のウェブ・ページをリンクしてもよい。ユーザは複数の表示を操作するために、同時に同一の複合ドキュメント(compound document)の異なる表示を操作することができる。たとえば、図１３に示すように、コンピュータ画面１０８の対応位置にあるストリート・ビュー画像１２０を表示するために、第一の手１８８によってプリントされているマップ１７２の位置１９８を選択し、次に、マウス１９４を制御し、選択されたマップの位置１９８に対応する対応ストリート・ビュー表示１２０の周囲をナビゲートするために第二の手１９２を使用してもよい。
【００８５】
ＶＩＩＩ．ペーパ・ドキュメント・インタラクションのための両手ハイブリッド入力
両手入力はクロス・メディア・オペレーションのためだけでなく、単一メディア・オペレーションにも使用することができる。本発明のシステムはコンピュータ入力によるペーパ・オペレーションの拡張をサポートする。これは、カメラ・プロジェクタ・ユニットおよびコンピュータの相補的な情報によって動機付けされる。カメラ・ベースの指による入力は、ペーパ操作において自然ではあるが、通常あまりロバストではなく、マウスやキーボードによる入力に比べて入力サンプリング・レートが低い。これは、ペーパ・インタラクション（特に、細かい粒度のインタラクション）についてのユーザ・エクスペリエンスを比較的低下させる。（たとえば、両手クロス・メディア・インタラクションを行っており、）ペーパ上で一方の手だけでジェスチャを行う場合、指もしくはペン入力による問題は大きくなるかもしれない。なぜならば、コンピュータに入力を提供する他方の手の指とペーパとの接触による干渉がペーパ・シートの所望しない動きの原因となるかもしれないからである。
【００８６】
ハイブリッド・システムの利用可能な情報を最適に使用するために、実施形態のいくつかにおいて、キーボードおよびマウス入力はリダイレクトされる入力であってよく、ペーパ・ドキュメントにフィードバックされてもよい。該入力は、次の細かい粒度のインタラクションのために、カメラ入力と結合されてもよい。たとえば、図１４（Ａ）〜（Ｃ）に示すように、ペーパ・ドキュメント１１２の矩形領域２００を選択するために、マウス１９４に第二の手１９２を置いたまま、図１４（Ａ）に示すように、ユーザは、該領域のおおよその位置を第一の手１８８で指し示す。図１４（Ｂ）において、カメラの視野で第一の手１８８の存在が検出されると、システムは、ペーパ・ドキュメント１１２上の指先２０４が検出されている位置にマウス・カーソル２０２を移動する。マウス・カーソル２０２はペーパ・ドキュメント１１２に投影されている。ユーザは、矩形領域２００の上でマウスをクリックし、ドラッグするために、マウス１９４を操作する。これにより、図１４（Ｃ）に示すように、初期の粗い選択からより高い忠実性で領域２００を選択し直す。第一の手１８８は、ペーパの意図しない動きを避けるために、ペーパ・ドキュメント１１２の上にただ置いておかれればよい。
【００８７】
（図示しない）コンピュータ・キーボードはペーパ・ドキュメントに高い忠実性のあるテキスト情報を付加するために使用されてもよい。たとえば、ユーザは、ペーパ上のドキュメント・セグメントを選択し、セグメントのテキスト注釈をタイプ入力してもよいし、選択されたペーパ・ドキュメント領域のＯＣＲエラーを修正するためにキーボードを使用してもよい。たとえば、このようなキーボード入力は、半自動ペーパ・レシート転写アプリケーションにおいて特に有用である。本発明のシステムは、それゆえ、コンピュータ・ドキュメントとのインタラクションを拡張するだけでなく、ペーパ・ドキュメントとのインタラクションも拡張することができる。
【００８８】
ＩＸ．物理的ドキュメントおよびデジタル・ドキュメントとの同時両手インタラクション
他の実施形態においては、カメラ入力とコンピュータ入力との融合を画面だけのインタラクションにも適用することができる。本発明のシステムは、デジタル・ドキュメントを制御するために、ペーパ・ドキュメント上のペン・ベースもしくは指ベースの指示をコンピュータにリダイレクトすることができる。ペン・ベースおよび指ベースの指示は、他のハードウェアを追加することなく、画面上でのマルチ・ポインタ・インタラクションのために、マウス入力と結合することができる。たとえば、物理的ドキュメント・ベース・ポインタおよびコンピュータ・ベース・ポインタによって、ユーザは写真を同時に拡大縮小するとともに回転することができる。その他の例において、図１５に示すように、ユーザはペーパ上で第一の手１８８をフリックする（２０６：画面上を素早く払うようにタッチする）ことによって、ドキュメントをパンし（ドキュメントの表示を振り）、第二の手１９２でマウス１９４を操作することによって特定のコンテンツ２０８を選択することができる。その他の指ベースの入力を必要とせず、マウスをパンと選択タスクとの間で切り替える必要もない。上記両手インタラクションはマルチ・タッチ・インタラクションをサポートしない通常のコンピュータで有用である。
【００８９】
Ｘ．応用
上記様々な実施形態におけるインタラクション技術はペーパとコンピュータとを混在して使用するための多くのシナリオに適用することができる。たとえば、ペーパ・レシート処理、ドキュメント操作およびマップ・ナビゲーションなどについて以下で詳細に記載する。しかしながら、これらは例示であり、本発明を限定するものではない。
【００９０】
「レシート処理」
ペーパ・レシートはシンプルで、ロバストであり、かつ、既存のペーパ・ベース・ワーク・フローと適合性を有するために広範囲にわたって使用されている。しかしながら、ペーパ・レシートを新しいデジタル財務ドキュメント・ワーク・フローと統合することは（当事者にとって）退屈であり、時間を要する。多くのリサーチおよび様々な商用製品がこの領域で進展している。しかしながら、これらの多くは出費額、日付などの情報をレシートから完全に手書きで転写することを必要とする。ＯＣＲによってレシートから情報を自動的に抽出する場合もあるが、使いやすいエラー修正インタフェースがなく、他の制限も経理担当者の検証を困難にする。
【００９１】
レシート処理の方法の実施形態のいくつかにおいて、本発明の上記システムは図１６（Ａ）〜（Ｆ）に示すようにレシートを処理することができる。図１６（Ａ）に示すように、レシート２１０がカメラの視野に置かれると、システムは以前検出したレシートを記憶している既存レシート・データベースから該レシートと同一のレシートのデジタル・バージョンを検出することによって該レシート２１０を認識しようとする。適合するデジタル・バージョンが検出されない場合、レシート２１０は新規なものとして扱われることになり、図１６（Ｂ）に示すように、投影メッセージ２１２によってユーザにその旨を報知する("Your receipt is new")。システムは、レシートの高解像度写真２１４を撮影する。該写真は図１６（Ｃ）に示すようにコンピュータ画面１０８に表示される。次に、高解像度写真２１４をシステム・データベースに記憶する。ペーパ・レシート処理の問題は、正確な座標変換のために十分な特徴点をレシートが有さないかもしれないことである。レシートのコンテンツは一般に通常のドキュメントより少ないからである。この場合、上記デジタル・プロキシ・ストラテジを使用することによって、ユーザは、類似のジェスチャおよび修正機構によって画面１０８上のレシート２１０を操作することができる。たとえば、図１６（Ｄ）に示すように、ＯＣＲの特定の領域２１６（ここでは、日付）を選択するために、ユーザは（図示しない）アンダーラインを引くジェスチャを画面１０８上のレシートの写真２１４に直接行うことができる。実施形態のいくつかにおいて、ＯＣＲの結果２１８が検証のために領域２１６の隣に表示される。ＯＣＲの結果２１８が不正確であれば、ユーザは（図示しない）キーボードを使用して修正することができる。さらに、図１６（Ｅ）に示すように、レシート処理アプリケーションはレシートの情報を入力するセル２２２を有するデータ入力ソフトウェア・アプリケーション２２０を含んでもよい。この実施形態では、ソフトウェア・アプリケーション２２０において転写されたセル値の各々は、情報が導き出されたレシートの写真２１４の関連する領域２２４にリンクされてもよい。これにより、ユーザは、図１６（Ｆ）に示すように、セルを選択することによって、レシートの関連する領域２２４を強調して、該レシート２１０の写真２１４を検索して取り出し、セル２２２の各々の情報を容易に検証することができる。
【００９２】
「ドキュメント操作」
上記したように、本発明のシステムは、ユーザがペーパ上で細かい粒度のドキュメント・オペレーションを行うことを支援する。ドキュメント・オペレーションには、たとえば、キーワード検出、コピー・アンド・ペースト、インターネット検索などがあるが、本発明はこれらに限定されるものではない。図１７（Ａ）に示すように、キーワード検出アプリケーションの実施形態において、ユーザは、ペーパ・ドキュメント１１２の単語２３０を選択するためにペン先２２８を使用することができるし、図１７（Ｂ）に示すように、ドキュメントにわたるその（選択された単語の）存在２３２を検出するために（図示しない）キーボードを用いて任意の単語をタイプ入力してもよい。システムはドキュメントのフル・テキスト検索を実行し、（図示しない）プロジェクタを介して存在２３２の正確な位置を強調表示する。実施形態のいくつかにおいて、存在２３２のいくつかは投影領域の外側にあってもよい。その場合、プロジェクタは、図１７（Ｃ）に示すように、特定の方向にある（選択された単語の）存在を示すために投影境界の付近に矢印２３４を表示してもよい。ユーザは、ドキュメントにおいてさらなる存在２３２を明らかにするために矢印２３４によって示される方向にドキュメント１１２を移動させてもよい。
【００９３】
「マップ・ナビゲーション」
ペーパ・マップは、大きく、ロバストで、高品質の表示を提供するが、デジタル・マップで利用可能な動的な情報（道路周辺風景画像や動的交通情報など）は有さない。システムの実施形態のいくつかにおいて、図１８（Ａ）に示すように、ペーパ・マップ１７２とのインタラクションはコンピュータ画面１０８上のデジタル・マップ２３６と統合することができる。図１８（Ｂ）に示すように、任意の特定のポイント２３８もしくは経路がペーパ・マップ１７２上で選択され、システムはユーザの選択を処理し、図１８（Ｃ）に示すように、選択されたポイント２３８もしくは経路まで画面１０８上に対応するストリート・ビュー画像１２０をナビゲートする。その他の実施形態において、ユーザは、街路を車両で移動するためにストリート・ビュー・マップ・アプリケーションを操作してもよい。このような動きはペーパ・マップ上にプロジェクタによって強調して表示される。
【００９４】
ＸＩ． コンピュータによる実施形態
図１９は、本発明の手法が実装されるコンピュータ／サーバ・システム７００の実施形態を例示するブロック図である。システム７００は、指示を実行するための作業を行うプロセッサ（処理手段）７０２およびメモリ（記憶手段）７０３を含むコンピュータ／サーバ・プラットフォーム７０１を含む。「コンピュータ可読記憶媒体」は、たとえば、ディスク、半導体メモリなどの任意の有形の媒体であってよい。該コンピュータ記憶媒体はプロセッサ７０２に実行のための指示を提供する際に使用される。さらに、コンピュータ・プラットフォーム７０１は、キーボード、マウス、タッチ・デバイス、音声命令入力装置など、複数の入力デバイス（入力手段）７０４からの入力を受信する。コンピュータ・プラットフォーム７０１は、ポータブル・ハード・ディスク・ドライブ、光メディア（ＣＤ、ＤＶＤ）、ディスク媒体、その他の任意の有形な媒体など、コンピュータが実行コードを読み取ることができる脱着可能な記憶デバイス（脱着可能記憶手段）７０５にさらに接続されていてもよい。コンピュータ・プラットフォームはさらにインターネットもしくはローカル・パブリック・ネットワークもしくはローカル・プライベート・ネットワークのその他の構成要素に接続するネットワーク・リソース７０６に接続していもよい。ネットワーク・リソース７０６は指示およびデータをネットワーク７０７の遠隔位置からコンピュータ・プラットフォームに提供してもよい。ネットワーク・リソース７０６への接続は、たとえば、８０２．１１規格、ブルートゥース、ワイヤレス・プロトコル、セルラー・プロトコルなどのワイヤレス・プロトコルを介してもよいし、たとえば、金属ケーブルや光学繊維ケーブルなどの物理的な送信媒体を介してもよい。ネットワーク・リソースは、データや実行可能な指示を記憶する、コンピュータ・プラットフォーム７０１とは別個の位置にある記憶デバイスを含んでもよい。コンピュータは、その他の指示およびユーザからの入力を要求し、ユーザへデータやその他の情報を出力するためのディスプレイ（表示手段）７０８とインタラクションを行う。表示手段７０８はユーザとのインタラクションを行うための入力手段として機能してもよい。
【符号の説明】
【００９５】
１０２ カメラ
１０４ プロジェクタ
１１０ 物理的ドキュメント・ワークスペース
１１２ ペーパ
１１４ デジタル・ドキュメント・ワークスペース
１１６ ペーパ・コンピュータ調整手段
１１８ デジタル・バージョン
【特許請求の範囲】
【請求項１】
少なくとも一つの物理的ドキュメントを撮影して得られる画像に基づいて、前記画像中の前記物理的ドキュメントに含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をするとともに、前記画像特徴点の位置に基づいて特定される、該少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出するカメラ処理手段と、
前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影することで提供するプロジェクタ処理手段と、
を備える、情報処理システム。
【請求項２】
前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理し、
前記細かい粒度のコンテンツは、個別の単語、文字、図形を含み、
前記カメラ処理手段は前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する、
請求項１に記載の情報処理システム。
【請求項３】
前記プロジェクタ処理手段によって提供される視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく、
請求項１に記載の情報処理システム。
【請求項４】
前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、
前記ジェスチャは前記計算処理装置上の作業に対応する、
請求項１に記載の情報処理システム。
【請求項５】
前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する、
請求項４に記載の情報処理システム。
【請求項６】
前記計算処理装置へのユーザ・インタラクションを、前記プロジェクタ処理手段によって前記少なくとも一つの物理的ドキュメントへ提供される視覚可能なフィードバックに変換する、
請求項１に記載の情報処理システム。
【請求項７】
前記プロジェクタ処理手段は前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する、
請求項１に記載の情報処理システム。
【請求項８】
折り畳み可能なフレームに統合されており、運搬可能であるカメラおよびプロジェクタと、
少なくとも一つのミラーと、
をさらに備え、
前記少なくとも一つのミラーは、前記フレームに取り付けられており、前記カメラおよびプロジェクタの光路を前記少なくとも一つの物理的ドキュメントへ反射するように、該少なくとも一つの物理的ドキュメントの上に配置されている、
請求項１に記載の情報処理システム。
【請求項９】
前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために該コンテンツに対応するデジタル・ドキュメントを取得する、
請求項１に記載の情報処理システム。
【請求項１０】
前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす、
請求項９に記載の情報処理システム。
【請求項１１】
前記カメラ処理手段は、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する、
請求項１に記載の情報処理システム。
【請求項１２】
撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、
前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、
前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、
表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させる情報処理方法。
【請求項１３】
細かい粒度のコンテンツを識別するために前記少なくとも一つの物理的ドキュメントを処理し、
前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する、
ことをさらに含み、
前記細かい粒度のコンテンツは個別の単語、文字、図形を含む、
請求項１２に記載の情報処理方法。
【請求項１４】
前記視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく、
請求項１２に記載の情報処理方法。
【請求項１５】
前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、
前記ジェスチャは前記計算処理装置上の作業に対応する、
請求項１２に記載の情報処理方法。
【請求項１６】
前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する、
請求項１５に記載の情報処理方法。
【請求項１７】
前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する、
請求項１２に記載の情報処理方法。
【請求項１８】
前記計算処理装置へのユーザ・インタラクションを前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックに変換する、
請求項１２に記載の情報処理方法。
【請求項１９】
前記少なくとも一つの物理的ドキュメントの詳細なコンテンツを操作するために、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションを、該少なくとも一つの物理的ドキュメントへのユーザ・インタラクションと同時の前記計算処理装置へのユーザ・インタラクションに変換する、
請求項１８に記載の情報処理方法。
【請求項２０】
前記物理的ドキュメントの詳細なコンテンツは、前記少なくとも一つの物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、前記計算処理装置とインタラクトするために第二の手を用いたユーザ・インタラクションによって操作される、
請求項１２に記載の情報処理方法。
【請求項２１】
デジタル・ドキュメントの詳細なコンテンツは、前記物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、計算処理装置とインタラクトするために第２の手を用いたユーザ・インタラクションによって操作される、
請求項１２に記載の情報処理方法。
【請求項２２】
前記少なくとも一つの物理的ドキュメントとインタラクトするために、第一の手を用い、前記計算処理装置上のデジタル・ドキュメントとインタラクトするために、第二の手を用いて、該物理的ドキュメントの詳細なコンテンツと該デジタル・ドキュメントとを同時に操作する、
請求項１２に記載の情報処理方法。
【請求項２３】
前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、
前記表示手段に表示するために前記コンテンツに対応するデジタル・ドキュメントを取得する、
請求項１２に記載の情報処理方法。
【請求項２４】
前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす、
請求項２３に記載の情報処理方法。
【請求項２５】
前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、
前記少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する、
請求項１２に記載の情報処理方法。
【請求項２６】
コンピュータを、
撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、
前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、
前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、
表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させるように機能させるためのプログラム。
【請求項１】
少なくとも一つの物理的ドキュメントを撮影して得られる画像に基づいて、前記画像中の前記物理的ドキュメントに含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をするとともに、前記画像特徴点の位置に基づいて特定される、該少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出するカメラ処理手段と、
前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影することで提供するプロジェクタ処理手段と、
を備える、情報処理システム。
【請求項２】
前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理し、
前記細かい粒度のコンテンツは、個別の単語、文字、図形を含み、
前記カメラ処理手段は前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する、
請求項１に記載の情報処理システム。
【請求項３】
前記プロジェクタ処理手段によって提供される視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく、
請求項１に記載の情報処理システム。
【請求項４】
前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、
前記ジェスチャは前記計算処理装置上の作業に対応する、
請求項１に記載の情報処理システム。
【請求項５】
前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する、
請求項４に記載の情報処理システム。
【請求項６】
前記計算処理装置へのユーザ・インタラクションを、前記プロジェクタ処理手段によって前記少なくとも一つの物理的ドキュメントへ提供される視覚可能なフィードバックに変換する、
請求項１に記載の情報処理システム。
【請求項７】
前記プロジェクタ処理手段は前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する、
請求項１に記載の情報処理システム。
【請求項８】
折り畳み可能なフレームに統合されており、運搬可能であるカメラおよびプロジェクタと、
少なくとも一つのミラーと、
をさらに備え、
前記少なくとも一つのミラーは、前記フレームに取り付けられており、前記カメラおよびプロジェクタの光路を前記少なくとも一つの物理的ドキュメントへ反射するように、該少なくとも一つの物理的ドキュメントの上に配置されている、
請求項１に記載の情報処理システム。
【請求項９】
前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために該コンテンツに対応するデジタル・ドキュメントを取得する、
請求項１に記載の情報処理システム。
【請求項１０】
前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす、
請求項９に記載の情報処理システム。
【請求項１１】
前記カメラ処理手段は、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する、
請求項１に記載の情報処理システム。
【請求項１２】
撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、
前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、
前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、
表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させる情報処理方法。
【請求項１３】
細かい粒度のコンテンツを識別するために前記少なくとも一つの物理的ドキュメントを処理し、
前記細かい粒度のコンテンツに関連するユーザ・インタラクションを検出する、
ことをさらに含み、
前記細かい粒度のコンテンツは個別の単語、文字、図形を含む、
請求項１２に記載の情報処理方法。
【請求項１４】
前記視覚可能なフィードバックは前記物理的ドキュメントへのユーザ・インタラクションにもとづく、
請求項１２に記載の情報処理方法。
【請求項１５】
前記ユーザ・インタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、
前記ジェスチャは前記計算処理装置上の作業に対応する、
請求項１２に記載の情報処理方法。
【請求項１６】
前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する、
請求項１５に記載の情報処理方法。
【請求項１７】
前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する、
請求項１２に記載の情報処理方法。
【請求項１８】
前記計算処理装置へのユーザ・インタラクションを前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックに変換する、
請求項１２に記載の情報処理方法。
【請求項１９】
前記少なくとも一つの物理的ドキュメントの詳細なコンテンツを操作するために、前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションを、該少なくとも一つの物理的ドキュメントへのユーザ・インタラクションと同時の前記計算処理装置へのユーザ・インタラクションに変換する、
請求項１８に記載の情報処理方法。
【請求項２０】
前記物理的ドキュメントの詳細なコンテンツは、前記少なくとも一つの物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、前記計算処理装置とインタラクトするために第二の手を用いたユーザ・インタラクションによって操作される、
請求項１２に記載の情報処理方法。
【請求項２１】
デジタル・ドキュメントの詳細なコンテンツは、前記物理的ドキュメントとインタラクトするために第一の手を用いたユーザ・インタラクションによって操作され、計算処理装置とインタラクトするために第２の手を用いたユーザ・インタラクションによって操作される、
請求項１２に記載の情報処理方法。
【請求項２２】
前記少なくとも一つの物理的ドキュメントとインタラクトするために、第一の手を用い、前記計算処理装置上のデジタル・ドキュメントとインタラクトするために、第二の手を用いて、該物理的ドキュメントの詳細なコンテンツと該デジタル・ドキュメントとを同時に操作する、
請求項１２に記載の情報処理方法。
【請求項２３】
前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、
前記表示手段に表示するために前記コンテンツに対応するデジタル・ドキュメントを取得する、
請求項１２に記載の情報処理方法。
【請求項２４】
前記少なくとも一つの物理的ドキュメントへのユーザ・インタラクションは前記対応するデジタル・ドキュメントへの対応インタラクションをもたらす、
請求項２３に記載の情報処理方法。
【請求項２５】
前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、
前記少なくとも一つの物理的ドキュメントに関連するデジタル・コンテンツを取得する、
請求項１２に記載の情報処理方法。
【請求項２６】
コンピュータを、
撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、
前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザ・インタラクションを検出し、
前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザ・インタラクションに対応する投影光を、視覚的なフィードバックとして投影し、
表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザ・インタラクションとを連動させるように機能させるためのプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図１８】
【図１９】
【図３】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図４】
【図５】
【図６】
【図７】
【図１８】
【図１９】
【図３】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−４３４００（Ｐ２０１２−４３４００Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１１−３８８３（Ｐ２０１１−３８８３）
【出願日】平成２３年１月１２日（２０１１．１．１２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２３年１月１２日（２０１１．１．１２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]