印刷物用の分離型アプリケーション
スマートペンコンピューティングシステムで実行されるアプリケーションを用いて、印刷物用の対話式デジタルコンテンツを提供する。アプリケーションと印刷物とは別個のエンティティによって開発されるが、スマートペンコンピューティングシステムのユーザの視点から見ると、うまく一体化されて見える。第１のエンティティにより作成された、印刷されたコンテンツが取得される。この印刷されたコンテンツはドットパターンに関連づけられる。印刷されたコンテンツに関連し、ドットパターンにリンクされるアプリケーションは、別個の第２のエンティティによって作成される。このアプリケーションは、ドットパターン内の選択に応答して、印刷されたコンテンツに係る機能を起動させるためのコンピュータプログラム命令を含む。そのドットパターン内の選択は、スマートペンデバイスを用いて行うことができ、その機能は、スマートペンデバイスの出力デバイス（例えば、ディスプレイまたはスピーカ）を介して出力をユーザに提示することを含むことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、ペンベースのコンピューティングシステムに関し、さらに具体的には、ペンベースのコンピューティングシステムと共に使用する印刷物用の対話式コンテンツを開発することに関する。
【背景技術】
【０００２】
書籍、雑誌、地図および他の参考資料などの印刷物は一般的に対話式ではない。これらの資料は、資料をより教育的に、楽しめるように、および／または魅力的にする対話式デジタルコンテンツを追加することによって、強化することができる。例えば、印刷された世界地図はデジタルコンテンツで強化することによって、ユーザが地図上で国を選択してその国を解説するデジタルテキストまたは音声がユーザに提供されるようにすることができる。
【０００３】
典型的には、印刷物が強化されまたはデジタルコンテンツと結合されたシステムでは、印刷物とデジタルコンテンツが、特別におよび／または意図的に、相互に協力して作用するように設計される。多くの場合、印刷物とデジタルコンテンツとは同一の者や企業など（エンティティ）によって、または協力エンティティによって作成される。しかしながら、印刷物を作成するために必要な技術およびリソースは、多くの場合に、対話式デジタルコンテンツを作成するために必要な技術およびリソースと異なる。また、デジタルコンテンツのために特別におよび／または意図的に設計されたものではない既存の印刷物にデジタルコンテンツを追加するのは、多くの場合に困難である。さらに加えて、対話式デジタルコンテンツの開発者は、関心を持っている印刷物への合法的権利を有しないかもしれないが、印刷物に重要な価値を付加することができる。
【０００４】
従って、デジタルコンテンツが印刷物から分離される場合に印刷物用の対話式デジタルコンテンツの開発を可能にする技術が必要とされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７，１７５，０９５号明細書
【発明の概要】
【０００６】
本発明の実施形態は、スマートペンコンピューティングシステムにおいて実行するアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための、新しい方法を提示する。アプリケーションと印刷物とを別々に開発するために、アプリケーションは、そのアプリケーションと共に使用する印刷物から分離される。印刷物とは別個に開発されるにも拘わらず、アプリケーションは、スマートペンコンピューティングシステムのユーザの視点から見ると、印刷物とうまく一体化されることができる。
【０００７】
一実施形態では、第１のエンティティにより作成された、印刷されたコンテンツが取得される。この印刷されたコンテンツはドットパターンに関連する。印刷されたコンテンツには、ドットパターンを重ねることができる。印刷されたコンテンツに関連し、およびドットパターンにリンクされるアプリケーションは、別個の第２のエンティティによって作成される。このアプリケーションは、ドットパターン内の選択に応答して印刷されたコンテンツに係る機能を起動するための実行可能コンピュータプログラム命令を格納したコンピュータ可読媒体を備える。そのドットパターン内の選択は、デジタルペンデバイスを使用して行われ、その機能は、デジタルペンデバイスの出力デバイス（例えば、ディスプレイまたはスピーカ）を介して出力をユーザに提示することを含む。一実施形態では、複数の異なるアプリケーションを特定の印刷されたコンテンツに関連づけることができる。特定のアプリケーションは、ユーザによって選択されて、印刷されたコンテンツと共に使用することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態によるペンベースのコンピューティングシステムを示す概略図である。
【図２】本発明の実施形態によるペンベースのコンピューティングシステムで使用するスマートペンを示す図である。
【図３】スマートペンコンピューティングシステムにおけるアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための処理の実施形態を示す図である。
【図４】印刷物用の対話式デジタルコンテンツを提供するためのアプリケーションの処理の実施形態を示す図である。
【図５】ドットパターンが重ねられる印刷物の例を示す図である。
【０００９】
これらの図は、単なる例示を目的として本発明の種々の実施形態を示す。この分野の当業者ならば以下の説明から容易に認識されるように、本明細書に記載されている本発明の原理から逸脱することなしに、本明細書に例示の構成および方法の代替的実施形態を採用することが可能である。
【発明を実施するための形態】
【００１０】
ペンベースのコンピューティングシステムの概要
本発明の実施形態は、ペンベースのコンピューティングシステム、および他のコンピューティングシステムかつ/もしくは記録システムの種々の実施形態で実現することができる。ペンベースのコンピューティングシステムの実施形態は図１に示される。この実施形態では、ペンベースのコンピューティングシステムは書き込み表面５０、スマートペン１００、ドッキングステーション１１０、クライアントシステム１２０、ネットワーク１３０、およびウェブサービスシステム１４０を備える。スマートペン１００は、オンボード処理能力および入力／出力機能を含み、これによって、ペンベースのコンピューティングシステムは、従来のコンピューティングシステムのスクリーンベースの対話（ｉｎｔｅｒａｃｔｉｏｎ）を、ユーザが書くことができる他の表面に拡張することが可能になる。例えば、スマートペン１００は、書き込みの電子的表現を捕捉、すなわちキャプチャするためだけでなく、書き込み期間中に音声を記録するためにも使用することができ、および、スマートペン１００はビジュアル情報と音声情報をユーザに戻すように出力することもできる。種々のアプリケーションに対する適切なソフトウェアがスマートペン１００にあれば、ペンベースのコンピューティングシステムは、電子ドメインとペーパドメインの両方で、ユーザがソフトウェアプログラムと対話して、コンピューティングサービスを行うための新しいプラットフォームを提供する。
【００１１】
ペンベースのコンピューティングシステムでは、スマートペン１００はコンピューティングシステムに入出力能力を提供し、システムのコンピューティング機能の一部または全部を実行する。従って、スマートペン１００は、複数のモーダリティ（ｍｏｄａｌｉｔｙ)を使用するペンベースのコンピューティングシステムとのユーザ対話を可能にする。一実施形態では、スマートペン１００は、ユーザの手書きジェスチャもしくは他のハンドジェスチャをキャプチャし、または音声を記録するなどの複数のモーダリティを使用して、入力をユーザから受信し、ビジュアル情報を表示し、または音声をプレイするなどの種々のモーダリティを使用して、出力をユーザに提供する。他の実施形態では、スマートペン１００は、動き感知もしくはジェスチャキャプチャのような付加的入力モーダリティおよび／または振動フィードバックのような付加的出力モーダリティを含む。
【００１２】
スマートペン１００の特定の実施形態のコンポーネントを図２に示し、以下においてさらに詳しく説明する。スマートペン１００は、一般的形状へある変形を加えて、ペンの他の機能を収容したり、または、対話式でマルチモーダルの非筆記具でないものとすることもできるが、実質的にペンまたは他の筆記具のような形の形状要素を有するのがこのましい。例えば、スマートペン１００は、追加のコンポーネントを収容できるように標準的ペンより若干太くすることができ、または、スマートペン１００は、ペン形状の形状要素を形成する構造的特徴のほかに、追加の構造的特徴（例えば、フラットディスプレイスクリーン）を有することができる。さらに、スマートペン１００は、ユーザが入力またはコマンドをスマートペンコンピューティングシステムに提供することができるようにするメカニズムを含むこともでき、または、ユーザがスマートペンコンピューティングシステムから情報を受信し、さもなければ監視することができるようにするメカニズムを含むこともできる。
【００１３】
スマートペン１００は、書き込み表面５０と共に動作するように設計され、それによりスマートペン１００は書き込み表面５０上に行なわれる書き込みをキャプチャすることができる。一実施形態では、書き込み表面５０は一枚のペーパ（または書き込みができる任意の他の適当な材料）を備え、スマートペン１００が読み取り可能なパターンで符号化される。このような書き込み表面５０の例は、スウェーデンのＡｎｏｔｏ Ｇｒｏｕｐ ＡＢ（Ｗａｌｔｈａｍ，ＭＡの子会社Ａｎｏｔｏ社）から入手可能な、いわゆる「ドット対応ペーパ（ｄｏｔ−ｅｎａｂｌｅｄ ｐａｐｅｒ)」であり、特許文献１において説明される。なお、この特許文献１はそれを引用することにより本明細書の一部とする。このドット対応ペーパはペーパ上に符号化されたドットのパターンを有する。このドット対応ペーパと共に動作するように設計されたスマートペン１００は、結像系と、符号化されたドットパターンに関してスマートペンの書き込みチップ（ｔｉｐ）の位置を決定することができるプロセッサとを含む。スマートペン１００のこの位置は、予め定義された「ドットスペース」において座標を使用して参照することができ、これらの座標は局所的（つまり、書き込み表面５０の１ページ内の位置）または絶対的（つまり、書き込み表面５０の複数ページにわたって一意的な位置）になることができる。
【００１４】
他の実施形態では、書き込み表面５０は、スマートペン１００がジェスチャおよび他の書き込み入力をキャプチャできるように、符号化ペーパ以外のメカニズムを使用して、実現することができる。例えば、書き込み表面は、スマートペン１００によって行なわれた書き込みを感知するタブレットまたは他の電子媒体を備えることができる。別の実施形態では、書き込み表面５０は電子ペーパ、つまり、ｅペーパを備える。この感知は、書き込み表面５０のみが行い、または、スマートペン１００と共に行うことができる。書き込み表面５０の役割が（符号化ペーパの場合と同じように）単に受動的であっても、以上から理解されるように、スマートペン１００の設計は、ペンベースのコンピューティングシステムが設計された書き込み表面５０の種類に依存する。さらに、書き込みコンテンツは、書き込み表面５０上に（例えば、スマートペン１００を使用してインクをペーパ上に残しておくことで）機械的に表示したり、（例えば、書き込み表面５０上に表示されることで）電子的に表示したり、または、（例えば、単にメモリにセーブされるだけで）まったく表示されなくてもよい。別の実施形態では、スマートペン１００は、このペンのチップの動きを感知するセンサを備え、それにより、書き込み表面５０をまったく不要として手書きジェスチャを感知する。上記技術のいずれも、スマートペン１００に組み込まれたジェスチャキャプチャシステムで使用することができる。
【００１５】
種々の実施形態において、スマートペン１００は、ペンベースのコンピューティングシステムの種々の有用アプリケーションのために、パーソナルコンピュータなどの汎用コンピューティングシステム１２０と通信することができる。例えば、スマートペン１００によってキャプチャされたコンテンツは、コンピューティングシステム１２０に転送されて、そのシステム１２０によってさらに使用してもよい。例えば、コンピューティングシステム１２０は、ユーザがスマートペン１００によって取得された情報を格納し、アクセスし、レビューし、削除し、さもなければ管理することができるようにする、管理ソフトウェアを含むことができる。取得したデータをスマートペン１００からコンピューティングシステム１２０にダウンロードすることによって、スマートペン１００のリソースが解放され、スマートペン１００がより多くのデータを取得することができる。逆に、コンテンツはコンピューティングシステム１２０からスマートペン１００に戻すように転送することもできる。データのほかに、コンピューティングシステム１２０によってスマートペン１００に提供されるコンテンツは、スマートペン１００によって実行可能なソフトウェアアプリケーションを含むことができる。
【００１６】
スマートペン１００は、有線通信および無線通信の双方を含む多数の公知の通信メカニズムのうちのいずれかを介してコンピューティングシステム１２０と通信することができる。一実施形態では、ペンベースのコンピューティングシステムはコンピューティングシステムに結合されたドッキングステーション（ｄｏｃｋｉｎｇ ｓｔａｔｉｏｎ）１１０を含む。ドッキングステーション１１０はスマートペン１００を受け入れるように機械的および電気的に構成され、スマートペン１００がドッキングされたとき、ドッキングステーションステーション１１０はコンピューティングシステム１２０とスマートペン１００との間で電子通信を可能にすることができる。ドッキングステーション１１０はスマートペン１１０における電池を再充電する電力を供給することもできる。
【００１７】
図２は、上述した実施形態のような、ペンベースのコンピューティングシステムで使用されるスマートペン１００の実施形態を示す図である。図２に示される実施形態では、スマートペン１００はマーカ（ｍａｒｋｅｒ）２０５、結像系２１０、ペンダウンセンサ（ｐｅｎ ｄｏｗｎ ｓｅｎｓｏｒ）２１５、１つまたは複数のマイクロホン２２０、スピーカ２２５、音声ジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、および電池２５５を備える。しかし、スマートペン１００には上記コンポーネントのすべてが必要であるわけではなく、これは、スマートペン１００のすべての実施形態のコンポーネントを網羅的にリストしたものでもなく、上記コンポーネントの可能な限りの変形を網羅的にリストしたものでもないことを理解するべきである。例えば、スマートペン１００は、電源ボタンや音声録音ボタンなどのボタン、および／またはステータスインジケータライトを含むことができる。さらに、本明細書および特許請求の範囲において使用される「スマートペン」という用語は、明示的に列挙される特徴を除き、ペンデバイスは本明細書において特定の実施形態に関して記載の、なんらかの特定の特徴または機能を有することを意味するものではない。スマートペンは、本明細書に記載の能力およびサブシステムの任意の部分的な組み合わせを備えるものとしてもよい。
【００１８】
マーカ２０５によって、スマートペンがいずれかの適当な表面の上での書き込みのための典型的な書き込み装置として使用されることが可能になる。従って、マーカ２０５は、インクベースもしくはグラファイトベース（ｇｒａｐｈｉｔｅ−ｂａｓｅｄ）のマーキングデバイスまたは書き込みに使用できるいかなる他の任意のデバイスを含む、いずれかの適当なマーキングメカニズムを備える。一実施形態では、マーカ２０５は交換可能なボールペン要素を備える。マーカ２０５は、圧力感知素子などのペンダウンセンサ２１５に結合される。従って、ペンダウンセンサ２１５は、マーカ２０５が表面に対して押しつけられたとき出力を発生し、それにより、スマートペン１００が表面上で書き込みを行うためにいつ使用されていることを示す。
【００１９】
結像系２１０は、マーカ２０５付近の表面の区域を結像するのに十分な光学系（ｏｐｔｉｃｓ）とセンサを備える。結像系２１０は、スマートペン１００を使用して行なわれた手書きおよび／またはジェスチャをキャプチャするために使用することができる。例えば、結像系２１０は、マーカ２０５のおおよその近くで書き込み表面５０を照らす赤外線光源を含むことができ、ここでは書き込み表面５０は符号化パターンを含む。符号化パターンのイメージを処理することにより、スマートペン１００は、マーカ２０５が書き込み表面５０にたいしてどこにあるのかを決定することができる。結像系２１０の結像アレイは次にマーカ２０５近くの表面を結像し、その視野内の符号化パターンの一部をキャプチャする。従って、結像系２１０は、スマートペン１００が書き込み入力を受け取るような、少なくとも１つの入力モーダリティを使用してデータを受信することを可能にする。書き込み表面５０の一部分を見るための光学系とエレクトロニクスを組み込んだ結像系２１０は、ペンを使用して行なわれた手書きジェスチャを電子的にキャプチャするためにスマートペン１００に組み込むことができるジェスチャキャプチャシステムの１つの形態であって、スマートペン１００の他の実施形態では、同一機能を達成するための他の適当な手段を使用することもある。
【００２０】
一実施形態では、結像系２１０によってキャプチャされたデータは次いで処理され、文字認識のような１つまたは複数のコンテンツ認識アルゴリズムが受信したデータに適用されることを可能にする。別の実施形態では、結像系２１０は、書き込み表面５０上にすでに存在する（例えば、かつ、スマートペン１００を使用して書かれたものではない）書き込みコンテンツをスキャンし、キャプチャするために使用することができる。結像系２１０は、さらに、ペンダウンセンサ２１５と組み合わせてマーカ２０５が書き込み表面５０にいつ接触するかを決定することができる。マーカ２０５が書き込み表面を上に移動すると、結像アレイによってキャプチャされたパターンが変化し、従って、ユーザの手による書き込みは、スマートペン１００におけるジェスチャキャプチャシステム（例えば、図２の結像系２１０）によって決定され、キャプチャされることができる。この技術は、ユーザがマーカ２０５を書き込み表面５０の特定の位置でタップする時など、ジェスチャをキャプチャするために使用することもでき、それにより動き感知またはジェスチャキャプチャの別の入力モーダリティを使用するデータキャプチャを可能にする。
【００２１】
スマートペン１００上の別のデータキャプチャデバイスは１つまたは複数のマイクロホン２２０であり、これによりスマートペン１００が別の入力モーダリティである音声キャプチャを使用してデータを受け取ることができる。マイクロホン２２０は、音声を記録するために使用することができ、音声は上述した手書きキャプチャに同期させることができる。一実施形態では、１つまたは複数のマイクロホン２２０をプロセッサ２４５によって、または信号プロセッサ（図示せず）によって実行される信号処理ソフトウェアに結合し、マーカ２０５が書き込み表面上を移動するときに発生するノイズおよび／またはスマートペン１００が書き込み表面にタッチダウンまたは書き込み表面から離れるようにリフトするときに発生するノイズを除去する。一実施形態では、プロセッサ２４５は、キャプチャされた書き込まれたデータを、キャプチャされた音声データと同期化する。例えば、ミーティングにおける会話を、ユーザがノートをとっており、そのノートがスマートペン１００によってもキャプチャされている間に、マイクロホンを使用して記録することができる。記録された音声とキャプチャされた手書きとを同期化することによって、スマートペン１００は、以前にキャプチャされたデータのユーザリクエストに対して協調的な応答を提供することができる。例えば、書き込みコマンド、コマンドのパラメータ、スマートペン１００使用したジェスチャ、話しコマンドまたは書き込みコマンドと話しコマンドの組み合わせなどのユーザ要求に応答して、スマートペン１００は、音声出力とビジュアル出力との双方をユーザに提供する。スマートペン１００は、触覚的フィードバックをユーザに提供することもできる。
【００２２】
スピーカ２２５、音声ジャック２３０、およびディスプレイ２３５はスマートペン１００のユーザに出力を提供し、それによりデータが１つまたは複数の出力モーダリティを通してユーザに提示されることを可能にする。音声ジャック２３０を、イヤホンに結合して、スピーカ２２５による場合と異なり、ユーザが自分の周囲の人々を邪魔することなく音声出力を聴くことができる。イヤホンは、ユーザが空間的特性で強化されたステレオまたは完全三次元音声としての音声出力を聴くことできる。従って、スピーカ２２５と音声ジャック２３０によれば、スピーカ２２５または音声ジャック２３０によって演奏される音声を聴くことにより、ユーザは、第１の種類の出力モーダリティを使用してスマートペンからデータを受け取ることができる。
【００２３】
ディスプレイ２３５は、有機発光ダイオード（ＯＬＥＤ）ディスプレイのように、ビジュアルフィードバックを提供するためのいずれかの適当なディスプレイシステムを備えることができ、それにより情報をビジュアルに表示することによって、スマートペン１００が第２の出力モーダリティを使用して出力を提供することができる。使用にあたって、スマートペン１００は、これらの出力コンポーネントのいずれかを使用して音声またはビジュアルフィードバックを伝えることができ、それにより複数の出力モーダリティを使用してデータを提供することができる。例えば、スピーカ２２５と音声ジャック２３０は、スマートペン１００上で作動するアプリケーションに従って音声フィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を伝えることができ、ディスプレイ２３５は、語句、静止画または動画（スタティックイメージもしくはダイナミックイメージ）、またはプロンプトを、上記のようなアプリケーションの指示に従って表示することができる。さらに、スピーカ２２５と音声ジャック２３０は、マイクロホン２２０を使用して記録された音声データを再生するために使用することもできる。
【００２４】
入出力（Ｉ／Ｏ）ポート２４０により上述のようにスマートペン１００とコンピューティングシステム１２０との間の通信を行うことができる。一実施形態では、Ｉ／Ｏポート２４０はドッキングステーション１１０上の電気的接点に対応する電気的接点を備え、それにより、スマートペン１００がドッキングステーション１１０に置かれたときデータ転送のための電気的接続が行なわれる。別の実施形態では、Ｉ／Ｏポート２４０はデータケーブル（例えば、ミニＵＳＢまたはマクロＵＳＢ）を受け入れるためのジャック単にを備える。あるいはまた、Ｉ／Ｏポート２４０は、スマートペン１００における無線通信回路によって置き換えられて、（例えば、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、赤外線または超音波を介して）コンピューティングシステム１２０との無線通信を可能にすることができる。
【００２５】
プロセッサ２４５、オンボードメモリ２５０および電池２５５（または他の適当な電源）によって、コンピューティング機能が少なくとも部分的にスマートペン１００上で実行することができる。プロセッサ２４５を上述した入出力デバイスおよびその他のコンポーネントに結合し、それにより、スマートペン１００上で作動するアプリケーションがこれらのコンポーネントを使用することができるようにする。一実施形態では、プロセッサ２４５はＡＲＭＰ９プロセッサを備え、オンボードメモリ２５０は少量のランダムアクセスメモリ（ＲＡＭ）および大量のフラッシュメモリまたは他の持続性メモリを備える。その結果、実行可能アプリケーションは、スマートペン１００に格納してその上で実行することができ、記録された音声および手書きは、無限に、またはスマートペン１００からコンピューティングシステム１２０にオフロードされるまでスマートペン１００に格納することができる。例えば、スマートペン１００は、文字認識や音声認識のような１つまたは複数のコンテンツ認識アルゴリズムをローカルに格納することができ、それによりスマートペン１００は、スマートペン１００によって受信された１つまたは複数の入力モーダリティから入力をローカルに識別することができる。
【００２６】
一実施形態では、スマートペン１００は、手書きキャプチャ、音声キャプチャ、もしくはジェスチャキャプチャのような１つまたは複数の入力モーダリティ、または音声再生やビジュアルデータの表示のような出力モーダリティをサポートするオペレーティングシステムまたは他のソフトウェアも含む。オペレーティングシステムまたは他のソフトウェアは、入力モーダリティと出力モーダリティとの組み合わせをサポートすることができ、入力モーダリティ（例えば、書かれたおよび／または話されたデータを入力としてキャプチャする）と出力モーダリティ（例えば、音声データまたはビジュアルデータを出力としてユーザに提示する）との間の、組み合わせ、順序付けおよび移行を管理する。例えば、入力モーダリティと出力モーダリティとの間のこの移行は、ユーザがスマートペン１００によって再生される音声を聴いている間に、同時にペーパまたは別の表面上に書くことを可能にし、または、スマートペン１００は、ユーザがスマートペン１００で書いている間に、ユーザからも話される音声をキャプチャすることができる。入力モーダリティと出力モーダリティとの他の組み合わせもまた可能である。
【００２７】
一実施形態では、プロセッサ２４５およびオンボードメモリ２５０は、ファイルシステムまたはアプリケーションメニューを介してメニュー構造およびナビゲーションをサポートして可能にする１つまたは複数の実行可能アプリケーションを含み、よりによりアプリケーションの立ち上げまたはアプリケーションの機能の立ち上げを可能にする。例えば、メニューアイテム間のナビゲーションは、ユーザにより話されたコマンドかつ／もしくは書き込まれたコマンドおよび／またはジェスチャと、スマートペンのコンピューティングシステムからの音声フィードバックおよび／またはビジュアルフィードバックとに関する、ユーザとスマートペン１００との間のダイアログを備える。従って、スマートペン１００は、メニュー構造をナビゲートするための入力を種々のモーダリティから受け取ることができる。
【００２８】
例えば、手書きジェスチャ、話されるキーワードまたは物理的動きは、そのあとの入力が１つまたは複数のアプリケーションコマンドに関連することを示すことができる。例えば、ユーザは、スマートペン１００の表面に対して高速で２度ほど連続的に押し下げてから、「解決」、「送信」、「翻訳」、「ｅメール」、「ボイスｅメール」、または別の予め定義された語句を書いて、書かれた語句に関連するコマンドを起動し、または、予め定義された語句に関連するコマンドに関連する追加のパラメータを受け取ることができる。この入力は、空間的成分（例えば、隣り合ったドット）および／または時間的成分（例えば、順次に入力されるドット）を有することができる。これらの「クィック立ち上げ」コマンドは異なるフォーマットで提供できるので、メニューのナビゲーションまたはアプリケーションの立ち上げが簡単化される。「クィック立ち上げ」コマンド（複数可）は、好ましくは、従来の書き込みおよび／または話し中に容易に区別可能になる。
【００２９】
あるいはまた、スマートペン１００は、アプリケーションのメニューをナビゲートするための入力もしくはスマートペン１００によって実行されるアプリケーションコマンドのための入力を受信する、小型ジョイスティック、スライドコントロール、ロッカパネル（ｒｏｃｋｅｒ ｐａｎｅｌ）、容量性（または他の非機械的）表面などの物理的コントローラ、または、他の入力メカニズムも含む。
【００３０】
印刷物用のアプリケーションの概要
本発明の実施形態は、スマートペンコンピューティングシステムで実行するアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための、新しい方法を提示する。アプリケーションと印刷物とを別個に開発するので、アプリケーションは、それらアプリケーションと共に使用する印刷物から分離される。アプリケーションは印刷物と別個に開発されるにも拘わらず、スマートペンコンピューティングシステムのユーザの視点から見ると、アプリケーションは印刷物と上手に一体化されることができる。
【００３１】
一実施形態では、ユーザは雑誌や地図などの印刷物を受け取れる。印刷物にはドットパターンが重ねられる。このドットパターンによって、印刷物をスマートペン１００によって認識することができ、しかもそのドットパターンはユーザにほぼ透明であって、印刷物の外見の品質を下げることはない。ユーザは、また、特定の印刷物と共に作用するように開発された１つまたは複数のスマートペンアプリケーションを、スマートペンコンピューティングシステムにダウンロードする。ユーザはスマートペン１００を印刷物上の特定の位置に置いて、スマートペンが結像系２１０を介してその位置におけるドットパターンを読み取る。ドットパターンに基づいて、スマートペン１００は、印刷物を認識し、この印刷物と共に使用する１つまたは複数の利用可能なアプリケーションを決定する。ユーザは特定の利用可能なアプリケーションを選択して、このアプリケーションは実行され、対話式デジタルコンテンツをユーザに提供する。一実施形態では、アプリケーションによって、ユーザがスマートペン１００を印刷物上の特定の位置に置いて、その位置に関連する情報を受け取ることができる。例えば、この追加の情報は、スマートペンのディスプレイ２３５またはスピーカ２２５によって提示することができ、または、スマートペンに取り付けられたコンピューティングシステム１２０によって提示することができる。
【００３２】
本発明の種々の実施形態についての以下の説明は、添付の図面を参照して提示される。図１は印刷物用の対話式デジタルコンテンツを提供するためのアーキテクチャ例のブロック図である。図１は、一枚のドット対応ペーパ５０と、このペーパ５０と共に使用することができるスマートペン１００とを示す。以下で説明するオペレーションは、ペン１００のプロセッサ上で作動するアプリケーション、付随するコンピューティングシステム１２０上で作動するアプリケーション、またはその二つの組み合わせによって実行することができる。一実施形態では、ドット対応ペーパ５０はドットパターンが重ねられる印刷物である。
【００３３】
図３はスマートペンコンピューティングシステムにおいてアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための処理の一実施形態を示す。この処理においては、スマートペン１００の結像系２１０は印刷物５０上のある位置に置かれる。結像系２１０は印刷物上に重ねられたドットパターンを受け取る（ステップ３００）。結像系２１０から受信したドットパターンに基づいて、スマートペンは印刷物を識別する（ステップ３０２）。スマートペンは識別した印刷物に利用可能なソフトウェアアプリケーションを決定する（ステップ３０４）。こられのアプリケーションは、スマートペン１００、または付随するコンピューティングシステム１２０に格納されることができ、ユーザによって事前にダウンロードされまたはユーザに別途提供されることもできる。一実施形態では、ユーザが印刷物用のアプリケーションをダウンロードするとき、この印刷物のドットパターンもダウンロードされてスマートペン１００により格納されるので、スマートペンはそのでドットパターンに基づいて後にそのアプリケーションを識別することができる。
【００３４】
複数の利用可能なアプリケーションが識別した印刷物に利用可能である場合、スマートペン１００はプロンプトでユーザに利用可能なアプリケーションの１つを選ぶように指示する（ステップ３０６）。スマートペンは、例えば、スマートペンのディスプレイまたはスピーカを介してこのプロンプトをユーザに提示することができる。その応答としてスマートペンはユーザからアプリケーションの選択を受け取る（ステップ３０８）。次に、スマートペンは選択されたアプリケーションを実行し（ステップ３１０）、対話式デジタルコンテンツを印刷物に関連してユーザに提供する。
【００３５】
一実施形態では、スマートペンはプロンプトでユーザに利用可能なアプリケーションを選ぶように明示的に指示しない。ユーザは、スマートペン１００を使用してジェスチャをすることによりアプリケーションを選ぶことができ、このジェスチャはスマートペンによって特定のアプリケーションへの選択として認識される。例えば、ユーザは、スマートペン１００を使用して、特定の印刷された単語に重なるドットパターンの上方でアップストローク（ｕｐｓｔｒｏｋｅ）のようなジェスチャをして、スマートペンのスピーカを介して単語を英語で話すアプリケーションを選択することができる。ユーザはスマートペン１００を使用して同一単語の上方でダウンストローク（ｄｏｗｎｓｔｒｏｋｅ）のようなジェスチャをして、この単語を中国語で話すアプリケーションを選択することができる。一実施形態では、ユーザはスマートペン１００のマイクロホンに向けってアプリケーションの名称を話す。例えば、ユーザは「発音」と話し、次にスマートペンを使用して印刷された単語をたたき、それによって、発音アプリケーションがスマートペンのスピーカを介してこの単語を発音するようにする。あるいはまた、ユーザは「定義」と話して、同一単語をたたいて、この単語の定義を聴くことができる。ユーザからのアプリケーションの選択を受け取るために種々の他の方法が利用可能である。
【００３６】
図４は、印刷物用の対話式デジタルコンテンツを提供するためのアプリケーションの処理の実施形態を示す。この処理においては、特定の印刷物およびアプリケーションは、図３に示されるように、または他の適切な手段によって識別される。そのアプリケーションは、印刷物と共に使用するために開発され、印刷物に関連するドットパターンの情報を有する。ユーザはスマートペン１００の結像系２１０をドットパターンが重ねられる印刷物上の特定の位置に置く。スマートペンは印刷物内のドットパターンにおける位置を受け取る（ステップ４０２）。スマートペンはこの位置を特定のアプリケーションに基づいて処理する（ステップ４０４）。例えば、印刷物が地図である場合、スマートペンはこの位置に関連する特定の州または国を決定することができる。スマートペンはこの処理に基づいて出力をユーザに提供する（ステップ４０６）。上記の例を続けると、スマートペン１００はそのディスプレイ２３５の上で特定の州または国に関する情報を表示することができる。
【００３７】
図５はドットパターンが重ねられる印刷物の例を示す。図５において、印刷物５０４は特定の国はまた地理的地域の地図である。印刷物の他の例は、新聞、雑誌、書籍およびポスターを含む。地図は、ペーパやプラスチックなどの種々の種類の媒体上に印刷することができ、カラーまたは白黒で印刷することができる。重ねドットパターン５０６は地図に追加される。このドットパターンは、地図が印刷されるのと同時に地図上に印刷されることができ、または、後にもしくは事前に別の印刷処理で追加することができる。ドットパターンは、例えば透明性を使用して、地図の上に置くこともできる。ドットパターンはスマートペン１００によって認識されるが、ユーザが見る時に印刷物の品質を著しく下げることはない。
【００３８】
分離型アプリケーション
スマートペンアプリケーションと印刷物との分離は、第１のエンティティに符号化パターンを有する印刷物（印刷されたコンテンツとも言われる）を用意させて、第２のエンティティ（または、任意の個数のエンティティ）にスマートペンコンピューティングシステムによって印刷物と共に使用するデジタル対話式コンテンツを有するソフトウェアアプリケーションを開発させることにより、実現することができる。この開発モデルによれば、異なるエンティティがそれらの特定の専門技術を専門に扱うことができる。さらにまた、分離型アプリケーションを使用すると、印刷物の創作者は、第三者が印刷物と共に使用する有用な対話式アプリケーションを開発するのを可能にすることができる。別個に開発されるにも拘わらず、印刷物とデジタルコンテンツとは、ユーザの視点から見ると統一されたプロダクトに見える。
【００３９】
一実施形態では、第１のエンティティは印刷物を作成するが、その印刷物は必ずしも重ねられるドットパターンを有するとは限らない。ドットパターンは種々の方法で印刷物に関連づけることができる。第２のエンティティは、例えば、ドットパターンを印刷されたコンテンツに重ねて、この関連づけについての情報を他のエンティティに提供する。他の例においては、印刷されたコンテンツの部分一部はを種々の重なっていないドットパターンのセグメントに関連づけることができる。ドットパターンと印刷物との間の種々の関連づけを作り、こられの関連づけについての情報を、アプリケーションを開発するエンティティおよびユーザに伝えることができる。
【００４０】
複数の別個のエンティティは、印刷物の１つのアイテムのためにデジタルコンテンツを創作することができる。一実施形態では、各エンティティは上述の図４に示したステップを実行するスマートペン１００上で作動するソフトウェアアプリケーションを創作する。１つの例においては、大きい既存の地図会社は、ドットパターンが重ねられたサンフランシスコ湾岸地帯の高品質市街地図を印刷し、流通させる。この地図会社は、この地図に関連づけられたドットパターン領域に関する情報を第三者に公開することもできる。そして、関心を持つ第三者はコンテンツを開発し得る。このコンテンツは、エンドユーザによってダウンロードされると、完成したプロダクトが１つの会社から来たかのようにエンドユーザが地図と対話することを可能にする。複数の開発者または１つの開発者は、同一ベースの印刷物のために異なる対話式デジタルコンテンツを作成することができる。
【００４１】
例えば、１つの開発者は、地図ラベルの音声インタフェースを含む第１のアプリケーションを創作することができる。第１のアプリケーションでは、ユーザがスマートペンを地図ラベル上に置いて、このペンによってそれのスピーカを介してラベルの音声出力を発生させる。他の開発者は道探しのための第２のアプリケーションを創作することができる。第２のアプリケーションでは、ユーザがスマートペンで２つの地点をたたいて、アプリケーションはこれら２つの地点間の距離、および第１の地点から第２の地点までの進行方向または第１の地点から第２の地点まで道路に沿うルートをユーザに伝える。アプリケーションはこの情報を音声として出力し、またはこの情報をスマートペンディスプレイ上で表示することができる。他の開発者は、上述の２つのアプリケーションからの出力を組み合わせる第３のアプリケーションを創作することができる。例えば、ユーザが地図上の１つの位置をたたいて、次に、もう１つの位置をたたく。第３のアプリケーションは進行方向を第２のアプリケーションから受け取り、この情報を第１のアプリケーションに提供して話しナビゲーションシステムを創作する。
【００４２】
印刷物をソフトウェアアプリケーションから分離することによって、関心のある印刷コンテンツへの権利を有しないかもしれないソフトウェア開発者が、依然として印刷コンテンツに価値を追加することができる。ソフトウェア開発者が対話式コンテンツを作成するよう促すことは、元の印刷コンテンツ所有者の利益になり得る。これは、このようなコンテンツが様々な消費者にとって興味を起こさせるさらなる価値を追加するからである。
【００４３】
例えば、よく売れているニュース週刊誌雑誌は、そのすべてのページにドットパターンを重ねることができ、そしてドットパターンおよび／または下層のイメージにカバーされる領域を説明する明細を発行することができる。これによって、第三者（例えば、ソフトウェア開発者）がアプリケーションを作成することを可能にし、そのアプリケーションは、例えば、ページを読み上げたり、広告を対話式にしり、困難な単語の定義を提供したり、評論家による論評を提供したり、および外国語の訳を提供したりすることができる。例えば、ユーザはスマートペン１００を使用してニュース記事（またはニュース記事の一部）を指し、評論家による音声論評を聴くことができる。ユーザは、特定の種類（例えば、保守的観点または自由的観点から）の論評を提供するソフトウェアアプリケーションをスマートペンにダウンロードすることができる。ソフトウェア開発者が雑誌のコンテンツによりアクセスし易くすることによって、雑誌は、個別の関心を持つ読者により大きい魅力を付与し、競争上の優位性を獲得することができる。
【００４４】
ユーザは、第三者の対話式コンテンツを、それをその場で購入することによりまたは定期的に更新される定期購読で購入することにより、購入することができる。第三者コンテンツは、スマートペンにダウンロードする（例えば、付随するシステム１２０上で作動するウェブブラウザーを介してウェブサイトからダウンロードする）ことができるソフトウェアアプリケーションとして利用可能である。ソフトウェアアプリケーションは、スマートペンにダウンロードして格納したり、または、ユーザが必要とするとき要求に応じてダウンロードして、後で消去してスマートペンにおけるストレージデバイスにスペースをあけることができる。
【００４５】
一実施形態では、ユーザが対話式コンテンツを購入すると、ユーザはスマートペンを使用して、印刷されたドキュメントをたたいてそれにアクセスする。ユーザがドキュメントをたたくとき、スマートペンはドットパターンを印刷物から受け取り（ステップ３００）、スマートペンにおけるベースアプリケーションは作動し、このベースアプリケーションはステップ３０４と同じように、第三者アプリケーションのデータベース内を検索して、印刷されたドキュメントに対して書き込まれたアプリケーションが存在するか否かを決定する。このベースアプリケーションは常にスマートペンに存在しており、受け取ったドットパターンを解析することにより関心のある印刷されたドキュメントを認識することができる。一実施形態では、ユーザは識別ドットパターンを含む、印刷されたドキュメントの指定された区域をたたく。上述のように、特定の印刷されたドキュメントに対応する複数のアプリケーションが存在することがあり得る。その場合、ユーザは所望のアプリケーションを選択するよう求められ、この選択はスマートペンによって受け取られる（ステップ３０８）。
【００４６】
対話式コンテンツを提供するソフトウェアアプリケーションを、複数の印刷されたドキュメントに関連づけることができる。このアプリケーションは印刷されたドキュメント同士をリンクし、またはドキュメントの相乗的使用を容易にすることができる。例えば、ユーザは、大量の米国政府作成参考資料を含む中央情報局（ＣＩＡ）ワールドファクトブック（Ｗｏｒｌｄ Ｆａｃｔｂｏｏｋ）を１冊所有し得る。ユーザは、米国地理学協会によって作成された高解像度掛地図も所有し得る。アプリケーション開発者は、ユーザが掛地図における国の上をたたいてＣＩＡワールドファクトブックからのその国に関する資料にアクセスすることを可能にする、アプリケーションを作成することができる。
【００４７】
上述のように、複数の関係者は、印刷物用の分離型アプリケーションを提供するシステムに関与する。これらの関係者は、基本とする印刷物の著作権の所有者、アプリケーションの開発者、アプリケーション開発者が利用可能な生コンテンツ（例えば、音声クリップまたは参照テキスト）の開発者、および複数のアプリケーションの特徴を組み合わせるアプリケーションの開発者を含む。その結果、このシステムに参加する関係者が使用料を分配するための手段を提供することが有用である。
【００４８】
まとめ
上述した本発明の実施形態の説明は、例示のために提示されたものであり、網羅的でもなく、開示した形態と全く同一の形態に本発明を限定するものでもない。関連分野の当業者ならば理解されるように、上述した開示事項に照らして多くの変更および変形が可能である。
【００４９】
上記説明のある部分は、情報についてのオペレーションのアルゴリズムおよび記号的表現の点から本発明の実施形態を説明する。これらのアルゴリズム的説明および表現は、データ処理分野の当業者によって一般に使用されて、それら作業の本質をこの分野の他の当業者に効果的に伝える。これらのオペレーションは、機能的に、計算的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実現されるものと理解される。さらに、これらのオペレーションの配置を、一般性を失うことなく、モジュールと称することは、時には好都合であることも実証された。上述したオペレーションおよびそれらの関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせで具現化することができる。
【００５０】
本明細書に説明したステップ、オペレーションまたはプロセスのいずれも、１つまたは複数のハードウェアモジュールまたはソフトウェアモジュール単独、または１つまたは複数のハードウェアモジュールまたはソフトウェアモジュールと他のデバイスとの組み合わせで実行または実現することができる。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラムプロダクトで実現され、そのコンピュータプログラムコードは、コンピュータプロセッサによって実行されて、上述したステップ、オペレーション、またはプロセスのいずれかまたはすべてを実行することが可能である。
【００５１】
本発明の実施形態は、本明細書におけるオペレーションを実行するための装置に係ることもできる。この装置は、所要の目的のために特に構築することができ、および／またはコンピュータに格納されたコンピュータプログラムによって選択的に付勢にされまたは再構築される汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、有形的なコンピュータ可読記憶媒体に格納することができ、その有形的なコンピュータ可読記憶媒体は、電子的命令を格納するのに適したいかなる種類の有形的媒体を含み、コンピュータシステムバスに結合される。さらに、本明細書において言及されたいかなるコンピューティングシステムを、シングルプロセッサを含んだり、または、コンピューティング能力向上のためにマルチプロセッサ設計を採用したアーキテクチャとすることができる。
【００５２】
本発明の実施形態は、搬送波で具現化されたコンピュータデータ信号に係ることができ、ここでコンピュータデータ信号は、本明細書に説明したコンピュータプログラムプロダクトのいずれかの実施形態またはその他のデータ組み合わせを含む。コンピュータデータ信号は、有形的媒体または搬送波で提示され、搬送波において変調されまたは他の方法で符号化されるプロダクトであり、搬送波は有形的で、なんらかの適当な伝送方法に従って伝送される。
【００５３】
最後に、本明細書において使用される言語は、主に読み易さと説明を目的として選択されたものであり、これは本発明の主題を線引きしたり限定したりするために選択されたものではない。従って、本発明の範囲がこの詳細説明によって限定されるものではなく、むしろ、本明細書に基づくアプリケーションに由来する請求項によって限定されることを意図している。従って、本発明の実施形態の開示は、請求項に記載された本発明の範囲を例示したものであり、限定するものではない。
【技術分野】
【０００１】
本発明は、一般的には、ペンベースのコンピューティングシステムに関し、さらに具体的には、ペンベースのコンピューティングシステムと共に使用する印刷物用の対話式コンテンツを開発することに関する。
【背景技術】
【０００２】
書籍、雑誌、地図および他の参考資料などの印刷物は一般的に対話式ではない。これらの資料は、資料をより教育的に、楽しめるように、および／または魅力的にする対話式デジタルコンテンツを追加することによって、強化することができる。例えば、印刷された世界地図はデジタルコンテンツで強化することによって、ユーザが地図上で国を選択してその国を解説するデジタルテキストまたは音声がユーザに提供されるようにすることができる。
【０００３】
典型的には、印刷物が強化されまたはデジタルコンテンツと結合されたシステムでは、印刷物とデジタルコンテンツが、特別におよび／または意図的に、相互に協力して作用するように設計される。多くの場合、印刷物とデジタルコンテンツとは同一の者や企業など（エンティティ）によって、または協力エンティティによって作成される。しかしながら、印刷物を作成するために必要な技術およびリソースは、多くの場合に、対話式デジタルコンテンツを作成するために必要な技術およびリソースと異なる。また、デジタルコンテンツのために特別におよび／または意図的に設計されたものではない既存の印刷物にデジタルコンテンツを追加するのは、多くの場合に困難である。さらに加えて、対話式デジタルコンテンツの開発者は、関心を持っている印刷物への合法的権利を有しないかもしれないが、印刷物に重要な価値を付加することができる。
【０００４】
従って、デジタルコンテンツが印刷物から分離される場合に印刷物用の対話式デジタルコンテンツの開発を可能にする技術が必要とされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７，１７５，０９５号明細書
【発明の概要】
【０００６】
本発明の実施形態は、スマートペンコンピューティングシステムにおいて実行するアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための、新しい方法を提示する。アプリケーションと印刷物とを別々に開発するために、アプリケーションは、そのアプリケーションと共に使用する印刷物から分離される。印刷物とは別個に開発されるにも拘わらず、アプリケーションは、スマートペンコンピューティングシステムのユーザの視点から見ると、印刷物とうまく一体化されることができる。
【０００７】
一実施形態では、第１のエンティティにより作成された、印刷されたコンテンツが取得される。この印刷されたコンテンツはドットパターンに関連する。印刷されたコンテンツには、ドットパターンを重ねることができる。印刷されたコンテンツに関連し、およびドットパターンにリンクされるアプリケーションは、別個の第２のエンティティによって作成される。このアプリケーションは、ドットパターン内の選択に応答して印刷されたコンテンツに係る機能を起動するための実行可能コンピュータプログラム命令を格納したコンピュータ可読媒体を備える。そのドットパターン内の選択は、デジタルペンデバイスを使用して行われ、その機能は、デジタルペンデバイスの出力デバイス（例えば、ディスプレイまたはスピーカ）を介して出力をユーザに提示することを含む。一実施形態では、複数の異なるアプリケーションを特定の印刷されたコンテンツに関連づけることができる。特定のアプリケーションは、ユーザによって選択されて、印刷されたコンテンツと共に使用することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態によるペンベースのコンピューティングシステムを示す概略図である。
【図２】本発明の実施形態によるペンベースのコンピューティングシステムで使用するスマートペンを示す図である。
【図３】スマートペンコンピューティングシステムにおけるアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための処理の実施形態を示す図である。
【図４】印刷物用の対話式デジタルコンテンツを提供するためのアプリケーションの処理の実施形態を示す図である。
【図５】ドットパターンが重ねられる印刷物の例を示す図である。
【０００９】
これらの図は、単なる例示を目的として本発明の種々の実施形態を示す。この分野の当業者ならば以下の説明から容易に認識されるように、本明細書に記載されている本発明の原理から逸脱することなしに、本明細書に例示の構成および方法の代替的実施形態を採用することが可能である。
【発明を実施するための形態】
【００１０】
ペンベースのコンピューティングシステムの概要
本発明の実施形態は、ペンベースのコンピューティングシステム、および他のコンピューティングシステムかつ/もしくは記録システムの種々の実施形態で実現することができる。ペンベースのコンピューティングシステムの実施形態は図１に示される。この実施形態では、ペンベースのコンピューティングシステムは書き込み表面５０、スマートペン１００、ドッキングステーション１１０、クライアントシステム１２０、ネットワーク１３０、およびウェブサービスシステム１４０を備える。スマートペン１００は、オンボード処理能力および入力／出力機能を含み、これによって、ペンベースのコンピューティングシステムは、従来のコンピューティングシステムのスクリーンベースの対話（ｉｎｔｅｒａｃｔｉｏｎ）を、ユーザが書くことができる他の表面に拡張することが可能になる。例えば、スマートペン１００は、書き込みの電子的表現を捕捉、すなわちキャプチャするためだけでなく、書き込み期間中に音声を記録するためにも使用することができ、および、スマートペン１００はビジュアル情報と音声情報をユーザに戻すように出力することもできる。種々のアプリケーションに対する適切なソフトウェアがスマートペン１００にあれば、ペンベースのコンピューティングシステムは、電子ドメインとペーパドメインの両方で、ユーザがソフトウェアプログラムと対話して、コンピューティングサービスを行うための新しいプラットフォームを提供する。
【００１１】
ペンベースのコンピューティングシステムでは、スマートペン１００はコンピューティングシステムに入出力能力を提供し、システムのコンピューティング機能の一部または全部を実行する。従って、スマートペン１００は、複数のモーダリティ（ｍｏｄａｌｉｔｙ)を使用するペンベースのコンピューティングシステムとのユーザ対話を可能にする。一実施形態では、スマートペン１００は、ユーザの手書きジェスチャもしくは他のハンドジェスチャをキャプチャし、または音声を記録するなどの複数のモーダリティを使用して、入力をユーザから受信し、ビジュアル情報を表示し、または音声をプレイするなどの種々のモーダリティを使用して、出力をユーザに提供する。他の実施形態では、スマートペン１００は、動き感知もしくはジェスチャキャプチャのような付加的入力モーダリティおよび／または振動フィードバックのような付加的出力モーダリティを含む。
【００１２】
スマートペン１００の特定の実施形態のコンポーネントを図２に示し、以下においてさらに詳しく説明する。スマートペン１００は、一般的形状へある変形を加えて、ペンの他の機能を収容したり、または、対話式でマルチモーダルの非筆記具でないものとすることもできるが、実質的にペンまたは他の筆記具のような形の形状要素を有するのがこのましい。例えば、スマートペン１００は、追加のコンポーネントを収容できるように標準的ペンより若干太くすることができ、または、スマートペン１００は、ペン形状の形状要素を形成する構造的特徴のほかに、追加の構造的特徴（例えば、フラットディスプレイスクリーン）を有することができる。さらに、スマートペン１００は、ユーザが入力またはコマンドをスマートペンコンピューティングシステムに提供することができるようにするメカニズムを含むこともでき、または、ユーザがスマートペンコンピューティングシステムから情報を受信し、さもなければ監視することができるようにするメカニズムを含むこともできる。
【００１３】
スマートペン１００は、書き込み表面５０と共に動作するように設計され、それによりスマートペン１００は書き込み表面５０上に行なわれる書き込みをキャプチャすることができる。一実施形態では、書き込み表面５０は一枚のペーパ（または書き込みができる任意の他の適当な材料）を備え、スマートペン１００が読み取り可能なパターンで符号化される。このような書き込み表面５０の例は、スウェーデンのＡｎｏｔｏ Ｇｒｏｕｐ ＡＢ（Ｗａｌｔｈａｍ，ＭＡの子会社Ａｎｏｔｏ社）から入手可能な、いわゆる「ドット対応ペーパ（ｄｏｔ−ｅｎａｂｌｅｄ ｐａｐｅｒ)」であり、特許文献１において説明される。なお、この特許文献１はそれを引用することにより本明細書の一部とする。このドット対応ペーパはペーパ上に符号化されたドットのパターンを有する。このドット対応ペーパと共に動作するように設計されたスマートペン１００は、結像系と、符号化されたドットパターンに関してスマートペンの書き込みチップ（ｔｉｐ）の位置を決定することができるプロセッサとを含む。スマートペン１００のこの位置は、予め定義された「ドットスペース」において座標を使用して参照することができ、これらの座標は局所的（つまり、書き込み表面５０の１ページ内の位置）または絶対的（つまり、書き込み表面５０の複数ページにわたって一意的な位置）になることができる。
【００１４】
他の実施形態では、書き込み表面５０は、スマートペン１００がジェスチャおよび他の書き込み入力をキャプチャできるように、符号化ペーパ以外のメカニズムを使用して、実現することができる。例えば、書き込み表面は、スマートペン１００によって行なわれた書き込みを感知するタブレットまたは他の電子媒体を備えることができる。別の実施形態では、書き込み表面５０は電子ペーパ、つまり、ｅペーパを備える。この感知は、書き込み表面５０のみが行い、または、スマートペン１００と共に行うことができる。書き込み表面５０の役割が（符号化ペーパの場合と同じように）単に受動的であっても、以上から理解されるように、スマートペン１００の設計は、ペンベースのコンピューティングシステムが設計された書き込み表面５０の種類に依存する。さらに、書き込みコンテンツは、書き込み表面５０上に（例えば、スマートペン１００を使用してインクをペーパ上に残しておくことで）機械的に表示したり、（例えば、書き込み表面５０上に表示されることで）電子的に表示したり、または、（例えば、単にメモリにセーブされるだけで）まったく表示されなくてもよい。別の実施形態では、スマートペン１００は、このペンのチップの動きを感知するセンサを備え、それにより、書き込み表面５０をまったく不要として手書きジェスチャを感知する。上記技術のいずれも、スマートペン１００に組み込まれたジェスチャキャプチャシステムで使用することができる。
【００１５】
種々の実施形態において、スマートペン１００は、ペンベースのコンピューティングシステムの種々の有用アプリケーションのために、パーソナルコンピュータなどの汎用コンピューティングシステム１２０と通信することができる。例えば、スマートペン１００によってキャプチャされたコンテンツは、コンピューティングシステム１２０に転送されて、そのシステム１２０によってさらに使用してもよい。例えば、コンピューティングシステム１２０は、ユーザがスマートペン１００によって取得された情報を格納し、アクセスし、レビューし、削除し、さもなければ管理することができるようにする、管理ソフトウェアを含むことができる。取得したデータをスマートペン１００からコンピューティングシステム１２０にダウンロードすることによって、スマートペン１００のリソースが解放され、スマートペン１００がより多くのデータを取得することができる。逆に、コンテンツはコンピューティングシステム１２０からスマートペン１００に戻すように転送することもできる。データのほかに、コンピューティングシステム１２０によってスマートペン１００に提供されるコンテンツは、スマートペン１００によって実行可能なソフトウェアアプリケーションを含むことができる。
【００１６】
スマートペン１００は、有線通信および無線通信の双方を含む多数の公知の通信メカニズムのうちのいずれかを介してコンピューティングシステム１２０と通信することができる。一実施形態では、ペンベースのコンピューティングシステムはコンピューティングシステムに結合されたドッキングステーション（ｄｏｃｋｉｎｇ ｓｔａｔｉｏｎ）１１０を含む。ドッキングステーション１１０はスマートペン１００を受け入れるように機械的および電気的に構成され、スマートペン１００がドッキングされたとき、ドッキングステーションステーション１１０はコンピューティングシステム１２０とスマートペン１００との間で電子通信を可能にすることができる。ドッキングステーション１１０はスマートペン１１０における電池を再充電する電力を供給することもできる。
【００１７】
図２は、上述した実施形態のような、ペンベースのコンピューティングシステムで使用されるスマートペン１００の実施形態を示す図である。図２に示される実施形態では、スマートペン１００はマーカ（ｍａｒｋｅｒ）２０５、結像系２１０、ペンダウンセンサ（ｐｅｎ ｄｏｗｎ ｓｅｎｓｏｒ）２１５、１つまたは複数のマイクロホン２２０、スピーカ２２５、音声ジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、および電池２５５を備える。しかし、スマートペン１００には上記コンポーネントのすべてが必要であるわけではなく、これは、スマートペン１００のすべての実施形態のコンポーネントを網羅的にリストしたものでもなく、上記コンポーネントの可能な限りの変形を網羅的にリストしたものでもないことを理解するべきである。例えば、スマートペン１００は、電源ボタンや音声録音ボタンなどのボタン、および／またはステータスインジケータライトを含むことができる。さらに、本明細書および特許請求の範囲において使用される「スマートペン」という用語は、明示的に列挙される特徴を除き、ペンデバイスは本明細書において特定の実施形態に関して記載の、なんらかの特定の特徴または機能を有することを意味するものではない。スマートペンは、本明細書に記載の能力およびサブシステムの任意の部分的な組み合わせを備えるものとしてもよい。
【００１８】
マーカ２０５によって、スマートペンがいずれかの適当な表面の上での書き込みのための典型的な書き込み装置として使用されることが可能になる。従って、マーカ２０５は、インクベースもしくはグラファイトベース（ｇｒａｐｈｉｔｅ−ｂａｓｅｄ）のマーキングデバイスまたは書き込みに使用できるいかなる他の任意のデバイスを含む、いずれかの適当なマーキングメカニズムを備える。一実施形態では、マーカ２０５は交換可能なボールペン要素を備える。マーカ２０５は、圧力感知素子などのペンダウンセンサ２１５に結合される。従って、ペンダウンセンサ２１５は、マーカ２０５が表面に対して押しつけられたとき出力を発生し、それにより、スマートペン１００が表面上で書き込みを行うためにいつ使用されていることを示す。
【００１９】
結像系２１０は、マーカ２０５付近の表面の区域を結像するのに十分な光学系（ｏｐｔｉｃｓ）とセンサを備える。結像系２１０は、スマートペン１００を使用して行なわれた手書きおよび／またはジェスチャをキャプチャするために使用することができる。例えば、結像系２１０は、マーカ２０５のおおよその近くで書き込み表面５０を照らす赤外線光源を含むことができ、ここでは書き込み表面５０は符号化パターンを含む。符号化パターンのイメージを処理することにより、スマートペン１００は、マーカ２０５が書き込み表面５０にたいしてどこにあるのかを決定することができる。結像系２１０の結像アレイは次にマーカ２０５近くの表面を結像し、その視野内の符号化パターンの一部をキャプチャする。従って、結像系２１０は、スマートペン１００が書き込み入力を受け取るような、少なくとも１つの入力モーダリティを使用してデータを受信することを可能にする。書き込み表面５０の一部分を見るための光学系とエレクトロニクスを組み込んだ結像系２１０は、ペンを使用して行なわれた手書きジェスチャを電子的にキャプチャするためにスマートペン１００に組み込むことができるジェスチャキャプチャシステムの１つの形態であって、スマートペン１００の他の実施形態では、同一機能を達成するための他の適当な手段を使用することもある。
【００２０】
一実施形態では、結像系２１０によってキャプチャされたデータは次いで処理され、文字認識のような１つまたは複数のコンテンツ認識アルゴリズムが受信したデータに適用されることを可能にする。別の実施形態では、結像系２１０は、書き込み表面５０上にすでに存在する（例えば、かつ、スマートペン１００を使用して書かれたものではない）書き込みコンテンツをスキャンし、キャプチャするために使用することができる。結像系２１０は、さらに、ペンダウンセンサ２１５と組み合わせてマーカ２０５が書き込み表面５０にいつ接触するかを決定することができる。マーカ２０５が書き込み表面を上に移動すると、結像アレイによってキャプチャされたパターンが変化し、従って、ユーザの手による書き込みは、スマートペン１００におけるジェスチャキャプチャシステム（例えば、図２の結像系２１０）によって決定され、キャプチャされることができる。この技術は、ユーザがマーカ２０５を書き込み表面５０の特定の位置でタップする時など、ジェスチャをキャプチャするために使用することもでき、それにより動き感知またはジェスチャキャプチャの別の入力モーダリティを使用するデータキャプチャを可能にする。
【００２１】
スマートペン１００上の別のデータキャプチャデバイスは１つまたは複数のマイクロホン２２０であり、これによりスマートペン１００が別の入力モーダリティである音声キャプチャを使用してデータを受け取ることができる。マイクロホン２２０は、音声を記録するために使用することができ、音声は上述した手書きキャプチャに同期させることができる。一実施形態では、１つまたは複数のマイクロホン２２０をプロセッサ２４５によって、または信号プロセッサ（図示せず）によって実行される信号処理ソフトウェアに結合し、マーカ２０５が書き込み表面上を移動するときに発生するノイズおよび／またはスマートペン１００が書き込み表面にタッチダウンまたは書き込み表面から離れるようにリフトするときに発生するノイズを除去する。一実施形態では、プロセッサ２４５は、キャプチャされた書き込まれたデータを、キャプチャされた音声データと同期化する。例えば、ミーティングにおける会話を、ユーザがノートをとっており、そのノートがスマートペン１００によってもキャプチャされている間に、マイクロホンを使用して記録することができる。記録された音声とキャプチャされた手書きとを同期化することによって、スマートペン１００は、以前にキャプチャされたデータのユーザリクエストに対して協調的な応答を提供することができる。例えば、書き込みコマンド、コマンドのパラメータ、スマートペン１００使用したジェスチャ、話しコマンドまたは書き込みコマンドと話しコマンドの組み合わせなどのユーザ要求に応答して、スマートペン１００は、音声出力とビジュアル出力との双方をユーザに提供する。スマートペン１００は、触覚的フィードバックをユーザに提供することもできる。
【００２２】
スピーカ２２５、音声ジャック２３０、およびディスプレイ２３５はスマートペン１００のユーザに出力を提供し、それによりデータが１つまたは複数の出力モーダリティを通してユーザに提示されることを可能にする。音声ジャック２３０を、イヤホンに結合して、スピーカ２２５による場合と異なり、ユーザが自分の周囲の人々を邪魔することなく音声出力を聴くことができる。イヤホンは、ユーザが空間的特性で強化されたステレオまたは完全三次元音声としての音声出力を聴くことできる。従って、スピーカ２２５と音声ジャック２３０によれば、スピーカ２２５または音声ジャック２３０によって演奏される音声を聴くことにより、ユーザは、第１の種類の出力モーダリティを使用してスマートペンからデータを受け取ることができる。
【００２３】
ディスプレイ２３５は、有機発光ダイオード（ＯＬＥＤ）ディスプレイのように、ビジュアルフィードバックを提供するためのいずれかの適当なディスプレイシステムを備えることができ、それにより情報をビジュアルに表示することによって、スマートペン１００が第２の出力モーダリティを使用して出力を提供することができる。使用にあたって、スマートペン１００は、これらの出力コンポーネントのいずれかを使用して音声またはビジュアルフィードバックを伝えることができ、それにより複数の出力モーダリティを使用してデータを提供することができる。例えば、スピーカ２２５と音声ジャック２３０は、スマートペン１００上で作動するアプリケーションに従って音声フィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を伝えることができ、ディスプレイ２３５は、語句、静止画または動画（スタティックイメージもしくはダイナミックイメージ）、またはプロンプトを、上記のようなアプリケーションの指示に従って表示することができる。さらに、スピーカ２２５と音声ジャック２３０は、マイクロホン２２０を使用して記録された音声データを再生するために使用することもできる。
【００２４】
入出力（Ｉ／Ｏ）ポート２４０により上述のようにスマートペン１００とコンピューティングシステム１２０との間の通信を行うことができる。一実施形態では、Ｉ／Ｏポート２４０はドッキングステーション１１０上の電気的接点に対応する電気的接点を備え、それにより、スマートペン１００がドッキングステーション１１０に置かれたときデータ転送のための電気的接続が行なわれる。別の実施形態では、Ｉ／Ｏポート２４０はデータケーブル（例えば、ミニＵＳＢまたはマクロＵＳＢ）を受け入れるためのジャック単にを備える。あるいはまた、Ｉ／Ｏポート２４０は、スマートペン１００における無線通信回路によって置き換えられて、（例えば、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、赤外線または超音波を介して）コンピューティングシステム１２０との無線通信を可能にすることができる。
【００２５】
プロセッサ２４５、オンボードメモリ２５０および電池２５５（または他の適当な電源）によって、コンピューティング機能が少なくとも部分的にスマートペン１００上で実行することができる。プロセッサ２４５を上述した入出力デバイスおよびその他のコンポーネントに結合し、それにより、スマートペン１００上で作動するアプリケーションがこれらのコンポーネントを使用することができるようにする。一実施形態では、プロセッサ２４５はＡＲＭＰ９プロセッサを備え、オンボードメモリ２５０は少量のランダムアクセスメモリ（ＲＡＭ）および大量のフラッシュメモリまたは他の持続性メモリを備える。その結果、実行可能アプリケーションは、スマートペン１００に格納してその上で実行することができ、記録された音声および手書きは、無限に、またはスマートペン１００からコンピューティングシステム１２０にオフロードされるまでスマートペン１００に格納することができる。例えば、スマートペン１００は、文字認識や音声認識のような１つまたは複数のコンテンツ認識アルゴリズムをローカルに格納することができ、それによりスマートペン１００は、スマートペン１００によって受信された１つまたは複数の入力モーダリティから入力をローカルに識別することができる。
【００２６】
一実施形態では、スマートペン１００は、手書きキャプチャ、音声キャプチャ、もしくはジェスチャキャプチャのような１つまたは複数の入力モーダリティ、または音声再生やビジュアルデータの表示のような出力モーダリティをサポートするオペレーティングシステムまたは他のソフトウェアも含む。オペレーティングシステムまたは他のソフトウェアは、入力モーダリティと出力モーダリティとの組み合わせをサポートすることができ、入力モーダリティ（例えば、書かれたおよび／または話されたデータを入力としてキャプチャする）と出力モーダリティ（例えば、音声データまたはビジュアルデータを出力としてユーザに提示する）との間の、組み合わせ、順序付けおよび移行を管理する。例えば、入力モーダリティと出力モーダリティとの間のこの移行は、ユーザがスマートペン１００によって再生される音声を聴いている間に、同時にペーパまたは別の表面上に書くことを可能にし、または、スマートペン１００は、ユーザがスマートペン１００で書いている間に、ユーザからも話される音声をキャプチャすることができる。入力モーダリティと出力モーダリティとの他の組み合わせもまた可能である。
【００２７】
一実施形態では、プロセッサ２４５およびオンボードメモリ２５０は、ファイルシステムまたはアプリケーションメニューを介してメニュー構造およびナビゲーションをサポートして可能にする１つまたは複数の実行可能アプリケーションを含み、よりによりアプリケーションの立ち上げまたはアプリケーションの機能の立ち上げを可能にする。例えば、メニューアイテム間のナビゲーションは、ユーザにより話されたコマンドかつ／もしくは書き込まれたコマンドおよび／またはジェスチャと、スマートペンのコンピューティングシステムからの音声フィードバックおよび／またはビジュアルフィードバックとに関する、ユーザとスマートペン１００との間のダイアログを備える。従って、スマートペン１００は、メニュー構造をナビゲートするための入力を種々のモーダリティから受け取ることができる。
【００２８】
例えば、手書きジェスチャ、話されるキーワードまたは物理的動きは、そのあとの入力が１つまたは複数のアプリケーションコマンドに関連することを示すことができる。例えば、ユーザは、スマートペン１００の表面に対して高速で２度ほど連続的に押し下げてから、「解決」、「送信」、「翻訳」、「ｅメール」、「ボイスｅメール」、または別の予め定義された語句を書いて、書かれた語句に関連するコマンドを起動し、または、予め定義された語句に関連するコマンドに関連する追加のパラメータを受け取ることができる。この入力は、空間的成分（例えば、隣り合ったドット）および／または時間的成分（例えば、順次に入力されるドット）を有することができる。これらの「クィック立ち上げ」コマンドは異なるフォーマットで提供できるので、メニューのナビゲーションまたはアプリケーションの立ち上げが簡単化される。「クィック立ち上げ」コマンド（複数可）は、好ましくは、従来の書き込みおよび／または話し中に容易に区別可能になる。
【００２９】
あるいはまた、スマートペン１００は、アプリケーションのメニューをナビゲートするための入力もしくはスマートペン１００によって実行されるアプリケーションコマンドのための入力を受信する、小型ジョイスティック、スライドコントロール、ロッカパネル（ｒｏｃｋｅｒ ｐａｎｅｌ）、容量性（または他の非機械的）表面などの物理的コントローラ、または、他の入力メカニズムも含む。
【００３０】
印刷物用のアプリケーションの概要
本発明の実施形態は、スマートペンコンピューティングシステムで実行するアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための、新しい方法を提示する。アプリケーションと印刷物とを別個に開発するので、アプリケーションは、それらアプリケーションと共に使用する印刷物から分離される。アプリケーションは印刷物と別個に開発されるにも拘わらず、スマートペンコンピューティングシステムのユーザの視点から見ると、アプリケーションは印刷物と上手に一体化されることができる。
【００３１】
一実施形態では、ユーザは雑誌や地図などの印刷物を受け取れる。印刷物にはドットパターンが重ねられる。このドットパターンによって、印刷物をスマートペン１００によって認識することができ、しかもそのドットパターンはユーザにほぼ透明であって、印刷物の外見の品質を下げることはない。ユーザは、また、特定の印刷物と共に作用するように開発された１つまたは複数のスマートペンアプリケーションを、スマートペンコンピューティングシステムにダウンロードする。ユーザはスマートペン１００を印刷物上の特定の位置に置いて、スマートペンが結像系２１０を介してその位置におけるドットパターンを読み取る。ドットパターンに基づいて、スマートペン１００は、印刷物を認識し、この印刷物と共に使用する１つまたは複数の利用可能なアプリケーションを決定する。ユーザは特定の利用可能なアプリケーションを選択して、このアプリケーションは実行され、対話式デジタルコンテンツをユーザに提供する。一実施形態では、アプリケーションによって、ユーザがスマートペン１００を印刷物上の特定の位置に置いて、その位置に関連する情報を受け取ることができる。例えば、この追加の情報は、スマートペンのディスプレイ２３５またはスピーカ２２５によって提示することができ、または、スマートペンに取り付けられたコンピューティングシステム１２０によって提示することができる。
【００３２】
本発明の種々の実施形態についての以下の説明は、添付の図面を参照して提示される。図１は印刷物用の対話式デジタルコンテンツを提供するためのアーキテクチャ例のブロック図である。図１は、一枚のドット対応ペーパ５０と、このペーパ５０と共に使用することができるスマートペン１００とを示す。以下で説明するオペレーションは、ペン１００のプロセッサ上で作動するアプリケーション、付随するコンピューティングシステム１２０上で作動するアプリケーション、またはその二つの組み合わせによって実行することができる。一実施形態では、ドット対応ペーパ５０はドットパターンが重ねられる印刷物である。
【００３３】
図３はスマートペンコンピューティングシステムにおいてアプリケーションを使用して印刷物用の対話式デジタルコンテンツを提供するための処理の一実施形態を示す。この処理においては、スマートペン１００の結像系２１０は印刷物５０上のある位置に置かれる。結像系２１０は印刷物上に重ねられたドットパターンを受け取る（ステップ３００）。結像系２１０から受信したドットパターンに基づいて、スマートペンは印刷物を識別する（ステップ３０２）。スマートペンは識別した印刷物に利用可能なソフトウェアアプリケーションを決定する（ステップ３０４）。こられのアプリケーションは、スマートペン１００、または付随するコンピューティングシステム１２０に格納されることができ、ユーザによって事前にダウンロードされまたはユーザに別途提供されることもできる。一実施形態では、ユーザが印刷物用のアプリケーションをダウンロードするとき、この印刷物のドットパターンもダウンロードされてスマートペン１００により格納されるので、スマートペンはそのでドットパターンに基づいて後にそのアプリケーションを識別することができる。
【００３４】
複数の利用可能なアプリケーションが識別した印刷物に利用可能である場合、スマートペン１００はプロンプトでユーザに利用可能なアプリケーションの１つを選ぶように指示する（ステップ３０６）。スマートペンは、例えば、スマートペンのディスプレイまたはスピーカを介してこのプロンプトをユーザに提示することができる。その応答としてスマートペンはユーザからアプリケーションの選択を受け取る（ステップ３０８）。次に、スマートペンは選択されたアプリケーションを実行し（ステップ３１０）、対話式デジタルコンテンツを印刷物に関連してユーザに提供する。
【００３５】
一実施形態では、スマートペンはプロンプトでユーザに利用可能なアプリケーションを選ぶように明示的に指示しない。ユーザは、スマートペン１００を使用してジェスチャをすることによりアプリケーションを選ぶことができ、このジェスチャはスマートペンによって特定のアプリケーションへの選択として認識される。例えば、ユーザは、スマートペン１００を使用して、特定の印刷された単語に重なるドットパターンの上方でアップストローク（ｕｐｓｔｒｏｋｅ）のようなジェスチャをして、スマートペンのスピーカを介して単語を英語で話すアプリケーションを選択することができる。ユーザはスマートペン１００を使用して同一単語の上方でダウンストローク（ｄｏｗｎｓｔｒｏｋｅ）のようなジェスチャをして、この単語を中国語で話すアプリケーションを選択することができる。一実施形態では、ユーザはスマートペン１００のマイクロホンに向けってアプリケーションの名称を話す。例えば、ユーザは「発音」と話し、次にスマートペンを使用して印刷された単語をたたき、それによって、発音アプリケーションがスマートペンのスピーカを介してこの単語を発音するようにする。あるいはまた、ユーザは「定義」と話して、同一単語をたたいて、この単語の定義を聴くことができる。ユーザからのアプリケーションの選択を受け取るために種々の他の方法が利用可能である。
【００３６】
図４は、印刷物用の対話式デジタルコンテンツを提供するためのアプリケーションの処理の実施形態を示す。この処理においては、特定の印刷物およびアプリケーションは、図３に示されるように、または他の適切な手段によって識別される。そのアプリケーションは、印刷物と共に使用するために開発され、印刷物に関連するドットパターンの情報を有する。ユーザはスマートペン１００の結像系２１０をドットパターンが重ねられる印刷物上の特定の位置に置く。スマートペンは印刷物内のドットパターンにおける位置を受け取る（ステップ４０２）。スマートペンはこの位置を特定のアプリケーションに基づいて処理する（ステップ４０４）。例えば、印刷物が地図である場合、スマートペンはこの位置に関連する特定の州または国を決定することができる。スマートペンはこの処理に基づいて出力をユーザに提供する（ステップ４０６）。上記の例を続けると、スマートペン１００はそのディスプレイ２３５の上で特定の州または国に関する情報を表示することができる。
【００３７】
図５はドットパターンが重ねられる印刷物の例を示す。図５において、印刷物５０４は特定の国はまた地理的地域の地図である。印刷物の他の例は、新聞、雑誌、書籍およびポスターを含む。地図は、ペーパやプラスチックなどの種々の種類の媒体上に印刷することができ、カラーまたは白黒で印刷することができる。重ねドットパターン５０６は地図に追加される。このドットパターンは、地図が印刷されるのと同時に地図上に印刷されることができ、または、後にもしくは事前に別の印刷処理で追加することができる。ドットパターンは、例えば透明性を使用して、地図の上に置くこともできる。ドットパターンはスマートペン１００によって認識されるが、ユーザが見る時に印刷物の品質を著しく下げることはない。
【００３８】
分離型アプリケーション
スマートペンアプリケーションと印刷物との分離は、第１のエンティティに符号化パターンを有する印刷物（印刷されたコンテンツとも言われる）を用意させて、第２のエンティティ（または、任意の個数のエンティティ）にスマートペンコンピューティングシステムによって印刷物と共に使用するデジタル対話式コンテンツを有するソフトウェアアプリケーションを開発させることにより、実現することができる。この開発モデルによれば、異なるエンティティがそれらの特定の専門技術を専門に扱うことができる。さらにまた、分離型アプリケーションを使用すると、印刷物の創作者は、第三者が印刷物と共に使用する有用な対話式アプリケーションを開発するのを可能にすることができる。別個に開発されるにも拘わらず、印刷物とデジタルコンテンツとは、ユーザの視点から見ると統一されたプロダクトに見える。
【００３９】
一実施形態では、第１のエンティティは印刷物を作成するが、その印刷物は必ずしも重ねられるドットパターンを有するとは限らない。ドットパターンは種々の方法で印刷物に関連づけることができる。第２のエンティティは、例えば、ドットパターンを印刷されたコンテンツに重ねて、この関連づけについての情報を他のエンティティに提供する。他の例においては、印刷されたコンテンツの部分一部はを種々の重なっていないドットパターンのセグメントに関連づけることができる。ドットパターンと印刷物との間の種々の関連づけを作り、こられの関連づけについての情報を、アプリケーションを開発するエンティティおよびユーザに伝えることができる。
【００４０】
複数の別個のエンティティは、印刷物の１つのアイテムのためにデジタルコンテンツを創作することができる。一実施形態では、各エンティティは上述の図４に示したステップを実行するスマートペン１００上で作動するソフトウェアアプリケーションを創作する。１つの例においては、大きい既存の地図会社は、ドットパターンが重ねられたサンフランシスコ湾岸地帯の高品質市街地図を印刷し、流通させる。この地図会社は、この地図に関連づけられたドットパターン領域に関する情報を第三者に公開することもできる。そして、関心を持つ第三者はコンテンツを開発し得る。このコンテンツは、エンドユーザによってダウンロードされると、完成したプロダクトが１つの会社から来たかのようにエンドユーザが地図と対話することを可能にする。複数の開発者または１つの開発者は、同一ベースの印刷物のために異なる対話式デジタルコンテンツを作成することができる。
【００４１】
例えば、１つの開発者は、地図ラベルの音声インタフェースを含む第１のアプリケーションを創作することができる。第１のアプリケーションでは、ユーザがスマートペンを地図ラベル上に置いて、このペンによってそれのスピーカを介してラベルの音声出力を発生させる。他の開発者は道探しのための第２のアプリケーションを創作することができる。第２のアプリケーションでは、ユーザがスマートペンで２つの地点をたたいて、アプリケーションはこれら２つの地点間の距離、および第１の地点から第２の地点までの進行方向または第１の地点から第２の地点まで道路に沿うルートをユーザに伝える。アプリケーションはこの情報を音声として出力し、またはこの情報をスマートペンディスプレイ上で表示することができる。他の開発者は、上述の２つのアプリケーションからの出力を組み合わせる第３のアプリケーションを創作することができる。例えば、ユーザが地図上の１つの位置をたたいて、次に、もう１つの位置をたたく。第３のアプリケーションは進行方向を第２のアプリケーションから受け取り、この情報を第１のアプリケーションに提供して話しナビゲーションシステムを創作する。
【００４２】
印刷物をソフトウェアアプリケーションから分離することによって、関心のある印刷コンテンツへの権利を有しないかもしれないソフトウェア開発者が、依然として印刷コンテンツに価値を追加することができる。ソフトウェア開発者が対話式コンテンツを作成するよう促すことは、元の印刷コンテンツ所有者の利益になり得る。これは、このようなコンテンツが様々な消費者にとって興味を起こさせるさらなる価値を追加するからである。
【００４３】
例えば、よく売れているニュース週刊誌雑誌は、そのすべてのページにドットパターンを重ねることができ、そしてドットパターンおよび／または下層のイメージにカバーされる領域を説明する明細を発行することができる。これによって、第三者（例えば、ソフトウェア開発者）がアプリケーションを作成することを可能にし、そのアプリケーションは、例えば、ページを読み上げたり、広告を対話式にしり、困難な単語の定義を提供したり、評論家による論評を提供したり、および外国語の訳を提供したりすることができる。例えば、ユーザはスマートペン１００を使用してニュース記事（またはニュース記事の一部）を指し、評論家による音声論評を聴くことができる。ユーザは、特定の種類（例えば、保守的観点または自由的観点から）の論評を提供するソフトウェアアプリケーションをスマートペンにダウンロードすることができる。ソフトウェア開発者が雑誌のコンテンツによりアクセスし易くすることによって、雑誌は、個別の関心を持つ読者により大きい魅力を付与し、競争上の優位性を獲得することができる。
【００４４】
ユーザは、第三者の対話式コンテンツを、それをその場で購入することによりまたは定期的に更新される定期購読で購入することにより、購入することができる。第三者コンテンツは、スマートペンにダウンロードする（例えば、付随するシステム１２０上で作動するウェブブラウザーを介してウェブサイトからダウンロードする）ことができるソフトウェアアプリケーションとして利用可能である。ソフトウェアアプリケーションは、スマートペンにダウンロードして格納したり、または、ユーザが必要とするとき要求に応じてダウンロードして、後で消去してスマートペンにおけるストレージデバイスにスペースをあけることができる。
【００４５】
一実施形態では、ユーザが対話式コンテンツを購入すると、ユーザはスマートペンを使用して、印刷されたドキュメントをたたいてそれにアクセスする。ユーザがドキュメントをたたくとき、スマートペンはドットパターンを印刷物から受け取り（ステップ３００）、スマートペンにおけるベースアプリケーションは作動し、このベースアプリケーションはステップ３０４と同じように、第三者アプリケーションのデータベース内を検索して、印刷されたドキュメントに対して書き込まれたアプリケーションが存在するか否かを決定する。このベースアプリケーションは常にスマートペンに存在しており、受け取ったドットパターンを解析することにより関心のある印刷されたドキュメントを認識することができる。一実施形態では、ユーザは識別ドットパターンを含む、印刷されたドキュメントの指定された区域をたたく。上述のように、特定の印刷されたドキュメントに対応する複数のアプリケーションが存在することがあり得る。その場合、ユーザは所望のアプリケーションを選択するよう求められ、この選択はスマートペンによって受け取られる（ステップ３０８）。
【００４６】
対話式コンテンツを提供するソフトウェアアプリケーションを、複数の印刷されたドキュメントに関連づけることができる。このアプリケーションは印刷されたドキュメント同士をリンクし、またはドキュメントの相乗的使用を容易にすることができる。例えば、ユーザは、大量の米国政府作成参考資料を含む中央情報局（ＣＩＡ）ワールドファクトブック（Ｗｏｒｌｄ Ｆａｃｔｂｏｏｋ）を１冊所有し得る。ユーザは、米国地理学協会によって作成された高解像度掛地図も所有し得る。アプリケーション開発者は、ユーザが掛地図における国の上をたたいてＣＩＡワールドファクトブックからのその国に関する資料にアクセスすることを可能にする、アプリケーションを作成することができる。
【００４７】
上述のように、複数の関係者は、印刷物用の分離型アプリケーションを提供するシステムに関与する。これらの関係者は、基本とする印刷物の著作権の所有者、アプリケーションの開発者、アプリケーション開発者が利用可能な生コンテンツ（例えば、音声クリップまたは参照テキスト）の開発者、および複数のアプリケーションの特徴を組み合わせるアプリケーションの開発者を含む。その結果、このシステムに参加する関係者が使用料を分配するための手段を提供することが有用である。
【００４８】
まとめ
上述した本発明の実施形態の説明は、例示のために提示されたものであり、網羅的でもなく、開示した形態と全く同一の形態に本発明を限定するものでもない。関連分野の当業者ならば理解されるように、上述した開示事項に照らして多くの変更および変形が可能である。
【００４９】
上記説明のある部分は、情報についてのオペレーションのアルゴリズムおよび記号的表現の点から本発明の実施形態を説明する。これらのアルゴリズム的説明および表現は、データ処理分野の当業者によって一般に使用されて、それら作業の本質をこの分野の他の当業者に効果的に伝える。これらのオペレーションは、機能的に、計算的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実現されるものと理解される。さらに、これらのオペレーションの配置を、一般性を失うことなく、モジュールと称することは、時には好都合であることも実証された。上述したオペレーションおよびそれらの関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせで具現化することができる。
【００５０】
本明細書に説明したステップ、オペレーションまたはプロセスのいずれも、１つまたは複数のハードウェアモジュールまたはソフトウェアモジュール単独、または１つまたは複数のハードウェアモジュールまたはソフトウェアモジュールと他のデバイスとの組み合わせで実行または実現することができる。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラムプロダクトで実現され、そのコンピュータプログラムコードは、コンピュータプロセッサによって実行されて、上述したステップ、オペレーション、またはプロセスのいずれかまたはすべてを実行することが可能である。
【００５１】
本発明の実施形態は、本明細書におけるオペレーションを実行するための装置に係ることもできる。この装置は、所要の目的のために特に構築することができ、および／またはコンピュータに格納されたコンピュータプログラムによって選択的に付勢にされまたは再構築される汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、有形的なコンピュータ可読記憶媒体に格納することができ、その有形的なコンピュータ可読記憶媒体は、電子的命令を格納するのに適したいかなる種類の有形的媒体を含み、コンピュータシステムバスに結合される。さらに、本明細書において言及されたいかなるコンピューティングシステムを、シングルプロセッサを含んだり、または、コンピューティング能力向上のためにマルチプロセッサ設計を採用したアーキテクチャとすることができる。
【００５２】
本発明の実施形態は、搬送波で具現化されたコンピュータデータ信号に係ることができ、ここでコンピュータデータ信号は、本明細書に説明したコンピュータプログラムプロダクトのいずれかの実施形態またはその他のデータ組み合わせを含む。コンピュータデータ信号は、有形的媒体または搬送波で提示され、搬送波において変調されまたは他の方法で符号化されるプロダクトであり、搬送波は有形的で、なんらかの適当な伝送方法に従って伝送される。
【００５３】
最後に、本明細書において使用される言語は、主に読み易さと説明を目的として選択されたものであり、これは本発明の主題を線引きしたり限定したりするために選択されたものではない。従って、本発明の範囲がこの詳細説明によって限定されるものではなく、むしろ、本明細書に基づくアプリケーションに由来する請求項によって限定されることを意図している。従って、本発明の実施形態の開示は、請求項に記載された本発明の範囲を例示したものであり、限定するものではない。
【特許請求の範囲】
【請求項１】
印刷物用の対話式デジタルコンテンツを制作する方法であって、
第１のエンティティにより作成された、印刷されたコンテンツを取得するステップと、
前記印刷されたコンテンツをドットパターンと関連づけるステップと、
第２のエンティティによってアプリケーションを作成するステップであって、前記アプリケーションは、前記印刷されたコンテンツに関連づけられ、前記ドットパターンにリンクされ、前記ドットパターン内の選択に応じて、前記印刷されたコンテンツに係る機能を起動することを実行させるための実行可能コンピュータプログラム命令を格納したコンピュータ可読媒体を備えるステップと
を備えることを特徴とする方法。
【請求項２】
前記ドットパターン内の前記選択は、スマートペンデバイスを用いて行われることを特徴とする請求項１に記載の方法。
【請求項３】
前記機能は、スマートペンデバイスの出力デバイスを介して出力をユーザに提示することを特徴とする請求項１に記載の方法。
【請求項４】
前記機能の出力は前記ドットパターン内の位置に基づき、前記位置は前記選択に基づいて決定されることを特徴とする請求項１に記載の方法。
【請求項５】
前記印刷されたコンテンツには、スマートペンが読み取り可能なドットパターンが重ねられることを特徴とする請求項１に記載の方法。
【請求項６】
前記コンピュータプログラム命令は、スマートペンにおいて実行されることを特徴とする請求項１に記載の方法。
【請求項７】
印刷物用の対話式デジタルコンテンツを提供するための方法であって、
書き込み表面上のドットパターンを受け取るステップであって、前記受け取ることはスマートペンによって実行されるステップと、
前記受け取ったパターンに関連づけられる特定の印刷されたコンテンツについての複数の利用可能アプリケーションを決定するステップと、
前記複数の利用可能アプリケーションから特定の利用可能アプリケーションへの選択をユーザから受け取るステップと、
前記特定の利用可能アプリケーションを実行するステップであって、前記実行することは前記印刷されたコンテンツに係る機能を起動することを備えるステップと
を備えることを特徴とする方法。
【請求項８】
前記機能の出力は、前記書き込み表面上における前記スマートペンデバイスの位置に基づくことを特徴とする請求項７に記載の方法。
【請求項９】
前記複数の利用可能アプリケーションは、前記利用可能アプリケーションの供給者からスマートペンデバイスにダウンロードされることを特徴とする請求項７に記載の方法。
【請求項１０】
印刷されたコンテンツに関連づけられたドットパターン内の選択に応答して、前記印刷されたコンテンツに係る機能を起動することを、実行させるための実行可能コンピュータプログラム命令を格納したコンピュータ可読媒体であって、前記印刷されたコンテンツは第１のエンティティによって作成され、前記コンピュータ可読媒体は第２のエンティティによって作成されることを特徴とするコンピュータ可読媒体。
【請求項１１】
前記ドットパターン内の前記選択は、スマートペンデバイスを用いて行われることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
前記機能は、スマートペンデバイスの出力デバイスを介して出力をユーザに提示することを備えることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
前記機能の出力は、前記ドットパターン内の位置に基づき、前記位置は前記選択に基づいて決定されることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１４】
前記印刷されたコンテンツには、スマートペンが読み取り可能なドットパターンが重ねられることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１】
印刷物用の対話式デジタルコンテンツを制作する方法であって、
第１のエンティティにより作成された、印刷されたコンテンツを取得するステップと、
前記印刷されたコンテンツをドットパターンと関連づけるステップと、
第２のエンティティによってアプリケーションを作成するステップであって、前記アプリケーションは、前記印刷されたコンテンツに関連づけられ、前記ドットパターンにリンクされ、前記ドットパターン内の選択に応じて、前記印刷されたコンテンツに係る機能を起動することを実行させるための実行可能コンピュータプログラム命令を格納したコンピュータ可読媒体を備えるステップと
を備えることを特徴とする方法。
【請求項２】
前記ドットパターン内の前記選択は、スマートペンデバイスを用いて行われることを特徴とする請求項１に記載の方法。
【請求項３】
前記機能は、スマートペンデバイスの出力デバイスを介して出力をユーザに提示することを特徴とする請求項１に記載の方法。
【請求項４】
前記機能の出力は前記ドットパターン内の位置に基づき、前記位置は前記選択に基づいて決定されることを特徴とする請求項１に記載の方法。
【請求項５】
前記印刷されたコンテンツには、スマートペンが読み取り可能なドットパターンが重ねられることを特徴とする請求項１に記載の方法。
【請求項６】
前記コンピュータプログラム命令は、スマートペンにおいて実行されることを特徴とする請求項１に記載の方法。
【請求項７】
印刷物用の対話式デジタルコンテンツを提供するための方法であって、
書き込み表面上のドットパターンを受け取るステップであって、前記受け取ることはスマートペンによって実行されるステップと、
前記受け取ったパターンに関連づけられる特定の印刷されたコンテンツについての複数の利用可能アプリケーションを決定するステップと、
前記複数の利用可能アプリケーションから特定の利用可能アプリケーションへの選択をユーザから受け取るステップと、
前記特定の利用可能アプリケーションを実行するステップであって、前記実行することは前記印刷されたコンテンツに係る機能を起動することを備えるステップと
を備えることを特徴とする方法。
【請求項８】
前記機能の出力は、前記書き込み表面上における前記スマートペンデバイスの位置に基づくことを特徴とする請求項７に記載の方法。
【請求項９】
前記複数の利用可能アプリケーションは、前記利用可能アプリケーションの供給者からスマートペンデバイスにダウンロードされることを特徴とする請求項７に記載の方法。
【請求項１０】
印刷されたコンテンツに関連づけられたドットパターン内の選択に応答して、前記印刷されたコンテンツに係る機能を起動することを、実行させるための実行可能コンピュータプログラム命令を格納したコンピュータ可読媒体であって、前記印刷されたコンテンツは第１のエンティティによって作成され、前記コンピュータ可読媒体は第２のエンティティによって作成されることを特徴とするコンピュータ可読媒体。
【請求項１１】
前記ドットパターン内の前記選択は、スマートペンデバイスを用いて行われることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
前記機能は、スマートペンデバイスの出力デバイスを介して出力をユーザに提示することを備えることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
前記機能の出力は、前記ドットパターン内の位置に基づき、前記位置は前記選択に基づいて決定されることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【請求項１４】
前記印刷されたコンテンツには、スマートペンが読み取り可能なドットパターンが重ねられることを特徴とする請求項１０に記載のコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１１−５２４０２８（Ｐ２０１１−５２４０２８Ａ）
【公表日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１１−５０３１８６（Ｐ２０１１−５０３１８６）
【出願日】平成２１年４月２日（２００９．４．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０３９３６５
【国際公開番号】ＷＯ２００９／１２４２１８
【国際公開日】平成２１年１０月８日（２００９．１０．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５０９３３０１１６）ライブスクライブ インコーポレイテッド (3)
【Ｆターム（参考）】
【公表日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２１年４月２日（２００９．４．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０３９３６５
【国際公開番号】ＷＯ２００９／１２４２１８
【国際公開日】平成２１年１０月８日（２００９．１０．８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５０９３３０１１６）ライブスクライブ インコーポレイテッド (3)
【Ｆターム（参考）】
[ Back to top ]