電子ペン−コンピュータのマルチメディアインタラクティブシステム
印刷物上の１つの選択されたオブジェクトを、１つのコンピュータシステムによって提供される１つの有効な応答と関連付けるためのシステムであって、印刷物上の位置を決定する１つのポインティングデバイスと、位置をコンピュータシステムに送信する１つの通信デバイスと、印刷物に関連する選択されたデジタルコンテンツに位置を関連付ける１つのプレーヤ要素であって、選択されたデジタルコンテンツはコンピュータシステムによってアクセス可能であり、位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供するプレーヤ要素とを備え、有効な応答は、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及びコンピュータシステムによる１つのアクションの実行を含む。一実施形態において、ポインティングデバイスは、１つの電子ペンであり、印刷物は従来の紙の本である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広くコンピュータシステムに関し、より詳しくは、マルチメディアインタラクティブモードにおけるパーソナルコンピュータ（ＰＣ）のための新しい使用モデルに関する。
【背景技術】
【０００２】
多くの異なる入力デバイスが、ＰＣのようなコンピュータシステムのために長年開発されてきた。マウス、トラックボール、タッチスクリーン、ジョイスティック等のようなデバイスは、様々な達成度で精通したコンピュータユーザ及び精通していないコンピュータユーザの両方によって使用されてきた。小さな子供、又は年配者のような精通していないユーザにとって、これらの入力デバイスを操作することは、時には問題をはらみ、それによりＰＣを使用することにおける彼らの楽しみを制限する可能性がある。
【０００３】
入力方法における１つの比較的最近の進歩は、電子ペンである。ユーザは、電子ペンを用いて従来の紙の上に書く。電子ペンは、座標情報を含む無線信号をレシーバに送信する。レシーバはペン先の位置情報を計算することができ、この情報をＰＣに送信する。このソリューションは、ＰＣに対する最も自然な入力方法のひとつである。ユーザは、通常の紙に何でも書くことができる。電子ペンは、資料の内容によらず、ペン先の完全な位置を取得することができる。電子ペン技術を用いていくつかのアプリケーションが既に可能になっている。一例において、ペンアプリケーションは、手書きのイメージを含むｅ−ｍａｉｌを送るために、ユーザの手書きをキャプチャして、記入されたものを（電子メール（ｅ−ｍａｉｌ）プログラムのような）１つのアプリケーションプログラムに組み込む。電子ペンは、（マウスが使われるのと同じように）ウィンドウカーソルをコントロールするための選択デバイスとしても使用される。
【０００４】
電子ペンの使用は他の入力方法より自然であるので、特に精通していないコンピュータユーザにとって有用であるだろう。例えば、キーボードを使用するのが困難な小さな子供及び年配者は、当該ペンを用いて効果的に情報を入力することができるだろう。電子ペンは、（中国語のような）アジア言語で情報をコンピュータに入力するのに特に有用である。
【０００５】
その上、電子書籍及び／又はコースウェアは、これらの素材におけるマルチメディア機能についての固有のサポートによってより普及した。ユーザは、ＰＣ上でオーディオ、ビデオ、そしてイメージを、楽しみ、これらの素材から、テキストのみの製品からよりもより多くの情報を得るだろう。しかしながら、読者は、従来の紙の本の便利さ及び広く普及した入手しやすさを楽しみ続ける。
【図面の簡単な説明】
【０００６】
本発明の機能及び利点が、以下の本発明の詳細な説明から明らかになるだろう。
【図１】本発明の一実施形態に係る電子ペン−コンピュータのマルチメディアインタラクティブシステムである。
【図２】本発明の一実施形態に係る電子ペンシステムを示す図である。
【図３】本発明の一実施形態に係る、１つのマルチメディアシステムにおけるメーカ要素及びプレーヤ要素のフロー図である。
【図４】本発明の一実施形態に係る、プレーヤ処理のフロー図である。
【図５】本発明の一実施形態に係るメーカ処理のフロー図である。
【図６】本発明の一実施形態に係るオブジェクト特定処理の一例である。
【図７】本発明の一実施形態に係るアクション関連付け処理のフロー図である。
【図８】本システムによってサポートされる本の中のページの一例である。
【図９】本発明の一実施形態に係る、関連付け処理の論理動作のフロー図である。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態は、１つの電子ペン位置特定システム及び従来の紙の本の組合せに基づく、複数のコンピュータシステムのための新しい使用モデルを導入する。本発明の実施形態は、電子ブック及び／又はコースウェアを従来の紙の本と結びつけるための１つの方法を提供する。本発明を用いることによって、ユーザは、本を読みながら、（ＰＣのような）コンピュータシステム上のマルチメディアコンテンツを楽しむことができる。本発明は、ＰＣによって提供される双方向性を提供するが、既存の紙の本から選択されたコンテンツに直接的に基づく。本のコンテンツとコンピュータシステム上に記憶されたマルチメディアコンテンツとの間の関連付けを設定することを目的として、ブックのコンテンツの一部はユーザによる使用前にシステムによって処理されてよい。
【０００８】
本明細書における"１つの実施形態"又は"一実施形態"への言及は、実施形態に関連して記載された特定の機能、構成、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、明細書全体にわたる様々な場所における"１つの実施形態において"という語句の出現は、必ずしも全て同じ実施形態に言及しているわけではない。
【０００９】
図１は、本発明の一実施形態に係る電子ペン−コンピュータのマルチメディアインタラクティブシステム１００の図である。本発明の実施形態において、１つのコンピュータシステム１０２は、ユーザによって読まれている従来の紙の本１０４と情報を交換する。本明細書で使用される"本"という用語は、フィクション又はノンフィクションの本、雑誌、新聞、又はジャーナルのような定期刊行物、ぬり絵の本、パンフレット、広告等のような、既存の任意の印刷物であってよい。本は、レシーバデバイス１０８に対して固定された関係で本を保持する１つのブックホルダ１０６上に存在するよう、ユーザによって据えられてよい。１つの電子ペン（Ｅ−ｐｅｎ）１１０は、本１０４を指し、及び／又は本１０４上に書くために、ユーザによって使用される。電子ペンの位置は、レシーバによって決定され、通信リンク１１２を通じてコンピュータシステムに送信される。通信リンクは、ＣＯＭポート、ユニバーサルシリアルバス（ＵＳＢ）、ＬＰＴ、８０２．１１無線規格の任意の種類の実装、ブルートゥース、赤外線等のような、任意の有線又は無線接続を有してよい。
【００１０】
コンピュータシステムは、少なくとも１つのデータベースと、電子ペンの位置情報及びユーザによってどの読まれているかの指示を受け取り、マルチメディアコンテンツをコンピュータシステム上でレンダリングし、位置情報の受け取りに応答して選択されたアクションを提供する少なくとも１つのアプリケーション１１４を有する。通常、その応答は、１以上のオーディオコンテンツの再生、ビデオコンテンツの再生、イメージ又はテキスト、或いは任意の他のマルチメディア情報の表示、或いは（例えば、スピーカ音量の調整、ディスプレイ明るさのチューニング、又はコンピュータシステムのパワーオフのような）予め定められたアクションをコンピュータシステム上で起こすことを含んでよい。コンピュータシステム上で実行しているアプリケーションが、従来の既存の出版された本のページの部分にわたる電子ペンのポジション情報を、コンピュータシステムの適切な応答の選択と結び付けるよう、当該応答はユーザが本を読む前に設定されていてよい。
【００１１】
本発明の実施形態は、以下のように用いられてよい。レシーバ１０８は、ブックホルダ１０６の上部に固定され、本１０４はユーザによってブックホルダ上に置かれる。これは、本とレシーバとの間の距離が固定されていることを意味する。少なくとも１つの実施形態において、固定された関係は、ブックホルダの９０度角構造に対して置かれている本の１つの角及び２つの側部を含んでよい。ユーザが、現在見ているページ上の本のコンテンツを選択すべく電子ペン１１０を使用した場合、先端の位置情報がレシーバ１０８によって計算され、コンピュータシステム１０２に送信される。少なくとも１つのデータベースがコンピュータシステム内に含まれてよい。少なくとも１つのデータベースは、現在のＥ−ｐｅｎの位置、現在のページについての本のコンテンツ、及び記憶されたマルチメディアコンテンツに対応する、アクション／応答情報を含む。データベース又はその一部は、コンピュータシステム１０２のローカルにあってよく、よく知られた技術を用いて、例えばインターネットを通じて、コンピュータシステムの外部に記憶されてアクセスされてもよい。アプリケーションは、位置情報を受信して、位置情報及び本のコンテンツに関連づけられたエントリについて少なくとも１つのデータベースを検索し、その後、対応するマルチメディアコンテンツを再生又は対応する予め定められたアクションを取る。少なくとも１つの実施形態において、マルチメディアコンテンツは、テレビ、ステレオ、コンピュータディスプレイモニタ等のような、コンピュータシステムに通信可能に結合された民生電子機器上で再生されてよい。
【００１２】
本発明の実施形態の１つの使用例は、英語のアルファベット教育である。例えば、本は、それぞれのページがアルファベットの１文字を含む、２６のページを含んでよい。第１ページは、大きな文字"Ａ"と、異なるタイプの複数のリンゴ又は文字"Ａ"で始まる他のオブジェクトとを含んでよい。ユーザが本の当該ページ上の文字"Ａ"を（恐らくＥ−ｐｅｎ上のボタンを押下すること又はＥ−ｐｅｎを紙にタッチすることによって）選択した場合、コンピュータシステム上のアプリケーションは、コンピュータに単語"リンゴ"の音声を、例えばコンピュータシステムのスピーカを通じて発せさせる。実質的に同時に、コンピュータシステムは、（例えば）異なるサイズ及び色のさらなるリンゴの絵を見せ、又はリンゴのビデオを再生してもよい。したがって、本発明の実施形態は、改善された情報フロー及び教育／娯楽目的のために、既存の本のコンテンツを取得して、当該コンテンツをコンピュータシステムの双方向性と結びつける。教育に使用された場合に、本発明は、既存の又は新たに出版された従来の紙の本の力を、（マルチメディア及びいくつかの実施形態におけるインターネットアクセスの面で）コンピュータシステムの力と結びつける。
【００１３】
本発明の実施形態で、多くの他の使用モードが可能である。例えば、異なるモードの教育システムが、異なる年齢層について設計され得る。２から４歳の子供に対して、単純な単語、アルファベット、及び数字を教えるアプリケーション及び関連するデータベースが、そのような目的のために既存の本に基づいて生成され得る。５から７歳の子供に対して、センテンスを教えるアプリケーション及び関連するデータベースが生成され得る。他のセッティングにおいては他のモードが可能であり、本発明は、この点に限定されない。例えば、旅行者が既存の印刷された地図からより多くの情報を取得することを可能にするアプリケーション及び関連するデータベースが、生成され得る。他の例において、家庭内の電子デバイスに対して仮想リモートコントロールを可能にするアプリケーションが、本明細書に記載されたシステム及び技術を用いて生成され得る。
【００１４】
図２は、本発明の一実施形態に係る電子ペンシステムを示す図である。電子ペンシステムは、本のページ上の絶対的な先端位置情報を取得する。少なくとも２つの超音波センサＳ１ ２００及びＳ２ ２０２は、それぞれ（Ｄ，０）及び（−Ｄ，０）で示されるように、座標システムの原点（０，０）から等距離に、レシーバ１０８内で一列に配置されてよい。Ｅ−ｐｅｎ１１０は、超音波トランスミッタＴ２０４を有する。ペン先が押されると、トランスミッタは、複数のレシーバによって検出可能な超音波信号を送信する。距離Ｌ１＝（Ｔ，Ｓ１）及びＬ２＝（Ｔ，Ｓ２）が異なるので、超音波信号は２つのセンサに異なる時刻に到着する。レシーバ１０８は、その時間差を検出し、Ｌ１及びＬ２の長さを計算してよい。Ｔの位置は、式１によって計算される。
【数１】
【００１５】
Ｘ及びＹ座標は、ペン先の絶対位置の情報を指定する。Ｅ−ｐｅｎシステムは、この情報を接続１１２を通じてコンピュータシステム１０２に送信する。
【００１６】
この位置情報がユーザのコンピュータシステム１０２によって受信されると、当該情報は、本明細書で"プレーヤ"要素と呼ばれる１つのアプリケーションプログラムによって処理されてよい。プレーヤは、位置情報を受信して、少なくとも１つのデータベース内において、対応するマルチメディアコンテンツ及び／又は適切なアクションを検索し、当該対応するマルチメディアを再生及び／又は当該アクションを実行する。ユーザは、従来の紙の本を対話式のユーザ体験にすべく、プレーヤと対話する。ユーザはＥ−ｐｅｎを使用して本の上の１つのオブジェクトを選択する。そしてプレーヤは、ペン先の位置及びオブジェクトのタイプに基づいて対応する応答を提供する。
【００１７】
使用する前に、少なくとも１つのデータベースが、ペン先位置、現在の本のコンテンツ、当該本の現在ページ、現在の本についてのマルチメディアコンテンツ、及び現在の本についての予め定められたアクションに関連するアクション／応答情報を含むよう、生成されなければならない。出版者のコンピュータシステム上で実行する、本明細書で"メーカ"要素と呼ばれるアプリケーションプログラムは、これらのデータアイテムの間の関連付けを生成すべく使用され得る。メーカは、既存の従来の紙の本（或いは場合によっては新たに出版された本）に基づいてインタラクティブなマルチメディア製品を作成すべく、出版者によって（又はいくつかの場合において、精通したユーザによって）、限られた手作業とともに使用されてよい。メーカへの入力データは、本のページイメージ、追加のマルチメディアコンテンツ、及び予め定められた複数のアクションを含む。出版者は、ページイメージ上の１つのオブジェクトを選択して、関連するマルチメディアコンテンツ及び／又はアクションを、選択されたオブジェクトと関連付ける。全ての関連付け情報は、少なくとも１つのデータベースに記憶されてよい。
【００１８】
一実施形態において、インタラクティブなマルチメディア製品及び／又は本がユーザ又はユーザサイドの他人によって製作される場合に（例えば、親が子供による使用のための関連付けを準備する）、出版者のコンピュータシステムはユーザのコンピュータシステムと同一であってよい。一実施形態において、マルチメディアコンテンツは、ユーザによって作成された又はユーザによって取得された、１以上のデジタルイメージ、デジタルビデオ、デジタルオーディオファイル、及びテキストファイルを含んでよい。一実施形態において、ユーザは、デジタルイメージを本の複数のページとして提供してよく（例えば、ユーザオリジナルなデジタル写真）、本のそれぞれのページ上の複数のオブジェクトの、マルチメディアコンテンツとの関連付けを指定してよい。
【００１９】
図３は、本発明の一実施形態に係るマルチメディアシステムにおけるメーカ要素３００及びプレーヤ要素３０２のフロー図である。ブロック３０４において、メーカ要素３００は、本の１以上のページの複数のイメージを入力として受け入れて、その後に、それらのページ上に表れる複数のオブジェクトについてのゾーン情報を定める。一実施形態において、メーカは、マルチメディアコンテンツの出版者を務めるシステムユーザとの対話を通じてこれを達成してよい。ブロック３０８において、メーカは、複数のマルチメディアファイル及び複数のアクション３１０を入力データとして用いて、複数のペン位置、本のコンテンツ（例えば、本のページ上にあるオブジェクト）、及び関連する複数のマルチメディアコンテンツ（例えば、関連するオーディオ、ビデオ、複数のイメージ、テキスト等）、及び／又は、複数のアクションの間の関連付けを設定する。ブロック３１２において、メーカは、プレーヤ要素３０２による後の使用のために、複数のデータベースをパッケージする。一実施形態において、出版者は、メーカ要素をオペレーションしているときに複数のマルチメディアファイルを提供し、プレーヤ要素とともにそれらをユーザのコンピュータシステムに分散された複数のデータベースにインストールする。他の実施形態において、出版者は、インターネットのようなネットワークを通じてアクセス可能な複数のマルチメディアファイルへの関連付けを提供する。本実施形態において、プレーヤ要素は、知られたファイル転送プロトコル又はよく知られたハイパーテクスト転送プロトコル（ＨＴＴＰ）を使用して、必要に応じて複数のファイルを取得する。
【００２０】
データベースは、少なくとも、１つのブックコンテンツデータベース３１４、１つのマルチメディアデータベース３１６、及び１つのアクションライブラリ３１８を有する。ブックコンテンツデータベースは、本の複数のページの複数のイメージ、複数のオブジェクトについての複数のページ上の位置情報、及び複数のオブジェクト及びマルチメディアコンテンツ或いは複数のアクション／応答の間の関連付け情報を含む。マルチメディアデータベースは、本の複数のページ上の複数のオブジェクトに対応する、ユーザによる知覚のためのレンダリングのための、オーディオ、ビデオ、複数のイメージ、テキスト、及び他のデータを含む。アクションライブラリ３１８は、電子ペンの位置が、関連するアクションを示す本の１つのページ上の１つのオブジェクトと一致した場合に、ユーザのコンピュータシステムによって実行されるべき予め定められた複数のアクションのための複数の命令を含む。一実施形態において、当該複数のアクションは、後に続くコミュニケーションのための人間の言語の選択、スピーカのボリューム調整、コンピュータモニタの明るさ調整、入力／出力（Ｉ／Ｏ）ポートへの複数のコマンドの送信、コンピュータシステムのパワーオフ等を含んでよい。他の複数のアクションもまた考えられる。一実施形態において、本明細書で説明された３つのデータベースは、１つのデータベースに一体化されてよい。
【００２１】
本に対応する複数のデータベースは、任意の知られたメカニズムを用いて、ユーザのコンピュータシステムに分散されてよい。プレーヤアプリケーションがユーザのコンピュータシステム上にインストールされた後、ユーザは、本をブックホルダ上に置き、プレーヤ要素３０２をコンピュータシステム上で開始し、本と対話を開始する。ユーザが、本又はブックホルダの上の、システムにとって意味を持つ１つのエリアを選択した場合に、ユーザは有効な入力を選択した。一実施形態において、ユーザによる他のエリアの選択、システムによって無視され得る。ブロック３２０において、ユーザは、電子ペンを使用して本の１つのページ上に表された１つのオブジェクトを選択する。ブロック３２２において、レシーバは、選択の間に現在のペン先の位置を計算する。ブロック３２４において、レシーバ１８は、ペン先の位置情報を、接続１１２を用いてコンピュータシステム１０２に送信する。ブロック３２６において、コンピュータシステム上で動作しているプレーヤ要素は、位置情報を受信して、現在のページ上の現在のペン位置によって選択された１つのオブジェクト（もしあれば）に関連する情報を取得すべく、ブックコンテンツデータベース３１４を検索する。１つのオブジェクトが選択されて、マルチメディアコンテンツ及び／又は１つのアクションが当該選択されたオブジェクトに関連付けられている場合、プレーヤ要素は、ブロック３２８において、当該対応するマルチメディアコンテンツを再生し、及び／又は指定されたアクションを実行する。プレーヤ要素は、実行ブロック３２８において、マルチメディアデータベース３１６及びアクションライブラリ３１８からのデータを使用する。プレーヤ要素は、コンピュータシステム及び／又は通信可能に結合されたテレビのような民生電子機器上でのコンテンツの再生を管理する。
【００２２】
図４は、本発明の一実施形態に従って処理するプレーヤのフロー図である。プレーヤは、ブロック４００において、現在の位置情報を電子ペンシステムから受信する。ブロック４０２において、プレーヤは、一実施形態において、現在のペンの位置情報に基づいて、ユーザが本のページ上或いはレシーバ又はブックホルダ上の特定のエリアを選択しているか否かを判断する。そうである場合、一実施形態において、プレーヤはブロック４０４において、アクションライブラリ３１８を入力データとして使用して、選択された予め定められたアクションを処理する。予め定められたアクションは、スピーカのボリュームを増加又は減少させること、コンピュータモニタの視覚的属性を調整すること、後に続くコミュニケーションのための人間の言語の選択等のようなことを含んでよい。他のアクションは、特定の実装のために定められてよく、本発明はこの点に限定されない。一実施形態において、アクションはプレーヤ要素又はコンピュータシステムをコントロールすべく使用されてよく、これらのアクションは本のコンテンツと関係を持たない。現在のペンの位置情報が特定のエリアを示さない場合、プレーヤは、当該位置情報を、ブックコンテンツデータベース３１４内に記憶された、本のページについての知られた複数のオブジェクトと比較する。プレーヤは、ブロック４０６で、オブジェクトの境界座標及び現在のペン位置情報に基づいて、ページのどのオブジェクトが選択されたかを（もしあれば）判断する。１つのオブジェクトが選択された場合、ブロック４０８において、プレーヤは、選択されたオブジェクトの関連付け情報を、１以上のブックコンテンツデータベース、マルチメディアデータベース３１６、及びアクションライブラリ３１８から取得する。ブロック４１０において、プレーヤは関連付けされたマルチメディアコンテンツを再生するか、オブジェクト関連付け情報に基づいて１つのアクションを処理する。
【００２３】
電子ペンを用いた本のページ上の１つのオブジェクトの選択の結果として、ユーザが関連するマルチメディアコンテンツのレンダリングを引き起こし、関連するアクションがコンピュータシステム上で実行されることをもたらすことができる前に、データベースはデータが格納され、複数のオブジェクト、複数の位置、及びコンテンツ並びに複数のアクションの間の関連付けが設定されていなければならない。この処理は、本発明の一実施形態に従って、メーカ要素によって実行され得る。このメーカは、従来の本から出版者又はユーザによる限られた労力で電子素材をいかに生成するかという問題を解決する。本発明の実施形態は、コンピュータシステム上の複数のアクション／応答を紙の本から生成するための全般的な方法を提供する。本発明に基づいて、出版者又はユーザは、既存の又は新たに出版された従来の紙の本に関連付づけられたインタラクティブなマルチメディア素材を、限られた手作業で生成することができる。
【００２４】
メーカは、本の一のページ上に定められた１つのオブジェクトの選択に対して、異なる複数のアクション又は複数の応答を生成する。ここで、"オブジェクト"という用語は、ページ上で特定の意味を持つ任意のゾーンであってよい（例えば、少年の画像、リンゴの画像等）。メーカは、出版者又はユーザによる限られた入力で、ページ上のオブジェクトを特定する。種々の実施形態において、複数の応答は、オーディオ、ビデオの再生、イメージの表示、又は任意の他のマルチメディア情報のレンダリング、予め定められたアクションの実行、又はユーザからの入力に基づく論理スクリプトの実行を含む。メーカに対する入力データは、本５００の複数のページイメージ、マルチメディアコンテンツ５０２、及び１つの予め定められたアクションライブラリ３１８を含む。メーカの出力データは、ブックコンテンツデータベース３１４、マルチメディアデータベース３１６、及びアクションライブラリ３１８を含む。ブックコンテンツデータベースは、それぞれのページ上の複数のオブジェクト、マルチメディアデータベースの中のマルチメディアコンテンツ、及びアクションライブラリからの予め定められたアクションの間の関連付け関係を含む。
【００２５】
メーカは、３つのサービスを提供する。最初に、メーカは一のページ上の複数のオブジェクトを特定する。メーカは、限られたユーザ入力に基づいて、それぞれのオブジェクトの境界情報を判断する。第２、メーカは、複数のオブジェクト、複数のアクション、及び複数の応答の間の関連付けを生成する。例えば、１つのオーディオファイルが１つのオブジェクトに関連付けられている場合、ユーザが当該オブジェクトを電子ペンで選択すると、プレーヤは当該オーディオファイルを再生することができる。１つ以上のマルチメディアファイル及び１以上のアクション／応答が、それぞれのオブジェクトに関連付けられてよい。第３に、メーカは当該複数のデータベースをパッケージする。出版者又はユーザが、１つの本の複数のページについて関連付けの設定を終了すると、ユーザのコンピュータシステムへのプレーヤでの配布のために、メーカは、全ての情報をブックコンテンツデータベース、マルチメディアデータベース、及びアクションライブラリにパッケージする。
【００２６】
図５は、本発明の一実施形態に従うメーカ処理のフロー図である。ブロック５０４において、メーカは、本のコンテンツ（例えば、複数のオブジェクト定義及び複数の関連付け）、マルチメディア、及び複数のアクションを保持するための新たな空の複数のブックデータベースを生成する。ブロック５０６において、一実施形態において、メーカは、出版者又はユーザが、電子ペン又はマウスを用いることによる１つのオブジェクトゾーン及びイメージ処理アルゴリズムを特定することを可能にする。本オペレーションによって用いられるページイメージは、スキャナを用いるスキャニングによって取得されてよく、或いは既存のイメージファイルであってよい。一実施形態において、本はブックホルダ上に置かれ、ページイメージはコンピュータシステムのモニタ上に表示されてよい。このシナリオにおいて、表示されたページイメージ上の１つのオブジェクトの境界は、当該オブジェクトを定めるために使用されてよい。
【００２７】
種々の実施形態において、メーカは、ページイメージ上の複数のオブジェクトを特定するための１以上のいくつかの方法を使用してよい。一実施形態において、出版者又はユーザは、電子ペンを使用して、本のページ上のオブジェクトの境界に沿う曲線を描くか、当該境界上のキーポイントを選択する。電子ペンシステムは、ペン位置情報をメーカに送信し、メーカはしたがってオブジェクトの位置情報列を取得する。出版者の絵画速度に応じて、メーカは、位置のセットを再スケールして、それらを１つのオブジェクト境界として記録してよい。代わりに、ページイメージはモニタ上に表示されているので、出版者は、ページイメージ上のオブジェクトの境界に沿う曲線を描くためにマウスを使用してよく、或いは出版者は、オブジェクトの境界をカプセル化するために技術的に良く知られるように、或る形（三角、四角、楕円、又は多角形）を修正してよい。他の実施形態において、出版者は、モニタ上に表示されたオブジェクトの境界点のセットを選択するためにマウスを使用してよい。メーカは、オブジェクトの境界を自動的に特定する１以上の知られたデジタルイメージ処理アルゴリズムを適用する。例えば、知られた"intelligent scissor"又は"magic wand"アルゴリズムが使用され得る。いくつかの実施形態において、アルゴリズムは、ピクセルのグレースケール値、色、及び他のイメージ情報を調べることによって、複数のオブジェクトを特定する。図６は、本発明の一実施形態に係るオブジェクト特定処理の一例である。本例において、メーカは、ページイメージにおいていくつかのオブジェクトを特定し、オブジェクトのそれぞれについて１つの境界を生成した。このようにして、全てのオブジェクトが、１つのページイメージについて定められ得る。
【００２８】
次に、ブロック５０８において、出版者又はユーザはメーカを使用して、複数のオブジェクト、複数のアクション、及び複数の応答の間の関連付けを手動で生成する。出版者又はユーザは、１つのオブジェクトを選択して、複数のアクション及び／又は複数の応答を当該オブジェクトに割り当てる。一実施形態の最後において、３種類のアクション／応答が存在する。
【００２９】
第１に、プレーヤは、マルチメディアコンテンツを再生してよく、ビデオの再生、オーディオの再生、１以上のイメージの表示、又はテキストの表示を含む。この場合、出版者は、複数のマルチメディアファイルを１つのオブジェクトに関連付ける。メーカは、この関連付け情報を記録して、ブックコンテンツデータベースに当該関連付けを保存する。
【００３０】
第２に、プレーヤは、ビデオ、オーディオ、イメージ、又はテキストを再生する以外の、予め定められたアクションを実行してよい。例えば、予め定められたアクションは、コンピュータシステムのスピーカの音量調節、モニタの明るさ調節、任意のＩ／Ｏポートへのコマンド送信、又はコンピュータシステムに影響する任意の他のアクションであってよい。予め定められた複数のアクションは、複数のグループに分類されてよい。それぞれのグループは、ダイナミックリンクライブラリ（ＤＬＬ）５１０を含んでよい。１つのソフトウェアインタフェースは、複数のＤＬＬ及びメーカの間に定められる。例えば、一実施形態において、アプリケーションプログラムインタフェース（ＡＰＩ）"GetActionList (LPSAction a_SActionArray, DWORD dwArrayLength,)"、"CallActionByID (INT ActionID)"が、それぞれのＤＬＬに実装されてよい。"GetActionList"関数は、全ての有効な複数のアクション名及びそれらの複数のアクションＩＤを戻す。メーカは、このＡＰＩをコールして、そのアクション名リストをメーカ要素のユーザインタフェース（ＵＩ）上に表示する。出版者又はユーザが１つのアクション名を１つのオブジェクトに関連付けると、メーカは、対応するAction IDを当該オブジェクトに割り当て、この関連付け情報をブックコンテンツデータベース内に保存する。プレーヤが当該オブジェクトのアクションを実行することを望む場合、プレーヤは当該Action IDを当該データベースから取得して、"CallActionByID (INT ActionID) 関数をコールする。CallActionByID ()は、当該Action IDに基づいて特定のアクションを呼び出す。
【００３１】
この処理は図７に示される。図７は、本発明の一実施形態に係るアクション関連付け処理のフロー図である。ブロック７００において、メーカ３００は、アクションリスト７０２にアクセスするアクションリスト取得ＡＰＩをコールする。アクションリスト内のそれぞれのエントリは、固有のアクションＩＤによって指定されてよい。アクションのいくつかの例が図７に示されるが、他のアクションもまた使用され得る。ブロック７０４において、メーカは、アクションＩＤを現在処理されているオブジェクトに関連付ける。ブロック７０６において、メーカは、当該関連付け情報をアクションライブラリ３１８にパッケージする。アクションライブラリは、その後、プレーヤ要素３０２によって読み込まれ得る。ブロック７０８において、特定のオブジェクトが選択され、当該オブジェクトが１つのアクションに関連付けられた場合、プレーヤはアクションＩＤをアクションライブラリから取得する。ブロック７１０において、プレーヤ要素は、アクションＩＤ及びCallActionByID ()ＡＰＩを用ることによって、アクションをコールする。当該アクションはその後、ブロック７１２においてコンピュータシステムによって実行される。
【００３２】
第３に、プレーヤは、ユーザからの前の入力に基づく複合的な論理的動作を実行してよい。例えば、図８に示されるように、２つのボタンとともに、本の現在のページ上に複数の動物のイメージがあると仮定する。ユーザが（電子ペンを使用して）最初に"Ｅｎｇｌｉｓｈ"ボタン８００を選択して、その後ページ上のいずれかの動物の絵を選択した場合、プレーヤは（例えば）英語におけるその動物名を含むオーディオファイルを再生する。しかしながら、ユーザが"Ｃｈｉｎｅｓｅ"ボタン８０２を最初に選択して、その後ある動物の絵を選択した場合、プレーヤは中国語におけるその動物名を含むオーディオファイルを再生する。これは複合的な論理的動作の単なる一例である。多くの他の応答が、引き続くユーザ入力に基づいてなされてよい。
【００３３】
この論理的動作は、出版者自身の機能を追加することによって、オブジェクトの振る舞いを拡張する。一実施形態において、それは、スクリプト言語拡張機能をメーカ３００に追加することによって実装され得る。種々の実施形態において、スクリプト言語は、ＶＢＳｃｒｉｐｔ、ＪＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰｅｒｌＳｃｒｉｐｔ、ＰｙｔｈｏｎＳｃｒｉｐｔ等のような、そのような目的のための任意の知られた言語であってよい。一実施形態において、本のそれぞれのページについて１つのスクリプトモジュールが存在してよい。出版者又はユーザは、１つのオブジェクトについての１つのスクリプト関数をデザインしてよい。１つのページのグローバル変数又は他の複数の関数もまた、スクリプトモジュール内に定められてよい。メーカは、それぞれのページについてのスクリプトモジュールをアクションライブラリ３１８に保存してよい。プレーヤは、現在のページについてのスクリプトモジュールをアクションライブラリからロードして、スクリプトモジュールを対応するスクリプトエンジン（例えば、スクリプトを処理するための実行モジュール）に加える。ユーザが、１つのスクリプト関数が割り当てられた１つのオブジェクトを選択した場合、プレーヤは、スクリプトエンジンを使用して当該スクリプト関数を実行するだろう。
【００３４】
図９は、本発明の一実施形態に係る、この論理的動作の関連付け処理のフロー図である。ブロック９００において、メーカは、選択された本の１つのページについて、ページのグローバル変数及び複数の関数を定める。オーディオ及びビデオ再生関数の簡略化された例が、ブロック９０２に示される。ブロック９０４において、メーカは、選択された１つのオブジェクトについてスクリプト関数を定める。スクリプト関数の例の一部分、ブロック９０６に示される。ブロック９０８において、メーカは、関連付け情報及びスクリプト関数を、１つのスクリプトモジュールとしてパッケージし、関連付け情報及びスクリプト関数をアクションライブラリ内に記憶する。そして、ユーザが本の現在ページと対話しているときに、プレーヤは、現在ページについてのスクリプトモジュールをアクションライブラリからロードする。ブロック９１２において、プレーヤは、スクリプトモジュールをスクリプトエンジンに追加する。一実施形態において、スクリプトエンジンは、Ｍｉｃｒｏｓｏｆｔ社から商業的に入手できるＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムの複数のバージョンによって提供されるような、ＶＢＳｃｒｉｐｔ、Ｊｓｃｒｉｐｔであってよい。ブロック９１６において、ユーザが、１つのスクリプトに関連付けられた１つのオブジェクトを選択した場合に、プレーヤはスクリプト関数をコールしてよい。スクリプト関数のコールは、スクリプトエンジンが、選択されたオブジェクトに関連付けられたスクリプトを処理することをもたらす。ブロック９１８において、スクリプトエンジンのオペレーションの結果、アクションが行われる。
【００３５】
図５に戻って、ブロック５１２において、メーカは、全ての関連付け情報、複数のマルチメディアファイル、及び他の複数のアクション／複数の応答を、マルチメディアデータベース、ブックコンテンツデータベース、及びアクションライブラリの中の適切な場所に記憶する。ブロック５１４で、一実施形態において、メーカは、出版者又はユーザによる意図された関連付けが記憶された旨の確認のために、本の中のページのプレビューを生成する。ブロック５１６において、メーカは、後のユーザのコンピュータシステムへの配布のために、データベース５１８をパッケージする。
【００３６】
本発明の実施形態は、既存のマルチメディアシステムと比較して少なくとも以下の利点を提供する。ユーザは、電子ペンを入力方式として使用することができる。これはＰＣのようなコンピュータシステムにおける最も自然な入力方法である。この入力方法を用いて、本発明は、キーボードをタイプすることに慣れていない人によって使用され得る。ユーザは、さらに従来の本を読む又は見ることができる。一方で、ユーザは、ＰＣからのマルチメディア情報の取得をコントロールすることもできる。これは、ユーザが紙の本の利点と、コンピュータがローカルに又はインターネットのようなネットワークを通じて利用可能なオーディオ、ビデオ、イメージ、及びテキストを提供するというマルチメディアの機能との両方を楽しむことができるということを意味する。その上、本発明の実施形態によって、新たな使用モデルが可能になる。単に２つの例において、子供が言語を学ぶ教育システムが本発明の実施形態を用いて提供され、旅行者がよりアクティブな情報を従来の地図から取得するために本発明を使用することができる。本発明を用いて多くの他の使用モデルが可能である。
【００３７】
このように、限られたユーザ入力しか要しないインタラクティブなマルチメディアブックへの従来の本からの転換を加速する方法及び装置が本明細書に記載された。出版者は、インタラクティブな素材を構築すべく、既存の本に基づいて本明細書に記載された技術を使用し得る。本発明は、ページ上の複数のオブジェクトを特定する複数の方法を提供する。出版者又はユーザは、紙上のオブジェクトの境界を定めるために電子ペンを使用することができ、知られたデジタルイメージ処理アルゴリズムの補助とともに、コンピュータシステムのモニタ上のオブジェクトの境界を定めるためにマウスを使用することができる。さらに、１つの本に対して複数のアクションが可能になる。これは、ユーザが本のページとの対話を通じてコンピュータシステムをコントロールし得ることを意味する。最後に、１つの本に対して論理的動作が可能になる。この機能は、本のコンテンツを無数の方面に拡張する。例えば、既存の本は、仮想的な多言語学習用の本、仮想的な楽器、民生用電子機器のための仮想的なリモートコントローラに変換され得る。本発明の実施形態を用いて他の複数の用途が考えられる。
【００３８】
本明細書に記載されたオペレーションはシーケンシャル処理として説明されたが、いくつかのオペレーションは実際にはパラレル又はコンカレントに実行されてよい。その上、いくつかの実施形態において、本発明の主旨から逸脱することなく、オペレーションの順番が並べ替えられてよい。
【００３９】
本明細書に記載された技術は、どの特定のハードウェア又はソフトウェア構成にも限定されない。それらはどのコンピューティング又はプロセッシング環境に適用可能であることが分かるだろう。この技術はハードウェア、ソフトウェア、又はその２つの組合せで実装され得る。この技術は、モバイル又は据え置き型のコンピュータ、携帯情報端末、セットトップボックス、移動電話、ページャ、並びに他の電子デバイスのような、それぞれがプロセッサ、プロセッサによる読み込み可能なストレージメディア（揮発性及び不揮発性メモリ、及び／又はストレージ要素を含む）、少なくとも１つの入力デバイス及び１以上の出力デバイスを有する、プログラム可能な装置上で動作するプログラムで実装され得る。プログラムコードは、入力デバイスを用いて入力されたデータに適用され、記載された機能を実行し、出力情報を生成する。出力情報は、１以上の出力デバイスに適用されてよい。当業者は、本発明が、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、及び同種のものを含む、様々なコンピュータシステム構成で実施され得ることを理解するだろう。本発明は、複数のタスクが、通信ネットワークを通じて結びつけられた複数のリモートのプロセッシングデバイスによって実行され得る、分散コンピューティング環境で実施されることもできる。
【００４０】
それぞれのプログラムは、プロセッシングシステムとコミュニケートする高レベルの手続き型、又はオブジェクト指向プログラミング言語で実装されてよい。一方で、複数のプログラムは、必要に応じてアッセンブリ又はマシン言語で実装されてよい。いずれの場合も、言語はコンパイル又は翻訳される。
【００４１】
複数のプログラム命令は、当該命令でプログラムされた汎用又は特殊用途のプロセッシングシステムに、本明細書で説明されたオペレーションを実行させるべく使用されてよい。代わりに、当該オペレーションは、当該オペレーションを実行するためのハードウェア組み込みの論理回路を含む特定のハードウェア要素、又はプログラムされたコンピュータ要素及び特定用途向けのハードウェア要素の任意の組合せによって実行されてよい。本明細書に記載された方法は、当該方法を実行するようプロセッシングシステム又は他の電子デバイスをプログラムすべく使用される記憶された複数の命令を有する機械可読メディアを含むコンピュータプログラム製品として提供されてよい。本明細書で用いられる"機械可読メディア"という用語は、機械による実行のための複数の命令シーケンスを記憶又は符号化することができ、本明細書に記載された方法のうちのいずれかを機械に実行させる、任意のメディアを含むだろう。"機械可読メディア"という用語は従って、固体メモリ、光及び磁気ディスク、並びにデータ信号を符号化する搬送波を含むが、これらに限定されない。さらに、ソフトウェアのことを、様々な形で（例えば、プログラム、プロシージャ、プロセス、アプリケーション、モジュール、ロジック等）、１つのアクションを起こす又は１つの結果をもたらすことと言うことは技術的によく行われる。そのような表現は単に、プロセッサに１つのアクションを行わせる又は１つの結果を生成させるプロセッシングシステムによるソフトウェアの実行を述べる簡略な方法である。
【００４２】
本発明は実例としての実施形態を参照して説明されたが、この記載は限定的な意味で解釈されることを意図されていない。本発明の他の実施形態だけでなく、本発明に関連する、当業者に明らかな、本実例の実施形態の様々な変形は、本発明の主旨及び範囲内にあるとみなされる。
【技術分野】
【０００１】
本発明は、広くコンピュータシステムに関し、より詳しくは、マルチメディアインタラクティブモードにおけるパーソナルコンピュータ（ＰＣ）のための新しい使用モデルに関する。
【背景技術】
【０００２】
多くの異なる入力デバイスが、ＰＣのようなコンピュータシステムのために長年開発されてきた。マウス、トラックボール、タッチスクリーン、ジョイスティック等のようなデバイスは、様々な達成度で精通したコンピュータユーザ及び精通していないコンピュータユーザの両方によって使用されてきた。小さな子供、又は年配者のような精通していないユーザにとって、これらの入力デバイスを操作することは、時には問題をはらみ、それによりＰＣを使用することにおける彼らの楽しみを制限する可能性がある。
【０００３】
入力方法における１つの比較的最近の進歩は、電子ペンである。ユーザは、電子ペンを用いて従来の紙の上に書く。電子ペンは、座標情報を含む無線信号をレシーバに送信する。レシーバはペン先の位置情報を計算することができ、この情報をＰＣに送信する。このソリューションは、ＰＣに対する最も自然な入力方法のひとつである。ユーザは、通常の紙に何でも書くことができる。電子ペンは、資料の内容によらず、ペン先の完全な位置を取得することができる。電子ペン技術を用いていくつかのアプリケーションが既に可能になっている。一例において、ペンアプリケーションは、手書きのイメージを含むｅ−ｍａｉｌを送るために、ユーザの手書きをキャプチャして、記入されたものを（電子メール（ｅ−ｍａｉｌ）プログラムのような）１つのアプリケーションプログラムに組み込む。電子ペンは、（マウスが使われるのと同じように）ウィンドウカーソルをコントロールするための選択デバイスとしても使用される。
【０００４】
電子ペンの使用は他の入力方法より自然であるので、特に精通していないコンピュータユーザにとって有用であるだろう。例えば、キーボードを使用するのが困難な小さな子供及び年配者は、当該ペンを用いて効果的に情報を入力することができるだろう。電子ペンは、（中国語のような）アジア言語で情報をコンピュータに入力するのに特に有用である。
【０００５】
その上、電子書籍及び／又はコースウェアは、これらの素材におけるマルチメディア機能についての固有のサポートによってより普及した。ユーザは、ＰＣ上でオーディオ、ビデオ、そしてイメージを、楽しみ、これらの素材から、テキストのみの製品からよりもより多くの情報を得るだろう。しかしながら、読者は、従来の紙の本の便利さ及び広く普及した入手しやすさを楽しみ続ける。
【図面の簡単な説明】
【０００６】
本発明の機能及び利点が、以下の本発明の詳細な説明から明らかになるだろう。
【図１】本発明の一実施形態に係る電子ペン−コンピュータのマルチメディアインタラクティブシステムである。
【図２】本発明の一実施形態に係る電子ペンシステムを示す図である。
【図３】本発明の一実施形態に係る、１つのマルチメディアシステムにおけるメーカ要素及びプレーヤ要素のフロー図である。
【図４】本発明の一実施形態に係る、プレーヤ処理のフロー図である。
【図５】本発明の一実施形態に係るメーカ処理のフロー図である。
【図６】本発明の一実施形態に係るオブジェクト特定処理の一例である。
【図７】本発明の一実施形態に係るアクション関連付け処理のフロー図である。
【図８】本システムによってサポートされる本の中のページの一例である。
【図９】本発明の一実施形態に係る、関連付け処理の論理動作のフロー図である。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態は、１つの電子ペン位置特定システム及び従来の紙の本の組合せに基づく、複数のコンピュータシステムのための新しい使用モデルを導入する。本発明の実施形態は、電子ブック及び／又はコースウェアを従来の紙の本と結びつけるための１つの方法を提供する。本発明を用いることによって、ユーザは、本を読みながら、（ＰＣのような）コンピュータシステム上のマルチメディアコンテンツを楽しむことができる。本発明は、ＰＣによって提供される双方向性を提供するが、既存の紙の本から選択されたコンテンツに直接的に基づく。本のコンテンツとコンピュータシステム上に記憶されたマルチメディアコンテンツとの間の関連付けを設定することを目的として、ブックのコンテンツの一部はユーザによる使用前にシステムによって処理されてよい。
【０００８】
本明細書における"１つの実施形態"又は"一実施形態"への言及は、実施形態に関連して記載された特定の機能、構成、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、明細書全体にわたる様々な場所における"１つの実施形態において"という語句の出現は、必ずしも全て同じ実施形態に言及しているわけではない。
【０００９】
図１は、本発明の一実施形態に係る電子ペン−コンピュータのマルチメディアインタラクティブシステム１００の図である。本発明の実施形態において、１つのコンピュータシステム１０２は、ユーザによって読まれている従来の紙の本１０４と情報を交換する。本明細書で使用される"本"という用語は、フィクション又はノンフィクションの本、雑誌、新聞、又はジャーナルのような定期刊行物、ぬり絵の本、パンフレット、広告等のような、既存の任意の印刷物であってよい。本は、レシーバデバイス１０８に対して固定された関係で本を保持する１つのブックホルダ１０６上に存在するよう、ユーザによって据えられてよい。１つの電子ペン（Ｅ−ｐｅｎ）１１０は、本１０４を指し、及び／又は本１０４上に書くために、ユーザによって使用される。電子ペンの位置は、レシーバによって決定され、通信リンク１１２を通じてコンピュータシステムに送信される。通信リンクは、ＣＯＭポート、ユニバーサルシリアルバス（ＵＳＢ）、ＬＰＴ、８０２．１１無線規格の任意の種類の実装、ブルートゥース、赤外線等のような、任意の有線又は無線接続を有してよい。
【００１０】
コンピュータシステムは、少なくとも１つのデータベースと、電子ペンの位置情報及びユーザによってどの読まれているかの指示を受け取り、マルチメディアコンテンツをコンピュータシステム上でレンダリングし、位置情報の受け取りに応答して選択されたアクションを提供する少なくとも１つのアプリケーション１１４を有する。通常、その応答は、１以上のオーディオコンテンツの再生、ビデオコンテンツの再生、イメージ又はテキスト、或いは任意の他のマルチメディア情報の表示、或いは（例えば、スピーカ音量の調整、ディスプレイ明るさのチューニング、又はコンピュータシステムのパワーオフのような）予め定められたアクションをコンピュータシステム上で起こすことを含んでよい。コンピュータシステム上で実行しているアプリケーションが、従来の既存の出版された本のページの部分にわたる電子ペンのポジション情報を、コンピュータシステムの適切な応答の選択と結び付けるよう、当該応答はユーザが本を読む前に設定されていてよい。
【００１１】
本発明の実施形態は、以下のように用いられてよい。レシーバ１０８は、ブックホルダ１０６の上部に固定され、本１０４はユーザによってブックホルダ上に置かれる。これは、本とレシーバとの間の距離が固定されていることを意味する。少なくとも１つの実施形態において、固定された関係は、ブックホルダの９０度角構造に対して置かれている本の１つの角及び２つの側部を含んでよい。ユーザが、現在見ているページ上の本のコンテンツを選択すべく電子ペン１１０を使用した場合、先端の位置情報がレシーバ１０８によって計算され、コンピュータシステム１０２に送信される。少なくとも１つのデータベースがコンピュータシステム内に含まれてよい。少なくとも１つのデータベースは、現在のＥ−ｐｅｎの位置、現在のページについての本のコンテンツ、及び記憶されたマルチメディアコンテンツに対応する、アクション／応答情報を含む。データベース又はその一部は、コンピュータシステム１０２のローカルにあってよく、よく知られた技術を用いて、例えばインターネットを通じて、コンピュータシステムの外部に記憶されてアクセスされてもよい。アプリケーションは、位置情報を受信して、位置情報及び本のコンテンツに関連づけられたエントリについて少なくとも１つのデータベースを検索し、その後、対応するマルチメディアコンテンツを再生又は対応する予め定められたアクションを取る。少なくとも１つの実施形態において、マルチメディアコンテンツは、テレビ、ステレオ、コンピュータディスプレイモニタ等のような、コンピュータシステムに通信可能に結合された民生電子機器上で再生されてよい。
【００１２】
本発明の実施形態の１つの使用例は、英語のアルファベット教育である。例えば、本は、それぞれのページがアルファベットの１文字を含む、２６のページを含んでよい。第１ページは、大きな文字"Ａ"と、異なるタイプの複数のリンゴ又は文字"Ａ"で始まる他のオブジェクトとを含んでよい。ユーザが本の当該ページ上の文字"Ａ"を（恐らくＥ−ｐｅｎ上のボタンを押下すること又はＥ−ｐｅｎを紙にタッチすることによって）選択した場合、コンピュータシステム上のアプリケーションは、コンピュータに単語"リンゴ"の音声を、例えばコンピュータシステムのスピーカを通じて発せさせる。実質的に同時に、コンピュータシステムは、（例えば）異なるサイズ及び色のさらなるリンゴの絵を見せ、又はリンゴのビデオを再生してもよい。したがって、本発明の実施形態は、改善された情報フロー及び教育／娯楽目的のために、既存の本のコンテンツを取得して、当該コンテンツをコンピュータシステムの双方向性と結びつける。教育に使用された場合に、本発明は、既存の又は新たに出版された従来の紙の本の力を、（マルチメディア及びいくつかの実施形態におけるインターネットアクセスの面で）コンピュータシステムの力と結びつける。
【００１３】
本発明の実施形態で、多くの他の使用モードが可能である。例えば、異なるモードの教育システムが、異なる年齢層について設計され得る。２から４歳の子供に対して、単純な単語、アルファベット、及び数字を教えるアプリケーション及び関連するデータベースが、そのような目的のために既存の本に基づいて生成され得る。５から７歳の子供に対して、センテンスを教えるアプリケーション及び関連するデータベースが生成され得る。他のセッティングにおいては他のモードが可能であり、本発明は、この点に限定されない。例えば、旅行者が既存の印刷された地図からより多くの情報を取得することを可能にするアプリケーション及び関連するデータベースが、生成され得る。他の例において、家庭内の電子デバイスに対して仮想リモートコントロールを可能にするアプリケーションが、本明細書に記載されたシステム及び技術を用いて生成され得る。
【００１４】
図２は、本発明の一実施形態に係る電子ペンシステムを示す図である。電子ペンシステムは、本のページ上の絶対的な先端位置情報を取得する。少なくとも２つの超音波センサＳ１ ２００及びＳ２ ２０２は、それぞれ（Ｄ，０）及び（−Ｄ，０）で示されるように、座標システムの原点（０，０）から等距離に、レシーバ１０８内で一列に配置されてよい。Ｅ−ｐｅｎ１１０は、超音波トランスミッタＴ２０４を有する。ペン先が押されると、トランスミッタは、複数のレシーバによって検出可能な超音波信号を送信する。距離Ｌ１＝（Ｔ，Ｓ１）及びＬ２＝（Ｔ，Ｓ２）が異なるので、超音波信号は２つのセンサに異なる時刻に到着する。レシーバ１０８は、その時間差を検出し、Ｌ１及びＬ２の長さを計算してよい。Ｔの位置は、式１によって計算される。
【数１】
【００１５】
Ｘ及びＹ座標は、ペン先の絶対位置の情報を指定する。Ｅ−ｐｅｎシステムは、この情報を接続１１２を通じてコンピュータシステム１０２に送信する。
【００１６】
この位置情報がユーザのコンピュータシステム１０２によって受信されると、当該情報は、本明細書で"プレーヤ"要素と呼ばれる１つのアプリケーションプログラムによって処理されてよい。プレーヤは、位置情報を受信して、少なくとも１つのデータベース内において、対応するマルチメディアコンテンツ及び／又は適切なアクションを検索し、当該対応するマルチメディアを再生及び／又は当該アクションを実行する。ユーザは、従来の紙の本を対話式のユーザ体験にすべく、プレーヤと対話する。ユーザはＥ−ｐｅｎを使用して本の上の１つのオブジェクトを選択する。そしてプレーヤは、ペン先の位置及びオブジェクトのタイプに基づいて対応する応答を提供する。
【００１７】
使用する前に、少なくとも１つのデータベースが、ペン先位置、現在の本のコンテンツ、当該本の現在ページ、現在の本についてのマルチメディアコンテンツ、及び現在の本についての予め定められたアクションに関連するアクション／応答情報を含むよう、生成されなければならない。出版者のコンピュータシステム上で実行する、本明細書で"メーカ"要素と呼ばれるアプリケーションプログラムは、これらのデータアイテムの間の関連付けを生成すべく使用され得る。メーカは、既存の従来の紙の本（或いは場合によっては新たに出版された本）に基づいてインタラクティブなマルチメディア製品を作成すべく、出版者によって（又はいくつかの場合において、精通したユーザによって）、限られた手作業とともに使用されてよい。メーカへの入力データは、本のページイメージ、追加のマルチメディアコンテンツ、及び予め定められた複数のアクションを含む。出版者は、ページイメージ上の１つのオブジェクトを選択して、関連するマルチメディアコンテンツ及び／又はアクションを、選択されたオブジェクトと関連付ける。全ての関連付け情報は、少なくとも１つのデータベースに記憶されてよい。
【００１８】
一実施形態において、インタラクティブなマルチメディア製品及び／又は本がユーザ又はユーザサイドの他人によって製作される場合に（例えば、親が子供による使用のための関連付けを準備する）、出版者のコンピュータシステムはユーザのコンピュータシステムと同一であってよい。一実施形態において、マルチメディアコンテンツは、ユーザによって作成された又はユーザによって取得された、１以上のデジタルイメージ、デジタルビデオ、デジタルオーディオファイル、及びテキストファイルを含んでよい。一実施形態において、ユーザは、デジタルイメージを本の複数のページとして提供してよく（例えば、ユーザオリジナルなデジタル写真）、本のそれぞれのページ上の複数のオブジェクトの、マルチメディアコンテンツとの関連付けを指定してよい。
【００１９】
図３は、本発明の一実施形態に係るマルチメディアシステムにおけるメーカ要素３００及びプレーヤ要素３０２のフロー図である。ブロック３０４において、メーカ要素３００は、本の１以上のページの複数のイメージを入力として受け入れて、その後に、それらのページ上に表れる複数のオブジェクトについてのゾーン情報を定める。一実施形態において、メーカは、マルチメディアコンテンツの出版者を務めるシステムユーザとの対話を通じてこれを達成してよい。ブロック３０８において、メーカは、複数のマルチメディアファイル及び複数のアクション３１０を入力データとして用いて、複数のペン位置、本のコンテンツ（例えば、本のページ上にあるオブジェクト）、及び関連する複数のマルチメディアコンテンツ（例えば、関連するオーディオ、ビデオ、複数のイメージ、テキスト等）、及び／又は、複数のアクションの間の関連付けを設定する。ブロック３１２において、メーカは、プレーヤ要素３０２による後の使用のために、複数のデータベースをパッケージする。一実施形態において、出版者は、メーカ要素をオペレーションしているときに複数のマルチメディアファイルを提供し、プレーヤ要素とともにそれらをユーザのコンピュータシステムに分散された複数のデータベースにインストールする。他の実施形態において、出版者は、インターネットのようなネットワークを通じてアクセス可能な複数のマルチメディアファイルへの関連付けを提供する。本実施形態において、プレーヤ要素は、知られたファイル転送プロトコル又はよく知られたハイパーテクスト転送プロトコル（ＨＴＴＰ）を使用して、必要に応じて複数のファイルを取得する。
【００２０】
データベースは、少なくとも、１つのブックコンテンツデータベース３１４、１つのマルチメディアデータベース３１６、及び１つのアクションライブラリ３１８を有する。ブックコンテンツデータベースは、本の複数のページの複数のイメージ、複数のオブジェクトについての複数のページ上の位置情報、及び複数のオブジェクト及びマルチメディアコンテンツ或いは複数のアクション／応答の間の関連付け情報を含む。マルチメディアデータベースは、本の複数のページ上の複数のオブジェクトに対応する、ユーザによる知覚のためのレンダリングのための、オーディオ、ビデオ、複数のイメージ、テキスト、及び他のデータを含む。アクションライブラリ３１８は、電子ペンの位置が、関連するアクションを示す本の１つのページ上の１つのオブジェクトと一致した場合に、ユーザのコンピュータシステムによって実行されるべき予め定められた複数のアクションのための複数の命令を含む。一実施形態において、当該複数のアクションは、後に続くコミュニケーションのための人間の言語の選択、スピーカのボリューム調整、コンピュータモニタの明るさ調整、入力／出力（Ｉ／Ｏ）ポートへの複数のコマンドの送信、コンピュータシステムのパワーオフ等を含んでよい。他の複数のアクションもまた考えられる。一実施形態において、本明細書で説明された３つのデータベースは、１つのデータベースに一体化されてよい。
【００２１】
本に対応する複数のデータベースは、任意の知られたメカニズムを用いて、ユーザのコンピュータシステムに分散されてよい。プレーヤアプリケーションがユーザのコンピュータシステム上にインストールされた後、ユーザは、本をブックホルダ上に置き、プレーヤ要素３０２をコンピュータシステム上で開始し、本と対話を開始する。ユーザが、本又はブックホルダの上の、システムにとって意味を持つ１つのエリアを選択した場合に、ユーザは有効な入力を選択した。一実施形態において、ユーザによる他のエリアの選択、システムによって無視され得る。ブロック３２０において、ユーザは、電子ペンを使用して本の１つのページ上に表された１つのオブジェクトを選択する。ブロック３２２において、レシーバは、選択の間に現在のペン先の位置を計算する。ブロック３２４において、レシーバ１８は、ペン先の位置情報を、接続１１２を用いてコンピュータシステム１０２に送信する。ブロック３２６において、コンピュータシステム上で動作しているプレーヤ要素は、位置情報を受信して、現在のページ上の現在のペン位置によって選択された１つのオブジェクト（もしあれば）に関連する情報を取得すべく、ブックコンテンツデータベース３１４を検索する。１つのオブジェクトが選択されて、マルチメディアコンテンツ及び／又は１つのアクションが当該選択されたオブジェクトに関連付けられている場合、プレーヤ要素は、ブロック３２８において、当該対応するマルチメディアコンテンツを再生し、及び／又は指定されたアクションを実行する。プレーヤ要素は、実行ブロック３２８において、マルチメディアデータベース３１６及びアクションライブラリ３１８からのデータを使用する。プレーヤ要素は、コンピュータシステム及び／又は通信可能に結合されたテレビのような民生電子機器上でのコンテンツの再生を管理する。
【００２２】
図４は、本発明の一実施形態に従って処理するプレーヤのフロー図である。プレーヤは、ブロック４００において、現在の位置情報を電子ペンシステムから受信する。ブロック４０２において、プレーヤは、一実施形態において、現在のペンの位置情報に基づいて、ユーザが本のページ上或いはレシーバ又はブックホルダ上の特定のエリアを選択しているか否かを判断する。そうである場合、一実施形態において、プレーヤはブロック４０４において、アクションライブラリ３１８を入力データとして使用して、選択された予め定められたアクションを処理する。予め定められたアクションは、スピーカのボリュームを増加又は減少させること、コンピュータモニタの視覚的属性を調整すること、後に続くコミュニケーションのための人間の言語の選択等のようなことを含んでよい。他のアクションは、特定の実装のために定められてよく、本発明はこの点に限定されない。一実施形態において、アクションはプレーヤ要素又はコンピュータシステムをコントロールすべく使用されてよく、これらのアクションは本のコンテンツと関係を持たない。現在のペンの位置情報が特定のエリアを示さない場合、プレーヤは、当該位置情報を、ブックコンテンツデータベース３１４内に記憶された、本のページについての知られた複数のオブジェクトと比較する。プレーヤは、ブロック４０６で、オブジェクトの境界座標及び現在のペン位置情報に基づいて、ページのどのオブジェクトが選択されたかを（もしあれば）判断する。１つのオブジェクトが選択された場合、ブロック４０８において、プレーヤは、選択されたオブジェクトの関連付け情報を、１以上のブックコンテンツデータベース、マルチメディアデータベース３１６、及びアクションライブラリ３１８から取得する。ブロック４１０において、プレーヤは関連付けされたマルチメディアコンテンツを再生するか、オブジェクト関連付け情報に基づいて１つのアクションを処理する。
【００２３】
電子ペンを用いた本のページ上の１つのオブジェクトの選択の結果として、ユーザが関連するマルチメディアコンテンツのレンダリングを引き起こし、関連するアクションがコンピュータシステム上で実行されることをもたらすことができる前に、データベースはデータが格納され、複数のオブジェクト、複数の位置、及びコンテンツ並びに複数のアクションの間の関連付けが設定されていなければならない。この処理は、本発明の一実施形態に従って、メーカ要素によって実行され得る。このメーカは、従来の本から出版者又はユーザによる限られた労力で電子素材をいかに生成するかという問題を解決する。本発明の実施形態は、コンピュータシステム上の複数のアクション／応答を紙の本から生成するための全般的な方法を提供する。本発明に基づいて、出版者又はユーザは、既存の又は新たに出版された従来の紙の本に関連付づけられたインタラクティブなマルチメディア素材を、限られた手作業で生成することができる。
【００２４】
メーカは、本の一のページ上に定められた１つのオブジェクトの選択に対して、異なる複数のアクション又は複数の応答を生成する。ここで、"オブジェクト"という用語は、ページ上で特定の意味を持つ任意のゾーンであってよい（例えば、少年の画像、リンゴの画像等）。メーカは、出版者又はユーザによる限られた入力で、ページ上のオブジェクトを特定する。種々の実施形態において、複数の応答は、オーディオ、ビデオの再生、イメージの表示、又は任意の他のマルチメディア情報のレンダリング、予め定められたアクションの実行、又はユーザからの入力に基づく論理スクリプトの実行を含む。メーカに対する入力データは、本５００の複数のページイメージ、マルチメディアコンテンツ５０２、及び１つの予め定められたアクションライブラリ３１８を含む。メーカの出力データは、ブックコンテンツデータベース３１４、マルチメディアデータベース３１６、及びアクションライブラリ３１８を含む。ブックコンテンツデータベースは、それぞれのページ上の複数のオブジェクト、マルチメディアデータベースの中のマルチメディアコンテンツ、及びアクションライブラリからの予め定められたアクションの間の関連付け関係を含む。
【００２５】
メーカは、３つのサービスを提供する。最初に、メーカは一のページ上の複数のオブジェクトを特定する。メーカは、限られたユーザ入力に基づいて、それぞれのオブジェクトの境界情報を判断する。第２、メーカは、複数のオブジェクト、複数のアクション、及び複数の応答の間の関連付けを生成する。例えば、１つのオーディオファイルが１つのオブジェクトに関連付けられている場合、ユーザが当該オブジェクトを電子ペンで選択すると、プレーヤは当該オーディオファイルを再生することができる。１つ以上のマルチメディアファイル及び１以上のアクション／応答が、それぞれのオブジェクトに関連付けられてよい。第３に、メーカは当該複数のデータベースをパッケージする。出版者又はユーザが、１つの本の複数のページについて関連付けの設定を終了すると、ユーザのコンピュータシステムへのプレーヤでの配布のために、メーカは、全ての情報をブックコンテンツデータベース、マルチメディアデータベース、及びアクションライブラリにパッケージする。
【００２６】
図５は、本発明の一実施形態に従うメーカ処理のフロー図である。ブロック５０４において、メーカは、本のコンテンツ（例えば、複数のオブジェクト定義及び複数の関連付け）、マルチメディア、及び複数のアクションを保持するための新たな空の複数のブックデータベースを生成する。ブロック５０６において、一実施形態において、メーカは、出版者又はユーザが、電子ペン又はマウスを用いることによる１つのオブジェクトゾーン及びイメージ処理アルゴリズムを特定することを可能にする。本オペレーションによって用いられるページイメージは、スキャナを用いるスキャニングによって取得されてよく、或いは既存のイメージファイルであってよい。一実施形態において、本はブックホルダ上に置かれ、ページイメージはコンピュータシステムのモニタ上に表示されてよい。このシナリオにおいて、表示されたページイメージ上の１つのオブジェクトの境界は、当該オブジェクトを定めるために使用されてよい。
【００２７】
種々の実施形態において、メーカは、ページイメージ上の複数のオブジェクトを特定するための１以上のいくつかの方法を使用してよい。一実施形態において、出版者又はユーザは、電子ペンを使用して、本のページ上のオブジェクトの境界に沿う曲線を描くか、当該境界上のキーポイントを選択する。電子ペンシステムは、ペン位置情報をメーカに送信し、メーカはしたがってオブジェクトの位置情報列を取得する。出版者の絵画速度に応じて、メーカは、位置のセットを再スケールして、それらを１つのオブジェクト境界として記録してよい。代わりに、ページイメージはモニタ上に表示されているので、出版者は、ページイメージ上のオブジェクトの境界に沿う曲線を描くためにマウスを使用してよく、或いは出版者は、オブジェクトの境界をカプセル化するために技術的に良く知られるように、或る形（三角、四角、楕円、又は多角形）を修正してよい。他の実施形態において、出版者は、モニタ上に表示されたオブジェクトの境界点のセットを選択するためにマウスを使用してよい。メーカは、オブジェクトの境界を自動的に特定する１以上の知られたデジタルイメージ処理アルゴリズムを適用する。例えば、知られた"intelligent scissor"又は"magic wand"アルゴリズムが使用され得る。いくつかの実施形態において、アルゴリズムは、ピクセルのグレースケール値、色、及び他のイメージ情報を調べることによって、複数のオブジェクトを特定する。図６は、本発明の一実施形態に係るオブジェクト特定処理の一例である。本例において、メーカは、ページイメージにおいていくつかのオブジェクトを特定し、オブジェクトのそれぞれについて１つの境界を生成した。このようにして、全てのオブジェクトが、１つのページイメージについて定められ得る。
【００２８】
次に、ブロック５０８において、出版者又はユーザはメーカを使用して、複数のオブジェクト、複数のアクション、及び複数の応答の間の関連付けを手動で生成する。出版者又はユーザは、１つのオブジェクトを選択して、複数のアクション及び／又は複数の応答を当該オブジェクトに割り当てる。一実施形態の最後において、３種類のアクション／応答が存在する。
【００２９】
第１に、プレーヤは、マルチメディアコンテンツを再生してよく、ビデオの再生、オーディオの再生、１以上のイメージの表示、又はテキストの表示を含む。この場合、出版者は、複数のマルチメディアファイルを１つのオブジェクトに関連付ける。メーカは、この関連付け情報を記録して、ブックコンテンツデータベースに当該関連付けを保存する。
【００３０】
第２に、プレーヤは、ビデオ、オーディオ、イメージ、又はテキストを再生する以外の、予め定められたアクションを実行してよい。例えば、予め定められたアクションは、コンピュータシステムのスピーカの音量調節、モニタの明るさ調節、任意のＩ／Ｏポートへのコマンド送信、又はコンピュータシステムに影響する任意の他のアクションであってよい。予め定められた複数のアクションは、複数のグループに分類されてよい。それぞれのグループは、ダイナミックリンクライブラリ（ＤＬＬ）５１０を含んでよい。１つのソフトウェアインタフェースは、複数のＤＬＬ及びメーカの間に定められる。例えば、一実施形態において、アプリケーションプログラムインタフェース（ＡＰＩ）"GetActionList (LPSAction a_SActionArray, DWORD dwArrayLength,)"、"CallActionByID (INT ActionID)"が、それぞれのＤＬＬに実装されてよい。"GetActionList"関数は、全ての有効な複数のアクション名及びそれらの複数のアクションＩＤを戻す。メーカは、このＡＰＩをコールして、そのアクション名リストをメーカ要素のユーザインタフェース（ＵＩ）上に表示する。出版者又はユーザが１つのアクション名を１つのオブジェクトに関連付けると、メーカは、対応するAction IDを当該オブジェクトに割り当て、この関連付け情報をブックコンテンツデータベース内に保存する。プレーヤが当該オブジェクトのアクションを実行することを望む場合、プレーヤは当該Action IDを当該データベースから取得して、"CallActionByID (INT ActionID) 関数をコールする。CallActionByID ()は、当該Action IDに基づいて特定のアクションを呼び出す。
【００３１】
この処理は図７に示される。図７は、本発明の一実施形態に係るアクション関連付け処理のフロー図である。ブロック７００において、メーカ３００は、アクションリスト７０２にアクセスするアクションリスト取得ＡＰＩをコールする。アクションリスト内のそれぞれのエントリは、固有のアクションＩＤによって指定されてよい。アクションのいくつかの例が図７に示されるが、他のアクションもまた使用され得る。ブロック７０４において、メーカは、アクションＩＤを現在処理されているオブジェクトに関連付ける。ブロック７０６において、メーカは、当該関連付け情報をアクションライブラリ３１８にパッケージする。アクションライブラリは、その後、プレーヤ要素３０２によって読み込まれ得る。ブロック７０８において、特定のオブジェクトが選択され、当該オブジェクトが１つのアクションに関連付けられた場合、プレーヤはアクションＩＤをアクションライブラリから取得する。ブロック７１０において、プレーヤ要素は、アクションＩＤ及びCallActionByID ()ＡＰＩを用ることによって、アクションをコールする。当該アクションはその後、ブロック７１２においてコンピュータシステムによって実行される。
【００３２】
第３に、プレーヤは、ユーザからの前の入力に基づく複合的な論理的動作を実行してよい。例えば、図８に示されるように、２つのボタンとともに、本の現在のページ上に複数の動物のイメージがあると仮定する。ユーザが（電子ペンを使用して）最初に"Ｅｎｇｌｉｓｈ"ボタン８００を選択して、その後ページ上のいずれかの動物の絵を選択した場合、プレーヤは（例えば）英語におけるその動物名を含むオーディオファイルを再生する。しかしながら、ユーザが"Ｃｈｉｎｅｓｅ"ボタン８０２を最初に選択して、その後ある動物の絵を選択した場合、プレーヤは中国語におけるその動物名を含むオーディオファイルを再生する。これは複合的な論理的動作の単なる一例である。多くの他の応答が、引き続くユーザ入力に基づいてなされてよい。
【００３３】
この論理的動作は、出版者自身の機能を追加することによって、オブジェクトの振る舞いを拡張する。一実施形態において、それは、スクリプト言語拡張機能をメーカ３００に追加することによって実装され得る。種々の実施形態において、スクリプト言語は、ＶＢＳｃｒｉｐｔ、ＪＳｃｒｉｐｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰｅｒｌＳｃｒｉｐｔ、ＰｙｔｈｏｎＳｃｒｉｐｔ等のような、そのような目的のための任意の知られた言語であってよい。一実施形態において、本のそれぞれのページについて１つのスクリプトモジュールが存在してよい。出版者又はユーザは、１つのオブジェクトについての１つのスクリプト関数をデザインしてよい。１つのページのグローバル変数又は他の複数の関数もまた、スクリプトモジュール内に定められてよい。メーカは、それぞれのページについてのスクリプトモジュールをアクションライブラリ３１８に保存してよい。プレーヤは、現在のページについてのスクリプトモジュールをアクションライブラリからロードして、スクリプトモジュールを対応するスクリプトエンジン（例えば、スクリプトを処理するための実行モジュール）に加える。ユーザが、１つのスクリプト関数が割り当てられた１つのオブジェクトを選択した場合、プレーヤは、スクリプトエンジンを使用して当該スクリプト関数を実行するだろう。
【００３４】
図９は、本発明の一実施形態に係る、この論理的動作の関連付け処理のフロー図である。ブロック９００において、メーカは、選択された本の１つのページについて、ページのグローバル変数及び複数の関数を定める。オーディオ及びビデオ再生関数の簡略化された例が、ブロック９０２に示される。ブロック９０４において、メーカは、選択された１つのオブジェクトについてスクリプト関数を定める。スクリプト関数の例の一部分、ブロック９０６に示される。ブロック９０８において、メーカは、関連付け情報及びスクリプト関数を、１つのスクリプトモジュールとしてパッケージし、関連付け情報及びスクリプト関数をアクションライブラリ内に記憶する。そして、ユーザが本の現在ページと対話しているときに、プレーヤは、現在ページについてのスクリプトモジュールをアクションライブラリからロードする。ブロック９１２において、プレーヤは、スクリプトモジュールをスクリプトエンジンに追加する。一実施形態において、スクリプトエンジンは、Ｍｉｃｒｏｓｏｆｔ社から商業的に入手できるＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムの複数のバージョンによって提供されるような、ＶＢＳｃｒｉｐｔ、Ｊｓｃｒｉｐｔであってよい。ブロック９１６において、ユーザが、１つのスクリプトに関連付けられた１つのオブジェクトを選択した場合に、プレーヤはスクリプト関数をコールしてよい。スクリプト関数のコールは、スクリプトエンジンが、選択されたオブジェクトに関連付けられたスクリプトを処理することをもたらす。ブロック９１８において、スクリプトエンジンのオペレーションの結果、アクションが行われる。
【００３５】
図５に戻って、ブロック５１２において、メーカは、全ての関連付け情報、複数のマルチメディアファイル、及び他の複数のアクション／複数の応答を、マルチメディアデータベース、ブックコンテンツデータベース、及びアクションライブラリの中の適切な場所に記憶する。ブロック５１４で、一実施形態において、メーカは、出版者又はユーザによる意図された関連付けが記憶された旨の確認のために、本の中のページのプレビューを生成する。ブロック５１６において、メーカは、後のユーザのコンピュータシステムへの配布のために、データベース５１８をパッケージする。
【００３６】
本発明の実施形態は、既存のマルチメディアシステムと比較して少なくとも以下の利点を提供する。ユーザは、電子ペンを入力方式として使用することができる。これはＰＣのようなコンピュータシステムにおける最も自然な入力方法である。この入力方法を用いて、本発明は、キーボードをタイプすることに慣れていない人によって使用され得る。ユーザは、さらに従来の本を読む又は見ることができる。一方で、ユーザは、ＰＣからのマルチメディア情報の取得をコントロールすることもできる。これは、ユーザが紙の本の利点と、コンピュータがローカルに又はインターネットのようなネットワークを通じて利用可能なオーディオ、ビデオ、イメージ、及びテキストを提供するというマルチメディアの機能との両方を楽しむことができるということを意味する。その上、本発明の実施形態によって、新たな使用モデルが可能になる。単に２つの例において、子供が言語を学ぶ教育システムが本発明の実施形態を用いて提供され、旅行者がよりアクティブな情報を従来の地図から取得するために本発明を使用することができる。本発明を用いて多くの他の使用モデルが可能である。
【００３７】
このように、限られたユーザ入力しか要しないインタラクティブなマルチメディアブックへの従来の本からの転換を加速する方法及び装置が本明細書に記載された。出版者は、インタラクティブな素材を構築すべく、既存の本に基づいて本明細書に記載された技術を使用し得る。本発明は、ページ上の複数のオブジェクトを特定する複数の方法を提供する。出版者又はユーザは、紙上のオブジェクトの境界を定めるために電子ペンを使用することができ、知られたデジタルイメージ処理アルゴリズムの補助とともに、コンピュータシステムのモニタ上のオブジェクトの境界を定めるためにマウスを使用することができる。さらに、１つの本に対して複数のアクションが可能になる。これは、ユーザが本のページとの対話を通じてコンピュータシステムをコントロールし得ることを意味する。最後に、１つの本に対して論理的動作が可能になる。この機能は、本のコンテンツを無数の方面に拡張する。例えば、既存の本は、仮想的な多言語学習用の本、仮想的な楽器、民生用電子機器のための仮想的なリモートコントローラに変換され得る。本発明の実施形態を用いて他の複数の用途が考えられる。
【００３８】
本明細書に記載されたオペレーションはシーケンシャル処理として説明されたが、いくつかのオペレーションは実際にはパラレル又はコンカレントに実行されてよい。その上、いくつかの実施形態において、本発明の主旨から逸脱することなく、オペレーションの順番が並べ替えられてよい。
【００３９】
本明細書に記載された技術は、どの特定のハードウェア又はソフトウェア構成にも限定されない。それらはどのコンピューティング又はプロセッシング環境に適用可能であることが分かるだろう。この技術はハードウェア、ソフトウェア、又はその２つの組合せで実装され得る。この技術は、モバイル又は据え置き型のコンピュータ、携帯情報端末、セットトップボックス、移動電話、ページャ、並びに他の電子デバイスのような、それぞれがプロセッサ、プロセッサによる読み込み可能なストレージメディア（揮発性及び不揮発性メモリ、及び／又はストレージ要素を含む）、少なくとも１つの入力デバイス及び１以上の出力デバイスを有する、プログラム可能な装置上で動作するプログラムで実装され得る。プログラムコードは、入力デバイスを用いて入力されたデータに適用され、記載された機能を実行し、出力情報を生成する。出力情報は、１以上の出力デバイスに適用されてよい。当業者は、本発明が、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、及び同種のものを含む、様々なコンピュータシステム構成で実施され得ることを理解するだろう。本発明は、複数のタスクが、通信ネットワークを通じて結びつけられた複数のリモートのプロセッシングデバイスによって実行され得る、分散コンピューティング環境で実施されることもできる。
【００４０】
それぞれのプログラムは、プロセッシングシステムとコミュニケートする高レベルの手続き型、又はオブジェクト指向プログラミング言語で実装されてよい。一方で、複数のプログラムは、必要に応じてアッセンブリ又はマシン言語で実装されてよい。いずれの場合も、言語はコンパイル又は翻訳される。
【００４１】
複数のプログラム命令は、当該命令でプログラムされた汎用又は特殊用途のプロセッシングシステムに、本明細書で説明されたオペレーションを実行させるべく使用されてよい。代わりに、当該オペレーションは、当該オペレーションを実行するためのハードウェア組み込みの論理回路を含む特定のハードウェア要素、又はプログラムされたコンピュータ要素及び特定用途向けのハードウェア要素の任意の組合せによって実行されてよい。本明細書に記載された方法は、当該方法を実行するようプロセッシングシステム又は他の電子デバイスをプログラムすべく使用される記憶された複数の命令を有する機械可読メディアを含むコンピュータプログラム製品として提供されてよい。本明細書で用いられる"機械可読メディア"という用語は、機械による実行のための複数の命令シーケンスを記憶又は符号化することができ、本明細書に記載された方法のうちのいずれかを機械に実行させる、任意のメディアを含むだろう。"機械可読メディア"という用語は従って、固体メモリ、光及び磁気ディスク、並びにデータ信号を符号化する搬送波を含むが、これらに限定されない。さらに、ソフトウェアのことを、様々な形で（例えば、プログラム、プロシージャ、プロセス、アプリケーション、モジュール、ロジック等）、１つのアクションを起こす又は１つの結果をもたらすことと言うことは技術的によく行われる。そのような表現は単に、プロセッサに１つのアクションを行わせる又は１つの結果を生成させるプロセッシングシステムによるソフトウェアの実行を述べる簡略な方法である。
【００４２】
本発明は実例としての実施形態を参照して説明されたが、この記載は限定的な意味で解釈されることを意図されていない。本発明の他の実施形態だけでなく、本発明に関連する、当業者に明らかな、本実例の実施形態の様々な変形は、本発明の主旨及び範囲内にあるとみなされる。
【特許請求の範囲】
【請求項１】
印刷物上の１つの選択されたオブジェクトを、１つのコンピュータシステムによって提供される１つの有効な応答と関連付ける方法であって、
前記印刷物の１つのページ上の位置を特定する段階と、
前記位置を前記コンピュータシステムに送信する段階と、
前記印刷物に関連する選択されたデジタルコンテンツに前記位置を関連付ける段階であって、前記選択されたデジタルコンテンツは前記コンピュータシステムによってアクセス可能である段階と、
前記位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供する段階と
を備え、
前記有効な応答は、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及び前記コンピュータシステムによる１つのアクションの実行を含む方法。
【請求項２】
前記位置を特定する段階は、
印刷物の近傍に位置する１つの電子ペンによって生成された超音波信号のタイミング情報を検出する段階
を有する請求項１に記載の方法。
【請求項３】
前記位置を関連付ける段階は、
１つの印刷物データベースを検索する段階
を有し、
前記印刷物データベースは、前記印刷物の複数のページの複数のイメージ及び前記複数のページ上の複数のオブジェクトの位置情報を含む
請求項１に記載の方法。
【請求項４】
前記アクションを実行する段階は、
後に続く複数の応答のために使用されるべき１つの言語を選択する段階
を有する請求項１に記載の方法。
【請求項５】
前記アクションを実行する段階は、
１つのスピーカのボリュームを調節する段階と、１つのコンピュータモニタの明るさを調節する段階と、１つの入力／出力（Ｉ／Ｏ）ポートに複数のコマンドを送信する段階と、前記コンピュータシステムをパワーオフする段階とのうちの少なくとも１つを有する
請求項１に記載の方法。
【請求項６】
前記印刷物は、１つの従来の紙の本を有する
請求項１に記載の方法。
【請求項７】
機械アクセス可能な複数の命令を有する１つのストレージメディアを備える製品であって、
前記複数の命令が１つのプロセッサによって実行された場合に、前記複数の命令は、
印刷物の１つのページ上の位置を特定することと、
前記位置を１つのコンピュータシステムに送信することと、
前記印刷物に関連する選択されたデジタルコンテンツに前記位置を関連付けることであって、前記選択されたデジタルコンテンツは前記コンピュータシステムによってアクセス可能であることと、
前記位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供すること
によって、前記印刷物上の１つの選択されたオブジェクトを、前記コンピュータシステムによって提供される１つの有効な応答と関連付けることを提供し、
前記有効な応答が、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及び前記コンピュータシステムによる１つのアクションの実行を含む製品。
【請求項８】
前記位置を特定するための複数の命令は、
印刷物の近傍に位置する１つの電子ペンによって生成された超音波信号のタイミング情報を検出するための複数の命令
を含む請求項７に記載の製品。
【請求項９】
前記位置を関連付けるための複数の命令は、
１つの印刷物データベースを検索するための複数の命令
を含み、
前記印刷物データベースは、前記印刷物の複数のページの複数のイメージ及び前記複数のページ上の複数のオブジェクトの位置情報を含む
請求項７に記載の製品。
【請求項１０】
前記アクションを実行するための複数の命令は、
後に続く複数の応答のために使用されるべき１つの言語を選択するための複数の命令
を含む請求項７に記載の製品。
【請求項１１】
前記アクションは、１つのスピーカのボリュームを調節することと、１つのコンピュータモニタの明るさを調節することと、１つの入力／出力（Ｉ／Ｏ）ポートに複数のコマンドを送信することと、前記コンピュータシステムをパワーオフすることとのうちの少なくとも１つを含む
請求項７に記載の製品。
【請求項１２】
印刷物上の１つの選択されたオブジェクトを、１つのコンピュータシステムによって提供される１つの有効な応答と関連付けるためのシステムであって、
前記印刷物上の位置を決定する１つのポインティングデバイスと、
前記位置を前記コンピュータシステムに送信する１つの通信デバイスと、
前記印刷物に関連する選択されたデジタルコンテンツに前記位置を関連付ける１つのプレーヤ要素であって、前記選択されたデジタルコンテンツは前記コンピュータシステムによってアクセス可能であり、前記位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供するプレーヤ要素と
を備え、
前記有効な応答は、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及び前記コンピュータシステムによる１つのアクションの実行を含む
システム。
【請求項１３】
前記ポインティングデバイスは１つの電子ペンを有する
請求項１２に記載のシステム。
【請求項１４】
前記ポインティングデバイスに対して固定された関係で前記印刷物を保持する１つのホルダ構造
をさらに備える請求項１２に記載のシステム。
【請求項１５】
デジタルマルチメディアコンテンツを記憶する１つのマルチメディアデータベースと、
印刷物の複数のページの複数のイメージ、複数のページ上の複数のオブジェクトについての位置情報、及び前記複数のオブジェクトと前記マルチメディアコンテンツ及び複数のアクションのうちの少なくとも１つとの間の関連付け情報を記憶する１つの印刷物コンテンツデータベースと、
前記システムで実行されるべき複数のアクションのための複数の命令を記憶する１つのアクションライブラリと
をさらに備える請求項１２に記載のシステム。
【請求項１６】
前記印刷物は、１つの従来の紙の本を有する
請求項１２に記載のシステム。
【請求項１７】
前記アクションは、後に続く複数の応答のために使用されるべき１つの言語を選択することを含む
請求項１２に記載のシステム。
【請求項１８】
前記アクションは、１つのスピーカのボリュームを調節することと、１つのコンピュータモニタの明るさを調節することと、１つの入力／出力（Ｉ／Ｏ）ポートに複数のコマンドを送信することと、前記コンピュータシステムをパワーオフすることとのうちの少なくとも１つを含む
請求項１２に記載のシステム。
【請求項１】
印刷物上の１つの選択されたオブジェクトを、１つのコンピュータシステムによって提供される１つの有効な応答と関連付ける方法であって、
前記印刷物の１つのページ上の位置を特定する段階と、
前記位置を前記コンピュータシステムに送信する段階と、
前記印刷物に関連する選択されたデジタルコンテンツに前記位置を関連付ける段階であって、前記選択されたデジタルコンテンツは前記コンピュータシステムによってアクセス可能である段階と、
前記位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供する段階と
を備え、
前記有効な応答は、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及び前記コンピュータシステムによる１つのアクションの実行を含む方法。
【請求項２】
前記位置を特定する段階は、
印刷物の近傍に位置する１つの電子ペンによって生成された超音波信号のタイミング情報を検出する段階
を有する請求項１に記載の方法。
【請求項３】
前記位置を関連付ける段階は、
１つの印刷物データベースを検索する段階
を有し、
前記印刷物データベースは、前記印刷物の複数のページの複数のイメージ及び前記複数のページ上の複数のオブジェクトの位置情報を含む
請求項１に記載の方法。
【請求項４】
前記アクションを実行する段階は、
後に続く複数の応答のために使用されるべき１つの言語を選択する段階
を有する請求項１に記載の方法。
【請求項５】
前記アクションを実行する段階は、
１つのスピーカのボリュームを調節する段階と、１つのコンピュータモニタの明るさを調節する段階と、１つの入力／出力（Ｉ／Ｏ）ポートに複数のコマンドを送信する段階と、前記コンピュータシステムをパワーオフする段階とのうちの少なくとも１つを有する
請求項１に記載の方法。
【請求項６】
前記印刷物は、１つの従来の紙の本を有する
請求項１に記載の方法。
【請求項７】
機械アクセス可能な複数の命令を有する１つのストレージメディアを備える製品であって、
前記複数の命令が１つのプロセッサによって実行された場合に、前記複数の命令は、
印刷物の１つのページ上の位置を特定することと、
前記位置を１つのコンピュータシステムに送信することと、
前記印刷物に関連する選択されたデジタルコンテンツに前記位置を関連付けることであって、前記選択されたデジタルコンテンツは前記コンピュータシステムによってアクセス可能であることと、
前記位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供すること
によって、前記印刷物上の１つの選択されたオブジェクトを、前記コンピュータシステムによって提供される１つの有効な応答と関連付けることを提供し、
前記有効な応答が、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及び前記コンピュータシステムによる１つのアクションの実行を含む製品。
【請求項８】
前記位置を特定するための複数の命令は、
印刷物の近傍に位置する１つの電子ペンによって生成された超音波信号のタイミング情報を検出するための複数の命令
を含む請求項７に記載の製品。
【請求項９】
前記位置を関連付けるための複数の命令は、
１つの印刷物データベースを検索するための複数の命令
を含み、
前記印刷物データベースは、前記印刷物の複数のページの複数のイメージ及び前記複数のページ上の複数のオブジェクトの位置情報を含む
請求項７に記載の製品。
【請求項１０】
前記アクションを実行するための複数の命令は、
後に続く複数の応答のために使用されるべき１つの言語を選択するための複数の命令
を含む請求項７に記載の製品。
【請求項１１】
前記アクションは、１つのスピーカのボリュームを調節することと、１つのコンピュータモニタの明るさを調節することと、１つの入力／出力（Ｉ／Ｏ）ポートに複数のコマンドを送信することと、前記コンピュータシステムをパワーオフすることとのうちの少なくとも１つを含む
請求項７に記載の製品。
【請求項１２】
印刷物上の１つの選択されたオブジェクトを、１つのコンピュータシステムによって提供される１つの有効な応答と関連付けるためのシステムであって、
前記印刷物上の位置を決定する１つのポインティングデバイスと、
前記位置を前記コンピュータシステムに送信する１つの通信デバイスと、
前記印刷物に関連する選択されたデジタルコンテンツに前記位置を関連付ける１つのプレーヤ要素であって、前記選択されたデジタルコンテンツは前記コンピュータシステムによってアクセス可能であり、前記位置及び関連付けられたコンテンツに少なくとも部分的に基づいて、１つの有効な応答をユーザに提供するプレーヤ要素と
を備え、
前記有効な応答は、オーディオコンテンツのレンダリング、ビデオコンテンツのレンダリング、イメージコンテンツのレンダリング、テキストコンテンツのレンダリング、及び前記コンピュータシステムによる１つのアクションの実行を含む
システム。
【請求項１３】
前記ポインティングデバイスは１つの電子ペンを有する
請求項１２に記載のシステム。
【請求項１４】
前記ポインティングデバイスに対して固定された関係で前記印刷物を保持する１つのホルダ構造
をさらに備える請求項１２に記載のシステム。
【請求項１５】
デジタルマルチメディアコンテンツを記憶する１つのマルチメディアデータベースと、
印刷物の複数のページの複数のイメージ、複数のページ上の複数のオブジェクトについての位置情報、及び前記複数のオブジェクトと前記マルチメディアコンテンツ及び複数のアクションのうちの少なくとも１つとの間の関連付け情報を記憶する１つの印刷物コンテンツデータベースと、
前記システムで実行されるべき複数のアクションのための複数の命令を記憶する１つのアクションライブラリと
をさらに備える請求項１２に記載のシステム。
【請求項１６】
前記印刷物は、１つの従来の紙の本を有する
請求項１２に記載のシステム。
【請求項１７】
前記アクションは、後に続く複数の応答のために使用されるべき１つの言語を選択することを含む
請求項１２に記載のシステム。
【請求項１８】
前記アクションは、１つのスピーカのボリュームを調節することと、１つのコンピュータモニタの明るさを調節することと、１つの入力／出力（Ｉ／Ｏ）ポートに複数のコマンドを送信することと、前記コンピュータシステムをパワーオフすることとのうちの少なくとも１つを含む
請求項１２に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２００７−５２４１３５（Ｐ２００７−５２４１３５Ａ）
【公表日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００５−５１２１４２（Ｐ２００５−５１２１４２）
【出願日】平成１５年１２月１９日（２００３．１２．１９）
【国際出願番号】ＰＣＴ／ＣＮ２００３／００１０８７
【国際公開番号】ＷＯ２００５／０５９８０１
【国際公開日】平成１７年６月３０日（２００５．６．３０）
【出願人】（５９１００３９４３）インテル・コーポレーション (1,101)
【出願人】（５０６１１０９７７）インテル・チャイナ リミテッド (4)
【Ｆターム（参考）】
【公表日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願日】平成１５年１２月１９日（２００３．１２．１９）
【国際出願番号】ＰＣＴ／ＣＮ２００３／００１０８７
【国際公開番号】ＷＯ２００５／０５９８０１
【国際公開日】平成１７年６月３０日（２００５．６．３０）
【出願人】（５９１００３９４３）インテル・コーポレーション (1,101)
【出願人】（５０６１１０９７７）インテル・チャイナ リミテッド (4)
【Ｆターム（参考）】
[ Back to top ]