表示物の生成方法、デジタルメディア提供システム、それらのためのコンピュータプログラムおよび表示物体
【課題】対象ドキュメントのコンテンツへの視覚的な影響が少なくユーザには認識が容易な、ドキュメントの部分領域にリンクされたデジタルメディアに容易にアクセスできる技術を提供する。
【解決手段】ドキュメントの部分領域に重なるようにデジタルメディアがリンクされていることを示す埋め込み型メディアマーカ（ＥＭＭ: Embedded Media Marker)を配置する。ＥＭＭの領域内にはドキュメントの部分を識別するのに十分な特徴点が含まれるように調整されて配置され、これらの特徴点に関する情報がリンクされたデジタルメディアと関連付けられてデータベース上に保存される。ユーザは、このＥＭＭの写真を撮影し、その写真の特徴点を解析することで、リンクされたデジタルメディアを取得することができる。
【解決手段】ドキュメントの部分領域に重なるようにデジタルメディアがリンクされていることを示す埋め込み型メディアマーカ（ＥＭＭ: Embedded Media Marker)を配置する。ＥＭＭの領域内にはドキュメントの部分を識別するのに十分な特徴点が含まれるように調整されて配置され、これらの特徴点に関する情報がリンクされたデジタルメディアと関連付けられてデータベース上に保存される。ユーザは、このＥＭＭの写真を撮影し、その写真の特徴点を解析することで、リンクされたデジタルメディアを取得することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルメディアの埋め込みマーカを設けた表示物の生成方法、この表示物を用いてデジタルメディアを提供するシステム、それらに用いられるソフトウェア、そして表示物に関する。
【背景技術】
【０００２】
紙媒体は情報を閲覧する媒体としては最も広く利用されている媒体ではあるが、ビデオ、音楽といった動的なメディアを再生することはできない。一方、携帯電話による音楽やビデオの再生が盛んになってきてはいるが、紙の持つ、高い解像度、大きな表示面積、情報配置の柔軟性、屋外での視認性や静的なコンテンツに対する強健さには敵わない。現在、画像認識技術を用いることで紙ドキュメントに対応する動的メディアへリンクをすることが可能となっている。携帯電話に内蔵されているカメラでドキュメントの部分的な画像を撮影する。ドキュメントの部分画像はその画像中にある特徴を用いて識別され、そのドキュメント中にリンクされたデジタルメディアが検索され、携帯電話上で再生される。
【０００３】
こうした紙ドキュメント上のメディアリンクを作成するタイプの方法で一般的なのは、ドキュメント上にコード化したマーカを印刷するものである。そうしたマーカの例としては、２次元バーコード、ドットの印刷パターンが良く知られている（非特許文献１）。しかしながら、こうしたマーカは視覚的にも、ドキュメントのコンテンツの配置の点でも邪魔になる。データグリフ（非特許文献２）は、紙上に、見えにくい、機械が認識可能なパターンを印刷することでこうした問題を解消しようとしている。しかし、このタイプのマーカは高解像度のプリンターとドキュメント識別用のカメラとが必要となる。電子的なマーカ、例えばRFIDを使用することも可能であるが（非特許文献３）、生成コストが増加してしまう。
【０００４】
他のシステムではドキュメントコンテンツ自体の特徴を使って、関連するドキュメントの部分画像を識別し、それをメディアリンクを作成するのに用いている。例えば、HOTPAPER（非特許文献４）、Mobile Retriever（非特許文献５）は、単語の空間配置のようなドキュメント中のテキストに基づいた特徴を用いている。Bookmarkr（非特許文献６）やMapSnapper（非特許文献７）は、画素レベルの特徴（例えばSIFTアルゴリズム）を、写真や図といった一般的なドキュメントコンテントを識別するのに用いている。こうしたシステムでは、視覚的に邪魔になるマークは識別に必要にはならない。
【０００５】
しかしながら、既存のマーカを用いた方法とコンテンツに基づく方法とはともにリンクされたメディアの種類がわからない。バーコードとデータグリフは眼に見えるが、そこに関連付けられたメディアの存在や種類を直接示してはいない。コンテンツの特徴を使用する場合には、ドキュメントへのメディアのリンクについて、ユーザが一見して分かる形では、紙上に何も示さない。この結果、例えば先のHotPaperでは、ホットスポットを探すためには、携帯電話による撮影画像上に赤いドットが表示されたり、振動が発生するなどのフィードバックがあるまで、紙の上を携帯電話のカメラを移動させる必要がある。
【０００６】
しかし、可視、不可視のバーコード、データグリフ、アノトパターンといった既存技術はユーザが入手可能なマルチメディアに関して、意味ある情報をユーザに提供しない。
【０００７】
従って、目障りでなく、レイアウトへの制約が少なく、プリンターやカメラの解像度への依存度が低い、埋込マーカが必要とされている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ブレント ヘフト（B. Hecht)外３名、「ウィキアイ−場所情報で参照されたウィキペディアコンテントを探索するためのマジックレンズの利用（Wikeye - Using Magic Lenses to Explore Georeferenced Wikipedia Content）」、第３回携帯インタラクションデバイスの普及に関する国際ワークショップ予稿集（Proceedings of the 3rd International Workshop on Pervasive Mobile Interaction Devices (PERMID)）、２００７年、ｐ.６−１０
【非特許文献２】デイビッド ヘフト（David Hecht)、「ハードコピーデジタルドキュメントのための埋込みデータグリフ技術（Embedded Data Glyph Technology for Hardcopy Digital Documents）」、ＳＰＩＥ−カラーハードコピーとグラフィックス技術ＩＩＩ（SPIE -Color Hard Copy and Graphics Arts III）、１９９４年２月、第２１７１巻、ｐ.３４１−３５２
【非特許文献３】デレク レイリー（Derek Reilly）外４名、「マークアップマップ、紙の地図と電子情報源との組み合わせ（Marked-up maps: combining paper maps and electronic information resources）」、パーソナルおよびユビキタスコンピューティング（Personal and Ubiquitous Computing）、２００６年、第１０巻第４号、ｐ.２１５−２２６
【非特許文献４】ベルナ エロール（Berna Erol)外２名、「ホットペーパー：携帯電話を用いた紙のマルチメディアインタラクション（HOTPAPER: multimedia interaction with paper using mobile phones）」、マルチメディア予稿集、２００８年、ｐ.３９９−４０８
【非特許文献５】フー リュウ（Xu Liu）外１名、「モバイルリトリバー：物体源からのデジタルドキュメントへのアクセス（Mobile Retriever: access to digital documents from their physical source）」、ドキュメント分析と認識の国際誌（Int. J. Doc. Anal. Recognit.）、２００８年、第１１巻第１号、ｐ．１９−２７
【非特許文献６】ネイルス ヘンゼ（Neils Henze）外１名, 「撮影しあなたのフォトブックを共有する（Snap and share your photobooks）」、マルチメディア予稿集（Proceedings of Multimedia）、２００８年、ｐ．４０９−４１８
【非特許文献７】ジョナサン ハレ（Jonathan Hare）外３名、「マップスナッパー：携帯電話からの画像適合のための効率的アルゴリズム（MapSnapper: Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones）」、ＳＰＩＥ予稿集、２００８年、第６８２０巻、pp 68200L-68200L-11
【非特許文献８】チョン リュウ（Qiong Liu)外４名、「高速不変変換を用いた高精度かつ言語非依存のドキュメント検索（High Accuracy and Language Independent Document Retrieval With A Fast Invariant Transform）」、ＩＣＭＥ予稿集（Proceedings of ICME）、２００９年、ｐ．３８６−３８９
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上述したような、媒体上のマーカを用いてリンクされたメディアにアクセスする既存のシステムあるいは方法が有していた課題の少なくとも一部を解決することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一形態である、表示物の生成方法は、付加的なデジタルメディアを提供するために用いる表示物の生成方法であって、表示媒体の表示面の上に表示されるコンテント情報を取得し、前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、前記表示条件に基づいて前記マーカを出力し、少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶する、ことを特徴とする。
さらに別の態様では、表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする。
さらに別の態様では、表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする。
さらに別の態様では マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする。
さらに別の態様では、表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする。
さらに別の態様では、表示媒体の表面上に前記コンテント情報と前記表示条件とに基づいて前記マーカを合成して出力することを特徴とする。
さらに別の態様では、マーカを、前記表示条件に応じて、透光性を有する基材上に印刷出力し、前記表示媒体の表面上に前記コンテント情報を出力し、前記表示媒体と前記基材とを重ね合わせて表示物を構成することを特徴とする。
本発明の別の形態である、デジタルメディアを提供するシステムは、上記の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するシステムであって、前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、を備えることを特徴とする。
本発明の別の形態である、表示物を生成するためのコンピュータプログラムは、付加的なデジタルメディアを提供するために用いる表示物を生成するためのコンピュータプログラムであって、コンピュータを、前記表示媒体の表示面の上に表示されるコンテント情報を取得し、前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、前記表示条件に基づいて前記マーカを出力し、少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶するように動作させるためのコンピュータプログラムである。
さらに別の態様では、表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする。
さらに別の態様では、表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする。
さらに別の態様では、マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする。
さらに別の態様では、表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする。
さらに本発明の別の形態である、上記の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するためのコンピュータプログラムは、コンピュータを、前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、として動作させるためコンピュータプログラムである。
さらに本発明の別の形態である、表示物体は、表示面と、前記表示面の上に表示されたコンテント情報と、前記表示面の上の所定の位置にデジタルメディアが関連付けられていることを表示し、前記所定の位置の近傍の前記表示面の一部の領域の境界を表示するとともに、前記境界の内側に位置する前記コンテント情報が前記境界の内側に表示されるマーカと、を備え、前記デジタルメディアの取得に必要となる情報と画像特徴とを関連付けた関連付け情報の組を記憶する記憶手段を用いて、前記領域を特定するのに十分な量の前記コンテント情報の画像特徴が、前記マーカの前記境界の内側に含まれることを特徴とする。
さらに別の態様では、所定の位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所を前記境界の内側に含むように前記マーカが配置されていることを特徴とする。
さらに別の態様では、境界内には前記デジタルメディアに関連するアイコン画像を含むことを特徴とする。
さらに別の態様では、アイコン画像は、前記境界の内側で前記画像特徴の量が少ない箇所に配置されることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、従来のコード画像と比べて、ドキュメントコンテントのレイアウト上の障害となりにくく、従来の画像特徴を用いる手法と比べると、ユーザがページ内の特定部分に埋め込まれたデジタルメディアに容易で高速にアクセスできるデジタルメディアの埋込みマーカを提供することができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明に関わる埋め込み型メディアマーカを印刷用広告に付加した例を示すものである。
【図１Ｂ】本発明に関わる埋め込み型メディアマーカを地図に付加した例を示すものである。
【図２】本発明に関わるＥＭＭの例のより詳細な構造を説明するものである。
【図３】本発明に関わるアルゴリズムで、円の内部にある特徴点の数を概算する方法の例を示すものである。
【図４】広告上にこのドキュメントの画像特徴点を重ね合わせて表示したものである。
【図５Ａ】特徴点の分布マップの例を示したものである。
【図５Ｂ】累積的特徴点分布マップの例を示したものである。
【図６】本発明の一例に係わる、矩形内にある特徴点の数を計算する方法を説明するためのものである。
【図７】本発明の実施形態に係わる、３次元空間中の３段階構造とされたＥＭＭのモデルを説明するためのものである。
【図８】２次元フィルタの対角線方向での形状の例を示すものである。
【図９Ａ】白黒のマルチメディアアイコンの典型例を示すものである。
【図９Ｂ】グラフィック効果を施されたＥＭＭを示すものである。
【図１０】ドキュメントページにＥＭＭがアルファブレンディングされた例を示すものである。
【図１１】不定形状のＥＭＭの例を示すものである。
【図１２】不定形状のＥＭＭの配置手法の例を説明するためのものである。
【図１３】他のＥＭＭのデザイン例を示すものである。
【図１４】他のＥＭＭのデザイン例を示すものである。
【図１５】他のＥＭＭのデザイン例を示すものである。
【図１６】他のＥＭＭのデザイン例を示すものである。
【図１７】他のＥＭＭのデザイン例を示すものである。
【図１８】本発明の一形態である、データベースとＥＭＭを有する物体から、デジタルメディアを提供するための方法の例を示すものである。
【図１９】本発明の一形態である、ＥＭＭを備える物体を生成する方法の一例を示すものである。
【図２０】本発明の一形態であるシステムの機能ブロック図を示すものである。
【図２１】本発明の一形態である、携帯端末プラットフォームの一例を示すものである。
【発明を実施するための形態】
【００１３】
以下の詳細な記述において、図中にも示される参照番号は、同様の機能を有する要素に類似した数値を当てている。これらの図面はあくまでも例示のためであって、本発明を限定し、特定の実施態様だけが本発明の原理と一致することを示すものではない。実施形態は本発明の原理に基づいて当業者が実施可能な程度で十分に記述され、本発明の技術思想の範疇であれば、他の形態を適用したり、各要素を変更あるいは交換したりすることができることは理解されよう。すなわち、以降に示す詳細な説明は、限定的に理解されるべきではない。さらに、記述されている多様な本発明の実施形態は、一般用途のコンピュータ上でソフトウェアを動作させても、専用ハードウェアの形でも、あるいはソフトウェアとハードウェアとの組み合わせでも、実現することもできる。
【００１４】
本発明の一実施形態である、媒体上に設けられる埋め込み型メディアマーカ（以降Embedded Media Markers (ＥＭＭ)と呼ぶことがある）は、紙ドキュメント上に重なるように印刷されるマーカであり、ドキュメントの一部の特定領域に関連付けられている。本発明の一実施形態では、例えばカメラを内蔵した携帯電話を使って、ＥＭＭが設けられたドキュメントの部分の写真を撮影し、ＥＭＭが設けられたドキュメントの場所に関連付けられたデジタルメディアが携帯電話のディスプレイ上に表示される。バーコードと比較してみると、このＥＭＭの実施形態の方は透明に近い一方で、視認が可能である。つまり、ＥＭＭは使用者がドキュメントのコンテントを閲覧するのを妨げない。ＥＭＭに関連付けられたデジタルメディアの検索は、撮影されたＥＭＭが設けられたドキュメントの部分の局所画像特徴に基づいて行われる。いくつかの実施形態では、オリジナルのドキュメントの表示をなるべく妨げずにＥＭＭの配置されたドキュメントの部分から十分な識別用の特徴を取得できるように、半自動的にドキュメント中のある場所にＥＭＭを配置する手法を示す。
【００１５】
以下の実施形態では、ＥＭＭを有する物体の生成システムや方法の説明の他、これらのマーカを用いる多様な目的を示す。本発明のいくつかの実施形態では、ＥＭＭはユーザに対してデジタルメディアやデータ（デジタルメディアオブジェクト）が存在することを示すのに用いられ、ＥＭＭが設けられた対象物（例えば、紙）と関連付けられた、どこか他の場所に、それらが保存される。加えて、ＥＭＭを用いることで、ユーザは簡単に関連付けられたデジタルメディアオブジェクトを検索し閲覧することが可能となる。本発明の一実施形態では、そうしたメディアやデータは、ＥＭＭを使用するオブジェクトによって図示されたコンテントに関するさらなる説明を提供するようになるだろう。言い換えれば、埋め込まれたＥＭＭは、ＥＭＭが設けられたオブジェクトに関連付けられたローカルあるいは外部のメディアオブジェクトへのメディアリンクのようなものである。
【００１６】
本発明の一以上の実施形態では、紙には意味を備えた標識である、埋込みメディアマーカ（ＥＭＭ)が付加され、前述のメディアリンクの存在とメディアの形式が表示される。本発明の一実施形態では、ＥＭＭを見たとき、カメラ付き携帯電話でＥＭＭが設けられたドキュメントの部分を撮影することで、そのドキュメントに関連付けられたデジタルメディアを見ることができることが、ユーザに示される（あるいは理解される）。これは、ウェブページにおいて下線、フォント変更、画像タグといった表示手法で、ユーザがクリックしたときに追加情報が得られるリンクが存在していることを表すのと類似した手法である。本発明のいくつかの実施形態では、バーコードとは異なって、ＥＭＭはほとんど視覚的に邪魔にならないので、ドキュメント中の内容を閲覧する障害にもなりにくい。本発明のいくつかの実施形態では、データ埋め込みグリフコードやアノトパターンと異なって、ＥＭＭは通常の解像度のプリンターで印刷することができ、通常の解像度の携帯電話のカメラで撮影した画像でも、利用することができる。さらに、本発明の一実施形態では、ＥＭＭはＥＭＭが設けられた場所に関連付けられたデジタルメディアの形式（例えば、音楽、ビデオ、画像）を示すようにデザインされている。
【００１７】
本発明の一実施形態では、ドキュメント中に半自動的にＥＭＭを配置する手法とアルゴリズムを提供する。この手法とアルゴリズムは、ドキュメントの一部分を識別するために、ドキュメントの本来のコンテントを主として用いる（すなわち、バーコードのような識別用マークを用いない）。また、本発明の手法とアルゴリズムは、オーサリングツールの要素として用いることができ、マルチメディア情報を付加するために、メディアエディタを用いて紙の一ページ上の所望のアンカーポイントを選択すると、本発明のアルゴリズムによって、編集者が選択したアンカーポイントに応じて自動的にＥＭＭが配置される。ＥＭＭは、ドキュメントのその部分の位置が識別できるように、そのドキュメントの部分に関する十分な量の特徴をマーク範囲内に含むように配置される。ＥＭＭは続いてそのドキュメントコンテンツ上に重ね合わされ、高機能化された紙として出力される。ＥＭＭは透明な印刷媒体、例えば透明シートやステッカーの上に印刷し、ドキュメントコンテントの対応する箇所上に重ねて配置して使用することも可能である。そして、ユーザは、紙上のＥＭＭが設けられたドキュメント部分を撮影することで、画面、スピーカ、あるいは他の出力機器といった動的デバイス上で追加マルチメディア情報を取得することができる。
【００１８】
図１Ａは、あるパンフレットに付加された、ＥＭＭの例示的な形態を示す。ここで示すＥＭＭの形態は、このパンフレット中の人の手の位置に、対応付けられたビデオが存在することを示すものである。大きなＥＭＭ境界１０１（この例では円）の中のドキュメントの部分が、ＥＭＭが設けられたドキュメントの部分として扱われる。ＥＭＭが設けられたドキュメント部分内には、小さい境界１０２（この例では円）で示され、その内部にはこのＥＭＭに関連付けられているメディアのタイプを示すグラフィック１０３（この例ではビデオ）を有するメディアタイプマークが設けられる。小さい円１０２に接続された矢印は、そのメディアが関連付けられたドキュメント中の正確な場所を指し示すもので、アンカーもしくはＥＭＭ埋込みドキュメント箇所と呼ぶことができる。なお、図中にはＥＭＭの構成要素を説明するための吹き出し線と説明が表示されているが、これらはＥＭＭの構成要素ではない。
【００１９】
図１Ｂは、ＥＭＭ１１０の一実施形態を示すもので、地図１１１上に設けたものである。地図１１１は地形に関する高品質な情報を大きな表示領域で提供する。これは屋外で読みやすく、折りたたみもでき、他の人々と共有もしやすい。しかし、場所特有の動的な情報、例えばレストランのビデオクリップ、公園の天気予報、ホテルの現在の割引情報、といったものを提供できない。
【００２０】
ＥＭＭを用いると、こうした動的なマルチメディアを紙の地図を通じて簡単に提供できる。図１Ｂに示すように、東京の地図上に、和食料理店がＥＭＭ１１０によって加えられており、その場所の歴史やハイライトに関するビデオクリップを指し示していて、それは携帯デバイス１１２を用いて見ることができる。携帯デバイスはＥＭＭの内部にあるドキュメントの特徴あるいは特徴点を用いて、どのビデオクリップが実行されるのかを特定する。同様に、ＥＭＭを用いてカスタマーレビューやそのレストランのメニューを示してもよいし、その場で店の予約をするために用いてもよい。なお、ここでＥＭＭはもともとの地図のレイアウトは変更せず、視覚的にもほとんど邪魔にならない。これがＥＭＭがバーコードを利用した既存の手法と異なる点である。加えて、関心領域（POI：Point of Interest)の真上にＥＭＭを配置することができる点は、地図上の関心領域のコンテキストを維持するのに特に有効である。
【００２１】
図２は本発明に係わるＥＭＭ２００の一例の詳細を示すものであり、特徴境界２０１、メディアタイプアイコン境界２０２、メディアアイコン２０３、アンカーポイント２０４、そして矢印２０５が含まれる。ＥＭＭ２００の機能的なデザインと、ドキュメント上に半自動的にＥＭＭを配置する手法とアルゴリズムとについて以下に記述する。すなわち、ここではユーザがドキュメント上でアンカーポイント２０４を選択して、その場所にマルチメディア情報を関連付けるためのオーサリングツールを説明する。本発明の他の目的に関する、ユーザが選択したアンカーポイントにとって最適なＥＭＭの場所と配置とを、そのＥＭＭが設定されたドキュメントの部分が十分正確な識別を可能とする数の特徴が含むように、自動的に見出すアルゴリズムについても記述する。そして本発明に係わるＥＭＭは例えば印刷物として元のドキュメント上に重ね合わされて（例えばアルファブレンドされて）、進化した紙となる。既存の紙ドキュメントにＥＭＭを追加するために、ＥＭＭ２００は透明な媒体、例えば透光性シートやステッカー上に作成し、それを既存のドキュメントの対応箇所上に重ね合わせることができる。ユーザは、例えばカメラ付き携帯電話で、このＥＭＭが設定されたドキュメント部分の写真を撮影し、これを解析して、そのドキュメントにリンクされたメディアを検索し、そのメディアを再生することができるようになる。
【００２２】
［ＥＭＭの望ましい特徴］
本発明のいくつかの実施形態では、ＥＭＭは、紙上に印刷されたコンテントの特定の一部分にデジタルメディアが関連付けられていることを示す、紙上のマークを意味する。使用感を向上させるために、本発明のいくつかの実施形態に係わるＥＭＭは、次の特徴を有する。
１．ＥＭＭは人が見ることができる。ＥＭＭはドキュメントに関連付けられたマルチメディア情報の存在を知らしめるために可視のマークであるべきである。
２．ＥＭＭの意味を人が把握できる。ＥＭＭは、ＥＭＭに関連付けられたデジタルメディア、例えば、オーディオ、ビデオ、テキスト、画像、アノテーションといった、メディアの種類を示している。
３．ＥＭＭは紙の上で余分な領域を占めず、ＥＭＭの配置によるドキュメントのレイアウトへの影響が少ない。
４．ＥＭＭはオリジナルの紙上のコンテントの変化を実質的に最小限とする。ＥＭＭのデザインと配置とは元のドキュメントのコンテントとブレンドされる。
５．ＥＭＭはドキュメントの部分を大きく劣化させない。認識手法がドキュメントのコンテントの特徴に基づくため、ドキュメントのコンテントはうまく保存されることになる。
６．ＥＭＭは、マルチメディアを再生するために必要となる画像をユーザにガイドする。
７．ＥＭＭは、マルチメディアを再生するために必要となる十分な量の特徴を含んだ領域を示す。
８．ＥＭＭはデータベース内でインデックス化すべきドキュメント部分の大きさを制限でき、計算の複雑さとデータ容量を低減し、検索速度を向上させる。
【００２３】
［例示的なＥＭＭの作成］
ａ. 特徴境界マーク
バーコードを用いないため、ユーザは関連するドキュメント部分を識別するために画像特徴を用いる必要がある。こうした特徴は記事上の画像から得られたいくつかの特徴か、異なる種類の特徴の組み合わせであってもよい。こうした特徴としては、記事上の画像の局所空間配置から抽出された一般的な画像局所特徴を利用することができる。一般的な画像特徴の中でも、SIFTやPCA-SIFT、SURFあるいはFITといった、スケール不変画像局所特徴(scale invariant image local feature)が好ましく利用できる。あるいは、エロールらが開発したHOTPAPERで用いられているテキスト部分の単語の配置に基づく画像特徴や、中居らが開発したLLAHで用いられている特徴点の局所配置に基づく手法を用いることもできる。これらの特徴はドキュメント画像の一部であるため、バーコードのような明確な輪郭がない。もし特徴の数を認識精度を高めるために増やす必要が生じた場合、この技術では、これらのグループとして扱われる特徴に対して明確な境界を持たないことになる。明確な境界を持たない場合には、システムがそのドキュメント部分を識別するのに十分な量の特徴を含んでいないドキュメント領域をユーザが撮影してしまう可能性が高くなる。この問題を解消するために、ユーザに対して撮影用の境界を付加してガイドすることが望まれる。いくつかの実施形態では、この境界はそのドキュメント部分を識別するに必要最小限となる領域が撮影範囲に含まれるように設定される。この撮影範囲のガイドを使用することで、いくつかの実施形態では特徴データベースにおいてインデックス化される特徴の数を、大幅に減少させることも可能となる。こうした特徴の数を制限することは、認識精度と認識速度とを高める上でもとても有効である。
【００２４】
本発明のいくつかの実施形態では、様々な方向から撮影した場合であっても十分な数の特徴が取得できるように、図２に示すような特徴境界円２０１を用いて、人工的に特徴境界を表示している。（なお、カメラの光軸は紙のほぼ法線方向にあると仮定した。）特徴境界円は、ドキュメントの一部分を識別するために用いられる特徴をその中に含んだページの一領域あるいは一部分を規定する。ドキュメントの領域識別という観点では、円が大きいほど、そのドキュメント部分の識別に用いることができる特徴の数を増やすことができる。一方、円が大きい程、各ページ内に配置できるＥＭＭの数が少なくなってしまうし、特徴数を減らすことで得られるメリットも損なわれてしまう。さらに、カメラ付き携帯等で大きな円を撮影しようとすると視野角と解像度の制約のためにユーザがうまく利用できない場合も発生する。
【００２５】
いくつかの実施形態では、円の大きさ（すなわち図２の半径R）の考慮以外に、円の配置（すなわち図２の中心点（X，Y））もまたドキュメント部分の識別には重要となる。もし、特徴の分布が密な箇所に円が配置された場合、円の半径Rは非常に小さくできるし識別精度も高い。一方、空白の部分に大きな円を配置しても識別精度は低下してしまう。こうした考え方に基づいて、好適な円の中心（X，Y）と半径Rを決定する本発明の方法が提供される。
【００２６】
ｂ． メディアタイプ（種別）マーク
いくつかの実施形態においては、カメラ付き携帯端末での写真撮影用のガイドの役割に加えて、リンクされているメディアの種類（例えば、オーディオ、ビデオ、ウェブページなど）の情報は、利用者にとってこの進化した紙ドキュメントを利用する上で役に立つ。図２に例示するＥＭＭはこのＥＭＭにビデオへのリンクが関連付けられていることを示すためのビデオアイコン２０３を含んでいる。メディアタイプに関するアイコン情報は、ここではメディアタイプアイコン境界と呼ばれるもう一つの円２０２で囲まれている。この円２０２はアイコン情報を強調する上で有効である。一方、これを特徴境界マーク２０１と視覚的には一致させてもよい。
【００２７】
いくつかの実施形態では、メディアアイコン２０３は、ユーザの注意を引く程度の大きさに生成される。一方で、このマーク２０３によってドキュメントの部分を識別するのに必要となる十分な数の特徴が隠されて減少してしまわないようにするべきでもある。本発明の一つに関連するアルゴリズムでは、アイコンマークの最適な中心位置（ｘ，ｙ）の検出方法を提供する。
【００２８】
ｃ． アンカーポイントと矢印
いくつかの実施形態では、図２の小さい方の円２０２は紙の特定の箇所へリンクするための明らかな点があるわけではないので、紙上のアイコンマークを取り囲む円を用いることは難しくはない。しかし、場合によってはあまり安易にこの円を配置するとユーザに正確な情報が伝わりにくくなる場合もある。例えば、図面の中にいくつかの機械部品が密集して配置されていて、多くの部品は３次元モデルで表示されているような場合、それらの部品とアイコンマークを囲む円とを対応付けることはユーザにとって難しいだろう。こうした問題を解消するために、本発明のいくつかの実施形態では、ドキュメント作成プログラムを用いて、ドキュメント中の特定の場所をアンカーポイント(ｍ，ｎ)としてユーザに選択させ、アイコンマークを取り囲む円からそのアンカーポイントを指し示す矢印を追加する。このようにすることでこの矢印とアイコンマークを囲む円とで、特定の箇所(ｍ，ｎ)に対する指し示しを表現できる。
【００２９】
d． 画像処理
いくつかの実施形態では、オリジナルドキュメントへの影響を低減するため、メディアタイプアイコンを表現するときは、着色された領域ではなく、スケルトン表現（骨格部分のみの表示）が選択される。人間の眼はアルファブレンドされた画像の分離能力が一般に高いため、原画像にアルファブレンドされたメディアタイプアイコンはオリジナルドキュメントへの意味合いについての影響を低減させるうえで有効である。いくつかの実施形態では、色チャンネルと領域に応じてアルファブレンド係数を変化させることで、ＥＭＭが付与される領域内でのテキストや写真の色を変更することもできる。あるいは、紙ドキュメント中の図形オブジェクトは２次元空間で表現されることが多いから、いくつかの実施形態では、ＥＭＭ自体を３次元状に表示させるようにしてもよく、これによってＥＭＭと、オリジナルドキュメント中の図形オブジェクトとの区別がいっそうしやすくなる。
【００３０】
いくつかの実施形態では、図２に示すようにＥＭＭの外観が類似した、大きな円２０１が小さな円２０２を取り囲む、ものとすることができる。小さい円２０２は単純なアイコン２０３とそれに付加された矢印２０５とで表される（図２参照）。いくつかの実施形態では、ＥＭＭについて視覚上の統一性を持たせることで、ユーザがページ中でＥＭＭを発見しやすくすることができる。ＥＭＭの機能は、ウェブページ内で着色や下線を用いる、慣用されているハイパーリンクと類似している。ハイパーリンクと異なるのは、ＥＭＭの実施形態が、物理的な表示媒体上に表示され、そしてＥＭＭが付されたドキュメントの箇所に関連付けられた、利用可能なメディアを示すアイコンを用いる点である。
【００３１】
いくつかの実施形態では、画像およびテキストのオクルージョンを、ＥＭＭを含むページを印刷するために用いられるデータの輝度のみを調整することで緩和させることもできる。一実施形態では、ＥＭＭを配置するときに、ある限られた範囲で重なり合う画像の輝度を変化させる。ここで輝度情報を用いたのは、カラーおよび白黒の装置あるいはプリンターにおいて高い正確性をもって再現されるからである。一実施形態では、大きな境界円と小さな円とは、これらと重なり合う画像の輝度情報に対して付加される一方で、影付き処理の部分では輝度が減少するようにする。
【００３２】
いくつかの実施形態では、画像とテキストとの干渉は、単純に、ＥＭＭに明るい色を用いる、線の太さ、ドットの大きさを選択する、あるいはコンテンツの空白や間隙等の間にドットを配置し、ＥＭＭがドキュメントのコンテンツの邪魔しない一方で、ユーザがＥＭＭを認識しやすくする、といった処理をして軽減することもできる。
【００３３】
いくつかの実施形態では、小さい方の内部の円２０２がメディアアイコン２０３とアンカーポイント矢印２０５とを含む。メディアアイコン２０３はリンクされているオーディオやビデオなどのメディアの種類を画像として表現する単純なアイコンである。このアイコン２０３は小さな円２０２の内部に輝度は増加させずに描画され、先に述べたような影付き処理が施される。アンカーポイント矢印２０５は、隣接する円の中心からの指し示しを表す小さな矢印として描画される。矢印２０５はページ内でユーザが指定した領域を指し示す。矢印の外観は関連付けられた円とマッチするように表示される。
【００３４】
［ＥＭＭの配置手順とアルゴリズムの実施形態］
１．ＥＭＭの配置ルールと手順
いくつかの実施形態では、ＥＭＭのオーサリング処理は、オリジナルのドキュメントをＥＭＭオーサリングエディタに読み込んで処理することを含めることができる。読み込まれた後に、各ページの全体の局所画像特徴が所定の特徴抽出方法に従って抽出され、一時メモリに記憶される。なお、そのドキュメントに対応する、予め抽出された局所画像特徴を外部データベース等から受信して用いてもよい。次に、先に説明したような手順で、アンカーを施す処理と、アンカーにリンクされるデジタルメディアの情報をユーザから受信したのち、一時メモリ中のアンカーポイントの周囲の局所画像特徴を用いてＥＭＭの大きさ（特徴境界、メディアタイプ境界）と位置とを決定する処理を行う。ＥＭＭの内部に存在する局所画像特徴の決定と、ユーザによる編集処理とが完了したあと、ユーザからのドキュメントの保存や印刷指示が受信され、ＥＭＭの内部に含まれる局所画像特徴と、ＥＭＭにリンクされるメディアのURLやファイル自体とが関係付けられてデータベースに保存される。本処理に用いる特徴データベースは、ＥＭＭの固有識別番号、ＥＭＭ内部に存在する各特徴点毎の特徴を表すベクトル情報を含む局所画像特徴のセット、埋め込まれたデジタルメディアのローカルメモリ上あるいはインターネットアドレス、といった情報が含まれる。
【００３５】
あるいは、オーサリング処理ではページ全体の画像特徴を特徴データベースに保存するようにしてもよい。一時メモリ中に保存された局所画像特徴を用いてＥＭＭの大きさと配置箇所とを決定する上で、リンクを形成する箇所に基づいてページ全体の画像特徴を保持するデータベースからＥＭＭの範囲内の画像特徴を用いて比較するようにしてもよい。局所画像特徴を保存する場合には、ＥＭＭ内に含まれる局所画像特徴をコピーし、関連付けられるデジタルメディアのアドレスとともに、他の参照テーブルデータベースに保存するようにすることもできる。
【００３６】
いくつかの実施形態では、各ページから抽出された特徴は単純に一時メモリに保存することもできる。オーサリングツールによりＥＭＭの位置が決定された後、ＥＭＭがページに追加され、ＥＭＭと重なり合った箇所を含む近傍領域の画像データが切り取られ、切り取られた画像から画像特徴を再計算し、この特徴をデータベースに保存するようにしてもよい。このようにすることで、ＥＭＭ自体の画像特徴がオリジナルのドキュメントの特徴と組み合わされることになるので、より少量の特徴を各ＥＭＭに対応して保存すればよくなり、この結果データベースもより多くのＥＭＭを取り扱えることになる。加えて、ＥＭＭと重なりあった画像について、特徴を再計算するようにすることで、ＥＭＭを含まない画像特徴を用いる場合よりも、ユーザが撮影した画像との整合性を向上させることができる。
【００３７】
いくつかの実施形態では、ＥＭＭの構造について、主にマルチメディアが複合された表示物体に関するユーザの要求という観点で主に説明してきた。いくつかの実施形態では本発明のシステムがユーザにより好適なサービスを提供できるように、装置側の要求という観点でも考慮がなされる。より具体的には、本実施形態のドキュメントの部分認識処理への悪影響なしにシステムを改善することができるようにＥＭＭを配置する。この目的を達成するために、ＥＭＭの配置用のパラメータの調整のアルゴリズムに工夫が施される。
【００３８】
いくつかの実施形態では、ＥＭＭの調整のために３つの基本的なパラメータ、特徴境界円中心（X,Y)、特徴境界円半径R、そしてメディアタイプ円中心（ｘ，ｙ）がある。識別用のシステムにおいては、各ＥＭＭを識別するために十分といえる量の閾値以上にその画像部分でカバーされる量の特徴点が含まれていてもＥＭＭの識別精度は大きくは変わらないので、特徴境界円の最適化は、ドキュメント上での表面積が最小で、画像部分の識別精度が十分に良いということを目標になされる。ＥＭＭが占める表面積を小さくすることで、本実施形態のシステムでは次のような利点が生じる。
１） ＥＭＭを配置したことによるドキュメントのオリジナルコンテントの見にくさが軽減される。
２） 表面積が小さいことでより多くのＥＭＭを各ページ内に配置することができる。
３） パッチ識別用の円の内部にある特徴点（例えば上述したSIFT/SURF/FITの特徴点）をインデックス化するため、面積が小さくなればインデックス用のサーバに保存する特徴点の量も少なくすることができる。特徴点の量が少ないことは識別速度を向上させる上でも有効である。
４） マークされた小さい領域を用いることで利用者が撮影する際のガイドが提供され、計算量も少なくなるので利用者がマルチメディアデータを取得するための待ち時間も短縮される。
５） 撮影領域が小さくなることで、撮影性能に制約のあるカメラ付き携帯端末を用いた場合でも、撮影が行い易くなる。すなわち、撮影する円の大きさが大きいと、携帯端末のカメラとドキュメントとの間の距離も遠ざけて撮影する必要が生じるが、小さい円を近くで撮影した方が、撮影作業自体も容易であるとともに、撮影画像の画質（例えばダイナミックレンジや解像度）も高くなるので、検索性能も結果的に向上する。
【００３９】
いくつかの実施形態では、特徴境界円の大きさを小さくするために、本発明の実施形態に係わるアルゴリズムによって、特徴点の密度が高い領域に境界円が配置されるとともに、最低限含まれる必要がある量の特徴点を円内に含む小さい半径の円を求める処理を行う。
【００４０】
いくつかの実施形態においては、前述したドキュメント部分識別アルゴリズムで、特徴境界円はユーザが視認可能な最小となるサイズよりは通常は十分大きい。いくつかの実施形態に係わるアルゴリズムでは、特徴境界円の内部のメディアタイプアイコンを取り囲む円は、ユーザがＥＭＭと一体であることがわかるように設定される。メディアタイプアイコンによって生ずるコンテンツの見づらさを低減するために、本実施形態のアルゴリズムでは、この円を特徴点の数が最小密度である箇所に移動させるように試みる。すなわち、アイコン用円のサイズの決定とともに、オリジナルドキュメントの中でその円が含む特徴点の数が最小となるように最適化をする。このようにすることで、ドキュメント部分の識別の上で以下の利点が生じる。
【００４１】
１）メディアタイプアイコンとそれを取り囲む円は重要な特徴になるべく影響を与えさせない。こうすることでユーザはオリジナルコンテントとアイコンとが区別でき、オリジナルドキュメントの理解の障害にならないようにする。
２） メディアタイプの表示が半透過の骨組みと影とによって主に構成される場合、その吹き出し（call out）表示とオリジナルドキュメントのコンテントとの組み合わせを、オリジナルのドキュメント中でも特徴点が粗い領域中に配置することで、より高い分別性を与えられる。この特徴点密度のバランス処理は、装置にとってはより一様に分布した特徴点を検出するのに有効であり、さらに、撮影時の携帯端末側の姿勢を予測するために用いる空間変換マトリクスをより安定的に獲得する場合に有効となる。さらに、このマトリクスがより安定的に得られるようになることで、整合用の輪郭を減らし、部分識別精度をより向上させるのにも有効となる。
【００４２】
いくつかの実施形態では、これらの最適化方法以外に、ＥＭＭの見栄えを良くしたり、より多様な条件化でも外観を一致させたりするためのいくつかの追加ルールが用いられる。そうしたルールは、以下のものを含む。
１）アンカーポイントは、特徴境界円の内部にあるべきである。こうすることでＥＭＭの機能をより直感的に理解でき、配置場所の探索範囲も限定される。さらに、複数のＥＭＭが同じページの同じ場所に配置されて結合してしまうのを避けることができる（グローバル位置最適化）。
２） メディアタイプアイコンとそれを取り囲む円はドキュメントの作成者が選択したアンカーポイントを覆ってはいけない。このようにすることで、矢印が常に円から外に向かって突き出し、ＥＭＭを様々な箇所に配置しても外観を一致させることができる。
３） 矢印をなるべく短くするために、吹き出し表示に用いるアイコンがアンカーポイントにより近くなるようにアルゴリズムを構成する。
４） 全ＥＭＭに施す影付き表示は無限遠に配置された同じ光源を用いる。
５） 影付き処理を施す際にＥＭＭのモデルが３次元空間中の３段階構造を有すると仮定する。
６） いくつかの実施形態では、影付き処理の際の光源は無限遠の左上から照射されるものとする。
【００４３】
２． 円内の点の量を見積もる高速アルゴリズム
いくつかの実施形態では、特徴境界円の最適な位置とサイズとを得るため、あるいはアイコン吹き出し表示円の最適位置を得るため、システムは円内の特徴点の数を計数しなければならない。もし、ＥＭＭを配置することで画像局所特徴を急激に変化させてしまう場合、システムは新たなＥＭＭのパラメータ（すなわち、場所とサイズ）の検証後に、ＥＭＭが配置された部分内の全ての特徴を再計算する必要がある。こうした処理は最適なパラメータの組み合わせを妥当な時間内に得る上では実用上望ましくない。本発明のいくつかの実施形態におけるＥＭＭは、エッジと影とを主たる構成要素としており、ドキュメントの一部分にＥＭＭが追加されても特徴点の数が大きく損なわれることはない。ＥＭＭのエッジの近くにあるオリジナルコンテントとエッジとの間では新しい特徴が形成され得るが、ＥＭＭの透明部分では元の特徴に大きな影響を与えない。このため、ＥＭＭは局所領域での特徴点の数を増加させる可能性の方が高いといえる。この点を考慮すると、ページ内の特徴点分布について、ＥＭＭ特徴境界円上やＥＭＭメディアタイプアイコン境界上にある実際の特徴の量を見積もるのに、ＥＭＭが無い状態での特徴量の分布に基づいて行ったとしてしても安全に利用することができるといえる。
【００４４】
いくつかの実施形態では、ＥＭＭのパラメータの各セットを検証する時に特徴の再計算を省略したとしても、多くの異なる円のパラメータとともに円内の特徴点の数の計数をシステムで行うことは必要となる。すなわち、システムでは円の中心として各画素の位置を試験する必要があるかもしれない。さらに、最適解に到達する前に異なる半径も試みるであろう。このため、円内の特徴点の数を見積もるアルゴリズムは現実的な使用目的では高速である必要がある。
【００４５】
一以上の実施形態では、１００DPIでスキャンされた１ページ内の一般的な特徴点の数ｎは数千に及ぶ。力ずくで検索する手法を用いたとすると、円の中の特徴点の数から予測される計算複雑性はQ(n)で表される。これは現実的な利用上は時間がかかりすぎる。
【００４６】
いくつかの実施形態では、この計算複雑性を解消するために、円内の特徴点の数を見積もるために設計した高速アルゴリズムを用いる。このアルゴリズムは特徴点分散ヒストグラムの統合画像に基づいている。このアルゴリズムを用いるために、半径Rの円の中にある特徴点の数を、先の円の内部にあって一辺が√２・Rの正方形中にある特徴点の数を用いて概算する。円３００と正方形３０１との関係を図３に示す。Ｎｃは円３００内の特徴点の数で、Ｎｓは正方形３０１内の特徴点の数であり、Ｎｓ≦Ｎｃとなる。この見積方法はドキュメントの部分を識別するために、正方形の内部の特徴点の数が部分の識別の最低限に達している場合には、円の中の特徴点の数も十分であることを保証できる。
【００４７】
いくつかの実施形態に関連する図４は、広告ページ４００の上に特徴点４０１を重ねて表示している。図５Ａは、図４中の画像に対応する、特徴点分布マップであり、白いマップ中の各黒点がそれぞれ特徴点である。図５Ｂは累積特徴点分布マップであり、原点とある点とを頂点とする矩形内に存在する特徴点の数と一致する。累積特徴点分布マップ中で、各点における値は、その左上側の領域にある特徴点の数に一致する。画像中の画素の数をNとすると、この累積特徴点分布マップを得る計算複雑性はO（N)となる。このアルゴリズムではこのマップを一度計算しておけばよく、各画像についてシステムがこのマップを予め計算し保持しておくことができるので、ドキュメント作成者がこの手法を使って最適なＥＭＭの配置を得るときに、このマップの計算複雑性は最適化をする場合でもそれほど影響しない。
【００４８】
いくつかの実施形態では、累積特徴点分布マップとともに、一定時間内で正方形内にある特徴点の数をシステムで計算することもできる。図６において正方形ABCDは画像境界等の一つと並行な辺を有し、累積分布マップ上の各点A,B,C,Dでの点の数をそれぞれNA、NB，NC,NDとする。 ここでは図３の円の場合のように、システムは円内にある正方形内の特徴点の数を利用する。図５の累積特徴点分布は正方形内にある特徴点の数を計算するのに利用することができる。システムは円内の特徴点の量の概算量である、正方形ABCD内の特徴点の量NSQを次の式に基づいて決定する事ができる。
【００４９】
この数式を使った実施形態のシステムは、１回の足し算と２回の引き算とで正方形内の特徴点の数を概算することができる。これは、力ずくアプローチで各特徴点を確認するために、２回の掛け算、２回の足し算、１回の引き算を計算するときと比べてずっと効率的である。例えば、ユーザがページ内の最適な円の中心を探す場合に、３０００個の特徴点があるとして、この高速アルゴリズを用いる計算は約３８００倍高速である。
【００５０】
３． 最適な特徴境界円の決定
いくつかの実施形態では、円内の特徴点の数を概算する高速アルゴリズムに加えて、各画素の位置を円の中心とする配置のテストをシステムが行うことができる。さらに、システムは最良の特徴境界円の最適な半径もまた知る必要がある。最適な半径を得るために、本発明のいくつかの実施形態では次のバイナリサーチアプローチを最適化手法として用いている。
１) 円が、その中にアンカーポイントとその半径で最大の特徴点とを含むような円の中心位置を得る。
２）このとき、この半径の特徴点の最大数が、特徴点の下限数（KEYNUMLOWLIMIT）よりも大きいかどうかを判断する。
もし、下限より大きい場合は、現在の半径（currentradius）を大半径（radiushigh）とする。
それ以外の場合は、現在の半径を小半径（radiuslow）とする。
３）現在の半径を大半径と小半径の平均とする。
１）〜３）を大半径と小半径の差が所定の最小マージン（SMALLMARGEN)に達するまで繰り返す。
１２５〜２５０の円の半径が使用される場合、バイナリサーチアプローチは約１８倍速くなる。
【００５１】
４． メディアタイプアイコンを取り囲む円の最適化
いくつかの実施形態では、メディアタイプアイコンのサイズは固定されているので、この円の場所の最適化はこの円の中に最小の特徴点が含まれるように円の位置を決定することとなる。この最適化の方法と合わせて、先に述べた２および３のルールを適用すればＥＭＭの見栄えをより良くすることができる。言い換えると、メディアアイコン取り囲み円の中心とアンカーポイントの距離は、取り囲み円の半径よりは大きくなくてはならない。取り囲み円は、短い矢印を配置するためにアンカーポイントの近くに配置すべきである。矢印の長さを短くする方法はいくつかある。１つの方法（１番目の方法）はアンカーポイントとメディアアイコン取り囲み円の中心との距離が最大となるように設定することである。他の方法（２番目の方法）は、特徴境界中心位置（X,Y)からメディアアイコン取り囲み円の中心位置（ｘ，ｙ）へのベクトルと、特徴境界中心位置（X,Y)からアンカーポイント（m，n）へのベクトルを計算し、この２つのベクトルのなす角が９０°より小さくなるようにする。ここでは２番目のアプローチを利用した。
【００５２】
［ＥＭＭのグラフィック効果の生成］
いくつかの実施形態では、紙ドキュメント上の図形オブジェクトは通常２次元であるので、ＥＭＭに３次元的な効果を施すと、オリジナルドキュメント中にある他のグラフィカルオブジェクトとＥＭＭとをより明確に区別できるようになる。一実施形態のシステムでは、３次元空間における影を示す３段階構造のＥＭＭモデルを用いる。３段階構造ＥＭＭモデル７００については図７に示す。影に付いては光源が左上にあると仮定している。この効果を施すために、ゾーベルフィルタを２Dフィルタに続いて使用することもできる。ゾーベルフィルタは計数[1 0; 0 -1]を有する。２Dフィルタは、図８中に示される形状８００の特性を対角線方向に持ち、他のフィルター位置では係数が０である。
【００５３】
いくつかの実施形態では、ＥＭＭエッジに対するフィルタリング結果を組み合わせることによって、白黒（単色濃淡）のマルチメディアアイコンに応じた適当なＥＭＭグラフィック効果を生成することができる。図９は、典型的な白黒のマルチメディアアイコン９００とグラフィック効果で装飾されたＥＭＭ９０１を示す。矢印は最適なＥＭＭパラメータのセットが決まった後に動的に３段階ＥＭＭモデルに追加しているので、矢印のグラフィック効果はＥＭＭの他の部分のグラフィック効果と適当にブレンドされるようにしてある。
【００５４】
図１０には、いくつかの実施形態である、ＥＭＭをドキュメントのページ１０００にアルファブレンディングした効果を示す。
【００５５】
いくつかの実施形態として、ユーザがＥＭＭの形状を不定形としたい場合が実用上想定される。不定形ＥＭＭを用いる理由は、例えば次のようなものである。
・ もしユーザがＥＭＭの矩形状を正しい方向で常に撮影することができるなら、特徴量の計算速度が速くなる矩形状ＥＭＭの方を使用したい（回転の計算が不要になるため）。
・ 特定の目的（例えば祝日のお祝い、ブランドの知名度向上）でＥＭＭを不定形にデザインしたい。
・ 適当にＥＭＭ形状を変形させることで、ＥＭＭが付加されたドキュメント部分を識別するのに役立つ場合がある。
・ ＥＭＭの形状に何らかの情報を持たせることもできる。
・ ＥＭＭの形状を変更することで、オリジナルドキュメントとの干渉をさらに低減することができる場合がある。
図１１には不定形状のＥＭＭのいくつかの例１１０１〜１１０４を示してある。
【００５６】
図１２で示すような、不定形のＥＭＭ１２００を配置する一つの簡単な手法は、円形状のＥＭＭにおいて最適化された円１２０１中にＥＭＭの不定形の部分を整合させる方法である。図１２（Ａ）にこの手法を示す。この手法は単純である。しかし、不定形状のＥＭＭ全体が撮影されたときに、この手法では撮影された画像内に十分な数の特徴点が含まれることは保証できない。一方、図１２（Ｂ）で示す手法では、どのような方向からＥＭＭが撮影されたとしても共通に含まれる領域内に十分な特徴点が含まれるように設定することで、不定形状のＥＭＭ全体が撮影されたときに、撮影画像中に十分な数の特徴点が含まれることを保証するための手法の一例である。
1. ２つの直交する軸上に、この不定形状１２００を投影し、２つの投影像１２０２および１２０３を作る。
２．投影像１２０２および１２０３それぞれについて、一方を一辺として含む、不定形状を囲むアスペクト比が固定された（例えば４：３の）複数の矩形境界１２０４−１、１２０４−２を生成する。
３．１、２の工程を、投影される直交軸を回転させて繰り返し、矩形を生成する。このとき作成する矩形の数および回転角は所定の数および回転角であってもよいし、ＥＭＭの周囲に適合するような矩形をエンジニアリング手法により決めてもよい。
４．これらの各投影像を一辺として作られる固定アスペクト比の矩形を重ね合わせたときに、全ての矩形で重複する領域を参照用円１２０５として見出す。すなわち、この領域はどの方向から撮影しても必ず含まれる領域となる。
５．参照用円の中心（すなわち最適位置）と不定形状のＥＭＭの現在の設置位置との間で２次元ベクトルを得る。
６．十分な特徴点が含まれるように参照用円１２０５の最適化された半径を決定する。
７．参照用円の最適位置および円の大きさが得られた後で、外接円１２０１の半径と参照用円１２０５の半径との比に基づいて、２次元ベクトルと不定形状１２００の表示倍率を調整し、不定形状１２００が配置される。
【００５７】
いくつかの実施形態において、ドキュメント検索システムのパフォーマンスを、スキャンされたドキュメントのデータベースおよびＥＭＭによる検索成功率から評価したところ、９９％以上であった。
【００５８】
［ＥＭＭのデザイン例］
利用可能な様々なデジタルメディアを示すための、例示的なＥＭＭのデザイン例を図１３〜１７に示す。ＥＭＭの装飾デザインはこれまで述べた理由等から、次のような特徴を有する。
１．ＥＭＭは典型的には紙やプラスチック等の表面上に印刷される。印刷は、オフセット印刷、フレキソ印刷、染料転写、インクジェット印刷、レーザプリンティング、パッド印刷、レリーフ印刷、グラビア印刷、スクリーン印刷、電子写真印刷、あるいは、他の表面にマークを形成する方法であってもよい。
ＥＭＭは、ビデオディスプレイ上に表示されてもよい（例えば、電子ブック、LCDモニターや電子ペーパー等）。
２．ＥＭＭは、例えばメディアタイプアイコンの境界である小さい円を取り囲む大きな円のような、特徴境界を有する。小さい円は、単純なアイコンであるのが望ましい、メディアタイプアイコンと、円に付加された矢印を備えている（図１３〜１７）。ＥＭＭの外観を統一させ、ユーザがページ内でＥＭＭをすばやく見つけることができるようにデザインされている。これはウェブページ状でハイパーリンクを色や下線で示すのと似ている。
３．特徴境界（大きな円）内でメディアタイプアイコン（小さい円）の配置は変化する（図１３〜１７）。
４．矢印の位置と方向は変化する（図１３〜１７）。
５．メディアタイプアイコン境界（小さい円）と特徴境界（大きな円）の大きさとの関係は変化する。
６．ＥＭＭは印刷ページ上のコンテンツ上に重ねられる。下地となるコンテンツのオクルージョンは、ＥＭＭと下地となる画像とを含んだページを印刷するために用いる画像情報の輝度チャネルを調整するだけで緩和できる。ＥＭＭは下地画像の輝度を変化させる。輝度情報は、カラーおよび白黒の双方の印刷技術で忠実に再現できるため、輝度情報を調整するのである。この視覚効果は、印刷ページ上のコンテントと重なる、明るく、半透明なマークをもたらす。
７．ＥＭＭのエッジは影を落とすことで決定される（図１３〜１７）。 影を落とす輝度効果は、マーク本体に、大まかに輝度の逆数の効果を適用して得られるものである。この視覚効果は、暗く、半透明の影を、ＥＭＭの境界と内部のアイコンの境界とに与えることができる。
【００５９】
［デジタルメディアを提供する方法］
図１８は、データベースと本発明の実施形態の一つとを用いてデジタルメディアを提供するための方法に関するフローチャートの一例である。いくつかの実施形態では、部分領域の画像を受信すると（１８００）、画像から複数の特徴が抽出され（１８０１）、ＥＭＭに対応するデジタルメディアが識別される（１８０２）。必要な場合には、デジタルメディアが続いて検索され、提供される（１８０３）。画像から抽出される特徴は、どのような指標が検索されるかをシステムに伝える特徴点を含んでもよい。
【００６０】
［物体の生成方法］
図１９は、視覚化されたコンテントとそのコンテント上の埋め込み型メディアマーカとを含む物体を生成するためのフローチャートの一例を示す。第１に、視覚化されたコンテント中でメディアを埋め込む場所の選択を受信する（１９００）。選択に基づいて、ＥＭＭの場所とサイズが決定される（１９０１）。続いて、ＥＭＭは決定された位置と大きさとに基づいて物体上に配置される（１９０２）。
【００６１】
［例示的なシステム構造］
図２０は実施形態に係わるシステムの機能ブロック図の一例を示す。カメラ２００１を内蔵する携帯端末２０００を用いて、ＥＭＭを含むドキュメント２００２をカメラの撮影領域に収めることで、フィードバックが提供される。ＥＭＭを識別すると、ＥＭＭが参照しているコンテントのタイプを決定するために、データベース２００３を参照する。データベースは携帯端末に情報を返し、携帯端末はたとえばそのコンテントを実行する。
【００６２】
［例示的な携帯プラットフォーム］
図２１は、携帯端末のプラットフォームおよび遠隔サーバーシステムの一例を示したものである。システム２１００は携帯端末プラットフォーム２１０１とネットワークリソース２１０３とを含む。
【００６３】
携帯端末プラットフォーム２１０１は、携帯端末プラットフォーム２１０１内の各部品間の情報を通信するためのデータバス２１０４や他の通信機構を備え、プロセッサ（ＣＰＵ）２１０５はバス２１０４と結合し、情報処理およびその他の計算や制御処理を行う。携帯端末プラットフォーム２１０１は、様々な情報やプロセッサ２１０５で実行される命令などを記憶し、バス２１０４に接続されたRAMや他の動的記憶装置のような揮発性メモリ（記憶領域）２１０６を含む。プロセッサ２１０５による命令の実行の間に一時記憶や他の中間情報を保存するための揮発性メモリ（記憶領域）２１０６もまた使用してよい。携帯端末プラットフォーム２１０１は、バス２１０４に接続され、BIOSやシステムの多様なコンフィギュレーションパラメータといった、静的な情報やプロセッサ２１０５用の命令を記憶するROMや他の静的記憶装置を含んでいてもよい。磁気ディスク、光学ディスク、あるいは固体フラッシュメモリデバイスといった固定記憶装置（不揮発性記憶領域）２１０８を備え、情報や命令を保存するためにバス２１０４と接続されてもよい。
【００６４】
携帯端末プラットフォーム２１０１は、CRT、プラズマディスプレイあるいは液晶ディスプレイ等のディスプレイ２１０９とバス２１０４を介して接続され、携帯端末の利用者に対して情報を表示する。ディスプレイ２１０９は、ＥＭＭに関連付けられたデジタルメディアを見るために用いても良い。（キーボードなどの）入力装置２１１０は、英数字等の入力キーを含み、プロセッサ２１０５との情報通信や命令選択を行うために、バス２１０４に接続される。他のユーザ入力装置はマウス、トラックボール、あるいはカーソル方向指示キーのような、カーソル制御用のデバイス２１１１であり、方向情報やコマンド選択をプロセッサ２１０５に通信したり、ディスプレイ２１０９上でのカーソルの移動を制御したりする。この入力装置は典型的には２次元の自由度を持ち、第１軸（X）と第２軸（Y)とによって、平面上の場所を特定するのに用いられる、
【００６５】
カメラ２１１２は、バス２１０４を介して携帯端末プラットフォーム２１０１に接続され、本発明のＥＭＭを備える物体の写真を撮影するために用いられる。
【００６６】
本発明は、ここに記述された技術を実現するためのコンピュータシステム２１００の使い方に関連する。実施形態として、携帯端末プラットフォーム２１０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ２１０６中の１以上の命令による１以上の処理をプロセッサ２１０５に処理させることで実現させる。こうした命令は不揮発性記憶領域２１０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ２１０６に読み出してもよい。揮発性メモリ２１０６中に保持された一連の命令をプロセッサ２１０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。
【００６７】
ここで、コンピュータ可読媒体とは、プロセッサ２１０５が実行するための命令を提供するのに用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術をも実現するための命令を保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性媒体としては、例えば、記憶装置（固定記憶装置２１０８）のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置２１０６のような動的メモリを含む。通信媒体は、データバス２１０４のような配線を含む同軸ケーブル、銅線、光ファイバーなどであってよい。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。
【００６８】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、通信波、あるいはコンピュータが読むことができる他の媒体、といった通常のコンピュータ可読媒体を含む。
【００６９】
さまざまな形態のコンピュータ可読媒体が、プロセッサ２１０５で処理される１以上の処理を実行させるために用いることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、これを、モデムを用いた電話回線を通じて送信してもよい。コンピュータシステムに接続されたモデムは、電話回線を通じてデータを受け取るともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス２１０４に伝送する。バス２１０４は揮発性記憶領域２１０６にデータを伝送し、プロセッサ２１０５がその命令を参照して実行できる状態におく。揮発性メモリ２１０６から受け取った命令はプロセッサ２１０５により処理される前あるいは後に固定記憶装置２１０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータ（携帯端末）プラットフォーム２１０１にダウンロードするようにしてもよい。
【００７０】
携帯端末プラットフォーム２１０１は、データバス２１０４に結合したネットワークインターフェースカード２１１３のような通信インターフェースも有する。通信インターフェース２１１３はローカルエリアネットワーク２１１５に接続されたネットワークリンク２１１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース２１１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a、802.11b、802.11g として公知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）としたり、Bluetooth(登録商標)を用いて実現してもよい。いずれの場合でも、通信インターフェース２１１３は、様々なタイプの情報を表すデジタルデータ列を伝送する、電気、電磁、あるいは光信号を送受信する。
【００７１】
ネットワークリンク２１１４は、１以上の他のネットワークとのデータ通信を通常可能とする。例えば、ネットワークリンク２１１４は、ローカルエリアネットワーク２１１５を介して、ホストコンピュータ２１１６やネットワークストレージ／サーバ２１２２への接続を提供する。加えて、あるいは代替として、ネットワークリンク２１１４は、インターネットのような、広域あるいはグローバルネットワーク２１１８にゲートウェイ／ファイアウォール２１１７を通じて接続する。そして携帯端末プラットフォーム２１０１はインターネット２１１８上のどこかにある、例えばリモートネットワークストレージ／サーバ２１１９といった、ネットワークリソースにもアクセスすることが可能となる。一方、携帯端末プラットフォーム２１０１は、ローカルエリアネットワーク２１１５および／またはインターネット２１１８上のいかなる位置にいるクライアントからもアクセスできるようにしてもよい。ネットワーククライアント２１２０および２１２１は、プラットフォーム２１０１と同様のコンピュータプラットフォームに基づいて構築されても良い。
【００７２】
ローカルエリアネットワーク２１１５およびインターネット２１１８は、共に電気、電磁、あるいは光信号を、データ信号列を伝播するのに用いる。なお、デジタルデータを携帯端末プラットフォーム２１０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク２１１４上や、通信インターフェース２１１３を介した信号は情報伝送の伝送波の例示的な形態である。
【００７３】
携帯端末プラットフォーム２１０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット２１１８およびLAN２１１５を含む多様なネットワーク、ネットワークリンク２１１４および通信インターフェース２１１３を介して行うことができる。インターネットの例では、コンピュータプラットフォーム２１０１はネットワークサーバとして機能し、クライアント２１２０および／または２１２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット２１１８、ゲートウェイ／ファイアウォール２１１７、ローカルエリアネットワーク２１１５および通信インターフェース２１１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。
【００７４】
受信したコードはプロセッサ２１０５によって受信時に実行されるか、固定記憶装置２１０８あるいは揮発記憶装置２１０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。
【００７５】
最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解されうることであろう。例えば、ソフトウェアの記述は、アセンブラ、C/C++、pearl、shell、PHP、Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。
【００７６】
さらに、当業者であればここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わせることにより利用することができる。明細書と実施例は例示的なものと解釈され、真の発明の示す範囲および思想はクレームにより示されるものである。
【符号の説明】
【００７７】
１００、４００ 広告ページ（ドキュメント）
１０１ 埋め込み型メディアマーカ（ＥＭＭ)の境界円
１０２ ＥＭＭのメディアタイプマーク境界円
１０３、９００ メディアタイプマーク（アイコン）
１１０、２００、９０１ 埋め込み型メディアマーカ
４０１ 特徴点
【技術分野】
【０００１】
本発明は、デジタルメディアの埋め込みマーカを設けた表示物の生成方法、この表示物を用いてデジタルメディアを提供するシステム、それらに用いられるソフトウェア、そして表示物に関する。
【背景技術】
【０００２】
紙媒体は情報を閲覧する媒体としては最も広く利用されている媒体ではあるが、ビデオ、音楽といった動的なメディアを再生することはできない。一方、携帯電話による音楽やビデオの再生が盛んになってきてはいるが、紙の持つ、高い解像度、大きな表示面積、情報配置の柔軟性、屋外での視認性や静的なコンテンツに対する強健さには敵わない。現在、画像認識技術を用いることで紙ドキュメントに対応する動的メディアへリンクをすることが可能となっている。携帯電話に内蔵されているカメラでドキュメントの部分的な画像を撮影する。ドキュメントの部分画像はその画像中にある特徴を用いて識別され、そのドキュメント中にリンクされたデジタルメディアが検索され、携帯電話上で再生される。
【０００３】
こうした紙ドキュメント上のメディアリンクを作成するタイプの方法で一般的なのは、ドキュメント上にコード化したマーカを印刷するものである。そうしたマーカの例としては、２次元バーコード、ドットの印刷パターンが良く知られている（非特許文献１）。しかしながら、こうしたマーカは視覚的にも、ドキュメントのコンテンツの配置の点でも邪魔になる。データグリフ（非特許文献２）は、紙上に、見えにくい、機械が認識可能なパターンを印刷することでこうした問題を解消しようとしている。しかし、このタイプのマーカは高解像度のプリンターとドキュメント識別用のカメラとが必要となる。電子的なマーカ、例えばRFIDを使用することも可能であるが（非特許文献３）、生成コストが増加してしまう。
【０００４】
他のシステムではドキュメントコンテンツ自体の特徴を使って、関連するドキュメントの部分画像を識別し、それをメディアリンクを作成するのに用いている。例えば、HOTPAPER（非特許文献４）、Mobile Retriever（非特許文献５）は、単語の空間配置のようなドキュメント中のテキストに基づいた特徴を用いている。Bookmarkr（非特許文献６）やMapSnapper（非特許文献７）は、画素レベルの特徴（例えばSIFTアルゴリズム）を、写真や図といった一般的なドキュメントコンテントを識別するのに用いている。こうしたシステムでは、視覚的に邪魔になるマークは識別に必要にはならない。
【０００５】
しかしながら、既存のマーカを用いた方法とコンテンツに基づく方法とはともにリンクされたメディアの種類がわからない。バーコードとデータグリフは眼に見えるが、そこに関連付けられたメディアの存在や種類を直接示してはいない。コンテンツの特徴を使用する場合には、ドキュメントへのメディアのリンクについて、ユーザが一見して分かる形では、紙上に何も示さない。この結果、例えば先のHotPaperでは、ホットスポットを探すためには、携帯電話による撮影画像上に赤いドットが表示されたり、振動が発生するなどのフィードバックがあるまで、紙の上を携帯電話のカメラを移動させる必要がある。
【０００６】
しかし、可視、不可視のバーコード、データグリフ、アノトパターンといった既存技術はユーザが入手可能なマルチメディアに関して、意味ある情報をユーザに提供しない。
【０００７】
従って、目障りでなく、レイアウトへの制約が少なく、プリンターやカメラの解像度への依存度が低い、埋込マーカが必要とされている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ブレント ヘフト（B. Hecht)外３名、「ウィキアイ−場所情報で参照されたウィキペディアコンテントを探索するためのマジックレンズの利用（Wikeye - Using Magic Lenses to Explore Georeferenced Wikipedia Content）」、第３回携帯インタラクションデバイスの普及に関する国際ワークショップ予稿集（Proceedings of the 3rd International Workshop on Pervasive Mobile Interaction Devices (PERMID)）、２００７年、ｐ.６−１０
【非特許文献２】デイビッド ヘフト（David Hecht)、「ハードコピーデジタルドキュメントのための埋込みデータグリフ技術（Embedded Data Glyph Technology for Hardcopy Digital Documents）」、ＳＰＩＥ−カラーハードコピーとグラフィックス技術ＩＩＩ（SPIE -Color Hard Copy and Graphics Arts III）、１９９４年２月、第２１７１巻、ｐ.３４１−３５２
【非特許文献３】デレク レイリー（Derek Reilly）外４名、「マークアップマップ、紙の地図と電子情報源との組み合わせ（Marked-up maps: combining paper maps and electronic information resources）」、パーソナルおよびユビキタスコンピューティング（Personal and Ubiquitous Computing）、２００６年、第１０巻第４号、ｐ.２１５−２２６
【非特許文献４】ベルナ エロール（Berna Erol)外２名、「ホットペーパー：携帯電話を用いた紙のマルチメディアインタラクション（HOTPAPER: multimedia interaction with paper using mobile phones）」、マルチメディア予稿集、２００８年、ｐ.３９９−４０８
【非特許文献５】フー リュウ（Xu Liu）外１名、「モバイルリトリバー：物体源からのデジタルドキュメントへのアクセス（Mobile Retriever: access to digital documents from their physical source）」、ドキュメント分析と認識の国際誌（Int. J. Doc. Anal. Recognit.）、２００８年、第１１巻第１号、ｐ．１９−２７
【非特許文献６】ネイルス ヘンゼ（Neils Henze）外１名, 「撮影しあなたのフォトブックを共有する（Snap and share your photobooks）」、マルチメディア予稿集（Proceedings of Multimedia）、２００８年、ｐ．４０９−４１８
【非特許文献７】ジョナサン ハレ（Jonathan Hare）外３名、「マップスナッパー：携帯電話からの画像適合のための効率的アルゴリズム（MapSnapper: Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones）」、ＳＰＩＥ予稿集、２００８年、第６８２０巻、pp 68200L-68200L-11
【非特許文献８】チョン リュウ（Qiong Liu)外４名、「高速不変変換を用いた高精度かつ言語非依存のドキュメント検索（High Accuracy and Language Independent Document Retrieval With A Fast Invariant Transform）」、ＩＣＭＥ予稿集（Proceedings of ICME）、２００９年、ｐ．３８６−３８９
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上述したような、媒体上のマーカを用いてリンクされたメディアにアクセスする既存のシステムあるいは方法が有していた課題の少なくとも一部を解決することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一形態である、表示物の生成方法は、付加的なデジタルメディアを提供するために用いる表示物の生成方法であって、表示媒体の表示面の上に表示されるコンテント情報を取得し、前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、前記表示条件に基づいて前記マーカを出力し、少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶する、ことを特徴とする。
さらに別の態様では、表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする。
さらに別の態様では、表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする。
さらに別の態様では マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする。
さらに別の態様では、表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする。
さらに別の態様では、表示媒体の表面上に前記コンテント情報と前記表示条件とに基づいて前記マーカを合成して出力することを特徴とする。
さらに別の態様では、マーカを、前記表示条件に応じて、透光性を有する基材上に印刷出力し、前記表示媒体の表面上に前記コンテント情報を出力し、前記表示媒体と前記基材とを重ね合わせて表示物を構成することを特徴とする。
本発明の別の形態である、デジタルメディアを提供するシステムは、上記の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するシステムであって、前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、を備えることを特徴とする。
本発明の別の形態である、表示物を生成するためのコンピュータプログラムは、付加的なデジタルメディアを提供するために用いる表示物を生成するためのコンピュータプログラムであって、コンピュータを、前記表示媒体の表示面の上に表示されるコンテント情報を取得し、前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、前記表示条件に基づいて前記マーカを出力し、少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶するように動作させるためのコンピュータプログラムである。
さらに別の態様では、表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする。
さらに別の態様では、表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする。
さらに別の態様では、マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする。
さらに別の態様では、表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする。
さらに本発明の別の形態である、上記の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するためのコンピュータプログラムは、コンピュータを、前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、として動作させるためコンピュータプログラムである。
さらに本発明の別の形態である、表示物体は、表示面と、前記表示面の上に表示されたコンテント情報と、前記表示面の上の所定の位置にデジタルメディアが関連付けられていることを表示し、前記所定の位置の近傍の前記表示面の一部の領域の境界を表示するとともに、前記境界の内側に位置する前記コンテント情報が前記境界の内側に表示されるマーカと、を備え、前記デジタルメディアの取得に必要となる情報と画像特徴とを関連付けた関連付け情報の組を記憶する記憶手段を用いて、前記領域を特定するのに十分な量の前記コンテント情報の画像特徴が、前記マーカの前記境界の内側に含まれることを特徴とする。
さらに別の態様では、所定の位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所を前記境界の内側に含むように前記マーカが配置されていることを特徴とする。
さらに別の態様では、境界内には前記デジタルメディアに関連するアイコン画像を含むことを特徴とする。
さらに別の態様では、アイコン画像は、前記境界の内側で前記画像特徴の量が少ない箇所に配置されることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、従来のコード画像と比べて、ドキュメントコンテントのレイアウト上の障害となりにくく、従来の画像特徴を用いる手法と比べると、ユーザがページ内の特定部分に埋め込まれたデジタルメディアに容易で高速にアクセスできるデジタルメディアの埋込みマーカを提供することができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明に関わる埋め込み型メディアマーカを印刷用広告に付加した例を示すものである。
【図１Ｂ】本発明に関わる埋め込み型メディアマーカを地図に付加した例を示すものである。
【図２】本発明に関わるＥＭＭの例のより詳細な構造を説明するものである。
【図３】本発明に関わるアルゴリズムで、円の内部にある特徴点の数を概算する方法の例を示すものである。
【図４】広告上にこのドキュメントの画像特徴点を重ね合わせて表示したものである。
【図５Ａ】特徴点の分布マップの例を示したものである。
【図５Ｂ】累積的特徴点分布マップの例を示したものである。
【図６】本発明の一例に係わる、矩形内にある特徴点の数を計算する方法を説明するためのものである。
【図７】本発明の実施形態に係わる、３次元空間中の３段階構造とされたＥＭＭのモデルを説明するためのものである。
【図８】２次元フィルタの対角線方向での形状の例を示すものである。
【図９Ａ】白黒のマルチメディアアイコンの典型例を示すものである。
【図９Ｂ】グラフィック効果を施されたＥＭＭを示すものである。
【図１０】ドキュメントページにＥＭＭがアルファブレンディングされた例を示すものである。
【図１１】不定形状のＥＭＭの例を示すものである。
【図１２】不定形状のＥＭＭの配置手法の例を説明するためのものである。
【図１３】他のＥＭＭのデザイン例を示すものである。
【図１４】他のＥＭＭのデザイン例を示すものである。
【図１５】他のＥＭＭのデザイン例を示すものである。
【図１６】他のＥＭＭのデザイン例を示すものである。
【図１７】他のＥＭＭのデザイン例を示すものである。
【図１８】本発明の一形態である、データベースとＥＭＭを有する物体から、デジタルメディアを提供するための方法の例を示すものである。
【図１９】本発明の一形態である、ＥＭＭを備える物体を生成する方法の一例を示すものである。
【図２０】本発明の一形態であるシステムの機能ブロック図を示すものである。
【図２１】本発明の一形態である、携帯端末プラットフォームの一例を示すものである。
【発明を実施するための形態】
【００１３】
以下の詳細な記述において、図中にも示される参照番号は、同様の機能を有する要素に類似した数値を当てている。これらの図面はあくまでも例示のためであって、本発明を限定し、特定の実施態様だけが本発明の原理と一致することを示すものではない。実施形態は本発明の原理に基づいて当業者が実施可能な程度で十分に記述され、本発明の技術思想の範疇であれば、他の形態を適用したり、各要素を変更あるいは交換したりすることができることは理解されよう。すなわち、以降に示す詳細な説明は、限定的に理解されるべきではない。さらに、記述されている多様な本発明の実施形態は、一般用途のコンピュータ上でソフトウェアを動作させても、専用ハードウェアの形でも、あるいはソフトウェアとハードウェアとの組み合わせでも、実現することもできる。
【００１４】
本発明の一実施形態である、媒体上に設けられる埋め込み型メディアマーカ（以降Embedded Media Markers (ＥＭＭ)と呼ぶことがある）は、紙ドキュメント上に重なるように印刷されるマーカであり、ドキュメントの一部の特定領域に関連付けられている。本発明の一実施形態では、例えばカメラを内蔵した携帯電話を使って、ＥＭＭが設けられたドキュメントの部分の写真を撮影し、ＥＭＭが設けられたドキュメントの場所に関連付けられたデジタルメディアが携帯電話のディスプレイ上に表示される。バーコードと比較してみると、このＥＭＭの実施形態の方は透明に近い一方で、視認が可能である。つまり、ＥＭＭは使用者がドキュメントのコンテントを閲覧するのを妨げない。ＥＭＭに関連付けられたデジタルメディアの検索は、撮影されたＥＭＭが設けられたドキュメントの部分の局所画像特徴に基づいて行われる。いくつかの実施形態では、オリジナルのドキュメントの表示をなるべく妨げずにＥＭＭの配置されたドキュメントの部分から十分な識別用の特徴を取得できるように、半自動的にドキュメント中のある場所にＥＭＭを配置する手法を示す。
【００１５】
以下の実施形態では、ＥＭＭを有する物体の生成システムや方法の説明の他、これらのマーカを用いる多様な目的を示す。本発明のいくつかの実施形態では、ＥＭＭはユーザに対してデジタルメディアやデータ（デジタルメディアオブジェクト）が存在することを示すのに用いられ、ＥＭＭが設けられた対象物（例えば、紙）と関連付けられた、どこか他の場所に、それらが保存される。加えて、ＥＭＭを用いることで、ユーザは簡単に関連付けられたデジタルメディアオブジェクトを検索し閲覧することが可能となる。本発明の一実施形態では、そうしたメディアやデータは、ＥＭＭを使用するオブジェクトによって図示されたコンテントに関するさらなる説明を提供するようになるだろう。言い換えれば、埋め込まれたＥＭＭは、ＥＭＭが設けられたオブジェクトに関連付けられたローカルあるいは外部のメディアオブジェクトへのメディアリンクのようなものである。
【００１６】
本発明の一以上の実施形態では、紙には意味を備えた標識である、埋込みメディアマーカ（ＥＭＭ)が付加され、前述のメディアリンクの存在とメディアの形式が表示される。本発明の一実施形態では、ＥＭＭを見たとき、カメラ付き携帯電話でＥＭＭが設けられたドキュメントの部分を撮影することで、そのドキュメントに関連付けられたデジタルメディアを見ることができることが、ユーザに示される（あるいは理解される）。これは、ウェブページにおいて下線、フォント変更、画像タグといった表示手法で、ユーザがクリックしたときに追加情報が得られるリンクが存在していることを表すのと類似した手法である。本発明のいくつかの実施形態では、バーコードとは異なって、ＥＭＭはほとんど視覚的に邪魔にならないので、ドキュメント中の内容を閲覧する障害にもなりにくい。本発明のいくつかの実施形態では、データ埋め込みグリフコードやアノトパターンと異なって、ＥＭＭは通常の解像度のプリンターで印刷することができ、通常の解像度の携帯電話のカメラで撮影した画像でも、利用することができる。さらに、本発明の一実施形態では、ＥＭＭはＥＭＭが設けられた場所に関連付けられたデジタルメディアの形式（例えば、音楽、ビデオ、画像）を示すようにデザインされている。
【００１７】
本発明の一実施形態では、ドキュメント中に半自動的にＥＭＭを配置する手法とアルゴリズムを提供する。この手法とアルゴリズムは、ドキュメントの一部分を識別するために、ドキュメントの本来のコンテントを主として用いる（すなわち、バーコードのような識別用マークを用いない）。また、本発明の手法とアルゴリズムは、オーサリングツールの要素として用いることができ、マルチメディア情報を付加するために、メディアエディタを用いて紙の一ページ上の所望のアンカーポイントを選択すると、本発明のアルゴリズムによって、編集者が選択したアンカーポイントに応じて自動的にＥＭＭが配置される。ＥＭＭは、ドキュメントのその部分の位置が識別できるように、そのドキュメントの部分に関する十分な量の特徴をマーク範囲内に含むように配置される。ＥＭＭは続いてそのドキュメントコンテンツ上に重ね合わされ、高機能化された紙として出力される。ＥＭＭは透明な印刷媒体、例えば透明シートやステッカーの上に印刷し、ドキュメントコンテントの対応する箇所上に重ねて配置して使用することも可能である。そして、ユーザは、紙上のＥＭＭが設けられたドキュメント部分を撮影することで、画面、スピーカ、あるいは他の出力機器といった動的デバイス上で追加マルチメディア情報を取得することができる。
【００１８】
図１Ａは、あるパンフレットに付加された、ＥＭＭの例示的な形態を示す。ここで示すＥＭＭの形態は、このパンフレット中の人の手の位置に、対応付けられたビデオが存在することを示すものである。大きなＥＭＭ境界１０１（この例では円）の中のドキュメントの部分が、ＥＭＭが設けられたドキュメントの部分として扱われる。ＥＭＭが設けられたドキュメント部分内には、小さい境界１０２（この例では円）で示され、その内部にはこのＥＭＭに関連付けられているメディアのタイプを示すグラフィック１０３（この例ではビデオ）を有するメディアタイプマークが設けられる。小さい円１０２に接続された矢印は、そのメディアが関連付けられたドキュメント中の正確な場所を指し示すもので、アンカーもしくはＥＭＭ埋込みドキュメント箇所と呼ぶことができる。なお、図中にはＥＭＭの構成要素を説明するための吹き出し線と説明が表示されているが、これらはＥＭＭの構成要素ではない。
【００１９】
図１Ｂは、ＥＭＭ１１０の一実施形態を示すもので、地図１１１上に設けたものである。地図１１１は地形に関する高品質な情報を大きな表示領域で提供する。これは屋外で読みやすく、折りたたみもでき、他の人々と共有もしやすい。しかし、場所特有の動的な情報、例えばレストランのビデオクリップ、公園の天気予報、ホテルの現在の割引情報、といったものを提供できない。
【００２０】
ＥＭＭを用いると、こうした動的なマルチメディアを紙の地図を通じて簡単に提供できる。図１Ｂに示すように、東京の地図上に、和食料理店がＥＭＭ１１０によって加えられており、その場所の歴史やハイライトに関するビデオクリップを指し示していて、それは携帯デバイス１１２を用いて見ることができる。携帯デバイスはＥＭＭの内部にあるドキュメントの特徴あるいは特徴点を用いて、どのビデオクリップが実行されるのかを特定する。同様に、ＥＭＭを用いてカスタマーレビューやそのレストランのメニューを示してもよいし、その場で店の予約をするために用いてもよい。なお、ここでＥＭＭはもともとの地図のレイアウトは変更せず、視覚的にもほとんど邪魔にならない。これがＥＭＭがバーコードを利用した既存の手法と異なる点である。加えて、関心領域（POI：Point of Interest)の真上にＥＭＭを配置することができる点は、地図上の関心領域のコンテキストを維持するのに特に有効である。
【００２１】
図２は本発明に係わるＥＭＭ２００の一例の詳細を示すものであり、特徴境界２０１、メディアタイプアイコン境界２０２、メディアアイコン２０３、アンカーポイント２０４、そして矢印２０５が含まれる。ＥＭＭ２００の機能的なデザインと、ドキュメント上に半自動的にＥＭＭを配置する手法とアルゴリズムとについて以下に記述する。すなわち、ここではユーザがドキュメント上でアンカーポイント２０４を選択して、その場所にマルチメディア情報を関連付けるためのオーサリングツールを説明する。本発明の他の目的に関する、ユーザが選択したアンカーポイントにとって最適なＥＭＭの場所と配置とを、そのＥＭＭが設定されたドキュメントの部分が十分正確な識別を可能とする数の特徴が含むように、自動的に見出すアルゴリズムについても記述する。そして本発明に係わるＥＭＭは例えば印刷物として元のドキュメント上に重ね合わされて（例えばアルファブレンドされて）、進化した紙となる。既存の紙ドキュメントにＥＭＭを追加するために、ＥＭＭ２００は透明な媒体、例えば透光性シートやステッカー上に作成し、それを既存のドキュメントの対応箇所上に重ね合わせることができる。ユーザは、例えばカメラ付き携帯電話で、このＥＭＭが設定されたドキュメント部分の写真を撮影し、これを解析して、そのドキュメントにリンクされたメディアを検索し、そのメディアを再生することができるようになる。
【００２２】
［ＥＭＭの望ましい特徴］
本発明のいくつかの実施形態では、ＥＭＭは、紙上に印刷されたコンテントの特定の一部分にデジタルメディアが関連付けられていることを示す、紙上のマークを意味する。使用感を向上させるために、本発明のいくつかの実施形態に係わるＥＭＭは、次の特徴を有する。
１．ＥＭＭは人が見ることができる。ＥＭＭはドキュメントに関連付けられたマルチメディア情報の存在を知らしめるために可視のマークであるべきである。
２．ＥＭＭの意味を人が把握できる。ＥＭＭは、ＥＭＭに関連付けられたデジタルメディア、例えば、オーディオ、ビデオ、テキスト、画像、アノテーションといった、メディアの種類を示している。
３．ＥＭＭは紙の上で余分な領域を占めず、ＥＭＭの配置によるドキュメントのレイアウトへの影響が少ない。
４．ＥＭＭはオリジナルの紙上のコンテントの変化を実質的に最小限とする。ＥＭＭのデザインと配置とは元のドキュメントのコンテントとブレンドされる。
５．ＥＭＭはドキュメントの部分を大きく劣化させない。認識手法がドキュメントのコンテントの特徴に基づくため、ドキュメントのコンテントはうまく保存されることになる。
６．ＥＭＭは、マルチメディアを再生するために必要となる画像をユーザにガイドする。
７．ＥＭＭは、マルチメディアを再生するために必要となる十分な量の特徴を含んだ領域を示す。
８．ＥＭＭはデータベース内でインデックス化すべきドキュメント部分の大きさを制限でき、計算の複雑さとデータ容量を低減し、検索速度を向上させる。
【００２３】
［例示的なＥＭＭの作成］
ａ. 特徴境界マーク
バーコードを用いないため、ユーザは関連するドキュメント部分を識別するために画像特徴を用いる必要がある。こうした特徴は記事上の画像から得られたいくつかの特徴か、異なる種類の特徴の組み合わせであってもよい。こうした特徴としては、記事上の画像の局所空間配置から抽出された一般的な画像局所特徴を利用することができる。一般的な画像特徴の中でも、SIFTやPCA-SIFT、SURFあるいはFITといった、スケール不変画像局所特徴(scale invariant image local feature)が好ましく利用できる。あるいは、エロールらが開発したHOTPAPERで用いられているテキスト部分の単語の配置に基づく画像特徴や、中居らが開発したLLAHで用いられている特徴点の局所配置に基づく手法を用いることもできる。これらの特徴はドキュメント画像の一部であるため、バーコードのような明確な輪郭がない。もし特徴の数を認識精度を高めるために増やす必要が生じた場合、この技術では、これらのグループとして扱われる特徴に対して明確な境界を持たないことになる。明確な境界を持たない場合には、システムがそのドキュメント部分を識別するのに十分な量の特徴を含んでいないドキュメント領域をユーザが撮影してしまう可能性が高くなる。この問題を解消するために、ユーザに対して撮影用の境界を付加してガイドすることが望まれる。いくつかの実施形態では、この境界はそのドキュメント部分を識別するに必要最小限となる領域が撮影範囲に含まれるように設定される。この撮影範囲のガイドを使用することで、いくつかの実施形態では特徴データベースにおいてインデックス化される特徴の数を、大幅に減少させることも可能となる。こうした特徴の数を制限することは、認識精度と認識速度とを高める上でもとても有効である。
【００２４】
本発明のいくつかの実施形態では、様々な方向から撮影した場合であっても十分な数の特徴が取得できるように、図２に示すような特徴境界円２０１を用いて、人工的に特徴境界を表示している。（なお、カメラの光軸は紙のほぼ法線方向にあると仮定した。）特徴境界円は、ドキュメントの一部分を識別するために用いられる特徴をその中に含んだページの一領域あるいは一部分を規定する。ドキュメントの領域識別という観点では、円が大きいほど、そのドキュメント部分の識別に用いることができる特徴の数を増やすことができる。一方、円が大きい程、各ページ内に配置できるＥＭＭの数が少なくなってしまうし、特徴数を減らすことで得られるメリットも損なわれてしまう。さらに、カメラ付き携帯等で大きな円を撮影しようとすると視野角と解像度の制約のためにユーザがうまく利用できない場合も発生する。
【００２５】
いくつかの実施形態では、円の大きさ（すなわち図２の半径R）の考慮以外に、円の配置（すなわち図２の中心点（X，Y））もまたドキュメント部分の識別には重要となる。もし、特徴の分布が密な箇所に円が配置された場合、円の半径Rは非常に小さくできるし識別精度も高い。一方、空白の部分に大きな円を配置しても識別精度は低下してしまう。こうした考え方に基づいて、好適な円の中心（X，Y）と半径Rを決定する本発明の方法が提供される。
【００２６】
ｂ． メディアタイプ（種別）マーク
いくつかの実施形態においては、カメラ付き携帯端末での写真撮影用のガイドの役割に加えて、リンクされているメディアの種類（例えば、オーディオ、ビデオ、ウェブページなど）の情報は、利用者にとってこの進化した紙ドキュメントを利用する上で役に立つ。図２に例示するＥＭＭはこのＥＭＭにビデオへのリンクが関連付けられていることを示すためのビデオアイコン２０３を含んでいる。メディアタイプに関するアイコン情報は、ここではメディアタイプアイコン境界と呼ばれるもう一つの円２０２で囲まれている。この円２０２はアイコン情報を強調する上で有効である。一方、これを特徴境界マーク２０１と視覚的には一致させてもよい。
【００２７】
いくつかの実施形態では、メディアアイコン２０３は、ユーザの注意を引く程度の大きさに生成される。一方で、このマーク２０３によってドキュメントの部分を識別するのに必要となる十分な数の特徴が隠されて減少してしまわないようにするべきでもある。本発明の一つに関連するアルゴリズムでは、アイコンマークの最適な中心位置（ｘ，ｙ）の検出方法を提供する。
【００２８】
ｃ． アンカーポイントと矢印
いくつかの実施形態では、図２の小さい方の円２０２は紙の特定の箇所へリンクするための明らかな点があるわけではないので、紙上のアイコンマークを取り囲む円を用いることは難しくはない。しかし、場合によってはあまり安易にこの円を配置するとユーザに正確な情報が伝わりにくくなる場合もある。例えば、図面の中にいくつかの機械部品が密集して配置されていて、多くの部品は３次元モデルで表示されているような場合、それらの部品とアイコンマークを囲む円とを対応付けることはユーザにとって難しいだろう。こうした問題を解消するために、本発明のいくつかの実施形態では、ドキュメント作成プログラムを用いて、ドキュメント中の特定の場所をアンカーポイント(ｍ，ｎ)としてユーザに選択させ、アイコンマークを取り囲む円からそのアンカーポイントを指し示す矢印を追加する。このようにすることでこの矢印とアイコンマークを囲む円とで、特定の箇所(ｍ，ｎ)に対する指し示しを表現できる。
【００２９】
d． 画像処理
いくつかの実施形態では、オリジナルドキュメントへの影響を低減するため、メディアタイプアイコンを表現するときは、着色された領域ではなく、スケルトン表現（骨格部分のみの表示）が選択される。人間の眼はアルファブレンドされた画像の分離能力が一般に高いため、原画像にアルファブレンドされたメディアタイプアイコンはオリジナルドキュメントへの意味合いについての影響を低減させるうえで有効である。いくつかの実施形態では、色チャンネルと領域に応じてアルファブレンド係数を変化させることで、ＥＭＭが付与される領域内でのテキストや写真の色を変更することもできる。あるいは、紙ドキュメント中の図形オブジェクトは２次元空間で表現されることが多いから、いくつかの実施形態では、ＥＭＭ自体を３次元状に表示させるようにしてもよく、これによってＥＭＭと、オリジナルドキュメント中の図形オブジェクトとの区別がいっそうしやすくなる。
【００３０】
いくつかの実施形態では、図２に示すようにＥＭＭの外観が類似した、大きな円２０１が小さな円２０２を取り囲む、ものとすることができる。小さい円２０２は単純なアイコン２０３とそれに付加された矢印２０５とで表される（図２参照）。いくつかの実施形態では、ＥＭＭについて視覚上の統一性を持たせることで、ユーザがページ中でＥＭＭを発見しやすくすることができる。ＥＭＭの機能は、ウェブページ内で着色や下線を用いる、慣用されているハイパーリンクと類似している。ハイパーリンクと異なるのは、ＥＭＭの実施形態が、物理的な表示媒体上に表示され、そしてＥＭＭが付されたドキュメントの箇所に関連付けられた、利用可能なメディアを示すアイコンを用いる点である。
【００３１】
いくつかの実施形態では、画像およびテキストのオクルージョンを、ＥＭＭを含むページを印刷するために用いられるデータの輝度のみを調整することで緩和させることもできる。一実施形態では、ＥＭＭを配置するときに、ある限られた範囲で重なり合う画像の輝度を変化させる。ここで輝度情報を用いたのは、カラーおよび白黒の装置あるいはプリンターにおいて高い正確性をもって再現されるからである。一実施形態では、大きな境界円と小さな円とは、これらと重なり合う画像の輝度情報に対して付加される一方で、影付き処理の部分では輝度が減少するようにする。
【００３２】
いくつかの実施形態では、画像とテキストとの干渉は、単純に、ＥＭＭに明るい色を用いる、線の太さ、ドットの大きさを選択する、あるいはコンテンツの空白や間隙等の間にドットを配置し、ＥＭＭがドキュメントのコンテンツの邪魔しない一方で、ユーザがＥＭＭを認識しやすくする、といった処理をして軽減することもできる。
【００３３】
いくつかの実施形態では、小さい方の内部の円２０２がメディアアイコン２０３とアンカーポイント矢印２０５とを含む。メディアアイコン２０３はリンクされているオーディオやビデオなどのメディアの種類を画像として表現する単純なアイコンである。このアイコン２０３は小さな円２０２の内部に輝度は増加させずに描画され、先に述べたような影付き処理が施される。アンカーポイント矢印２０５は、隣接する円の中心からの指し示しを表す小さな矢印として描画される。矢印２０５はページ内でユーザが指定した領域を指し示す。矢印の外観は関連付けられた円とマッチするように表示される。
【００３４】
［ＥＭＭの配置手順とアルゴリズムの実施形態］
１．ＥＭＭの配置ルールと手順
いくつかの実施形態では、ＥＭＭのオーサリング処理は、オリジナルのドキュメントをＥＭＭオーサリングエディタに読み込んで処理することを含めることができる。読み込まれた後に、各ページの全体の局所画像特徴が所定の特徴抽出方法に従って抽出され、一時メモリに記憶される。なお、そのドキュメントに対応する、予め抽出された局所画像特徴を外部データベース等から受信して用いてもよい。次に、先に説明したような手順で、アンカーを施す処理と、アンカーにリンクされるデジタルメディアの情報をユーザから受信したのち、一時メモリ中のアンカーポイントの周囲の局所画像特徴を用いてＥＭＭの大きさ（特徴境界、メディアタイプ境界）と位置とを決定する処理を行う。ＥＭＭの内部に存在する局所画像特徴の決定と、ユーザによる編集処理とが完了したあと、ユーザからのドキュメントの保存や印刷指示が受信され、ＥＭＭの内部に含まれる局所画像特徴と、ＥＭＭにリンクされるメディアのURLやファイル自体とが関係付けられてデータベースに保存される。本処理に用いる特徴データベースは、ＥＭＭの固有識別番号、ＥＭＭ内部に存在する各特徴点毎の特徴を表すベクトル情報を含む局所画像特徴のセット、埋め込まれたデジタルメディアのローカルメモリ上あるいはインターネットアドレス、といった情報が含まれる。
【００３５】
あるいは、オーサリング処理ではページ全体の画像特徴を特徴データベースに保存するようにしてもよい。一時メモリ中に保存された局所画像特徴を用いてＥＭＭの大きさと配置箇所とを決定する上で、リンクを形成する箇所に基づいてページ全体の画像特徴を保持するデータベースからＥＭＭの範囲内の画像特徴を用いて比較するようにしてもよい。局所画像特徴を保存する場合には、ＥＭＭ内に含まれる局所画像特徴をコピーし、関連付けられるデジタルメディアのアドレスとともに、他の参照テーブルデータベースに保存するようにすることもできる。
【００３６】
いくつかの実施形態では、各ページから抽出された特徴は単純に一時メモリに保存することもできる。オーサリングツールによりＥＭＭの位置が決定された後、ＥＭＭがページに追加され、ＥＭＭと重なり合った箇所を含む近傍領域の画像データが切り取られ、切り取られた画像から画像特徴を再計算し、この特徴をデータベースに保存するようにしてもよい。このようにすることで、ＥＭＭ自体の画像特徴がオリジナルのドキュメントの特徴と組み合わされることになるので、より少量の特徴を各ＥＭＭに対応して保存すればよくなり、この結果データベースもより多くのＥＭＭを取り扱えることになる。加えて、ＥＭＭと重なりあった画像について、特徴を再計算するようにすることで、ＥＭＭを含まない画像特徴を用いる場合よりも、ユーザが撮影した画像との整合性を向上させることができる。
【００３７】
いくつかの実施形態では、ＥＭＭの構造について、主にマルチメディアが複合された表示物体に関するユーザの要求という観点で主に説明してきた。いくつかの実施形態では本発明のシステムがユーザにより好適なサービスを提供できるように、装置側の要求という観点でも考慮がなされる。より具体的には、本実施形態のドキュメントの部分認識処理への悪影響なしにシステムを改善することができるようにＥＭＭを配置する。この目的を達成するために、ＥＭＭの配置用のパラメータの調整のアルゴリズムに工夫が施される。
【００３８】
いくつかの実施形態では、ＥＭＭの調整のために３つの基本的なパラメータ、特徴境界円中心（X,Y)、特徴境界円半径R、そしてメディアタイプ円中心（ｘ，ｙ）がある。識別用のシステムにおいては、各ＥＭＭを識別するために十分といえる量の閾値以上にその画像部分でカバーされる量の特徴点が含まれていてもＥＭＭの識別精度は大きくは変わらないので、特徴境界円の最適化は、ドキュメント上での表面積が最小で、画像部分の識別精度が十分に良いということを目標になされる。ＥＭＭが占める表面積を小さくすることで、本実施形態のシステムでは次のような利点が生じる。
１） ＥＭＭを配置したことによるドキュメントのオリジナルコンテントの見にくさが軽減される。
２） 表面積が小さいことでより多くのＥＭＭを各ページ内に配置することができる。
３） パッチ識別用の円の内部にある特徴点（例えば上述したSIFT/SURF/FITの特徴点）をインデックス化するため、面積が小さくなればインデックス用のサーバに保存する特徴点の量も少なくすることができる。特徴点の量が少ないことは識別速度を向上させる上でも有効である。
４） マークされた小さい領域を用いることで利用者が撮影する際のガイドが提供され、計算量も少なくなるので利用者がマルチメディアデータを取得するための待ち時間も短縮される。
５） 撮影領域が小さくなることで、撮影性能に制約のあるカメラ付き携帯端末を用いた場合でも、撮影が行い易くなる。すなわち、撮影する円の大きさが大きいと、携帯端末のカメラとドキュメントとの間の距離も遠ざけて撮影する必要が生じるが、小さい円を近くで撮影した方が、撮影作業自体も容易であるとともに、撮影画像の画質（例えばダイナミックレンジや解像度）も高くなるので、検索性能も結果的に向上する。
【００３９】
いくつかの実施形態では、特徴境界円の大きさを小さくするために、本発明の実施形態に係わるアルゴリズムによって、特徴点の密度が高い領域に境界円が配置されるとともに、最低限含まれる必要がある量の特徴点を円内に含む小さい半径の円を求める処理を行う。
【００４０】
いくつかの実施形態においては、前述したドキュメント部分識別アルゴリズムで、特徴境界円はユーザが視認可能な最小となるサイズよりは通常は十分大きい。いくつかの実施形態に係わるアルゴリズムでは、特徴境界円の内部のメディアタイプアイコンを取り囲む円は、ユーザがＥＭＭと一体であることがわかるように設定される。メディアタイプアイコンによって生ずるコンテンツの見づらさを低減するために、本実施形態のアルゴリズムでは、この円を特徴点の数が最小密度である箇所に移動させるように試みる。すなわち、アイコン用円のサイズの決定とともに、オリジナルドキュメントの中でその円が含む特徴点の数が最小となるように最適化をする。このようにすることで、ドキュメント部分の識別の上で以下の利点が生じる。
【００４１】
１）メディアタイプアイコンとそれを取り囲む円は重要な特徴になるべく影響を与えさせない。こうすることでユーザはオリジナルコンテントとアイコンとが区別でき、オリジナルドキュメントの理解の障害にならないようにする。
２） メディアタイプの表示が半透過の骨組みと影とによって主に構成される場合、その吹き出し（call out）表示とオリジナルドキュメントのコンテントとの組み合わせを、オリジナルのドキュメント中でも特徴点が粗い領域中に配置することで、より高い分別性を与えられる。この特徴点密度のバランス処理は、装置にとってはより一様に分布した特徴点を検出するのに有効であり、さらに、撮影時の携帯端末側の姿勢を予測するために用いる空間変換マトリクスをより安定的に獲得する場合に有効となる。さらに、このマトリクスがより安定的に得られるようになることで、整合用の輪郭を減らし、部分識別精度をより向上させるのにも有効となる。
【００４２】
いくつかの実施形態では、これらの最適化方法以外に、ＥＭＭの見栄えを良くしたり、より多様な条件化でも外観を一致させたりするためのいくつかの追加ルールが用いられる。そうしたルールは、以下のものを含む。
１）アンカーポイントは、特徴境界円の内部にあるべきである。こうすることでＥＭＭの機能をより直感的に理解でき、配置場所の探索範囲も限定される。さらに、複数のＥＭＭが同じページの同じ場所に配置されて結合してしまうのを避けることができる（グローバル位置最適化）。
２） メディアタイプアイコンとそれを取り囲む円はドキュメントの作成者が選択したアンカーポイントを覆ってはいけない。このようにすることで、矢印が常に円から外に向かって突き出し、ＥＭＭを様々な箇所に配置しても外観を一致させることができる。
３） 矢印をなるべく短くするために、吹き出し表示に用いるアイコンがアンカーポイントにより近くなるようにアルゴリズムを構成する。
４） 全ＥＭＭに施す影付き表示は無限遠に配置された同じ光源を用いる。
５） 影付き処理を施す際にＥＭＭのモデルが３次元空間中の３段階構造を有すると仮定する。
６） いくつかの実施形態では、影付き処理の際の光源は無限遠の左上から照射されるものとする。
【００４３】
２． 円内の点の量を見積もる高速アルゴリズム
いくつかの実施形態では、特徴境界円の最適な位置とサイズとを得るため、あるいはアイコン吹き出し表示円の最適位置を得るため、システムは円内の特徴点の数を計数しなければならない。もし、ＥＭＭを配置することで画像局所特徴を急激に変化させてしまう場合、システムは新たなＥＭＭのパラメータ（すなわち、場所とサイズ）の検証後に、ＥＭＭが配置された部分内の全ての特徴を再計算する必要がある。こうした処理は最適なパラメータの組み合わせを妥当な時間内に得る上では実用上望ましくない。本発明のいくつかの実施形態におけるＥＭＭは、エッジと影とを主たる構成要素としており、ドキュメントの一部分にＥＭＭが追加されても特徴点の数が大きく損なわれることはない。ＥＭＭのエッジの近くにあるオリジナルコンテントとエッジとの間では新しい特徴が形成され得るが、ＥＭＭの透明部分では元の特徴に大きな影響を与えない。このため、ＥＭＭは局所領域での特徴点の数を増加させる可能性の方が高いといえる。この点を考慮すると、ページ内の特徴点分布について、ＥＭＭ特徴境界円上やＥＭＭメディアタイプアイコン境界上にある実際の特徴の量を見積もるのに、ＥＭＭが無い状態での特徴量の分布に基づいて行ったとしてしても安全に利用することができるといえる。
【００４４】
いくつかの実施形態では、ＥＭＭのパラメータの各セットを検証する時に特徴の再計算を省略したとしても、多くの異なる円のパラメータとともに円内の特徴点の数の計数をシステムで行うことは必要となる。すなわち、システムでは円の中心として各画素の位置を試験する必要があるかもしれない。さらに、最適解に到達する前に異なる半径も試みるであろう。このため、円内の特徴点の数を見積もるアルゴリズムは現実的な使用目的では高速である必要がある。
【００４５】
一以上の実施形態では、１００DPIでスキャンされた１ページ内の一般的な特徴点の数ｎは数千に及ぶ。力ずくで検索する手法を用いたとすると、円の中の特徴点の数から予測される計算複雑性はQ(n)で表される。これは現実的な利用上は時間がかかりすぎる。
【００４６】
いくつかの実施形態では、この計算複雑性を解消するために、円内の特徴点の数を見積もるために設計した高速アルゴリズムを用いる。このアルゴリズムは特徴点分散ヒストグラムの統合画像に基づいている。このアルゴリズムを用いるために、半径Rの円の中にある特徴点の数を、先の円の内部にあって一辺が√２・Rの正方形中にある特徴点の数を用いて概算する。円３００と正方形３０１との関係を図３に示す。Ｎｃは円３００内の特徴点の数で、Ｎｓは正方形３０１内の特徴点の数であり、Ｎｓ≦Ｎｃとなる。この見積方法はドキュメントの部分を識別するために、正方形の内部の特徴点の数が部分の識別の最低限に達している場合には、円の中の特徴点の数も十分であることを保証できる。
【００４７】
いくつかの実施形態に関連する図４は、広告ページ４００の上に特徴点４０１を重ねて表示している。図５Ａは、図４中の画像に対応する、特徴点分布マップであり、白いマップ中の各黒点がそれぞれ特徴点である。図５Ｂは累積特徴点分布マップであり、原点とある点とを頂点とする矩形内に存在する特徴点の数と一致する。累積特徴点分布マップ中で、各点における値は、その左上側の領域にある特徴点の数に一致する。画像中の画素の数をNとすると、この累積特徴点分布マップを得る計算複雑性はO（N)となる。このアルゴリズムではこのマップを一度計算しておけばよく、各画像についてシステムがこのマップを予め計算し保持しておくことができるので、ドキュメント作成者がこの手法を使って最適なＥＭＭの配置を得るときに、このマップの計算複雑性は最適化をする場合でもそれほど影響しない。
【００４８】
いくつかの実施形態では、累積特徴点分布マップとともに、一定時間内で正方形内にある特徴点の数をシステムで計算することもできる。図６において正方形ABCDは画像境界等の一つと並行な辺を有し、累積分布マップ上の各点A,B,C,Dでの点の数をそれぞれNA、NB，NC,NDとする。 ここでは図３の円の場合のように、システムは円内にある正方形内の特徴点の数を利用する。図５の累積特徴点分布は正方形内にある特徴点の数を計算するのに利用することができる。システムは円内の特徴点の量の概算量である、正方形ABCD内の特徴点の量NSQを次の式に基づいて決定する事ができる。
【００４９】
この数式を使った実施形態のシステムは、１回の足し算と２回の引き算とで正方形内の特徴点の数を概算することができる。これは、力ずくアプローチで各特徴点を確認するために、２回の掛け算、２回の足し算、１回の引き算を計算するときと比べてずっと効率的である。例えば、ユーザがページ内の最適な円の中心を探す場合に、３０００個の特徴点があるとして、この高速アルゴリズを用いる計算は約３８００倍高速である。
【００５０】
３． 最適な特徴境界円の決定
いくつかの実施形態では、円内の特徴点の数を概算する高速アルゴリズムに加えて、各画素の位置を円の中心とする配置のテストをシステムが行うことができる。さらに、システムは最良の特徴境界円の最適な半径もまた知る必要がある。最適な半径を得るために、本発明のいくつかの実施形態では次のバイナリサーチアプローチを最適化手法として用いている。
１) 円が、その中にアンカーポイントとその半径で最大の特徴点とを含むような円の中心位置を得る。
２）このとき、この半径の特徴点の最大数が、特徴点の下限数（KEYNUMLOWLIMIT）よりも大きいかどうかを判断する。
もし、下限より大きい場合は、現在の半径（currentradius）を大半径（radiushigh）とする。
それ以外の場合は、現在の半径を小半径（radiuslow）とする。
３）現在の半径を大半径と小半径の平均とする。
１）〜３）を大半径と小半径の差が所定の最小マージン（SMALLMARGEN)に達するまで繰り返す。
１２５〜２５０の円の半径が使用される場合、バイナリサーチアプローチは約１８倍速くなる。
【００５１】
４． メディアタイプアイコンを取り囲む円の最適化
いくつかの実施形態では、メディアタイプアイコンのサイズは固定されているので、この円の場所の最適化はこの円の中に最小の特徴点が含まれるように円の位置を決定することとなる。この最適化の方法と合わせて、先に述べた２および３のルールを適用すればＥＭＭの見栄えをより良くすることができる。言い換えると、メディアアイコン取り囲み円の中心とアンカーポイントの距離は、取り囲み円の半径よりは大きくなくてはならない。取り囲み円は、短い矢印を配置するためにアンカーポイントの近くに配置すべきである。矢印の長さを短くする方法はいくつかある。１つの方法（１番目の方法）はアンカーポイントとメディアアイコン取り囲み円の中心との距離が最大となるように設定することである。他の方法（２番目の方法）は、特徴境界中心位置（X,Y)からメディアアイコン取り囲み円の中心位置（ｘ，ｙ）へのベクトルと、特徴境界中心位置（X,Y)からアンカーポイント（m，n）へのベクトルを計算し、この２つのベクトルのなす角が９０°より小さくなるようにする。ここでは２番目のアプローチを利用した。
【００５２】
［ＥＭＭのグラフィック効果の生成］
いくつかの実施形態では、紙ドキュメント上の図形オブジェクトは通常２次元であるので、ＥＭＭに３次元的な効果を施すと、オリジナルドキュメント中にある他のグラフィカルオブジェクトとＥＭＭとをより明確に区別できるようになる。一実施形態のシステムでは、３次元空間における影を示す３段階構造のＥＭＭモデルを用いる。３段階構造ＥＭＭモデル７００については図７に示す。影に付いては光源が左上にあると仮定している。この効果を施すために、ゾーベルフィルタを２Dフィルタに続いて使用することもできる。ゾーベルフィルタは計数[1 0; 0 -1]を有する。２Dフィルタは、図８中に示される形状８００の特性を対角線方向に持ち、他のフィルター位置では係数が０である。
【００５３】
いくつかの実施形態では、ＥＭＭエッジに対するフィルタリング結果を組み合わせることによって、白黒（単色濃淡）のマルチメディアアイコンに応じた適当なＥＭＭグラフィック効果を生成することができる。図９は、典型的な白黒のマルチメディアアイコン９００とグラフィック効果で装飾されたＥＭＭ９０１を示す。矢印は最適なＥＭＭパラメータのセットが決まった後に動的に３段階ＥＭＭモデルに追加しているので、矢印のグラフィック効果はＥＭＭの他の部分のグラフィック効果と適当にブレンドされるようにしてある。
【００５４】
図１０には、いくつかの実施形態である、ＥＭＭをドキュメントのページ１０００にアルファブレンディングした効果を示す。
【００５５】
いくつかの実施形態として、ユーザがＥＭＭの形状を不定形としたい場合が実用上想定される。不定形ＥＭＭを用いる理由は、例えば次のようなものである。
・ もしユーザがＥＭＭの矩形状を正しい方向で常に撮影することができるなら、特徴量の計算速度が速くなる矩形状ＥＭＭの方を使用したい（回転の計算が不要になるため）。
・ 特定の目的（例えば祝日のお祝い、ブランドの知名度向上）でＥＭＭを不定形にデザインしたい。
・ 適当にＥＭＭ形状を変形させることで、ＥＭＭが付加されたドキュメント部分を識別するのに役立つ場合がある。
・ ＥＭＭの形状に何らかの情報を持たせることもできる。
・ ＥＭＭの形状を変更することで、オリジナルドキュメントとの干渉をさらに低減することができる場合がある。
図１１には不定形状のＥＭＭのいくつかの例１１０１〜１１０４を示してある。
【００５６】
図１２で示すような、不定形のＥＭＭ１２００を配置する一つの簡単な手法は、円形状のＥＭＭにおいて最適化された円１２０１中にＥＭＭの不定形の部分を整合させる方法である。図１２（Ａ）にこの手法を示す。この手法は単純である。しかし、不定形状のＥＭＭ全体が撮影されたときに、この手法では撮影された画像内に十分な数の特徴点が含まれることは保証できない。一方、図１２（Ｂ）で示す手法では、どのような方向からＥＭＭが撮影されたとしても共通に含まれる領域内に十分な特徴点が含まれるように設定することで、不定形状のＥＭＭ全体が撮影されたときに、撮影画像中に十分な数の特徴点が含まれることを保証するための手法の一例である。
1. ２つの直交する軸上に、この不定形状１２００を投影し、２つの投影像１２０２および１２０３を作る。
２．投影像１２０２および１２０３それぞれについて、一方を一辺として含む、不定形状を囲むアスペクト比が固定された（例えば４：３の）複数の矩形境界１２０４−１、１２０４−２を生成する。
３．１、２の工程を、投影される直交軸を回転させて繰り返し、矩形を生成する。このとき作成する矩形の数および回転角は所定の数および回転角であってもよいし、ＥＭＭの周囲に適合するような矩形をエンジニアリング手法により決めてもよい。
４．これらの各投影像を一辺として作られる固定アスペクト比の矩形を重ね合わせたときに、全ての矩形で重複する領域を参照用円１２０５として見出す。すなわち、この領域はどの方向から撮影しても必ず含まれる領域となる。
５．参照用円の中心（すなわち最適位置）と不定形状のＥＭＭの現在の設置位置との間で２次元ベクトルを得る。
６．十分な特徴点が含まれるように参照用円１２０５の最適化された半径を決定する。
７．参照用円の最適位置および円の大きさが得られた後で、外接円１２０１の半径と参照用円１２０５の半径との比に基づいて、２次元ベクトルと不定形状１２００の表示倍率を調整し、不定形状１２００が配置される。
【００５７】
いくつかの実施形態において、ドキュメント検索システムのパフォーマンスを、スキャンされたドキュメントのデータベースおよびＥＭＭによる検索成功率から評価したところ、９９％以上であった。
【００５８】
［ＥＭＭのデザイン例］
利用可能な様々なデジタルメディアを示すための、例示的なＥＭＭのデザイン例を図１３〜１７に示す。ＥＭＭの装飾デザインはこれまで述べた理由等から、次のような特徴を有する。
１．ＥＭＭは典型的には紙やプラスチック等の表面上に印刷される。印刷は、オフセット印刷、フレキソ印刷、染料転写、インクジェット印刷、レーザプリンティング、パッド印刷、レリーフ印刷、グラビア印刷、スクリーン印刷、電子写真印刷、あるいは、他の表面にマークを形成する方法であってもよい。
ＥＭＭは、ビデオディスプレイ上に表示されてもよい（例えば、電子ブック、LCDモニターや電子ペーパー等）。
２．ＥＭＭは、例えばメディアタイプアイコンの境界である小さい円を取り囲む大きな円のような、特徴境界を有する。小さい円は、単純なアイコンであるのが望ましい、メディアタイプアイコンと、円に付加された矢印を備えている（図１３〜１７）。ＥＭＭの外観を統一させ、ユーザがページ内でＥＭＭをすばやく見つけることができるようにデザインされている。これはウェブページ状でハイパーリンクを色や下線で示すのと似ている。
３．特徴境界（大きな円）内でメディアタイプアイコン（小さい円）の配置は変化する（図１３〜１７）。
４．矢印の位置と方向は変化する（図１３〜１７）。
５．メディアタイプアイコン境界（小さい円）と特徴境界（大きな円）の大きさとの関係は変化する。
６．ＥＭＭは印刷ページ上のコンテンツ上に重ねられる。下地となるコンテンツのオクルージョンは、ＥＭＭと下地となる画像とを含んだページを印刷するために用いる画像情報の輝度チャネルを調整するだけで緩和できる。ＥＭＭは下地画像の輝度を変化させる。輝度情報は、カラーおよび白黒の双方の印刷技術で忠実に再現できるため、輝度情報を調整するのである。この視覚効果は、印刷ページ上のコンテントと重なる、明るく、半透明なマークをもたらす。
７．ＥＭＭのエッジは影を落とすことで決定される（図１３〜１７）。 影を落とす輝度効果は、マーク本体に、大まかに輝度の逆数の効果を適用して得られるものである。この視覚効果は、暗く、半透明の影を、ＥＭＭの境界と内部のアイコンの境界とに与えることができる。
【００５９】
［デジタルメディアを提供する方法］
図１８は、データベースと本発明の実施形態の一つとを用いてデジタルメディアを提供するための方法に関するフローチャートの一例である。いくつかの実施形態では、部分領域の画像を受信すると（１８００）、画像から複数の特徴が抽出され（１８０１）、ＥＭＭに対応するデジタルメディアが識別される（１８０２）。必要な場合には、デジタルメディアが続いて検索され、提供される（１８０３）。画像から抽出される特徴は、どのような指標が検索されるかをシステムに伝える特徴点を含んでもよい。
【００６０】
［物体の生成方法］
図１９は、視覚化されたコンテントとそのコンテント上の埋め込み型メディアマーカとを含む物体を生成するためのフローチャートの一例を示す。第１に、視覚化されたコンテント中でメディアを埋め込む場所の選択を受信する（１９００）。選択に基づいて、ＥＭＭの場所とサイズが決定される（１９０１）。続いて、ＥＭＭは決定された位置と大きさとに基づいて物体上に配置される（１９０２）。
【００６１】
［例示的なシステム構造］
図２０は実施形態に係わるシステムの機能ブロック図の一例を示す。カメラ２００１を内蔵する携帯端末２０００を用いて、ＥＭＭを含むドキュメント２００２をカメラの撮影領域に収めることで、フィードバックが提供される。ＥＭＭを識別すると、ＥＭＭが参照しているコンテントのタイプを決定するために、データベース２００３を参照する。データベースは携帯端末に情報を返し、携帯端末はたとえばそのコンテントを実行する。
【００６２】
［例示的な携帯プラットフォーム］
図２１は、携帯端末のプラットフォームおよび遠隔サーバーシステムの一例を示したものである。システム２１００は携帯端末プラットフォーム２１０１とネットワークリソース２１０３とを含む。
【００６３】
携帯端末プラットフォーム２１０１は、携帯端末プラットフォーム２１０１内の各部品間の情報を通信するためのデータバス２１０４や他の通信機構を備え、プロセッサ（ＣＰＵ）２１０５はバス２１０４と結合し、情報処理およびその他の計算や制御処理を行う。携帯端末プラットフォーム２１０１は、様々な情報やプロセッサ２１０５で実行される命令などを記憶し、バス２１０４に接続されたRAMや他の動的記憶装置のような揮発性メモリ（記憶領域）２１０６を含む。プロセッサ２１０５による命令の実行の間に一時記憶や他の中間情報を保存するための揮発性メモリ（記憶領域）２１０６もまた使用してよい。携帯端末プラットフォーム２１０１は、バス２１０４に接続され、BIOSやシステムの多様なコンフィギュレーションパラメータといった、静的な情報やプロセッサ２１０５用の命令を記憶するROMや他の静的記憶装置を含んでいてもよい。磁気ディスク、光学ディスク、あるいは固体フラッシュメモリデバイスといった固定記憶装置（不揮発性記憶領域）２１０８を備え、情報や命令を保存するためにバス２１０４と接続されてもよい。
【００６４】
携帯端末プラットフォーム２１０１は、CRT、プラズマディスプレイあるいは液晶ディスプレイ等のディスプレイ２１０９とバス２１０４を介して接続され、携帯端末の利用者に対して情報を表示する。ディスプレイ２１０９は、ＥＭＭに関連付けられたデジタルメディアを見るために用いても良い。（キーボードなどの）入力装置２１１０は、英数字等の入力キーを含み、プロセッサ２１０５との情報通信や命令選択を行うために、バス２１０４に接続される。他のユーザ入力装置はマウス、トラックボール、あるいはカーソル方向指示キーのような、カーソル制御用のデバイス２１１１であり、方向情報やコマンド選択をプロセッサ２１０５に通信したり、ディスプレイ２１０９上でのカーソルの移動を制御したりする。この入力装置は典型的には２次元の自由度を持ち、第１軸（X）と第２軸（Y)とによって、平面上の場所を特定するのに用いられる、
【００６５】
カメラ２１１２は、バス２１０４を介して携帯端末プラットフォーム２１０１に接続され、本発明のＥＭＭを備える物体の写真を撮影するために用いられる。
【００６６】
本発明は、ここに記述された技術を実現するためのコンピュータシステム２１００の使い方に関連する。実施形態として、携帯端末プラットフォーム２１０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ２１０６中の１以上の命令による１以上の処理をプロセッサ２１０５に処理させることで実現させる。こうした命令は不揮発性記憶領域２１０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ２１０６に読み出してもよい。揮発性メモリ２１０６中に保持された一連の命令をプロセッサ２１０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。
【００６７】
ここで、コンピュータ可読媒体とは、プロセッサ２１０５が実行するための命令を提供するのに用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術をも実現するための命令を保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性媒体としては、例えば、記憶装置（固定記憶装置２１０８）のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置２１０６のような動的メモリを含む。通信媒体は、データバス２１０４のような配線を含む同軸ケーブル、銅線、光ファイバーなどであってよい。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。
【００６８】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、通信波、あるいはコンピュータが読むことができる他の媒体、といった通常のコンピュータ可読媒体を含む。
【００６９】
さまざまな形態のコンピュータ可読媒体が、プロセッサ２１０５で処理される１以上の処理を実行させるために用いることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、これを、モデムを用いた電話回線を通じて送信してもよい。コンピュータシステムに接続されたモデムは、電話回線を通じてデータを受け取るともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス２１０４に伝送する。バス２１０４は揮発性記憶領域２１０６にデータを伝送し、プロセッサ２１０５がその命令を参照して実行できる状態におく。揮発性メモリ２１０６から受け取った命令はプロセッサ２１０５により処理される前あるいは後に固定記憶装置２１０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータ（携帯端末）プラットフォーム２１０１にダウンロードするようにしてもよい。
【００７０】
携帯端末プラットフォーム２１０１は、データバス２１０４に結合したネットワークインターフェースカード２１１３のような通信インターフェースも有する。通信インターフェース２１１３はローカルエリアネットワーク２１１５に接続されたネットワークリンク２１１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース２１１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a、802.11b、802.11g として公知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）としたり、Bluetooth(登録商標)を用いて実現してもよい。いずれの場合でも、通信インターフェース２１１３は、様々なタイプの情報を表すデジタルデータ列を伝送する、電気、電磁、あるいは光信号を送受信する。
【００７１】
ネットワークリンク２１１４は、１以上の他のネットワークとのデータ通信を通常可能とする。例えば、ネットワークリンク２１１４は、ローカルエリアネットワーク２１１５を介して、ホストコンピュータ２１１６やネットワークストレージ／サーバ２１２２への接続を提供する。加えて、あるいは代替として、ネットワークリンク２１１４は、インターネットのような、広域あるいはグローバルネットワーク２１１８にゲートウェイ／ファイアウォール２１１７を通じて接続する。そして携帯端末プラットフォーム２１０１はインターネット２１１８上のどこかにある、例えばリモートネットワークストレージ／サーバ２１１９といった、ネットワークリソースにもアクセスすることが可能となる。一方、携帯端末プラットフォーム２１０１は、ローカルエリアネットワーク２１１５および／またはインターネット２１１８上のいかなる位置にいるクライアントからもアクセスできるようにしてもよい。ネットワーククライアント２１２０および２１２１は、プラットフォーム２１０１と同様のコンピュータプラットフォームに基づいて構築されても良い。
【００７２】
ローカルエリアネットワーク２１１５およびインターネット２１１８は、共に電気、電磁、あるいは光信号を、データ信号列を伝播するのに用いる。なお、デジタルデータを携帯端末プラットフォーム２１０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク２１１４上や、通信インターフェース２１１３を介した信号は情報伝送の伝送波の例示的な形態である。
【００７３】
携帯端末プラットフォーム２１０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット２１１８およびLAN２１１５を含む多様なネットワーク、ネットワークリンク２１１４および通信インターフェース２１１３を介して行うことができる。インターネットの例では、コンピュータプラットフォーム２１０１はネットワークサーバとして機能し、クライアント２１２０および／または２１２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット２１１８、ゲートウェイ／ファイアウォール２１１７、ローカルエリアネットワーク２１１５および通信インターフェース２１１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。
【００７４】
受信したコードはプロセッサ２１０５によって受信時に実行されるか、固定記憶装置２１０８あるいは揮発記憶装置２１０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。
【００７５】
最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解されうることであろう。例えば、ソフトウェアの記述は、アセンブラ、C/C++、pearl、shell、PHP、Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。
【００７６】
さらに、当業者であればここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わせることにより利用することができる。明細書と実施例は例示的なものと解釈され、真の発明の示す範囲および思想はクレームにより示されるものである。
【符号の説明】
【００７７】
１００、４００ 広告ページ（ドキュメント）
１０１ 埋め込み型メディアマーカ（ＥＭＭ)の境界円
１０２ ＥＭＭのメディアタイプマーク境界円
１０３、９００ メディアタイプマーク（アイコン）
１１０、２００、９０１ 埋め込み型メディアマーカ
４０１ 特徴点
【特許請求の範囲】
【請求項１】
付加的なデジタルメディアを提供するために用いる表示物の生成方法であって、
表示媒体の表示面の上に表示されるコンテント情報を取得し、
前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、
所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、
前記表示条件に基づいて前記マーカを出力し、
少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶する、
ことを特徴とする表示物の生成方法。
【請求項２】
前記表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする請求項１記載の表示物の生成方法。
【請求項３】
前記表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする請求項１または２記載の表示物の生成方法。
【請求項４】
前記マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする請求項１記載の表示物の生成方法。
【請求項５】
前記表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする請求項４記載の表示物の生成方法。
【請求項６】
前記表示媒体の表面上に前記コンテント情報と前記表示条件とに基づいて前記マーカを合成して出力することを特徴とする請求項１〜５のいずれか１項に記載の表示物の生成方法。
【請求項７】
前記マーカを、前記表示条件に応じて、透光性を有する基材上に印刷出力し、前記表示媒体の表面上に前記コンテント情報を出力し、前記表示媒体と前記基材とを重ね合わせて表示物を構成することを特徴とする請求項１〜５のいずれか１項に記載の表示物の生成方法。
【請求項８】
請求項１〜７のいずれか１項に記載の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するシステムであって、
前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、
前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、
前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、
前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、
を備えることを特徴とするデジタルメディア提供システム。
【請求項９】
付加的なデジタルメディアを提供するために用いる表示物を生成するためのコンピュータプログラムであって、
コンピュータを、
表示媒体の表示面の上に表示されるコンテント情報を取得し、
前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、
所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、
前記表示条件に基づいて前記マーカを出力し、
少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶する、
ように動作させるための、表示物を生成するためのコンピュータプログラム。
【請求項１０】
前記表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする請求項９記載の表示物を生成するためのコンピュータプログラム。
【請求項１１】
前記表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする請求項９または１０記載の表示物を生成するためのコンピュータプログラム。
【請求項１２】
前記マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする請求項９記載の表示物を生成するためのコンピュータプログラム。
【請求項１３】
前記表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする請求項１２記載の表示物を生成するためのコンピュータプログラム。
【請求項１４】
請求項１〜７のいずれか１項に記載の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するためのコンピュータプログラムであって、
コンピュータを、
前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、
前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、
前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、
前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、
として動作させるためのデジタルメディア提供用コンピュータプログラム。
【請求項１５】
表示面と、
前記表示面の上に表示されたコンテント情報と、
前記表示面の上の所定の位置にデジタルメディアが関連付けられていることを表示し、前記所定の位置の近傍の前記表示面の一部の領域の境界を表示するとともに、前記境界の内側に位置する前記コンテント情報が前記境界の内側に表示されるマーカと、
を備え、
前記デジタルメディアの取得に必要となる情報と画像特徴とを関連付けた関連付け情報の組を記憶する記憶手段を用いて、前記領域を特定するのに十分な量の前記コンテント情報の画像特徴が、前記マーカの前記境界の内側に含まれる、
ことを特徴とする表示物体。
【請求項１６】
前記所定の位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所を前記境界の内側に含むように前記マーカが配置されていることを特徴とする請求項１５記載の表示物体。
【請求項１７】
前記境界内には前記デジタルメディアに関連するアイコン画像を含むことを特徴とする請求項１５記載の表示物体。
【請求項１８】
前記アイコン画像は、前記境界の内側で前記画像特徴の量が少ない箇所に配置されることを特徴とする請求項１７記載の表示物体。
【請求項１】
付加的なデジタルメディアを提供するために用いる表示物の生成方法であって、
表示媒体の表示面の上に表示されるコンテント情報を取得し、
前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、
所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、
前記表示条件に基づいて前記マーカを出力し、
少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶する、
ことを特徴とする表示物の生成方法。
【請求項２】
前記表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする請求項１記載の表示物の生成方法。
【請求項３】
前記表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする請求項１または２記載の表示物の生成方法。
【請求項４】
前記マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする請求項１記載の表示物の生成方法。
【請求項５】
前記表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする請求項４記載の表示物の生成方法。
【請求項６】
前記表示媒体の表面上に前記コンテント情報と前記表示条件とに基づいて前記マーカを合成して出力することを特徴とする請求項１〜５のいずれか１項に記載の表示物の生成方法。
【請求項７】
前記マーカを、前記表示条件に応じて、透光性を有する基材上に印刷出力し、前記表示媒体の表面上に前記コンテント情報を出力し、前記表示媒体と前記基材とを重ね合わせて表示物を構成することを特徴とする請求項１〜５のいずれか１項に記載の表示物の生成方法。
【請求項８】
請求項１〜７のいずれか１項に記載の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するシステムであって、
前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、
前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、
前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、
前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、
を備えることを特徴とするデジタルメディア提供システム。
【請求項９】
付加的なデジタルメディアを提供するために用いる表示物を生成するためのコンピュータプログラムであって、
コンピュータを、
表示媒体の表示面の上に表示されるコンテント情報を取得し、
前記表示面における前記デジタルメディアの埋込み場所を指定する位置情報を受信し、
所定形状の境界を有するマーカを前記表示面の上に配置したときに、前記位置情報に基づいて配置される前記マーカの前記境界の内側に含まれる前記コンテント情報の画像特徴が、前記埋込み場所を特定するのに十分な量含まれるように前記マーカの表示条件を調整し、
前記表示条件に基づいて前記マーカを出力し、
少なくとも前記デジタルメディアの取得に必要となる情報と前記境界の内側に含まれる前記コンテント情報の画像情報とを関連付けた関連付け情報を記憶手段に記憶する、
ように動作させるための、表示物を生成するためのコンピュータプログラム。
【請求項１０】
前記表示条件が、前記マーカのサイズあるいは前記マーカの配置位置の少なくとも一方であることを特徴とする請求項９記載の表示物を生成するためのコンピュータプログラム。
【請求項１１】
前記表示条件が、前記位置情報で指定される位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所が前記境界の内側に含まれるように調整することで得られる条件であることを特徴とする請求項９または１０記載の表示物を生成するためのコンピュータプログラム。
【請求項１２】
前記マーカは、前記境界の内側に含まれ、前記デジタルメディアに関連するアイコン画像を更に備えることを特徴とする請求項９記載の表示物を生成するためのコンピュータプログラム。
【請求項１３】
前記表示条件が、前記境界の内側で前記画像特徴の量が少ない箇所に前記アイコン画像を配置するように調整することで得られる条件であることを特徴とする請求項１２記載の表示物を生成するためのコンピュータプログラム。
【請求項１４】
請求項１〜７のいずれか１項に記載の生成方法により得られた表示物を用いて、前記デジタルメディアを提供するためのコンピュータプログラムであって、
コンピュータを、
前記表示物の上に表示された前記境界の全体を含む画像を取得する取得手段と、
前記画像のうち前記境界の内側に存在する画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された画像特徴に対応する、前記記憶手段に記憶された関連付け情報に含まれる画像特徴を検索し、検索された画像特徴に関連付けられた前記デジタルメディアの取得に必要となる情報を提供する画像特徴検索手段と、
前記画像特徴検索手段により提供された前記デジタルメディアの取得に必要となる情報を用いて対応するデジタルメディアを取得する取得手段と、
前記取得手段により取得されたデジタルメディアをユーザに提供する提供手段と、
として動作させるためのデジタルメディア提供用コンピュータプログラム。
【請求項１５】
表示面と、
前記表示面の上に表示されたコンテント情報と、
前記表示面の上の所定の位置にデジタルメディアが関連付けられていることを表示し、前記所定の位置の近傍の前記表示面の一部の領域の境界を表示するとともに、前記境界の内側に位置する前記コンテント情報が前記境界の内側に表示されるマーカと、
を備え、
前記デジタルメディアの取得に必要となる情報と画像特徴とを関連付けた関連付け情報の組を記憶する記憶手段を用いて、前記領域を特定するのに十分な量の前記コンテント情報の画像特徴が、前記マーカの前記境界の内側に含まれる、
ことを特徴とする表示物体。
【請求項１６】
前記所定の位置の近傍で、前記コンテント情報の画像特徴の量が多い箇所を前記境界の内側に含むように前記マーカが配置されていることを特徴とする請求項１５記載の表示物体。
【請求項１７】
前記境界内には前記デジタルメディアに関連するアイコン画像を含むことを特徴とする請求項１５記載の表示物体。
【請求項１８】
前記アイコン画像は、前記境界の内側で前記画像特徴の量が少ない箇所に配置されることを特徴とする請求項１７記載の表示物体。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１８】
【図１９】
【図２０】
【図２１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１８】
【図１９】
【図２０】
【図２１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１３５５５６（Ｐ２０１１−１３５５５６Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２０１０−１４５８０１（Ｐ２０１０−１４５８０１）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]