物理メディア上にデジタルメディアへの視覚リンクを配置するシステム、方法、およびプログラム
【課題】デジタルメディアへの視覚リンクの位置と大きさを、紙のドキュメント等の物理的媒体上に決定するシステム、方法、およびプログラムを提供する。
【解決手段】紙のドキュメント上へ埋め込み型メディアマーカ（ＥＭＭ）等のリンクを生成するオーサリングツールであって、ドキュメント上の他のＥＭＭと関連するキーポイントを識別してスコア付けを行い（Ｓ２０４〜Ｓ２０６）、その紙のドキュメント上に新規生成するＥＭＭと他のＥＭＭおよびキーポイントとの間の類似性を判定する（Ｓ２０６〜Ｓ２０８）。ユーザは、可視化スコアをディスプレイ上で視認し、紙のドキュメント上において、他のＥＭＭおよび関連するコンテンツと混同しない位置に新規生成ＥＭＭを配置しサイズを決める（Ｓ２１０〜Ｓ２１２）。新規生成ＥＭＭの位置と大きさは、キーポイントと関連するＥＭＭとのスコアに基づいて自動的に調整できる。
【解決手段】紙のドキュメント上へ埋め込み型メディアマーカ（ＥＭＭ）等のリンクを生成するオーサリングツールであって、ドキュメント上の他のＥＭＭと関連するキーポイントを識別してスコア付けを行い（Ｓ２０４〜Ｓ２０６）、その紙のドキュメント上に新規生成するＥＭＭと他のＥＭＭおよびキーポイントとの間の類似性を判定する（Ｓ２０６〜Ｓ２０８）。ユーザは、可視化スコアをディスプレイ上で視認し、紙のドキュメント上において、他のＥＭＭおよび関連するコンテンツと混同しない位置に新規生成ＥＭＭを配置しサイズを決める（Ｓ２１０〜Ｓ２１２）。新規生成ＥＭＭの位置と大きさは、キーポイントと関連するＥＭＭとのスコアに基づいて自動的に調整できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルメディアへの視覚リンクを物理的ドキュメント上に配置するためのシステム、方法、およびプログラムに関する。特に、他のデジタルメディアリンクの位置とメディア上のコンテンツ部分間の類似性とに基づいてデジタルメディアへの視覚リンクの大きさと位置を計算し調整することに関する。
【背景技術】
【０００２】
紙のドキュメントなどの物理的なメディアからデジタルメディアへのリンク付けを、視覚的なコンテンツ解析と指標を利用して行うシステムは数多くある。一般的には、カメラ付きの携帯電話や他のポータブルデバイスを利用してユーザが視覚リンクを含むドキュメントの写真を撮り、その画像を電話またはリモートサーバ上で処理してリンクされたメディアを識別し、アクセスを行なう。そうして、リンク先のメディアが電話上に表示される。
【０００３】
視覚リンクの一例は、図１（ａ）に示した埋め込み型メディアマーカ（ＥＭＭ）１００である。ＥＭＭ１００は他のコンテンツベースの検索方法とは異なり、コンテンツの読みやすさを損ねない程度のかすかなマークを紙ドキュメント上に配置して、キャプチャすべきページの特定部分を指示する。ＥＭＭ１００は、境界１０２とアイコン１０４とポインタ１０６とで表示されてもよい。図１（ｂ）は、紙ドキュメント１０５上のＥＭＭ１００を示す。ＥＭＭの利用方法と機能は、同時係属中の２００９年１２月２３日出願の米国特許出願第１２／６４６，８４１号に記載されており、参照によりその全体がここに援用されるものとする。ＥＭＭは、ドキュメントのその部分に係るメディアがあることを示すのみならず、そのページの他の部分がキャプチャされないようなカメラのズームアップを可能とする。この手法はページの領域にインデックスを付けるだけであり、ドキュメントへのインデックスの大きさを小さくし、またマークを付されたページ領域が容易に認識できるようして検索精度を制御する手段を提供する。
【０００４】
既存のＥＭＭシステムはドキュメントのページにＥＭＭを配置するためのオーサリングツールを備えていて、ユーザは対話方式によって、ＥＭＭを配置するのに意味があり、認識用のいくつかのキーポイントがあるページ上の領域を選択することができる。キーポイントとは、画像中のある位置付近の局所画像特徴を記述する特徴ベクトルである。ユーザがＥＭＭを所望の位置へ動かすと、キャプチャ領域はドキュメントのキーポイント数に基づいて動的に拡大または縮小する。キーポイント数が不十分な場合には、ＥＭＭで示されるページ領域は赤く陰影がつけられる。これによって、ユーザはキーポイントが少なすぎる領域にはＥＭＭを配置できないが、このことが認識精度を保証するものではない。それはキーポイントはデータベース中の他のＥＭＭと類似または同一であるかもしれないからである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，７１１，２９３号
【特許文献２】米国特許出願公開第２０１１／０１５４１７４号
【特許文献３】米国特許出願公開第２０１０／００８０４６９号
【非特許文献】
【０００６】
【非特許文献１】Ｓｕｎｉｌ Ａｒｉｙａらによる、”Ａｎ Ｏｐｔｉｍａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈｉｎｇ ｉｎ Ｆｉｘｅｄ Ｄｉｍｅｎｓｉｏｎｓ”、 第５回 ＡＣＭ−ＳＩＡＭ 離散アルゴリズム・シンポジウム 抄録、１９９４年、５７３〜５８２ページ
【非特許文献２】Ｑｉｏｎｇ Ｌｉｕらによる、”Ｈｉｇｈ Ａｃｃｕｒａｃｙ ａｎｄ Ｌａｎｇｕａｇｅ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｏｃｕｍｅｎｔ Ｒｅｔｒｉｅｖａｌ ｗｉｔｈ ａ Ｆａｓｔ Ｉｎｖａｒｉａｎｔ Ｔｒａｎｓｆｏｒｍ”、 ＩＥＥＥマルチメディア国際学会およびエクスポ（ＩＣＭＥ）、２００９年、４ページ
【非特許文献３】Ｄａｖｉｄ Ｇ． Ｌｏｗｅによる、”Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ”、 コンピュータ・ビジョン国際誌、２００４年１月５日、１〜２８ページ
【非特許文献４】Ｘｕ Ｗａｎｇｍｉｎｇらによる、”Ａｐｐｌｌｉｃａｔｉｏｎ ｏｆ Ｉｍａｇｅ ＳＩＦＴ Ｆｅａｔｕｒｅｓ ｔｏ ｔｈｅ Ｃｏｎｔｅｘｔ ｏｆ ＣＢＩＲ”、 ２００８年コンピュータ科学及びソフトウェア工学国際学会、５５２〜５５５ページ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＥＭＭシステムにおける現状のオーサリングツールは、ＥＭＭ用の候補領域に十分なキーポイントがあるかどうかをチェックするが、そのキーポイントが以前に生成されたＥＭＭにコンフリクトしないか、またはコレクション中の他のページのコンテンツと簡単に混同されることがないかどうか、ということに関するチェックは行わない。
【課題を解決するための手段】
【０００８】
本明細書で記述するシステムと方法は、物理メディア上においてデジタルメディアへの視覚リンクの位置と大きさの決定を行う。特に、物理的ドキュメントの１つまたは複数のページ上に埋め込み型メディアマーカ（ＥＭＭ）を生成し、その物理的ドキュメント上で新規生成のＥＭＭと他のＥＭＭおよびキーポイントとの間の識別と類似性のスコア付けを行い、ＥＭＭを生成しているユーザに対してそのスコアの視覚表示を行い、新規生成のＥＭＭが他のＥＭＭや関連するコンテンツと混同されないように物理的ドキュメント上での配置および寸法付けをする、オーサリングツールに関する。
【０００９】
本発明の一態様に係る方法は、デジタルメディアへの視覚リンクをドキュメント上に配置する方法であって、表示手段により、ドキュメントの少なくとも１ページをディスプレイ上に表示し、適合手段により、プロセッサとメモリを有するコンピュータを利用して、前記ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、スコア付与手段により、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、入力手段により、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、配置手段により、前記視覚リンクを前記ドキュメント上に配置する、ことを含む。
【００１０】
方法は、スコア変更手段により、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更してもよい。
【００１１】
方法は、可視化手段により、前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成してもよい。ここで、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示するようにしてもよい。
【００１２】
方法は、前記配置手段により、前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整してもよい。
【００１３】
方法は、特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことをさらに含んでもよい。
【００１４】
方法において、前記各キーポイントのスコアの変更が、キーポイント間の距離に応じた重み付きスケールによってさらに変更されるようにしてもよい。
【００１５】
方法は、前記視覚リンクの配置に対する前記ドキュメント領域の好適度を、キーポイントのスコア密度に基づいて判定することをさらに含んでもよい。
【００１６】
方法において、前記視覚オーバレイが、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示するようにしてもよい。
【００１７】
方法において、所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させるようにしてもよい。
【００１８】
方法において、前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）であってもよい。
【００１９】
本発明の一態様に係るシステムは、デジタルメディアへの視覚リンクをドキュメント上に配置するシステムであって、ドキュメントの少なくとも１ページを表示する表示手段と、前記ドキュメントのキーポイントを識別し、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキーポイントを取得する、適合手段と、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつける、スコア付与手段と、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信する、入力手段と、前記視覚リンクを前記ドキュメント上に配置する、配置手段と、を備える。
【００２０】
システムは、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更するスコア変更手段をさらに含んでもよい。
【００２１】
システムは、前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成する可視化手段をさらに備えてもよく、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する。
【００２２】
システムは、前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整することをさらに含んでもよい。
【００２３】
システムは、特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことさらに含んでもよい。
【００２４】
システムにおいて、前記各キーポイントのスコアの変更が、前記キーポイント間の距離に応じた重み付きスケールによってさらに変更されるようにしてもよい。
【００２５】
システムは、キーポイントのスコア密度に基づいて、前記視覚リンクの配置に対する前記ドキュメント領域の好適度を判定することをさらに含んでもよい。
【００２６】
システムにおいて、前記視覚オーバレイは、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示してもよい。
【００２７】
システムは、所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させることをさらに含んでもよい。
【００２８】
システムにおいて、前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）であってもよい。
【００２９】
本発明の一態様に係るコンピュータプログラムは、コンピュータに、デジタルメディアへの視覚リンクをドキュメント上に配置させるためのコンピュータプログラムであって、前記コンピュータに、ドキュメントの少なくとも１ページをディスプレイ上に表示し、ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更し、前記変更されたキーポイントに基づいて、前記ドキュメント上に前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する視覚的なオーバレイを生成し、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、前記視覚リンクを前記ドキュメント上に配置する、処理を実行させる。
【００３０】
本発明に関するその他の態様は、以下の記述で部分的に説明され、また以下の記述で部分的に明らかとなり、または本発明の実施により習得することができる。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組合せによって実現及び達成することができる。
【００３１】
上記及び以下の記述はいずれも、単に例示及び説明を目的とするものであり、特許請求の範囲に記載の発明もしくはその適用を限定することは全く意図していないことを理解されたい。
【図面の簡単な説明】
【００３２】
本明細書に組み込まれ本明細書の一部をなす添付の図面が本発明の実施形態を例示し、説明と相俟って本発明の原理の説明及び例示に供する。
【００３３】
【図１】埋め込み型メディアマーカ（ＥＭＭ）とその印刷媒体への利用に関する関連技術を示す図である。
【図２】本発明の一実施形態による、物理的ドキュメント上へのＥＭＭの配置方法のフローチャートである。
【図３】本発明の一実施形態による、新規生成のＥＭＭを物理メディア上へ配置するシステムのブロック図である。
【図４】本発明の一実施形態による、キーポイントを描画するＥＭＭオーサリングツールのグラフィカルユーザインタフェース（ＧＵＩ）を示す図である。
【図５】本発明の一実施形態による、物理ドキュメント上の＋と−のキーポイントを示すＧＵＩの拡大図である。
【図６】本発明の一実施形態による、ＥＭＭオーサリングツールを利用してユーザが選択した場所にある候補ＥＭＭを示す図である。
【図７】本発明の一実施形態による、最終版のＥＭＭを示す図である。
【図８】本発明の一実施形態による、物理ドキュメント上の複数のキーポイント間でのペナルティスコアを示す図である。
【図９】本発明の一実施形態による、新規ＥＭＭの配置に対する好適度を示す陰影をつけられた物理ドキュメント領域の可視化を示す図である。
【図１０】本発明の一実施形態による、物理ドキュメント領域の可視化を拡大表示した図である。
【図１１】本発明の一実施形態による、ブラウザインタフェースにドキュメントの複数ページを示すＥＭＭオーサリングツールのグラフィカルユーザインタフェース（ＧＵＩ）の別の図である。
【図１２】本発明の一実施形態による、候補ＥＭＭ配置の好適度を示す陰影をつけられた物理ドキュメント領域の可視化を示す別の図である。
【図１３】本発明の一実施形態による、物理ドキュメント上のキーポイントのコンフリクトと不適当なページ領域を可視化した図である。
【図１４】本発明の一実施形態による、図１２に示した物理ドキュメント上のキーポイントのコンフリクトと不適当なページ領域を可視化した図の拡大図である。
【図１５】本システムを実装可能なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００３４】
以下の詳細な説明においては添付の図面を参照する。前述の添付図面は、本発明の原理に整合する特定の実施形態および実装を例示するものであり、それに限定するためのものではない。
【００３５】
デジタルメディアへの視覚リンクの位置と大きさを、紙のドキュメントのような物理的な媒体上に決定するためのシステムと方法が提供される。ドキュメント上へ、（例えば、埋め込み型メディアマーカ（ＥＭＭ）等の）リンクを生成するためのオーサリングツールにより、ドキュメント上の他のＥＭＭと関連するキーポイントを識別してスコア付けを行い、その紙のドキュメント上に新規生成するＥＭＭと他のＥＭＭおよびキーポイントとの間の類似性を判定する。ユーザは、可視化されたスコアをディスプレイ上で見ることができ、他のＥＭＭおよび関連するコンテンツとの混乱が避けられる紙のドキュメント上の位置に新規生成のＥＭＭを配置しサイズを決めることができる。新規生成ＥＭＭの位置と大きさは、キーポイントと関連するＥＭＭとのスコアに基づいて自動的に調整可能である。一群のドキュメントページ上にＥＭＭをオーサリングするシステムが、それぞれのＥＭＭを正確に識別することを可能とする。
【００３６】
ＥＭＭシステムは、紙のドキュメント上にマークを配置して、特定のページ領域にメディアへのリンクが張られていることを示す。本明細書で述べるシステムは、一群のドキュメントページ上にＥＭＭをオーサリングし、ユーザがポータブルデバイスを利用してキャプチャするとそれぞれのＥＭＭが正確に識別されるようなシステムである。候補となるページ領域内のそれぞれのキーポイントには、近似近傍が存在する。近接した近傍のあるキーポイントには負のスコアが与えられ、それらのキーポイント周辺に分散される。可視化手法によって負のスコアが多い領域が示され、オーサはそれを回避することができる。そのような領域を避けるために、システムはオーサリングしようとするＥＭＭの大きさを自動的に変更して移動させる。
【００３７】
本明細書で記述する実施形態では、過去にオーサリングしたＥＭＭとコレクション中の他のすべてのページの両方に対して適合する可能性のある領域がそのページ上にないかどうかを考慮に入れるＥＭＭオーサリングツールについても述べる。近い一致を示す場合には、後で検索しようとするときに混乱を招く可能性がある。このようにオーサリングツールは、ユーザがそのページ上の問題がある領域を避けて多数の独自のキーポイントを有する領域へ向かうように導く。
Ｉ．概要
【００３８】
ＥＭＭを物理的ドキュメント上に配置する方法の概要を以下に述べる。対応する図を図２に示す。先ずステップＳ２０２において、物理的ドキュメントの１つまたは複数のページがユーザに対してオーサリングツール（図４参照）のグラフィカルユーザインタフェース（ＧＵＩ）上に提示される。ステップＳ２０４において、その単一または複数のページからのキーポイントが、過去にオーサリングされたＥＭＭと、ドキュメントのその他のページとの両方に対して照合される。ステップＳ２０６において、そのキーポイントが他のＥＭＭや他のドキュメントページのキーポイントにどれほど適合するかに従ってスコアが与えられる。それぞれのキーポイントに対して、他のＥＭＭまたはページの複数のキーポイントの中から近似最近接点が特定される。この近似最近接点への距離がゼロである場合には、そのキーポイントには負のスコアが与えられ、有効な分別が行えないことが示される。近接点からの距離が大きくなるにつれ、スコアは正の最大値１に向かって大きくなる。ステップＳ２０８において、キーポイントのスコアがドキュメントのそのキーポイント周辺に分散され、ＥＭＭ配置に関する各領域の好適度を表すヒートマップ（図８参照）が作成される。次にステップＳ２１０においてユーザはＥＭＭを配置する位置を選択できる。そのあと、ステップＳ２１２においてシステムが、キーポイントのスコアに基づいてＥＭＭの位置と大きさを自動的に微調整してもよい。
【００３９】
図３はデジタルメディアへの視覚リンクをドキュメント上に配置するための対応システム１００を示している。一実施形態において、表示手段１０１が、以下に述べる様々な手段を包含しているコンピュータ１０３と通信してもよい。コンピュータ１０３の様々な構成要素は後でさらに説明する（図１６参照）。表示手段１０１はグラフィカルユーザインタフェース（ＧＵＩ）を表示し、そこにはドキュメントの少なくとも１ページが表示される。適合手段１０７がドキュメントのキーポイントを識別し、識別されたキーポイントが適合する既存の視覚リンクを取得する。そうして、そのドキュメントのキーポイントと既存のリンクのキーポイントとの間の類似性に基づいて、スコア付与手段１０８がキーポイントにスコアをつける。スコア変更手段１１０が各キーポイントのスコアを各キーポイントの周辺領域に分散させる。可視化手段１１２は、分散されたキーポイントのスコアに基づいて視覚オーバレイを生成する。さらに以下で説明するように、視覚オーバレイは、視覚リンクを配置するためのドキュメント上の１つまたは複数の領域の好適度を視覚的に表示する。入力手段１１４は、視覚リンクを配置するドキュメント上の１つまたは複数の領域を選択する（たとえばマウスやキーボードなどのユーザ入力装置１１６からの）ユーザ入力を受信する。そして配置手段１１８が視覚リンクをドキュメント上に配置する。
【００４０】
キーポイントの検出とその特徴の記述に関してはこれとは異なる方法も可能である。それは例えば２００９年１２月２３日に出願された米国特許出願第１２／６４６，８４１号に記述されており、その全体を参照により本明細書に援用するものとする。同様に、近隣のキーポイント配置のためのデータベース表示として別のものを利用することもできる。この目的に対しては、近似最近傍（ＡＮＮ）木が適切である。要求される条件としては、キーポイントが画像中から検出でき、近隣のキーポイントがデータベース中に見つけられ、見つけられたキーポイントが画像キーポイントへの距離とそれ以前にオーサリングされたＥＭＭとの関連を含む、ということだけである。
ＩＩ．ドキュメントページのコレクション
【００４１】
オーサリングされたＥＭＭのコレクションは対応するドキュメントページのコレクションから得られる。そのようなコレクションは単行本または１冊の雑誌のページで構成されてもよい。コレクションはある時期に刊行された雑誌のすべての号のページを含んでもよい。その場合、雑誌の新しい号が追加されるとコレクションが時間とともに変化してもよい。そのような本、雑誌またはその他のドキュメントの読者は、コレクションの識別からスタートする。そうして、スマートフォンやタブレットや携帯情報端末（ＰＤＡ）などのような、カメラ付きのポータブルデバイスを利用してＥＭＭの写真を撮り、ＥＭＭサーバへその写真をアップロードし、ＥＭＭに関連するメディアリンクへそのデバイスを接続する。
【００４２】
オーサリングツールはコレクションのページを画像サムネイルとして表示して、オーサにページを選択させてそこに１つまたは複数のＥＭＭを配置させる。特にコレクションが時間変化しない場合には、オーサリングツールに表示されたページをコレクションの中の他のページと比較して、他のページの領域と混同されそうなページ領域を指示できることは都合がよい。
【００４３】
図４〜７はオーサリングツールのグラフィカルユーザインタフェース（ＧＵＩ）と単一のＥＭＭをページ上へ配置した状態を示している。図４において、オーサリングツールのＧＵＩ４００は、Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（Ｍｉｃｒｏｓｏｆｔ社、レッドモンド、ワシントン州）またはＦｉｒｅｆｏｘ（Ｍｏｚｉｌｌａ Ｆｏｕｎｄａｔｉｏｎ社、マウンテンビュー、カリフォルニア州）などのような、インターネットブラウザアプリケーションを動作させているところである。ＧＵＩ４００は、ユーザがＥＭＭなどの視覚リンクを追加しようとするドキュメント４０２を表示する。図５にＧＵＩ４００の拡大図が示されており、ドキュメント上の異なる部分にキーポイント４０４が示されている。キーポイントとは、画像中のある位置の近くの局所画像特徴を記述する特徴ベクトルである。例えば、１２８次元のＳＩＦＴ特徴量であり、また４０次元のＦＩＴ特徴量である。本実施形態においてはキーポイントを異なる形状で表示している。すなわち、正のキーポイント４０４Ａは＋で表し、負のキーポイント４０４Ｂは−で表し、中性（ゼロに近い値）のキーポイント４０４Ｃは点で表している。また、記号の相対的な大きさはスコアの大きさを示している。一実施形態において、記号の大きさが５〜１１ピクセル幅の間で変化し、これはスコアが０．３より大きく１．０より小さいことに対応している。スコアが−０．３〜０．３はドットの大きさで対応し、−０．３〜−１．０はマイナス符号の大きさで対応する。別の実施形態（図示せず）では、キーポイントは赤色キーポイントと青色キーポイントと紫色キーポイントとに色分けされて、赤色キーポイントが負のキーポイントを、青色キーポイントが正のキーポイントを、紫色キーポイントがほぼゼロの値を示す。キーポイントの異なる色と形の重要性については後でさらに述べる。図６には、ユーザがＧＵＩ４００を利用してドキュメント４０２上に配置したＥＭＭの候補４０６が示されている。候補ＥＭＭ４０６は、ユーザまたはシステムによる確定配置はまだなされていない。本実施形態において、この候補ＥＭＭ４０６は最終版のＥＭＭとは別の色で表示されてもよい。そしてアイコン１０４（図１（ａ）参照）用の中空の円４０８と、十字形４１０のみがある。これは候補ＥＭＭ４０６の境界線１０２内でユーザが自由に動かして、アイコン１０４の配置場所を選択できる。図７は、ＥＭＭ１００のあるドキュメントが示されている。ここではＥＭＭはすでに確定されて、ドキュメント４０２に固定されている。ここでＥＭＭ１００は、ＥＭＭの種類に応じた特定の形状、パターン、文字などのアイコン１０４と、ポインタ１０６を表示している。
ＩＩＩ．検索性能の向上
【００４４】
ドキュメントの一部分の写真を撮った後、適合するＥＭＭを判定しようとする場合、システムはまず取り上げられた写真の中で、回転と拡大縮小に対して不変なキーポイントを決定する。それぞれのキーポイントに対して、全ＥＭＭの全キーポイントのデータベース中の最近傍あるいは近似最近傍のキーポイントが決定される。見つけられたキーポイント数は各ＥＭＭに対して累積され、キーポイントのカウント数が閾値を超えた場合には適合するキーポイントが最も多いＥＭＭが返される。
【００４５】
一実施形態によると、オーサリングツールは曖昧な適合を示すページ領域を回避することによって検索性能を向上させる。候補となるページ領域からのキーポイントはキーポイントデータベースに照らしてチェックされる。適合するケースが多数ある場合には、オーサが特定の候補領域を利用しないようにする。ある実施形態では、３つの視覚キューを用いてオーサが特定の領域を利用しないようにする。これは、例えば、オーバレイが暗褐色に変わる、ＥＭＭをその領域に移動させるとサイズが大きくなる、その領域にＥＭＭを配置できる場所がない場合には円が赤くなる、などにより行われる。ユーザがそのページ付近にＥＭＭを移動させて好適な位置を見つけようとするとき、ＥＭＭの大きさと色を、瞬時かつリアルタイムで変化させてもよい。これに代わる視覚的または音響的プロンプトが与えられることもある。例えば、不適当な領域が配置された場合にカーソルの形状が変化したり、インタフェースエリアを使用してその領域が配置に適当かどうかを知らせるユーザへのメッセージを表示したりする。
ＩＶ．コレクション中の他のページの検査
【００４６】
オーサがあるページに１つまたは複数のＥＭＭを配置しようとする場合、そのページの全キーポイントが既存のキーポイントのデータベースに対して照合される。これらのキーポイントは過去にオーサリングされたＥＭＭか同一コレクション中の他のページのいずれかに由来する。他のページは１つまたは複数のＥＭＭとして表示される。ＥＭＭのオーサリングを支援するために、単純なグリッド（たとえば一般的なポートレートページに対する３ｘ４の分割）や、あるいはページ分割アルゴリズムの結果を利用してそのページを分割することが好適である。ページが分割されると、それぞれのセグメントが１つのＥＭＭとして扱われる。どちらの場合もアルゴリズムは同じであるので、本節ではこれ以降、他のページとページセグメントをＥＭＭと呼ぶ。ＥＭＭオーサリングページをコレクション中の他のページと比較することは、利点と欠点の双方を有している。利点は、標準フォントのテキスト句などのような曖昧な領域を回避できることである。同一の文字や単語が多くの異なるページに現れるので、それらの文字や単語を有する別のＥＭＭが、そのような曖昧なページ領域を含む低品位の写真のＥＭＭに対してより良い適合を示す可能性がある。そのような領域は以前のＥＭＭのオーサリングを必要としないで見つけることができる。その一方で、そのような手法（ＥＭＭのオーサリングをブロックするために使用される場合）は、２ページ以上で繰り返される明らかな領域へＥＭＭを張り付けることを阻害することもある。
【００４７】
ＥＭＭのオーサリングに関して、ある限定された回数だけ繰り返される領域へユーザがＥＭＭをオーサリングしようとする場合、システムがこの領域の全インスタンスに対してＥＭＭを付加すべきかどうかを聞くことがある。これは、会社のロゴの全インスタンスを同一の目標場所へマッピングすることを可能とし、視覚的に同一のＥＭＭは同一の位置にリンクすべきであることをオーサに理解させる。
Ｖ．オーサリング中に起こりうるコンフリクトの判定
【００４８】
ＥＭＭをオーサリングするページのどのキーポイントが、他のページまたはＥＭＭとコンフリクトしているのかを判定するために、それぞれのキーポイントに−１から１の間のスコアを割り当てる。データベース中のキーポイントに対する（特徴量の）距離が、距離の閾値以内でないキーポイントは（データベース中のキーポイントに適合しないものとして）スコア１を付与され、コンフリクトがないことが示される。その他のキーポイントは、距離ｄと最大の適合性距離ｄｍａｘに基づくスコアｓが与えられる。正規化された０から１までの距離が、−１から１までのスコア上に線型的にマッピングされる。
【００４９】
（１） ｓ＝２＊ｄ／ｄｍａｘ−１
【００５０】
オーサリングページ上の領域を評価する場合、その領域のキーポイントのスコアが加算される。合計が大きな正値であれば、その領域がＥＭＭの配置に適していることを示している。合計がゼロまたは悪しくも負の場合にはその領域が適さないことを示している。閾値を用いてあるページの領域が十分なキーポイントを含んでいるかどうかを判定してもよい。例えば、ページ領域にはキーポイントを少なくとも１００含むことが必要とされるようにしてもよい。キーポイントの数の代わりに、キーポイントスコアの合計を用いることにより、他のページまたはＥＭＭとのコンフリクトの通知を組み込むこともできる。例えば、スコア１のキーポイントが１００個か、平均スコアが０．５のキーポイントが２００個のいずれでもそのページ領域に対しては十分である。好適なページ領域を見つけるための性能を向上させるために、ページ境界に平行な四角形領域のみが使用される。しかし、この方法は四角形でない領域にも適用することが可能である。例えば、まず最初にその領域の四角形の境界ボックスを調べ、次に第２のステップで実際の形状をチェックするというようにできる。
【００５１】
キーポイントスコアの合計計算をさらにスピードアップするために、米国特許出願第１２／６４６，８４１号（前出）に開示されているように、そのページの各点の累積スコアをもとのページから前もって計算しておく積分マップが利用される。ページ境界に平行な四角形領域内のキーポイントの合計を決定するためには、積分マップ内の４つのエントリを調べて、足すか引くだけでよい。
ＶＩ．同一ＥＭＭとのコンフリクトの強調
【００５２】
同一のＥＭＭに適合するキーポイントは、検索の際に、そのＥＭＭ側に検索バイアスをかけ、新しくオーサリングされたＥＭＭを犠牲にするので、これらのキーポイントのスコアは下げられる。キーポイントの完全なスコアである１と実際のスコアとの差をペナルティスコアと呼ぶ。キーポイントのスコアは−１と１の間にあるので、ペナルティスコアは０から２の範囲となる。システムはこのペナルティを同一のＥＭＭに適合する近隣のキーポイントに分散させる。ペナルティスコアは距離の関数で重み付けがされて、適合のペナルティスコアの重み付き合計が、それぞれのキーポイントに累積される。ペナルティスコアのこの重み付き合計が、キーポイントの元のスコアから差し引かれる。
【００５３】
図８は、同一のＥＭＭに適合する近隣のキーポイント間でのペナルティスコアの分布の例を示す。ここでページ８０２上に、既存の３つのＥＭＭ（Ｅ１、Ｅ２、Ｅ３）に適合するキーポイントがある。ページの下の部分のテキスト領域８０４に関連する２つのキーポイント（Ｅ１に適合）は相互に近接していて、ペナルティスコアをそれぞれ互いに折半するものとする。したがって、最初にスコアが０．０と−０．５であったとすると、それらはそれぞれ−０．７５（＝０−０．５＊（１−−０．５））と−１．０（＝−０．５−０．５＊（１−０））となる。
【００５４】
Ｅ３に適合する２つのキーポイントはもう少し離れていて、ペナルティスコアを相互に１０％分担するものと仮定する。そうすると、最初にＥ１のペアと同様のスコア（０．０と−０．５）であったとすると、そのスコアは最終的には、それぞれ−０．１５（＝０−０．１＊（１-０．５））と−０．６（＝−０．５−０．１＊（１−０）になる。上側の３つのキーポイント（Ｅ２に適合）の場合は、真ん中のポイントは他の２つのポイントによって下がるが、左端と右端のポイントはペナルティ分散の閾値を超えている例となっている。
【００５５】
同一のＥＭＭに適合する近接キーポイントにペナルティを与えることにより、これらのキーポイントを含むページ領域は好適度がさらに低下する。これらの領域は適合するＥＭＭと混同しやすいので、これは望ましい結果である。
【００５６】
一実施形態において、分散ペナルティスコアは所与の半径内の正規化距離によって重み付けされる。例えば、半径を０．２５インチ（約６．３５ｍｍ）としてもよい。ただし、元になる資料が異なれば別の半径がより良い結果をもたらすこともある。分散ペナルティスコアを距離に対して直線的に減少させるのではなく、二乗距離、ガウス関数、またはカットオフ距離付きの一定値、などを用いてもよい。分散ペナルティスコアは分離して累積され、個別にそれぞれのキーポイントのスコアに加算されて、距離の閾値以上に広がることや、広がりが伸縮することが避けられる。結合されたスコアは−１で切り捨てられて、負の大きな値になることが避けられる。ただし、次節で説明する可視化は、同一のＥＭＭに適合するキーポイントが密集する領域においてこの切捨てなしでもより適切に処理できる。図４、５に示すように、マイナス１以下の負のキーポイントスコアは負符号（−）４０４Ｂで可視化され、プラス１のキーポイントスコアは正符号（＋）４０４Ａで、その中間のスコアは点（・）４０４Ｃで可視化される。元の資料によって、他の形や色を利用してディスプレイされたページ上において判別し安くすることもできる。
【００５７】
どのキーポイントがデータベース中のＥＭＭに適合するかを判定する際に、最近接の適合対象だけを見るのではなく、ｋ番目の最近接適合対象を見ることが適切である場合がある。この手法は、ある領域内に同一のＥＭＭに適合するキーポイントが数多くあり、そのうちのいくつかは別のＥＭＭに対して若干高い適合性を示している、というような状態を取り扱う。この手法は、コンフリクトしているＥＭＭのキーポイントが別のＥＭＭのキーポイントで隠蔽されることを防ぐ。そのような領域は新規のＥＭＭを配置するには依然として適さない。したがって、ペナルティスコアにはこの適さないことが反映されなければならない。これには、１つのペナルティスコアを分散させるだけでなく、別の適合するＥＭＭに対するペナルティスコアを並行して分散させるようにしてもよい。各キーポイントに対して、それぞれの適合対象に対するペナルティスコアが別々に計算されてもよい。そうして、それらのペナルティスコアが別々に分散されて、各キーポイントにはデータベース中の適合するＥＭＭごとの重み付きペナルティスコアが並行して累積される。ペナルティスコアの荷重付き合計の最大値が、元のスコアから差し引かれる。
【００５８】
別の方法として、重み付けに基づいてそれぞれの適合対象に対して異なるスコアを使用することもできる。ある適合対象に対する重みｗｉは、その適合対象の距離ｄｉと、第２の最近接適合対象の距離ｄｉ＋１とに基づく。
【００５９】
（２） ｗｉ＝ｄｉ＋ｉ／ｄｉ
【００６０】
この重みが与えられると、その適合性のスコアは次のように表される。
【００６１】
（３） ｓｉ＝２＊（１−ｗｉ）−１
【００６２】
この変形方式の不利な点は、適合性が低い対象ほど高い重みが割り当てられる可能性があることである。例えば、２つの最良な適合対象が同一の距離を有し、３番目に最良な適合対象の適合性がはるかに低い場合、２番目に最良な適合対象に最良な適合対象よりも高い重みが割り当てられることである。
ＶＩＩ．検索時の近接適合利用
【００６３】
検索時に複数の適合対象を考慮する場合、各候補ＥＭＭに対するキーポイント適合数を数える単純な投票方式に代わって、各候補ＥＭＭに対するキーポイント適合性スコアの合計が計算される。キーポイント適合性スコアは、距離０において１であり、最大適合性距離において０となるスコアである。前節で説明したペナルティスコアの変形方式を利用して、ある半径内のいくつかのキーポイントが同一のＥＭＭに適合する場合に、候補ＥＭＭに対するスコアを押し上げることができる。適合するキーポイントへの距離が最小の場合に、ペナルティスコアは最大となる。ボーナススコアに対しても同様であることが望ましい。キーポイント適合性スコアは、補正なしでボーナススコアとしても使える。ペナルティスコアとまったく同じように、ボーナススコアは、ある半径内で同一のＥＭＭに適合するキーポイントへ分散される。スコアは異なる候補ＥＭＭごとに並行して累積される。最大の累積スコアのみが利用されるペナルティスコアとは異なり、全体としての最高スコアの候補ＥＭＭを判定する際にすべての累積ボーナススコアが考慮される。
ＶＩＩＩ．ＥＭＭのオーサリングに好適なページ領域の可視化
【００６４】
図９に示すようにオーサリングツールは、ドキュメント４０２のキーポイントスコアの低い領域に対して陰影の勾配４１４を提供する視覚的なオーバレイ４１２をドキュメントページ上に表示して、ドキュメント領域の好適度を可視化する。図１０は陰影４１４の拡大図であり、暗い陰影領域は明るい領域または陰影のない領域に比べてＥＭＭを配置するのに適さないドキュメント４０２の領域を表している。
【００６５】
図１１はオーサリングツールのＧＵＩ１０００の別の実施形態であり、１つのディスプレイ上に同一ドキュメントの複数ページを表示している。このＧＵＩ１０００は、同一ドキュメント内の他のキーポイントとＥＭＭとの間の類似性に関してより多くの情報をユーザに提供する可能性がある。
【００６６】
図１２はドキュメント４０２の陰影のついたページ上に候補ＥＭＭ４０６を配置した状態を示している。ここでユーザは暗い陰影４１４のついた領域によってＥＭＭの配置に適さないエリアを識別することができる。そうしてユーザはＥＭＭをインタラクティブに配置し、ＥＭＭ領域はその領域内のスコアの合計によって自動的に拡大または収縮を行う。ＥＭＭはスコアが閾値を超えると緑の色付けがされる。これはＥＭＭで表示された領域は他のドキュメントから差別化されることを意味している。
【００６７】
ＥＭＭに好適な領域は、他のＥＭＭに使用されたキーポイントとは異なるキーポイントを多く含み、既に使用されたキーポイントはわずかしか含まない。キーポイントを見るだけで、その領域のキーポイントの平均密度によって好適度が示される。アプリケーションごとに固有の密度の閾値を利用して、密度が閾値を超えているかどうか、または閾値にどれくらい近いかということを可視化することができる。一実施形態では、２インチ（約５０．８ｍｍ）ｘ２インチ（約５０．８ｍｍ）の領域内に１００個のキーポイントという閾値が使用されてもよい。
【００６８】
キーポイントスコアを考慮する際、キーポイントの平均密度を決定するために各キーポイントのスコアが領域全体に分散される。スコアは、同一の重みを有する円状の領域に分散され、重みは距離とともに直線的に減少する。円形領域の半径として０．５インチ（約１２．７ｍｍ）が使われる。ただし、元になる資料が異なれば別の半径がより良い結果をもたらすこともある。他の関数もまた利用可能である。例えば、２次元ガウス関数や、重みが距離とともに減少するかまたは一定であるような正方形領域、などである。何れの場合にも、２次元曲線下の積分は１に規格化される。
【００６９】
この手法は、前述の負のキーポイントスコアに対しても利用可能である。正のスコアと負のスコアを組み合わせる場合、空の領域と、正と負のスコアが同数ある領域のいずれも中立的な好適度を有している。すべてのキーポイントがスコア１である場合、キーポイント密度が閾値を超える任意の領域が最大の好適度を有している。１より小さい正のスコアのキーポイントの密度がより高い場合に、これも最大の好適度となる。その逆に、負のスコアのキーポイントの密度が高いと、好適度の低い領域となる。
【００７０】
同じ近辺で同一のＥＭＭに適合するキーポイントにペナルティを科す前述のペナルティスコアを分散させると、キーポイントスコアは１より小さくなりうる。キーポイントスコア密度と組み合わせると好ましい結果となり、これらのスコアがより広範囲の領域を最小の好適度として、その領域は実際に回避すべきであることをユーザに示す。図５、６は、茶色の陰影と異なる透過度とを利用した、この可視化技術を図示している。その他の、赤から緑への色の勾配や、透過度に代わるパターンなどの可視化技術を代わりに利用することもできる。
【００７１】
図１３は、陰影４１４と透過度の違いを利用したこの可視化技術を示している。その他の、赤から緑への色の勾配や、透過度に代わるパターンなどの可視化技術を代わりに利用することもできる。図１４に示されているドキュメント４０２の異なる領域４１６、４１８、４２０、４２２、４２４の拡大図は、領域４１６の空４２６のような空白のエリアが半透明なオーバレイ４２８で覆われていることを示している。対照的に、領域４２０の家４３０の写真は、そのキーポイントが他のものには何も適合しないことを表す＋印で表示された正のキーポイント４０４Ａを高密度に含んでおり、そこにはオーバレイはない。ページ上部の領域４１８の本体のテキスト４３２には、−印、すなわちダッシュ記号で表された負のキーポイント４０４Ｂを主として有する領域があり、そこは塗りつぶしのオーバレイ４３４で覆われている。これは領域４２４のページフッタ部４３６でさらに顕著であり、そこにはダッシュ記号（負のキーポイント４０４Ｂ）しか含まれていない。領域４２２にある太字のテキストの図の説明４３８は他との適合性が低く、視覚的なオーバレイがない。したがってＥＭＭの配置に好適である。
ＩＸ．ＥＭＭの位置とサイズの自動調節
【００７２】
ユーザがＥＭＭをページ上に配置するか別の位置にドラッグするときに、上記のキーポイントスコアの合計を利用して、オーサリングツールはＥＭＭのサイズを自動調節する。オーサリングツールは、一定のアスペクト比で、オーサによって特定された十分に大きなトータルスコアを有する位置に中心を持つ、最小の四角形を決定する。結果として得られる領域が非常に大きい場合には、オーサリングツールは好適でない領域を避けるためにＥＭＭを移動させようとする。この補助技術は両方ともオーサがスイッチオフすることもできる。好適な領域が見つからない場合には、ＥＭＭは赤く着色されて好適でないことが示される。
ＶＩＩ．コンピュータの実施形態
【００７３】
図１５は、本発明による方法の実施形態の実装が可能なコンピュータ／サーバシステム１５００の実施形態を示すブロック図である。システム１５００は、当業者には周知のように、命令の実行に作用するプロセッサ１５０２とメモリ１５０３を含むコンピュータ／サーバプラットフォーム１５０１を備える。本明細書で使用される“コンピュータ可読記憶媒体”という用語は、プロセッサ１５０２に実行命令を与えることに関与する、ディスクや半導体メモリなどの任意の有形媒体を指す。更に、コンピュータプラットフォーム１５０１は、キーボード、マウス、タッチデバイスなどの複数の入力装置１５０４、または音声命令からの入力を受信する。コンピュータプラットフォーム１５０１は更に、ポータブルハードディスク装置、光学媒体（ＣＤまたはＤＶＤ）、ディスク媒体、またはコンピュータが実行可能なコードを読み込むことができるその他の任意の有形媒体などのリムーバブル記憶装置１５０５に接続されていてもよい。コンピュータプラットフォームは更に、インターネットやその他のローカルな公共または私的なネットワーク部品に繋がるネットワークリソース１５０６に接続されていてもよい。ネットワークリソース１５０６は、ネットワーク１５０７上のリモートロケーションから命令およびデータをコンピュータプラットフォームへ供給してもよい。ネットワークリソース１５０６への接続は、８０２．１１標準やブルートゥース（登録商標）やセルラープロトコル等の無線プロトコル経由で、または、ケーブルやファイバ光学部品などの物理的伝送媒体経由であってもよい。ネットワークリソースは、コンピュータプラットフォーム１５０１から隔離した場所にデータ及び実行可能な命令を格納するための記憶装置を含んでいてもよい。コンピュータはディスプレイ１５０８とインタラクトして、データおよびその他の情報をユーザへ出力したり、ユーザからの追加の指示と入力を要求したりする。従ってディスプレイ１５０８は、ユーザとインタラクトする入力装置１５０４として更に作用してもよい。
【００７４】
上記の実施形態と実装は、当業者が本発明を実施できるように十分詳細に提示される。また、他の実装形態が利用されてもよいこと、及び本発明の範囲及び趣旨を逸脱することなしに様々な要素の構造上の変更及び／または代用が行われてもよいことを理解されたい。従って以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。更に、説明された本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形態、または専用ハードウェアの形態、あるいはソフトウェアとハードウェアの組合せ、のいずれで実装されてもよい。
【符号の説明】
【００７５】
１０１ 表示手段
１０３ コンピュータ
１０６ 適合手段
１０８ スコア付与手段
１１０ スコア変更手段
１１２ 可視化手段
１１４ 入力手段
１１６ 入力装置
１１８ 配置手段
【技術分野】
【０００１】
本発明は、デジタルメディアへの視覚リンクを物理的ドキュメント上に配置するためのシステム、方法、およびプログラムに関する。特に、他のデジタルメディアリンクの位置とメディア上のコンテンツ部分間の類似性とに基づいてデジタルメディアへの視覚リンクの大きさと位置を計算し調整することに関する。
【背景技術】
【０００２】
紙のドキュメントなどの物理的なメディアからデジタルメディアへのリンク付けを、視覚的なコンテンツ解析と指標を利用して行うシステムは数多くある。一般的には、カメラ付きの携帯電話や他のポータブルデバイスを利用してユーザが視覚リンクを含むドキュメントの写真を撮り、その画像を電話またはリモートサーバ上で処理してリンクされたメディアを識別し、アクセスを行なう。そうして、リンク先のメディアが電話上に表示される。
【０００３】
視覚リンクの一例は、図１（ａ）に示した埋め込み型メディアマーカ（ＥＭＭ）１００である。ＥＭＭ１００は他のコンテンツベースの検索方法とは異なり、コンテンツの読みやすさを損ねない程度のかすかなマークを紙ドキュメント上に配置して、キャプチャすべきページの特定部分を指示する。ＥＭＭ１００は、境界１０２とアイコン１０４とポインタ１０６とで表示されてもよい。図１（ｂ）は、紙ドキュメント１０５上のＥＭＭ１００を示す。ＥＭＭの利用方法と機能は、同時係属中の２００９年１２月２３日出願の米国特許出願第１２／６４６，８４１号に記載されており、参照によりその全体がここに援用されるものとする。ＥＭＭは、ドキュメントのその部分に係るメディアがあることを示すのみならず、そのページの他の部分がキャプチャされないようなカメラのズームアップを可能とする。この手法はページの領域にインデックスを付けるだけであり、ドキュメントへのインデックスの大きさを小さくし、またマークを付されたページ領域が容易に認識できるようして検索精度を制御する手段を提供する。
【０００４】
既存のＥＭＭシステムはドキュメントのページにＥＭＭを配置するためのオーサリングツールを備えていて、ユーザは対話方式によって、ＥＭＭを配置するのに意味があり、認識用のいくつかのキーポイントがあるページ上の領域を選択することができる。キーポイントとは、画像中のある位置付近の局所画像特徴を記述する特徴ベクトルである。ユーザがＥＭＭを所望の位置へ動かすと、キャプチャ領域はドキュメントのキーポイント数に基づいて動的に拡大または縮小する。キーポイント数が不十分な場合には、ＥＭＭで示されるページ領域は赤く陰影がつけられる。これによって、ユーザはキーポイントが少なすぎる領域にはＥＭＭを配置できないが、このことが認識精度を保証するものではない。それはキーポイントはデータベース中の他のＥＭＭと類似または同一であるかもしれないからである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，７１１，２９３号
【特許文献２】米国特許出願公開第２０１１／０１５４１７４号
【特許文献３】米国特許出願公開第２０１０／００８０４６９号
【非特許文献】
【０００６】
【非特許文献１】Ｓｕｎｉｌ Ａｒｉｙａらによる、”Ａｎ Ｏｐｔｉｍａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈｉｎｇ ｉｎ Ｆｉｘｅｄ Ｄｉｍｅｎｓｉｏｎｓ”、 第５回 ＡＣＭ−ＳＩＡＭ 離散アルゴリズム・シンポジウム 抄録、１９９４年、５７３〜５８２ページ
【非特許文献２】Ｑｉｏｎｇ Ｌｉｕらによる、”Ｈｉｇｈ Ａｃｃｕｒａｃｙ ａｎｄ Ｌａｎｇｕａｇｅ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｏｃｕｍｅｎｔ Ｒｅｔｒｉｅｖａｌ ｗｉｔｈ ａ Ｆａｓｔ Ｉｎｖａｒｉａｎｔ Ｔｒａｎｓｆｏｒｍ”、 ＩＥＥＥマルチメディア国際学会およびエクスポ（ＩＣＭＥ）、２００９年、４ページ
【非特許文献３】Ｄａｖｉｄ Ｇ． Ｌｏｗｅによる、”Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ”、 コンピュータ・ビジョン国際誌、２００４年１月５日、１〜２８ページ
【非特許文献４】Ｘｕ Ｗａｎｇｍｉｎｇらによる、”Ａｐｐｌｌｉｃａｔｉｏｎ ｏｆ Ｉｍａｇｅ ＳＩＦＴ Ｆｅａｔｕｒｅｓ ｔｏ ｔｈｅ Ｃｏｎｔｅｘｔ ｏｆ ＣＢＩＲ”、 ２００８年コンピュータ科学及びソフトウェア工学国際学会、５５２〜５５５ページ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＥＭＭシステムにおける現状のオーサリングツールは、ＥＭＭ用の候補領域に十分なキーポイントがあるかどうかをチェックするが、そのキーポイントが以前に生成されたＥＭＭにコンフリクトしないか、またはコレクション中の他のページのコンテンツと簡単に混同されることがないかどうか、ということに関するチェックは行わない。
【課題を解決するための手段】
【０００８】
本明細書で記述するシステムと方法は、物理メディア上においてデジタルメディアへの視覚リンクの位置と大きさの決定を行う。特に、物理的ドキュメントの１つまたは複数のページ上に埋め込み型メディアマーカ（ＥＭＭ）を生成し、その物理的ドキュメント上で新規生成のＥＭＭと他のＥＭＭおよびキーポイントとの間の識別と類似性のスコア付けを行い、ＥＭＭを生成しているユーザに対してそのスコアの視覚表示を行い、新規生成のＥＭＭが他のＥＭＭや関連するコンテンツと混同されないように物理的ドキュメント上での配置および寸法付けをする、オーサリングツールに関する。
【０００９】
本発明の一態様に係る方法は、デジタルメディアへの視覚リンクをドキュメント上に配置する方法であって、表示手段により、ドキュメントの少なくとも１ページをディスプレイ上に表示し、適合手段により、プロセッサとメモリを有するコンピュータを利用して、前記ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、スコア付与手段により、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、入力手段により、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、配置手段により、前記視覚リンクを前記ドキュメント上に配置する、ことを含む。
【００１０】
方法は、スコア変更手段により、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更してもよい。
【００１１】
方法は、可視化手段により、前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成してもよい。ここで、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示するようにしてもよい。
【００１２】
方法は、前記配置手段により、前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整してもよい。
【００１３】
方法は、特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことをさらに含んでもよい。
【００１４】
方法において、前記各キーポイントのスコアの変更が、キーポイント間の距離に応じた重み付きスケールによってさらに変更されるようにしてもよい。
【００１５】
方法は、前記視覚リンクの配置に対する前記ドキュメント領域の好適度を、キーポイントのスコア密度に基づいて判定することをさらに含んでもよい。
【００１６】
方法において、前記視覚オーバレイが、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示するようにしてもよい。
【００１７】
方法において、所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させるようにしてもよい。
【００１８】
方法において、前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）であってもよい。
【００１９】
本発明の一態様に係るシステムは、デジタルメディアへの視覚リンクをドキュメント上に配置するシステムであって、ドキュメントの少なくとも１ページを表示する表示手段と、前記ドキュメントのキーポイントを識別し、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキーポイントを取得する、適合手段と、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつける、スコア付与手段と、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信する、入力手段と、前記視覚リンクを前記ドキュメント上に配置する、配置手段と、を備える。
【００２０】
システムは、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更するスコア変更手段をさらに含んでもよい。
【００２１】
システムは、前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成する可視化手段をさらに備えてもよく、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する。
【００２２】
システムは、前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整することをさらに含んでもよい。
【００２３】
システムは、特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことさらに含んでもよい。
【００２４】
システムにおいて、前記各キーポイントのスコアの変更が、前記キーポイント間の距離に応じた重み付きスケールによってさらに変更されるようにしてもよい。
【００２５】
システムは、キーポイントのスコア密度に基づいて、前記視覚リンクの配置に対する前記ドキュメント領域の好適度を判定することをさらに含んでもよい。
【００２６】
システムにおいて、前記視覚オーバレイは、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示してもよい。
【００２７】
システムは、所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させることをさらに含んでもよい。
【００２８】
システムにおいて、前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）であってもよい。
【００２９】
本発明の一態様に係るコンピュータプログラムは、コンピュータに、デジタルメディアへの視覚リンクをドキュメント上に配置させるためのコンピュータプログラムであって、前記コンピュータに、ドキュメントの少なくとも１ページをディスプレイ上に表示し、ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更し、前記変更されたキーポイントに基づいて、前記ドキュメント上に前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する視覚的なオーバレイを生成し、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、前記視覚リンクを前記ドキュメント上に配置する、処理を実行させる。
【００３０】
本発明に関するその他の態様は、以下の記述で部分的に説明され、また以下の記述で部分的に明らかとなり、または本発明の実施により習得することができる。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組合せによって実現及び達成することができる。
【００３１】
上記及び以下の記述はいずれも、単に例示及び説明を目的とするものであり、特許請求の範囲に記載の発明もしくはその適用を限定することは全く意図していないことを理解されたい。
【図面の簡単な説明】
【００３２】
本明細書に組み込まれ本明細書の一部をなす添付の図面が本発明の実施形態を例示し、説明と相俟って本発明の原理の説明及び例示に供する。
【００３３】
【図１】埋め込み型メディアマーカ（ＥＭＭ）とその印刷媒体への利用に関する関連技術を示す図である。
【図２】本発明の一実施形態による、物理的ドキュメント上へのＥＭＭの配置方法のフローチャートである。
【図３】本発明の一実施形態による、新規生成のＥＭＭを物理メディア上へ配置するシステムのブロック図である。
【図４】本発明の一実施形態による、キーポイントを描画するＥＭＭオーサリングツールのグラフィカルユーザインタフェース（ＧＵＩ）を示す図である。
【図５】本発明の一実施形態による、物理ドキュメント上の＋と−のキーポイントを示すＧＵＩの拡大図である。
【図６】本発明の一実施形態による、ＥＭＭオーサリングツールを利用してユーザが選択した場所にある候補ＥＭＭを示す図である。
【図７】本発明の一実施形態による、最終版のＥＭＭを示す図である。
【図８】本発明の一実施形態による、物理ドキュメント上の複数のキーポイント間でのペナルティスコアを示す図である。
【図９】本発明の一実施形態による、新規ＥＭＭの配置に対する好適度を示す陰影をつけられた物理ドキュメント領域の可視化を示す図である。
【図１０】本発明の一実施形態による、物理ドキュメント領域の可視化を拡大表示した図である。
【図１１】本発明の一実施形態による、ブラウザインタフェースにドキュメントの複数ページを示すＥＭＭオーサリングツールのグラフィカルユーザインタフェース（ＧＵＩ）の別の図である。
【図１２】本発明の一実施形態による、候補ＥＭＭ配置の好適度を示す陰影をつけられた物理ドキュメント領域の可視化を示す別の図である。
【図１３】本発明の一実施形態による、物理ドキュメント上のキーポイントのコンフリクトと不適当なページ領域を可視化した図である。
【図１４】本発明の一実施形態による、図１２に示した物理ドキュメント上のキーポイントのコンフリクトと不適当なページ領域を可視化した図の拡大図である。
【図１５】本システムを実装可能なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００３４】
以下の詳細な説明においては添付の図面を参照する。前述の添付図面は、本発明の原理に整合する特定の実施形態および実装を例示するものであり、それに限定するためのものではない。
【００３５】
デジタルメディアへの視覚リンクの位置と大きさを、紙のドキュメントのような物理的な媒体上に決定するためのシステムと方法が提供される。ドキュメント上へ、（例えば、埋め込み型メディアマーカ（ＥＭＭ）等の）リンクを生成するためのオーサリングツールにより、ドキュメント上の他のＥＭＭと関連するキーポイントを識別してスコア付けを行い、その紙のドキュメント上に新規生成するＥＭＭと他のＥＭＭおよびキーポイントとの間の類似性を判定する。ユーザは、可視化されたスコアをディスプレイ上で見ることができ、他のＥＭＭおよび関連するコンテンツとの混乱が避けられる紙のドキュメント上の位置に新規生成のＥＭＭを配置しサイズを決めることができる。新規生成ＥＭＭの位置と大きさは、キーポイントと関連するＥＭＭとのスコアに基づいて自動的に調整可能である。一群のドキュメントページ上にＥＭＭをオーサリングするシステムが、それぞれのＥＭＭを正確に識別することを可能とする。
【００３６】
ＥＭＭシステムは、紙のドキュメント上にマークを配置して、特定のページ領域にメディアへのリンクが張られていることを示す。本明細書で述べるシステムは、一群のドキュメントページ上にＥＭＭをオーサリングし、ユーザがポータブルデバイスを利用してキャプチャするとそれぞれのＥＭＭが正確に識別されるようなシステムである。候補となるページ領域内のそれぞれのキーポイントには、近似近傍が存在する。近接した近傍のあるキーポイントには負のスコアが与えられ、それらのキーポイント周辺に分散される。可視化手法によって負のスコアが多い領域が示され、オーサはそれを回避することができる。そのような領域を避けるために、システムはオーサリングしようとするＥＭＭの大きさを自動的に変更して移動させる。
【００３７】
本明細書で記述する実施形態では、過去にオーサリングしたＥＭＭとコレクション中の他のすべてのページの両方に対して適合する可能性のある領域がそのページ上にないかどうかを考慮に入れるＥＭＭオーサリングツールについても述べる。近い一致を示す場合には、後で検索しようとするときに混乱を招く可能性がある。このようにオーサリングツールは、ユーザがそのページ上の問題がある領域を避けて多数の独自のキーポイントを有する領域へ向かうように導く。
Ｉ．概要
【００３８】
ＥＭＭを物理的ドキュメント上に配置する方法の概要を以下に述べる。対応する図を図２に示す。先ずステップＳ２０２において、物理的ドキュメントの１つまたは複数のページがユーザに対してオーサリングツール（図４参照）のグラフィカルユーザインタフェース（ＧＵＩ）上に提示される。ステップＳ２０４において、その単一または複数のページからのキーポイントが、過去にオーサリングされたＥＭＭと、ドキュメントのその他のページとの両方に対して照合される。ステップＳ２０６において、そのキーポイントが他のＥＭＭや他のドキュメントページのキーポイントにどれほど適合するかに従ってスコアが与えられる。それぞれのキーポイントに対して、他のＥＭＭまたはページの複数のキーポイントの中から近似最近接点が特定される。この近似最近接点への距離がゼロである場合には、そのキーポイントには負のスコアが与えられ、有効な分別が行えないことが示される。近接点からの距離が大きくなるにつれ、スコアは正の最大値１に向かって大きくなる。ステップＳ２０８において、キーポイントのスコアがドキュメントのそのキーポイント周辺に分散され、ＥＭＭ配置に関する各領域の好適度を表すヒートマップ（図８参照）が作成される。次にステップＳ２１０においてユーザはＥＭＭを配置する位置を選択できる。そのあと、ステップＳ２１２においてシステムが、キーポイントのスコアに基づいてＥＭＭの位置と大きさを自動的に微調整してもよい。
【００３９】
図３はデジタルメディアへの視覚リンクをドキュメント上に配置するための対応システム１００を示している。一実施形態において、表示手段１０１が、以下に述べる様々な手段を包含しているコンピュータ１０３と通信してもよい。コンピュータ１０３の様々な構成要素は後でさらに説明する（図１６参照）。表示手段１０１はグラフィカルユーザインタフェース（ＧＵＩ）を表示し、そこにはドキュメントの少なくとも１ページが表示される。適合手段１０７がドキュメントのキーポイントを識別し、識別されたキーポイントが適合する既存の視覚リンクを取得する。そうして、そのドキュメントのキーポイントと既存のリンクのキーポイントとの間の類似性に基づいて、スコア付与手段１０８がキーポイントにスコアをつける。スコア変更手段１１０が各キーポイントのスコアを各キーポイントの周辺領域に分散させる。可視化手段１１２は、分散されたキーポイントのスコアに基づいて視覚オーバレイを生成する。さらに以下で説明するように、視覚オーバレイは、視覚リンクを配置するためのドキュメント上の１つまたは複数の領域の好適度を視覚的に表示する。入力手段１１４は、視覚リンクを配置するドキュメント上の１つまたは複数の領域を選択する（たとえばマウスやキーボードなどのユーザ入力装置１１６からの）ユーザ入力を受信する。そして配置手段１１８が視覚リンクをドキュメント上に配置する。
【００４０】
キーポイントの検出とその特徴の記述に関してはこれとは異なる方法も可能である。それは例えば２００９年１２月２３日に出願された米国特許出願第１２／６４６，８４１号に記述されており、その全体を参照により本明細書に援用するものとする。同様に、近隣のキーポイント配置のためのデータベース表示として別のものを利用することもできる。この目的に対しては、近似最近傍（ＡＮＮ）木が適切である。要求される条件としては、キーポイントが画像中から検出でき、近隣のキーポイントがデータベース中に見つけられ、見つけられたキーポイントが画像キーポイントへの距離とそれ以前にオーサリングされたＥＭＭとの関連を含む、ということだけである。
ＩＩ．ドキュメントページのコレクション
【００４１】
オーサリングされたＥＭＭのコレクションは対応するドキュメントページのコレクションから得られる。そのようなコレクションは単行本または１冊の雑誌のページで構成されてもよい。コレクションはある時期に刊行された雑誌のすべての号のページを含んでもよい。その場合、雑誌の新しい号が追加されるとコレクションが時間とともに変化してもよい。そのような本、雑誌またはその他のドキュメントの読者は、コレクションの識別からスタートする。そうして、スマートフォンやタブレットや携帯情報端末（ＰＤＡ）などのような、カメラ付きのポータブルデバイスを利用してＥＭＭの写真を撮り、ＥＭＭサーバへその写真をアップロードし、ＥＭＭに関連するメディアリンクへそのデバイスを接続する。
【００４２】
オーサリングツールはコレクションのページを画像サムネイルとして表示して、オーサにページを選択させてそこに１つまたは複数のＥＭＭを配置させる。特にコレクションが時間変化しない場合には、オーサリングツールに表示されたページをコレクションの中の他のページと比較して、他のページの領域と混同されそうなページ領域を指示できることは都合がよい。
【００４３】
図４〜７はオーサリングツールのグラフィカルユーザインタフェース（ＧＵＩ）と単一のＥＭＭをページ上へ配置した状態を示している。図４において、オーサリングツールのＧＵＩ４００は、Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（Ｍｉｃｒｏｓｏｆｔ社、レッドモンド、ワシントン州）またはＦｉｒｅｆｏｘ（Ｍｏｚｉｌｌａ Ｆｏｕｎｄａｔｉｏｎ社、マウンテンビュー、カリフォルニア州）などのような、インターネットブラウザアプリケーションを動作させているところである。ＧＵＩ４００は、ユーザがＥＭＭなどの視覚リンクを追加しようとするドキュメント４０２を表示する。図５にＧＵＩ４００の拡大図が示されており、ドキュメント上の異なる部分にキーポイント４０４が示されている。キーポイントとは、画像中のある位置の近くの局所画像特徴を記述する特徴ベクトルである。例えば、１２８次元のＳＩＦＴ特徴量であり、また４０次元のＦＩＴ特徴量である。本実施形態においてはキーポイントを異なる形状で表示している。すなわち、正のキーポイント４０４Ａは＋で表し、負のキーポイント４０４Ｂは−で表し、中性（ゼロに近い値）のキーポイント４０４Ｃは点で表している。また、記号の相対的な大きさはスコアの大きさを示している。一実施形態において、記号の大きさが５〜１１ピクセル幅の間で変化し、これはスコアが０．３より大きく１．０より小さいことに対応している。スコアが−０．３〜０．３はドットの大きさで対応し、−０．３〜−１．０はマイナス符号の大きさで対応する。別の実施形態（図示せず）では、キーポイントは赤色キーポイントと青色キーポイントと紫色キーポイントとに色分けされて、赤色キーポイントが負のキーポイントを、青色キーポイントが正のキーポイントを、紫色キーポイントがほぼゼロの値を示す。キーポイントの異なる色と形の重要性については後でさらに述べる。図６には、ユーザがＧＵＩ４００を利用してドキュメント４０２上に配置したＥＭＭの候補４０６が示されている。候補ＥＭＭ４０６は、ユーザまたはシステムによる確定配置はまだなされていない。本実施形態において、この候補ＥＭＭ４０６は最終版のＥＭＭとは別の色で表示されてもよい。そしてアイコン１０４（図１（ａ）参照）用の中空の円４０８と、十字形４１０のみがある。これは候補ＥＭＭ４０６の境界線１０２内でユーザが自由に動かして、アイコン１０４の配置場所を選択できる。図７は、ＥＭＭ１００のあるドキュメントが示されている。ここではＥＭＭはすでに確定されて、ドキュメント４０２に固定されている。ここでＥＭＭ１００は、ＥＭＭの種類に応じた特定の形状、パターン、文字などのアイコン１０４と、ポインタ１０６を表示している。
ＩＩＩ．検索性能の向上
【００４４】
ドキュメントの一部分の写真を撮った後、適合するＥＭＭを判定しようとする場合、システムはまず取り上げられた写真の中で、回転と拡大縮小に対して不変なキーポイントを決定する。それぞれのキーポイントに対して、全ＥＭＭの全キーポイントのデータベース中の最近傍あるいは近似最近傍のキーポイントが決定される。見つけられたキーポイント数は各ＥＭＭに対して累積され、キーポイントのカウント数が閾値を超えた場合には適合するキーポイントが最も多いＥＭＭが返される。
【００４５】
一実施形態によると、オーサリングツールは曖昧な適合を示すページ領域を回避することによって検索性能を向上させる。候補となるページ領域からのキーポイントはキーポイントデータベースに照らしてチェックされる。適合するケースが多数ある場合には、オーサが特定の候補領域を利用しないようにする。ある実施形態では、３つの視覚キューを用いてオーサが特定の領域を利用しないようにする。これは、例えば、オーバレイが暗褐色に変わる、ＥＭＭをその領域に移動させるとサイズが大きくなる、その領域にＥＭＭを配置できる場所がない場合には円が赤くなる、などにより行われる。ユーザがそのページ付近にＥＭＭを移動させて好適な位置を見つけようとするとき、ＥＭＭの大きさと色を、瞬時かつリアルタイムで変化させてもよい。これに代わる視覚的または音響的プロンプトが与えられることもある。例えば、不適当な領域が配置された場合にカーソルの形状が変化したり、インタフェースエリアを使用してその領域が配置に適当かどうかを知らせるユーザへのメッセージを表示したりする。
ＩＶ．コレクション中の他のページの検査
【００４６】
オーサがあるページに１つまたは複数のＥＭＭを配置しようとする場合、そのページの全キーポイントが既存のキーポイントのデータベースに対して照合される。これらのキーポイントは過去にオーサリングされたＥＭＭか同一コレクション中の他のページのいずれかに由来する。他のページは１つまたは複数のＥＭＭとして表示される。ＥＭＭのオーサリングを支援するために、単純なグリッド（たとえば一般的なポートレートページに対する３ｘ４の分割）や、あるいはページ分割アルゴリズムの結果を利用してそのページを分割することが好適である。ページが分割されると、それぞれのセグメントが１つのＥＭＭとして扱われる。どちらの場合もアルゴリズムは同じであるので、本節ではこれ以降、他のページとページセグメントをＥＭＭと呼ぶ。ＥＭＭオーサリングページをコレクション中の他のページと比較することは、利点と欠点の双方を有している。利点は、標準フォントのテキスト句などのような曖昧な領域を回避できることである。同一の文字や単語が多くの異なるページに現れるので、それらの文字や単語を有する別のＥＭＭが、そのような曖昧なページ領域を含む低品位の写真のＥＭＭに対してより良い適合を示す可能性がある。そのような領域は以前のＥＭＭのオーサリングを必要としないで見つけることができる。その一方で、そのような手法（ＥＭＭのオーサリングをブロックするために使用される場合）は、２ページ以上で繰り返される明らかな領域へＥＭＭを張り付けることを阻害することもある。
【００４７】
ＥＭＭのオーサリングに関して、ある限定された回数だけ繰り返される領域へユーザがＥＭＭをオーサリングしようとする場合、システムがこの領域の全インスタンスに対してＥＭＭを付加すべきかどうかを聞くことがある。これは、会社のロゴの全インスタンスを同一の目標場所へマッピングすることを可能とし、視覚的に同一のＥＭＭは同一の位置にリンクすべきであることをオーサに理解させる。
Ｖ．オーサリング中に起こりうるコンフリクトの判定
【００４８】
ＥＭＭをオーサリングするページのどのキーポイントが、他のページまたはＥＭＭとコンフリクトしているのかを判定するために、それぞれのキーポイントに−１から１の間のスコアを割り当てる。データベース中のキーポイントに対する（特徴量の）距離が、距離の閾値以内でないキーポイントは（データベース中のキーポイントに適合しないものとして）スコア１を付与され、コンフリクトがないことが示される。その他のキーポイントは、距離ｄと最大の適合性距離ｄｍａｘに基づくスコアｓが与えられる。正規化された０から１までの距離が、−１から１までのスコア上に線型的にマッピングされる。
【００４９】
（１） ｓ＝２＊ｄ／ｄｍａｘ−１
【００５０】
オーサリングページ上の領域を評価する場合、その領域のキーポイントのスコアが加算される。合計が大きな正値であれば、その領域がＥＭＭの配置に適していることを示している。合計がゼロまたは悪しくも負の場合にはその領域が適さないことを示している。閾値を用いてあるページの領域が十分なキーポイントを含んでいるかどうかを判定してもよい。例えば、ページ領域にはキーポイントを少なくとも１００含むことが必要とされるようにしてもよい。キーポイントの数の代わりに、キーポイントスコアの合計を用いることにより、他のページまたはＥＭＭとのコンフリクトの通知を組み込むこともできる。例えば、スコア１のキーポイントが１００個か、平均スコアが０．５のキーポイントが２００個のいずれでもそのページ領域に対しては十分である。好適なページ領域を見つけるための性能を向上させるために、ページ境界に平行な四角形領域のみが使用される。しかし、この方法は四角形でない領域にも適用することが可能である。例えば、まず最初にその領域の四角形の境界ボックスを調べ、次に第２のステップで実際の形状をチェックするというようにできる。
【００５１】
キーポイントスコアの合計計算をさらにスピードアップするために、米国特許出願第１２／６４６，８４１号（前出）に開示されているように、そのページの各点の累積スコアをもとのページから前もって計算しておく積分マップが利用される。ページ境界に平行な四角形領域内のキーポイントの合計を決定するためには、積分マップ内の４つのエントリを調べて、足すか引くだけでよい。
ＶＩ．同一ＥＭＭとのコンフリクトの強調
【００５２】
同一のＥＭＭに適合するキーポイントは、検索の際に、そのＥＭＭ側に検索バイアスをかけ、新しくオーサリングされたＥＭＭを犠牲にするので、これらのキーポイントのスコアは下げられる。キーポイントの完全なスコアである１と実際のスコアとの差をペナルティスコアと呼ぶ。キーポイントのスコアは−１と１の間にあるので、ペナルティスコアは０から２の範囲となる。システムはこのペナルティを同一のＥＭＭに適合する近隣のキーポイントに分散させる。ペナルティスコアは距離の関数で重み付けがされて、適合のペナルティスコアの重み付き合計が、それぞれのキーポイントに累積される。ペナルティスコアのこの重み付き合計が、キーポイントの元のスコアから差し引かれる。
【００５３】
図８は、同一のＥＭＭに適合する近隣のキーポイント間でのペナルティスコアの分布の例を示す。ここでページ８０２上に、既存の３つのＥＭＭ（Ｅ１、Ｅ２、Ｅ３）に適合するキーポイントがある。ページの下の部分のテキスト領域８０４に関連する２つのキーポイント（Ｅ１に適合）は相互に近接していて、ペナルティスコアをそれぞれ互いに折半するものとする。したがって、最初にスコアが０．０と−０．５であったとすると、それらはそれぞれ−０．７５（＝０−０．５＊（１−−０．５））と−１．０（＝−０．５−０．５＊（１−０））となる。
【００５４】
Ｅ３に適合する２つのキーポイントはもう少し離れていて、ペナルティスコアを相互に１０％分担するものと仮定する。そうすると、最初にＥ１のペアと同様のスコア（０．０と−０．５）であったとすると、そのスコアは最終的には、それぞれ−０．１５（＝０−０．１＊（１-０．５））と−０．６（＝−０．５−０．１＊（１−０）になる。上側の３つのキーポイント（Ｅ２に適合）の場合は、真ん中のポイントは他の２つのポイントによって下がるが、左端と右端のポイントはペナルティ分散の閾値を超えている例となっている。
【００５５】
同一のＥＭＭに適合する近接キーポイントにペナルティを与えることにより、これらのキーポイントを含むページ領域は好適度がさらに低下する。これらの領域は適合するＥＭＭと混同しやすいので、これは望ましい結果である。
【００５６】
一実施形態において、分散ペナルティスコアは所与の半径内の正規化距離によって重み付けされる。例えば、半径を０．２５インチ（約６．３５ｍｍ）としてもよい。ただし、元になる資料が異なれば別の半径がより良い結果をもたらすこともある。分散ペナルティスコアを距離に対して直線的に減少させるのではなく、二乗距離、ガウス関数、またはカットオフ距離付きの一定値、などを用いてもよい。分散ペナルティスコアは分離して累積され、個別にそれぞれのキーポイントのスコアに加算されて、距離の閾値以上に広がることや、広がりが伸縮することが避けられる。結合されたスコアは−１で切り捨てられて、負の大きな値になることが避けられる。ただし、次節で説明する可視化は、同一のＥＭＭに適合するキーポイントが密集する領域においてこの切捨てなしでもより適切に処理できる。図４、５に示すように、マイナス１以下の負のキーポイントスコアは負符号（−）４０４Ｂで可視化され、プラス１のキーポイントスコアは正符号（＋）４０４Ａで、その中間のスコアは点（・）４０４Ｃで可視化される。元の資料によって、他の形や色を利用してディスプレイされたページ上において判別し安くすることもできる。
【００５７】
どのキーポイントがデータベース中のＥＭＭに適合するかを判定する際に、最近接の適合対象だけを見るのではなく、ｋ番目の最近接適合対象を見ることが適切である場合がある。この手法は、ある領域内に同一のＥＭＭに適合するキーポイントが数多くあり、そのうちのいくつかは別のＥＭＭに対して若干高い適合性を示している、というような状態を取り扱う。この手法は、コンフリクトしているＥＭＭのキーポイントが別のＥＭＭのキーポイントで隠蔽されることを防ぐ。そのような領域は新規のＥＭＭを配置するには依然として適さない。したがって、ペナルティスコアにはこの適さないことが反映されなければならない。これには、１つのペナルティスコアを分散させるだけでなく、別の適合するＥＭＭに対するペナルティスコアを並行して分散させるようにしてもよい。各キーポイントに対して、それぞれの適合対象に対するペナルティスコアが別々に計算されてもよい。そうして、それらのペナルティスコアが別々に分散されて、各キーポイントにはデータベース中の適合するＥＭＭごとの重み付きペナルティスコアが並行して累積される。ペナルティスコアの荷重付き合計の最大値が、元のスコアから差し引かれる。
【００５８】
別の方法として、重み付けに基づいてそれぞれの適合対象に対して異なるスコアを使用することもできる。ある適合対象に対する重みｗｉは、その適合対象の距離ｄｉと、第２の最近接適合対象の距離ｄｉ＋１とに基づく。
【００５９】
（２） ｗｉ＝ｄｉ＋ｉ／ｄｉ
【００６０】
この重みが与えられると、その適合性のスコアは次のように表される。
【００６１】
（３） ｓｉ＝２＊（１−ｗｉ）−１
【００６２】
この変形方式の不利な点は、適合性が低い対象ほど高い重みが割り当てられる可能性があることである。例えば、２つの最良な適合対象が同一の距離を有し、３番目に最良な適合対象の適合性がはるかに低い場合、２番目に最良な適合対象に最良な適合対象よりも高い重みが割り当てられることである。
ＶＩＩ．検索時の近接適合利用
【００６３】
検索時に複数の適合対象を考慮する場合、各候補ＥＭＭに対するキーポイント適合数を数える単純な投票方式に代わって、各候補ＥＭＭに対するキーポイント適合性スコアの合計が計算される。キーポイント適合性スコアは、距離０において１であり、最大適合性距離において０となるスコアである。前節で説明したペナルティスコアの変形方式を利用して、ある半径内のいくつかのキーポイントが同一のＥＭＭに適合する場合に、候補ＥＭＭに対するスコアを押し上げることができる。適合するキーポイントへの距離が最小の場合に、ペナルティスコアは最大となる。ボーナススコアに対しても同様であることが望ましい。キーポイント適合性スコアは、補正なしでボーナススコアとしても使える。ペナルティスコアとまったく同じように、ボーナススコアは、ある半径内で同一のＥＭＭに適合するキーポイントへ分散される。スコアは異なる候補ＥＭＭごとに並行して累積される。最大の累積スコアのみが利用されるペナルティスコアとは異なり、全体としての最高スコアの候補ＥＭＭを判定する際にすべての累積ボーナススコアが考慮される。
ＶＩＩＩ．ＥＭＭのオーサリングに好適なページ領域の可視化
【００６４】
図９に示すようにオーサリングツールは、ドキュメント４０２のキーポイントスコアの低い領域に対して陰影の勾配４１４を提供する視覚的なオーバレイ４１２をドキュメントページ上に表示して、ドキュメント領域の好適度を可視化する。図１０は陰影４１４の拡大図であり、暗い陰影領域は明るい領域または陰影のない領域に比べてＥＭＭを配置するのに適さないドキュメント４０２の領域を表している。
【００６５】
図１１はオーサリングツールのＧＵＩ１０００の別の実施形態であり、１つのディスプレイ上に同一ドキュメントの複数ページを表示している。このＧＵＩ１０００は、同一ドキュメント内の他のキーポイントとＥＭＭとの間の類似性に関してより多くの情報をユーザに提供する可能性がある。
【００６６】
図１２はドキュメント４０２の陰影のついたページ上に候補ＥＭＭ４０６を配置した状態を示している。ここでユーザは暗い陰影４１４のついた領域によってＥＭＭの配置に適さないエリアを識別することができる。そうしてユーザはＥＭＭをインタラクティブに配置し、ＥＭＭ領域はその領域内のスコアの合計によって自動的に拡大または収縮を行う。ＥＭＭはスコアが閾値を超えると緑の色付けがされる。これはＥＭＭで表示された領域は他のドキュメントから差別化されることを意味している。
【００６７】
ＥＭＭに好適な領域は、他のＥＭＭに使用されたキーポイントとは異なるキーポイントを多く含み、既に使用されたキーポイントはわずかしか含まない。キーポイントを見るだけで、その領域のキーポイントの平均密度によって好適度が示される。アプリケーションごとに固有の密度の閾値を利用して、密度が閾値を超えているかどうか、または閾値にどれくらい近いかということを可視化することができる。一実施形態では、２インチ（約５０．８ｍｍ）ｘ２インチ（約５０．８ｍｍ）の領域内に１００個のキーポイントという閾値が使用されてもよい。
【００６８】
キーポイントスコアを考慮する際、キーポイントの平均密度を決定するために各キーポイントのスコアが領域全体に分散される。スコアは、同一の重みを有する円状の領域に分散され、重みは距離とともに直線的に減少する。円形領域の半径として０．５インチ（約１２．７ｍｍ）が使われる。ただし、元になる資料が異なれば別の半径がより良い結果をもたらすこともある。他の関数もまた利用可能である。例えば、２次元ガウス関数や、重みが距離とともに減少するかまたは一定であるような正方形領域、などである。何れの場合にも、２次元曲線下の積分は１に規格化される。
【００６９】
この手法は、前述の負のキーポイントスコアに対しても利用可能である。正のスコアと負のスコアを組み合わせる場合、空の領域と、正と負のスコアが同数ある領域のいずれも中立的な好適度を有している。すべてのキーポイントがスコア１である場合、キーポイント密度が閾値を超える任意の領域が最大の好適度を有している。１より小さい正のスコアのキーポイントの密度がより高い場合に、これも最大の好適度となる。その逆に、負のスコアのキーポイントの密度が高いと、好適度の低い領域となる。
【００７０】
同じ近辺で同一のＥＭＭに適合するキーポイントにペナルティを科す前述のペナルティスコアを分散させると、キーポイントスコアは１より小さくなりうる。キーポイントスコア密度と組み合わせると好ましい結果となり、これらのスコアがより広範囲の領域を最小の好適度として、その領域は実際に回避すべきであることをユーザに示す。図５、６は、茶色の陰影と異なる透過度とを利用した、この可視化技術を図示している。その他の、赤から緑への色の勾配や、透過度に代わるパターンなどの可視化技術を代わりに利用することもできる。
【００７１】
図１３は、陰影４１４と透過度の違いを利用したこの可視化技術を示している。その他の、赤から緑への色の勾配や、透過度に代わるパターンなどの可視化技術を代わりに利用することもできる。図１４に示されているドキュメント４０２の異なる領域４１６、４１８、４２０、４２２、４２４の拡大図は、領域４１６の空４２６のような空白のエリアが半透明なオーバレイ４２８で覆われていることを示している。対照的に、領域４２０の家４３０の写真は、そのキーポイントが他のものには何も適合しないことを表す＋印で表示された正のキーポイント４０４Ａを高密度に含んでおり、そこにはオーバレイはない。ページ上部の領域４１８の本体のテキスト４３２には、−印、すなわちダッシュ記号で表された負のキーポイント４０４Ｂを主として有する領域があり、そこは塗りつぶしのオーバレイ４３４で覆われている。これは領域４２４のページフッタ部４３６でさらに顕著であり、そこにはダッシュ記号（負のキーポイント４０４Ｂ）しか含まれていない。領域４２２にある太字のテキストの図の説明４３８は他との適合性が低く、視覚的なオーバレイがない。したがってＥＭＭの配置に好適である。
ＩＸ．ＥＭＭの位置とサイズの自動調節
【００７２】
ユーザがＥＭＭをページ上に配置するか別の位置にドラッグするときに、上記のキーポイントスコアの合計を利用して、オーサリングツールはＥＭＭのサイズを自動調節する。オーサリングツールは、一定のアスペクト比で、オーサによって特定された十分に大きなトータルスコアを有する位置に中心を持つ、最小の四角形を決定する。結果として得られる領域が非常に大きい場合には、オーサリングツールは好適でない領域を避けるためにＥＭＭを移動させようとする。この補助技術は両方ともオーサがスイッチオフすることもできる。好適な領域が見つからない場合には、ＥＭＭは赤く着色されて好適でないことが示される。
ＶＩＩ．コンピュータの実施形態
【００７３】
図１５は、本発明による方法の実施形態の実装が可能なコンピュータ／サーバシステム１５００の実施形態を示すブロック図である。システム１５００は、当業者には周知のように、命令の実行に作用するプロセッサ１５０２とメモリ１５０３を含むコンピュータ／サーバプラットフォーム１５０１を備える。本明細書で使用される“コンピュータ可読記憶媒体”という用語は、プロセッサ１５０２に実行命令を与えることに関与する、ディスクや半導体メモリなどの任意の有形媒体を指す。更に、コンピュータプラットフォーム１５０１は、キーボード、マウス、タッチデバイスなどの複数の入力装置１５０４、または音声命令からの入力を受信する。コンピュータプラットフォーム１５０１は更に、ポータブルハードディスク装置、光学媒体（ＣＤまたはＤＶＤ）、ディスク媒体、またはコンピュータが実行可能なコードを読み込むことができるその他の任意の有形媒体などのリムーバブル記憶装置１５０５に接続されていてもよい。コンピュータプラットフォームは更に、インターネットやその他のローカルな公共または私的なネットワーク部品に繋がるネットワークリソース１５０６に接続されていてもよい。ネットワークリソース１５０６は、ネットワーク１５０７上のリモートロケーションから命令およびデータをコンピュータプラットフォームへ供給してもよい。ネットワークリソース１５０６への接続は、８０２．１１標準やブルートゥース（登録商標）やセルラープロトコル等の無線プロトコル経由で、または、ケーブルやファイバ光学部品などの物理的伝送媒体経由であってもよい。ネットワークリソースは、コンピュータプラットフォーム１５０１から隔離した場所にデータ及び実行可能な命令を格納するための記憶装置を含んでいてもよい。コンピュータはディスプレイ１５０８とインタラクトして、データおよびその他の情報をユーザへ出力したり、ユーザからの追加の指示と入力を要求したりする。従ってディスプレイ１５０８は、ユーザとインタラクトする入力装置１５０４として更に作用してもよい。
【００７４】
上記の実施形態と実装は、当業者が本発明を実施できるように十分詳細に提示される。また、他の実装形態が利用されてもよいこと、及び本発明の範囲及び趣旨を逸脱することなしに様々な要素の構造上の変更及び／または代用が行われてもよいことを理解されたい。従って以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。更に、説明された本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形態、または専用ハードウェアの形態、あるいはソフトウェアとハードウェアの組合せ、のいずれで実装されてもよい。
【符号の説明】
【００７５】
１０１ 表示手段
１０３ コンピュータ
１０６ 適合手段
１０８ スコア付与手段
１１０ スコア変更手段
１１２ 可視化手段
１１４ 入力手段
１１６ 入力装置
１１８ 配置手段
【特許請求の範囲】
【請求項１】
デジタルメディアへの視覚リンクをドキュメント上に配置する方法であって、
表示手段により、ドキュメントの少なくとも１ページをディスプレイ上に表示し、
適合手段により、プロセッサとメモリを有するコンピュータを利用して、前記ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、
スコア付与手段により、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、
入力手段により、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、
配置手段により、前記視覚リンクを前記ドキュメント上に配置する、
ことを含む方法。
【請求項２】
スコア変更手段により、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更することをさらに含む、請求項１に記載の方法。
【請求項３】
可視化手段により、前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成することをさらに含み、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する、請求項１に記載の方法。
【請求項４】
前記配置手段により、前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整することをさらに含む、請求項１に記載の方法。
【請求項５】
特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことをさらに含む、請求項２に記載の方法。
【請求項６】
前記各キーポイントのスコアの変更が、キーポイント間の距離に応じた重み付きスケールによってさらに変更されることを含む、請求項２に記載の方法。
【請求項７】
前記視覚リンクの配置に対する前記ドキュメント領域の好適度を、キーポイントのスコア密度に基づいて判定することをさらに含む、請求項１に記載の方法。
【請求項８】
前記視覚オーバレイは、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示する、請求項３に記載の方法。
【請求項９】
所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させることをさらに含む、請求項１に記載の方法。
【請求項１０】
前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）である、請求項１に記載の方法。
【請求項１１】
デジタルメディアへの視覚リンクをドキュメント上に配置するシステムであって、
ドキュメントの少なくとも１ページを表示する表示手段と、
前記ドキュメントのキーポイントを識別し、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキーポイントを取得する、適合手段と、
前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつける、スコア付与手段と、
前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信する、入力手段と、
前記視覚リンクを前記ドキュメント上に配置する、配置手段と、
を備えるシステム。
【請求項１２】
前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更するスコア変更手段をさらに含む、請求項１１に記載のシステム。
【請求項１３】
前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成する可視化手段をさらに備え、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する、請求項１１に記載のシステム。
【請求項１４】
前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整することをさらに含む、請求項１１に記載のシステム。
【請求項１５】
特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことをさらに含む、請求項１２に記載のシステム。
【請求項１６】
前記各キーポイントのスコアの変更が、前記キーポイント間の距離に応じた重み付きスケールによってさらに変更されることを含む、請求項１２に記載のシステム。
【請求項１７】
キーポイントのスコア密度に基づいて、前記視覚リンクの配置に対する前記ドキュメント領域の好適度を判定することをさらに含む、請求項１１に記載のシステム。
【請求項１８】
前記視覚オーバレイは、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示する、請求項１３に記載のシステム。
【請求項１９】
所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させることをさらに含む、請求項１１に記載のシステム。
【請求項２０】
前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）である、請求項１１に記載のシステム。
【請求項２１】
コンピュータに、デジタルメディアへの視覚リンクをドキュメント上に配置させるためのコンピュータプログラムであって、
前記コンピュータに、
ドキュメントの少なくとも１ページをディスプレイ上に表示し、
ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、
前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、
前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更し、
前記変更されたキーポイントに基づいて、前記ドキュメント上に前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する視覚的なオーバレイを生成し、
前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、
前記視覚リンクを前記ドキュメント上に配置する、
処理を実行させる、コンピュータプログラム。
【請求項１】
デジタルメディアへの視覚リンクをドキュメント上に配置する方法であって、
表示手段により、ドキュメントの少なくとも１ページをディスプレイ上に表示し、
適合手段により、プロセッサとメモリを有するコンピュータを利用して、前記ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、
スコア付与手段により、前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、
入力手段により、前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、
配置手段により、前記視覚リンクを前記ドキュメント上に配置する、
ことを含む方法。
【請求項２】
スコア変更手段により、前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更することをさらに含む、請求項１に記載の方法。
【請求項３】
可視化手段により、前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成することをさらに含み、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する、請求項１に記載の方法。
【請求項４】
前記配置手段により、前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整することをさらに含む、請求項１に記載の方法。
【請求項５】
特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことをさらに含む、請求項２に記載の方法。
【請求項６】
前記各キーポイントのスコアの変更が、キーポイント間の距離に応じた重み付きスケールによってさらに変更されることを含む、請求項２に記載の方法。
【請求項７】
前記視覚リンクの配置に対する前記ドキュメント領域の好適度を、キーポイントのスコア密度に基づいて判定することをさらに含む、請求項１に記載の方法。
【請求項８】
前記視覚オーバレイは、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示する、請求項３に記載の方法。
【請求項９】
所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させることをさらに含む、請求項１に記載の方法。
【請求項１０】
前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）である、請求項１に記載の方法。
【請求項１１】
デジタルメディアへの視覚リンクをドキュメント上に配置するシステムであって、
ドキュメントの少なくとも１ページを表示する表示手段と、
前記ドキュメントのキーポイントを識別し、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキーポイントを取得する、適合手段と、
前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつける、スコア付与手段と、
前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信する、入力手段と、
前記視覚リンクを前記ドキュメント上に配置する、配置手段と、
を備えるシステム。
【請求項１２】
前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更するスコア変更手段をさらに含む、請求項１１に記載のシステム。
【請求項１３】
前記キーポイントのスコアに基づいて前記ドキュメント上に視覚的なオーバレイを生成する可視化手段をさらに備え、前記視覚的なオーバレイは前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する、請求項１１に記載のシステム。
【請求項１４】
前記キーポイントのスコアに基づいて、前記視覚リンクの大きさと位置を調整することをさらに含む、請求項１１に記載のシステム。
【請求項１５】
特定のキーポイントに隣接し、すべてが既存の１つの視覚リンクに適合する複数のキーポイントにペナルティを科すことをさらに含む、請求項１２に記載のシステム。
【請求項１６】
前記各キーポイントのスコアの変更が、前記キーポイント間の距離に応じた重み付きスケールによってさらに変更されることを含む、請求項１２に記載のシステム。
【請求項１７】
キーポイントのスコア密度に基づいて、前記視覚リンクの配置に対する前記ドキュメント領域の好適度を判定することをさらに含む、請求項１１に記載のシステム。
【請求項１８】
前記視覚オーバレイは、前記視覚リンクの配置に対する１つまたは複数の領域の好適度を陰影の勾配によって表示する、請求項１３に記載のシステム。
【請求項１９】
所定の半径内の複数のキーポイントが１つの視覚リンクに適合しているドキュメント領域は好適度を増加させることをさらに含む、請求項１１に記載のシステム。
【請求項２０】
前記視覚リンクは埋め込み型メディアマーカ（ＥＭＭ）である、請求項１１に記載のシステム。
【請求項２１】
コンピュータに、デジタルメディアへの視覚リンクをドキュメント上に配置させるためのコンピュータプログラムであって、
前記コンピュータに、
ドキュメントの少なくとも１ページをディスプレイ上に表示し、
ドキュメントのキーポイントを識別して、前記識別されたキーポイントが適合する既存の視覚リンクおよび対応するキ−ポイントを取得し、
前記ドキュメントのキーポイントと、前記取得された、前記既存の視覚リンクに対応するキーポイントと、の間の類似性に基づいて前記ドキュメントのキーポイントにスコアをつけ、
前記各キーポイントのスコアを当該キーポイントの周囲のキーポイントのスコアに基づいて変更し、
前記変更されたキーポイントに基づいて、前記ドキュメント上に前記視覚リンクの配置に対する前記ドキュメントの１つまたは複数の領域の好適度を視覚的に表示する視覚的なオーバレイを生成し、
前記視覚リンクを配置するための前記ドキュメントの１つまたは複数の領域を選択するユーザ入力を受信し、
前記視覚リンクを前記ドキュメント上に配置する、
処理を実行させる、コンピュータプログラム。
【図２】
【図３】
【図１５】
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図１５】
【図１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−３７６８５（Ｐ２０１３−３７６８５Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−１５８８４９（Ｐ２０１２−１５８８４９）
【出願日】平成２４年７月１７日（２０１２．７．１７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２４年７月１７日（２０１２．７．１７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]