デジタルメディアの提供方法、物品及びプログラム
【課題】埋込みメディアバーコードリンクを利用することによってデジタルメディアを提供するためのコンピュータで実施される方法を提供する。
【解決手段】この方法は、物品上の埋込みメディアバーコードリンクの画像を受信する(ステップ1800)ことと、埋込みメディアバーコードリンクから情報を抽出する(ステップ1801)ことと、抽出した情報に対応する埋込みデジタルメディアを識別する(ステップ1802)ことと、識別した埋込みデジタルメディアを検索する(ステップ1803)ことと、を含む。
【解決手段】この方法は、物品上の埋込みメディアバーコードリンクの画像を受信する(ステップ1800)ことと、埋込みメディアバーコードリンクから情報を抽出する(ステップ1801)ことと、抽出した情報に対応する埋込みデジタルメディアを識別する(ステップ1802)ことと、識別した埋込みデジタルメディアを検索する(ステップ1803)ことと、を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は概して、ドキュメントの一部に関連するメディアの存在を示す埋込みメディアマーカーに関し、より詳細には埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、物品、及びプログラムに関する。
【背景技術】
【0002】
紙は情報を見るために最も広く使用されている手段の1つであるが、ビデオやオーディオのような動的メディアを再生することはできない。一方、携帯電話はオーディオやビデオの再生にますます使用されるようになってきているが、紙のもつ解像度の高さ、表示サイズの大きさ、空間的構成の柔軟さ、戸外での読みやすさ、そして静的コンテンツに対するロバスト性には対抗できない。今日では、これら2つを画像認識技術を用いて組み合わせ、紙のドキュメントを動的メディアにリンクさせることが可能になった。携帯電話のカメラがドキュメントパッチ(一部分)の画像の撮影に用いられる。ドキュメントパッチは画像の特徴を用いて識別され、ドキュメントパッチの位置にリンクされたデジタルメディアが検索され、携帯電話で再生される。
【0003】
この種類のメディアリンクを紙のドキュメント上に生成するための方法に共通することは、ドキュメント上にマーカーを印刷することである。分かりやすい例の一つは、バーコードである(例えば、非特許文献1参照)。しかし、既存のバーコード印刷では独占的な空間が必要なため、ドキュメントのコンテンツのレイアウトを妨げる場合がある。この問題を解決する1つの方法は、データセルをユーザ指定の画像の背景と組み合わせることであるが、それでもなお、データセルの位置をデコーダが見つけるために、不透明な白黒の境界が必要となる。データグリフ(DataGlyph)(例えば、非特許文献2参照)は、略不可視のマシン認識可能なパターンを紙に印刷することによってこれらの問題を克服している。しかし、この種類のマーカーはドキュメントの位置を識別するために高解像度のプリンタやカメラを必要とする。RFIDのような電子マーカーを用いることもできる(例えば、非特許文献3参照)が、このアプローチは生産コストを上げてしまう。
【0004】
他のシステムは、ドキュメントパッチを識別してメディアリンクを生成するためにドキュメントコンテンツ自体の特徴を計算する。ホットペーパー(HotPaper)(例えば、非特許文献4参照)及びモバイル検索機(Mobile Retriever)(例えば、非特許文献5参照)は、単語の空間レイアウトなどドキュメントのテキストに基づいた特徴を用いている。Bookmarkr(例えば、非特許文献6参照)及びMapSnapper(例えば、非特許文献7参照)のような他のシステムは、SIFTアルゴリズム(例えば、非特許文献8参照)のようなピクセルレベルの画像特徴を用いて写真やグラフィック要素などの一般的なドキュメントコンテンツを認識している。これらのシステムを用いると、マーカー印刷のための独占的な空間は不要となる。
【0005】
マーカーベースの方法及びドキュメントの外観ベースの方法はいずれも、視覚的な案内(ガイダンス)をユーザに与えるには不十分である。バーコード及びデータグリフは可視であるが、これらに関連するメディアの存在や種類を直接的に示していない。外観ベースの特徴が用いられる場合、ユーザにドキュメントにリンクしたメディアがあることを示す紙上の表示が全くない。結果として、ホットペーパーのユーザは、カメラ付き携帯電話を紙のドキュメントにかざしてパンし、赤い点や振動などのフィードバックが携帯電話に示されるまでホットスポットを探さなければならない。
【0006】
この問題を解決するために、研究者はEMM(Embedded Media Marker)と呼ばれる意味をもつ認識マークを紙に付与しており(例えば、非特許文献9参照)、このマークはメディアリンクの存在、種類及び撮影案内を示す。ユーザは、EMMを見れば、関連するデジタルメディアを見るために、EMMによって示されたドキュメントパッチの画像を携帯電話で撮影するということが分かる。これは、リンクの存在を下線、異なるフォント又は画像タグを用いて示し、追加の情報を得るためにリンクをクリックするウェブページに類似している。EMMはバーコードとは違って殆ど見えないため、ドキュメントの外観を妨げない。EMMは、デジタルペーパーにみられる埋込みデータグリフやアノト(Anoto)パターンとは違って通常の低解像度プリンタで印刷でき、通常の携帯電話のカメラによって撮影された画像から識別することができる。EMMは、他の外観ベースのアプローチとは異なり、ドキュメントパッチ及びその位置を明確に指す。また、EMMのデザインは、EMMによって示されるドキュメントの位置にどの種類のメディア(例えば、オーディオ、ビデオ又は画像)が関連するかを示す。また、撮影される画像がマーク全体を含むことが必要であることにより、EMMシステムは、特徴構築精度、マッチング精度を向上させ、有効に資源を使用することができる。
【0007】
EMMは、過去の多くの問題を解決する。しかしながら、EMMのパッチは在来のバーコードよりも識別される速度が遅い。また、基礎となるドキュメントが、パッチ識別のために十分な特徴を有することが必要となる。更に、EMMに対する拡張性やエラー訂正能力のテストは未だに有効ではない。また、きれいなドキュメントパッチが関連メディアにリンクするための十分な情報を有するかどうかを不審に思うユーザがいる場合がある。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】レキモト(Rekimoto、J.)及びアヤツカ(Ayatsuka、Y.)、サイバーコード:ビジュアルタグを用いた拡張現実感環境のデザイン(CyberCode:designing augmented reality environments with visual tags)、ACM DARE 2000議事録、1−10頁
【非特許文献2】ヘクト(Hecht D.L.)、ハードコピーデジタルドキュメントのための埋込みデータグリフ技術(Embedded Data Glyph Technology for Hardcopy Digital Documents)、SPIE−Color Hard Copy And Graphics Arts III、第2171巻、341−352頁
【非特許文献3】ライリー(Reilly、D.)、ロジャーズ(M.Rodgers)、アーギュー(R.Argue)ら、マークアップされたマップ:紙のマップと電子情報資源の結合(Marked−up maps:combining paper maps and electronic information resources)、Personal and Ubiquitous Computing、2006.10(4)、215−226頁
【非特許文献4】イーロル(Erol,B.)、アントゥネス(Emilio Antunez)及びハル(J.J.Hull)、ホットペーパー:携帯電話を用いた紙とのマルチメディア相互作用(HOTPAPER:multimedia interaction with paper using mobile phones)、ACM Multimedia 08 議事録、399−408頁
【非特許文献5】リュウ(Liu,X)及びドアーマン(D.Doermann)、モバイル検索機:物理資源からデジタル文書へのアクセス(Mobile Retriever:access to digital documents from their physical source)、Int.J.Doc.Anal.Recognit.、2008.11(1)、19−27頁
【非特許文献6】ヘンツェ(Henze,N.)及びボール(S.Boll)、写真を撮ってフォトブックをシェアしよう(Snap and share your photobooks)、ACM Multimedia 08 議事録、409−418頁
【非特許文献7】ヘア(Hare,J.)、ルイス(P.Lewis)、ゴードン(L.Gordon)及びハート(G.Hart)、MapSnapper:携帯電話からの地図の画像を照合するための効率的アルゴリズムの設計(MapSnapper:Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones)、Multimedia Content Access 議事録:Algorithms and Systems II、2008年
【非特許文献8】ロウ(Lowe,D.G.)、スケール不変のキーポイントからの顕著な画像特徴(Distinctive Image Features from Scale−Invariant Keypoints)、Int.J.Comput.Vision、2004.60(2)、91−110頁
【非特許文献9】リュウ(Liu,Q.)、リャオ(Liao,C.)、ウィルコックス(Wilcox,L.)、ダニガン(Dunnigan,A.)及びリュウ(Liew,B.)、埋込みメディアマーカー:関連メディアを示す紙上のマーク(Embedded media markers:marks on paper that signify associated media))、14th international Conference on intelligent User interfaces 議事録(香港、中国、2010年2月7日−10日)、IUI’10、149−158頁、アメリカ ニューヨーク州ニューヨーク、2010年、ACM、
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明によれば、ドキュメントの一部に関連するデジタルメディアの存在を示す埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、物品、及びプログラムが提供される。
【課題を解決するための手段】
【0010】
本発明の第1の態様によれば、バーコードを含む埋込みメディアバーコードリンク及び物品を利用することによってデジタルメディアを提供するためのコンピュータで実施される方法であって、a.受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信することと、b.抽出手段が、前記受信手段が受信した埋込みメディアバーコードリンクから情報を抽出することと、c.識別手段が、前記抽出手段が抽出した情報に対応する埋込みデジタルメディアを識別することと、d.検索手段が、前記識別手段が識別した埋込みデジタルメディアを検索することと、を含む、方法が提供される。
【0011】
本発明の第2の態様によれば、第1の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、前記バーコードにアルファブレンドされていてもよい。
【0012】
本発明の第3の態様によれば、第1の態様において、前記埋込みメディアバーコードリンクは、前記埋込みデジタルメディアのメディアの種類を表すメディア種類アイコンを更に含んでもよく、前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されていてもよい。
【0013】
本発明の第4の態様によれば、第1〜第3の態様において、前記バーコードが前記埋込みデジタルメディアのデータベースアドレス情報を含んでもよい。
【0014】
本発明の第5の態様によれば、物品であって、a.物品の表面に視覚化されたコンテンツと、b.バーコードを含み、前記視覚化されたコンテンツにブレンドされた埋込みメディアバーコードリンクと、c.データベースに記憶された、前記埋込みメディアバーコードリンクに対応する埋込みデジタルメディアオブジェクトと、を含む、物品が提供される。
【0015】
本発明の第6の態様によれば、第5の態様において、前記物品は、2次元の平面の媒体であってもよい。
【0016】
本発明の第7の態様によれば、第5の態様において、前記埋込みメディアバーコードリンクは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記視覚化されたコンテンツにアルファブレンドされていてもよい。
【0017】
本発明の第8の態様によれば、第5〜第7の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされていてもよい。
【0018】
本発明の第9の態様によれば、第5〜第7の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表してもよく、前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されていてもよい。
【0019】
本発明の第10の態様によれば、第5〜第9の態様において、前記バーコードは、前記データベースにおける前記埋込みデジタルメディアオブジェクトにリンクする情報を含んでもよい。
【0020】
本発明の第11の態様によれば、第5の態様において、前記バーコードは、幾何学形状領域に変換されてもよく、前記変換されたバーコードは、前記埋込みメディアバーコードリンク内に配置されてもよい。
【0021】
本発明の第12の態様によれば、第11の態様において、前記埋込みメディアバーコードリンクは、前記メディア種類アイコンの中心、アンカーポイント、方向、又は幾何学形状のサイズのいずれかを更に表してもよい。
【0022】
本発明の第13の態様によれば、視覚化されたコンテンツと、該コンテンツ上にあると共にバーコードを含む埋込みメディアバーコードリンクとを含む物品を製造するためのコンピュータで実行させるためのコンピュータプログラムであって、a.受信手段が、物品の視覚化されたコンテンツ上の位置の選択を受信する工程と、b.決定手段が、前記受信手段が受信した選択位置付近にある前記視覚化されたコンテンツの複数の特徴量に基づいて、埋込みメディアバーコードリンクの位置、形状、バーコード種類またはサイズを決定する工程と、c.配置手段が、前記決定手段が決定した位置、形状、バーコード種類またはサイズに基づいて、前記視覚化されたコンテンツ上の位置に関連するデジタルメディアオブジェクトの利用を示す前記埋込みメディアバーコードリンクを前記物品上に配置する工程と、を含む、コンピュータプログラムが提供される。
【0023】
本発明の第14の態様によれば、第13の態様において、前記埋込みメディアバーコードリンクは、メディア種類アイコンを含むメディア種類の表示を更に含んでもよく、前記メディア種類の表示は、前記バーコード内に配置されてもよく、前記メディア種類アイコンは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされてもよい。
【0024】
本発明の第15の態様によれば、第13の態様において、前記埋込みメディアバーコードリンクは、メディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表してもよく、前記バーコードは、位置決めされ、サイズ決めされ、種類が調節され、または形状がつけられて、前記メディア種類アイコン内に配置されてもよい。
【0025】
本発明の第16の態様によれば、第13の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、前記メディア種類アイコンの幾何学形状に基づいて前記バーコードを所定の領域に変換し、前記変換したバーコードを前記メディア種類アイコン内に配置することを更に含んでもよい。
【0026】
本発明の第17の態様によれば、第13〜第16の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、前記物品の前記視覚化されたコンテンツに前記埋込みメディアバーコードリンクをアルファブレンドすることを更に含んでもよい。
【0027】
本発明の第18の態様によれば、第17の態様において、前記アルファブレンドはブレンド係数を利用し、前記ブレンド係数は前記埋込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されてもよい。
【0028】
本発明の第19の態様によれば、第13〜第18の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、前記選択された位置の周りで最も小さなノイズを有する領域を識別し、ブレンド係数を最適化することを更に含んでもよい。
【0029】
本発明に関連する更なる態様は、一部が以下の説明で説明され、一部が説明から明らかになり、又は本発明の実施によって知ることができる。本発明の態様は、要素によって、ならびに下記の詳細な説明及び添付の請求の範囲で特に指摘される種々の要素及び態様の組み合わせによって実現され、達成され得る。
【0030】
先の説明及び以下の説明はいずれも例示的で説明的なものにすぎず、主張される発明又は出願をいかなる方法によっても限定する目的ではないことを理解されたい。
【発明の効果】
【0031】
ドキュメントの一部に関連するデジタルメディアの存在を示す埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、物品、及びプログラムを提供することができる。
【図面の簡単な説明】
【0032】
本明細書の一部に組み込まれてこれを構成する添付の図面は本発明の実施の形態を具現するものであり、本発明の技術の原理を記述と共に説明し、これを示す役割を果たすものである。具体的には以下の通りである。
【0033】
【図1】埋込みメディアバーコードリンク(EMBL(Embedded Media Barcode Link))の1つの例示的な実施の形態を示す図である。
【図2】(a)、(b)は、本発明の実施の形態によるEMBLの例を示す図である。
【図3】本発明の実施の形態によるEMBLの輪郭の変更処理を示す図である。
【図4】本発明の実施の形態によるEMBLを生成するためにバーコードに直接アルファブレンドされたメディアアイコンを示す図である。
【図5】(a)、(b)、(c)、(d)は、本発明の実施の形態に従って考慮に入れることのできる他のEMBL形状の例を示す図である。
【図6】ドキュメントコンテンツ内のエッジがバーコードの復号に与える影響の例を示す図である。
【図7】テストしたEMBLチャネルにおけるノイズの推定の例を示す図である。
【図8】本発明の実施の形態による画像のキーポイント分布マップから計算したキーポイント積分画像マップの計算を示す図である。
【図9】積分画像マップを用いたノイズ評価の高速化を示す図である。
【図10】33000のブレンド係数の分布ヒストグラムの例を示している。
【図11】図10の累積されたブレンド係数の分布を示している。
【図12】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図13】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図14】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図15】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図16】(a)、(b)は、バーコード混合・写真設定におけるバーコードの識別を示している。
【図17】(a)、(b)は、バーコード形式の代わりに既知の形の曲線にした本発明の実施の形態によるEMBLの例を示している。
【図18】本発明の実施の形態のうちの1つに従って、データベース及び物品を使用することによってデジタルメディアを提供する方法を示すフローチャートである。
【図19】視覚化したコンテンツとコンテンツ上の埋込みメディアマーカーを含む物品の製造方法を示すフローチャートである。
【図20】本発明の実施の形態によるシステムの例示的な機能図である。
【図21】本発明のシステムを実施することのできる、モバイルプラットフォームなどの例示的な実施の形態を示す図である。
【発明を実施するための形態】
【0034】
以下の詳細な説明では、同一の機能要素が同様の番号で示される添付の図面を参照する。限定の目的ではなく例示の目的で示される前述の添付の図面、特定の実施の形態そして実施は本発明の原理と一致する。これらの実施は当業者が本発明を実施できるように十分詳しく説明されており、他の実施を用いることができ、種々の要素の構造上の変更及び/又は代用を本発明の範囲及び趣意から逸脱することなく行えることを理解されたい。従って、以下の詳細な説明を狭義で解釈してはならない。また、説明される本発明の種々の実施の形態を、汎用コンピュータで実行するソフトウェア、専用ハードウェア、又はソフトウェア及びハードウェアの組み合わせで実施することができる。
【0035】
既存のメディアリンク問題を補うために、本発明の一実施形態として、ここでは埋込みメディアバーコードリンク(EMBL)と名づけた新規のメディア認識マークを提案する。EMBLは、関連するメディアへリンクするために紙のドキュメントコンテンツ上に重畳配置されるメディアアイコンに基づいて変形された、半透明のバーコードである。
【0036】
図1は、本発明の実施の形態に従って認識されるEMBLの配置過程で使用するオーサリングツールのユーザインターフェースを示している。EMBLは従来のバーコードとは異なり半透明である(100)ため、ドキュメントの外観への妨害がより少ない。前述の埋込みデータグリフ又はアノトパターンとは異なり、EMBLは標準の低解像度プリンタでの印刷が可能であり、通常の携帯電話のカメラによって撮影された画像からでもコードが識別できる。EMBLによって、メディアリンクの存在、種類及び撮影案内を示すこともできる。ユーザはEMBLを見ると自然に従来のバーコードを連想するため、ユーザは容易にバーコードに対する情報取得手法をEMBLに適用することができる。EMBLはバーコードと同一の復号スキームを用いるため、拡張性及びエラー訂正能力もサポートされる。EMBLは、テキストが1、2行しかないような白紙領域の多いページといった十分な画像特徴をもたない、EMMの適用に困難が伴うドキュメントに対しても有効である。EMBLはなおEMMよりも視覚的に邪魔になることがあるが、特にEMMの使用が困難な状況では利点がこの問題を上回る。この例では、EMBLが識別された後、EMBLの識別されたバーコード情報が撮影画像102内の位置101の上に重ねられる。なお、図1は、EMBLを配置するためのオーサリングツールのユーザーインターフェースの一部を示したものであり、EMBLの配置位置となるドキュメント中の位置101が矩形で表示されるとともに、コード番号、座標等が表示されているが、編集後のドキュメント出力時には他の図面で示されるようにこれらは表示されない。
【0037】
EMBLの実施の形態は、関連メディアにリンクするために紙のドキュメントコンテンツ上に配置された、メディアアイコンを変更した半透明のバーコードオーバーレイを含む。この実施の形態は、「EMBLにより示されるドキュメントの位置」を通じてメディアに関連するドキュメント中の位置を設定する。EMBLは、ドキュメントコンテンツへの視覚的な妨害を低減し、EMBLにより示されるドキュメント内の位置のより近くに配置するために、半透明の形態を用いることができる。EMBLは、カメラでの取得(撮影)のために示されるドキュメントパッチを識別するために半透明のバーコードを更に用いることができ、また、関連するメディア情報を示すためにアイコン情報を用いることもできる。EMBLのバーコード配置方向は、水平、斜め、垂直又は円形のいずれでもよい。
【0038】
図2(a)及び図2(b)は2つのEMBLの例を示している。これらの例において、EMBLはリンクされたメディアの種類に関する情報を示すためにアイコンマーク200を使用している。また、EMBLは、メディアリンクのリンク先の正確な位置を示すために矢印形状部201を含んでいる。
【0039】
EMBLの構成例
既存のバーコードをアイコンマスクでマスクすることによってバーコードの輪郭の変更が実現できる。図3は、本発明の実施の形態によるEMBLの輪郭の変更処理を示している。この処理では、白黒のメディアアイコンに矢印形状部を加えた形状をメディアアイコンマスク300として生成する。この例ではビデオアイコンを使用する。次に、バーコードをアイコン301でマスキングし、バーコード拡張パターンがメディアアイコンに囲まれるよう変更する。必要に応じて、マスキングしたバーコードを更にバーコードデコーダ302で確認する。
【0040】
メディアアイコンをバーコードに直接アルファブレンドしてEMBLを生成することもできる。図4は、この種のEMBL400の生成を示している。(ドキュメントコンテンツのブレンドを行っていない)EMBLの基本形態はバーコードデコーダで確認できる(401)。図5(a)から図5(d)は、考えられる他のEMBL形状をいくつか示している。
【0041】
EMBLと従来のバーコードとの最も顕著な違いは、マーカーの透明度である。従来のバーコード規格はマシン指向の規格である。更に具体的には、従来のバーコード規格は、バーコード自体及びバーコードデバイスを考慮に入れただけである。EMBLのデザインは、ユーザ、ドキュメント及びバーコードをみな一緒に考慮に入れようとするものであり、どのEMBLマークも、バーコードとコンテンツを適切にブレンドしたものであり、バーコードの利点を失うことなく、ユーザ及びドキュメントに最も多く利益を与えることができる。
【0042】
リーダがドキュメントコンテンツ及びバーコードオーバーレイを容易に識別するために、バーコード信号とコンテンツ信号との間のクロストークを最小にする必要がある。過去の研究例では、受信信号に含まれるコンテンツ信号及びバーコード信号が異なる光スペクトルで得られるように、バーコードには不可視のトナーを用いていた。このアプローチは、バーコードの読取り及び復号には有効であるが、ユーザが紙との相互作用を始めるための視覚的な手がかりを完全に取り除いてしまう。更に、このアプローチは、この技術の応用をサポートするためにプリンタの修正や特殊な不可視のトナーを必要とする。
【0043】
マルチメディアをドキュメントの位置にリンクさせるためのEMBLの使用
マルチメディアデータを紙のドキュメントのある位置にリンクさせるには、この位置を全ての他の位置と区別するために、この位置にメディアマーカーがなくてはならない。メディアマーカーが以下の特性を有することがより効果的である。
【0044】
1.ユーザがマーカーの示すドキュメントの位置に興味をもった場合、マーカーは携帯電話での撮影のためのプロンプトとして機能すべきである。
【0045】
2.マーカーを見ることにより、ユーザがマーカーを撮影のガイドとして理解してマーカー撮影をすることが容易であるべきである。
【0046】
3.ユーザの興味を引くために、リンクしたマルチメディアデータに関する情報を提示することができる。
【0047】
4.ユーザが容易にマルチメディアがリンクされた先のコンテンツ位置を理解できるように、マーカーを紙のドキュメントのコンテンツの位置の近くに配置することができる。
【0048】
5.マーカーの識別速度は、待ち時間が短くなるよう高速でなければならない。
【0049】
6.マルチメディアの検索精度を保証するために、マーカーは十分に特徴的でなければならない。
【0050】
7.ドキュメントのページ内の大部分にマーカーを配置する必要がある場合、マーカーは拡大縮小可能でなければならない。
【0051】
8.略空白の領域を含むドキュメントの殆どの領域をマーカーを用いて処理できるように、マーカーはドキュメント自体の特徴に依存しすぎてはならない。更に、この特性により、異なるシナリオに用いられる同一の画像をマシンが区別することができる。
【0052】
9.マーカーは元のドキュメントコンテンツ及びレイアウトを著しく妨害してはならない。
【0053】
10.マーカーの識別処理に、あまりにも多くのディスク、メモリ及び計算コストを要求してはならない。
【0054】
このリストにおいて、1番目から7番目の要件はユーザの経験を向上させるために提案されており、8番目及び9番目の要件は元のドキュメントの可読性の利益を得るために提案されており、10番目の要件は大規模なシステムにかかるハードウェア及びエネルギーのコストを削減するために提案されている。これらの要件を考慮して、EMBLのデザインはこれらの要件の殆どを満たすように意図されている。多くのユーザはバーコードや携帯電話によるバーコードの撮影を熟知しているため、EMBLの半透明のバーコードの外観は、携帯電話での撮影のプロンプトとして適しており、一般大衆に使用に対して信頼性を与えるのに効果的な画像である。EMBLの形状は、メディアの種類情報をユーザに提供する。その半透明の形態のため、元のドキュメントレイアウトを変えることなく、メディアに関連するいずれの位置の近くにもEMBLを容易に移動させることができる。EMBLの復号はバーコードの復号に類似しているため、復号の精度、速度及び拡張性は、多くの初期のバーコードアプリケーションによって検証できる。また、半透明の形態のため、EMBLのマークは従来のバーコードよりも元のドキュメントのコンテンツ及びレイアウトへの妨害が少ない。そのハードウェアコストも周知であり、殆どのアプリケーションにとって手頃である。
【0055】
バーコードとコンテンツのブレンド
パッチ識別のために、ドキュメントコンテンツにブレンドした可視のバーコードをバーコード識別装置によって識別することができる。このバーコード印刷及び識別処理は、各ドキュメントパッチを通信チャネルとみなし、埋込みバーコードを伝送信号とみなし、ドキュメントコンテンツ及びアイコンマークを信号伝送のノイズとみなす伝送処理としてモデル化することができる。このモデルを考慮し、適切なコンテンツ−バーコードブレンドによるバーコード伝送のために、ユーザの選択した位置の近隣において適切なチャネルを見つけるように、アルゴリズムをデザインすることができる。バーコード−コンテンツブレンド処理によってドキュメントパッチのチャネル容量を調節することができる。適度に大きなチャネル容量を用いて高速のバーコード識別を確保することができる。このモデルは、適切なバーコード−コンテンツブレンド係数を有する適切な、バーコード印刷ドキュメントパッチを見出すためのEMBLオーサリングツールに用いられる。このモデルをバーコード種類のEMBL最適化に用いることもできる。
【0056】
EMBLオーサリングツール
ユーザの観点からすると、ドキュメントエディタで特定の位置でバーコード信号をドキュメントコンテンツとブレンドすることを望む場合、ドキュメントエディタが最適なブレンドを達成することは難しい。EMBLの生成を容易にするために、選択位置の近隣に、「ノイズ」分布に基づいてEMBLを半自動的に配置することのできるEMBLオーサリングツールを設計する。オーサリングツールに対して以下の3つの基準を設定する。
【0057】
オーサリングツールはドキュメントエディタの努力を最小にすべきである。更に具体的には、オーサリングツールは各EMBLの生成毎にEMBLオーサーポイント(author point)を要求するだけである。
【0058】
オーサリングツールはEMBLのドキュメントへの妨害を最小にすべきである。更に具体的には、オーサリングツールには、EMBLのバーコードブレンド係数を最小にする、即ち最良のバーコードブレンド係数を見出すことが望まれる。
【0059】
オーサリングツールはチャネルのノイズを最小にすべきである。更に具体的には、オーサリングツールは、信頼性のあるバーコード通信を行うために、アンカーポイント周辺で最小の「ノイズ」を有するドキュメントパッチを見出せなくてはならない。
【0060】
EMBLの最適化パラメータ及びメカニズム
EMBLの最適化は、ドキュメントエディタからのアンカーポイント(m,n)の入力で始まる。この入力は、編集インタフェースにマウスをクリックすることで行うことができる。アンカーポイントとは、リンクするメディアとの関連付けをエディタが望む点である。オーサリングツールは、アンカーポイントが入力されると、このアンカーポイントに対して最良のEMBLパラメータを見出すことを試みる。
【0061】
EMBLオーサリングは、元のドキュメントに対するEMBLの視覚的な妨害を最小にすべきである。バーコード画像をIB、元のドキュメント画像をIC、バーコードブレンド係数をα、そしてブレンドされた画像をIBCで示すと、バーコードブレンド処理を下記式で表すことができる。
【0062】
【数1】
【0063】
元のドキュメントICがユーザにとってより見やすくなるように、ブレンド係数αをできる限り小さくすべきである。しかし、αは信頼性のあるバーコード認識のために十分な大きさでなくてはならない。バーコード復号処理をDで示すと、下記式によって一定の位置でEMBL最適ブレンド係数α*を得ることができる。
【0064】
【数2】
【0065】
EMBL最適化のための更に多くの選択肢がオーサリングツールに与えられた場合、オーサリングツールはIC(バーコード伝送チャネルの選択に対応)及びIB(バーコード伝送信号のベースの選択に対応)を変更することもできる。EMBL配置パラメータは、用いるEMBLの種類に依存する。図2(a)に示すような線形バーコードを用いる場合、オーサリングツールはEMBLの配置に5つのパラメータが必要なだけである。これらの5つのパラメータは、EMBLの配置原点(x,y)に関する2つのパラメータと、EMBLのスケールλに関する1つのパラメータと、紙面上でのEMBLの配置の方向(u,v)に関する2つのパラメータを含む。システムが符号化データを自由に変更できない場合、IBの変更はバーコード種類の集合SBに依存する。これらのEMBL調節パラメータを用いて、式3は以下のように変えられる。
【0066】
【数3】
【0067】
更に簡潔にするため、ドキュメントの通常の行の方向に垂直なバーを用いて線形のバーコードの方向を固定し、バーコードサイズを固定することに加え、バーコードのベース集合SBをCODE128のみに固定することができる。これらのパラメータを用いてα、x及びyの最適化のみを行えばよい。α、x及びyの最適化を理解することによって、より多くのパラメータに最適化を行うことが困難ではなくなる。
【0068】
式2による固定位置でのブレンド係数の最適化は、式1によるバーコードブレンドパラメータを調節し、検証のためにブレンドしたドキュメントパッチをバーコードデコーダに送ることによって行うことができる。最適化の際に小さなステップを用いてブレンド係数を変更すると、最適化に時間がかかる。計算コストを削減するために、より大きなブレンド係数α(より濃いバーコードブレンド)がより良好なバーコード識別をもたらすと仮定することができる。この仮定を用いて、二分探索を最適なブレンド係数で構成することができ、探索間隔が予め定められた閾値よりも小さい場合は最適化をやめることができる。
【0069】
二分探索のメカニズムはブレンド係数の最適化のための計算を省くだけにすぎない。実行可能な各位置(x,y)でのブレンド係数の最適化は今なお時間がかかる。例えば、ブレンド係数の良好な精度を得るために、バーコードの検出時間が15msであり、二分探索の際に8つの間隔を試す必要がある場合、ブレンド係数の探索は位置毎に120msかかる。120msはアプリケーション全体に対しては長い時間ではない。
【0070】
しかし、近隣内の実行可能な各位置(x,y)でこの最適化を試す場合、120msは長い時間である。「右側のバーコードは左側のバーコードよりも常に良好である」ことを仮定できないため、EMBLの位置の最適化を速度向上させる二分探索を用いることができない。しかし、シャノン=ハートレーの定理からの指針及び適切なノイズモデルを用いてこの最適化を単純化することができる。
【0071】
式4は、シャノン=ハートレー定理の数式である。
【0072】
【数4】
【0073】
式中、Cはチャネル容量、Bはチャネルの帯域幅、Sは信号の大きさ、そしてNはノイズの大きさである。システムは、この定理によって導かれることで、通信チャネルの信号対ノイズ比(SNR)がある一定の限度を越えた場合に妥当なバーコード識別速度を得ることができる。これにより、最小の大きさ(最大の透明度、及びドキュメントへの最小の妨害)でのバーコード伝送のために、EMBLの示される位置周辺で最も小さいチャネルノイズを有するドキュメントパッチ(チャネル)を探索することができる。ドキュメントコンテンツ(チャネルノイズ)及びバーコード種類(信号伝送ベース)に関するバーコード伝送に対して最適化を更に行うことができる。
【0074】
ノイズモデル
最適化の問題における伝送信号(バーコード)は既知であるため、SNRの最適化はノイズの最適化の問題となる。ドキュメントコンテンツは、通常はバーコードとコンテンツのブレンド後にバーコード認識へ悪影響を与えるため、ドキュメントコンテンツはノイズ評価処理でノイズとみなされる。
【0075】
図6は、ドキュメントコンテンツ内のエッジがバーコードの復号に与える影響を示している。この例では、不適切なブレンドにより復号の誤りが生じている。ノイズの最適化を行うには、ノイズ推定のための適切なノイズモデルを備えるべきである。通常の線形バーコードはデータの符号化に主に高周波数域を用いるため、DC及び周波数の非常に低い信号はバーコードの伝送に殆ど影響を与えない。一方、多くのバーコードは紙の上で方向を有するため、SNRは方向によって変化する。従って、ノイズの最適化には方向性をもったノイズモデルが必要である。例えば3つのノイズモデルが考えられる。
【0076】
1.ノイズ推定のための第1のモデルは、ドキュメントコンテンツの勾配である。このモデルは、バーコード伝送にさほど影響を与えない低周波数のコンテンツ成分を抑制する。勾配ノイズモデルは方向性をもっていてもよいし(一定方向の勾配を計算)、全方向性(全ての方向の組み合わされた勾配)であってもよい。
【0077】
2.ノイズ推定のための第2のモデルは、SIFT特徴点などの特徴点に基づいたものである。理論上は、これらの特徴点は画像濃度の変化が顕著(勾配が急)な点である。このモデルも、システムが各特徴点の方向を考慮するかどうかによって方向性をもっていてもよいし、全方向性であってもよい。
【0078】
3.ノイズ推定のための第3のモデルは、ある一定のスケールでのエッジに基づいたものである(即ち、画像のバンドパスフィルタリング)。観察されるエッジは、ある所定方向における勾配の投影である。このモデルは方向性モデルである。このモデルの通常の方向は垂直、水平又は斜めである。
【0079】
EMBLチャネルにおけるノイズ推定を、EMBLチャネル内の全てのピクセルにおけるノイズレベルの合計によって実現することができる。
【0080】
図7は、テストしたEMBLチャネルにおいてノイズを推定する例を示している。この図において、左側の画像700は元のドキュメントを示しており、右側の画像701は原画像から計算した各ピクセルの垂直エッジのノイズレベルを示している。EMBLを右側画像701の長方形の囲み(ボックス)の中に配置した場合、長方形の囲みの中にある各ピクセルのノイズレベルを加算することによってノイズ推定を得ることができる。このノイズ推定を用いて、長方形の囲みを異なる位置に動かすことで、バーコード伝送にとって低ノイズとなるチャネルを選択することにより、あるチャネルのノイズを異なるチャネルのノイズと比較することができる。通常、同じバーコード認識率を達成するために、低ノイズチャネルは、高ノイズチャネルよりもバーコード信号の大きさは小さくてよく、バーコード信号の大きさが小さいことは通常は元のドキュメントへの妨害がより少ないことを意味する。エッジマップから明らかなように、アルゴリズムによれば、バーコードのオーバーレイは空白領域が好ましい。
【0081】
ノイズの推定例とアルゴリズムの速度向上
特徴点検出器ベースのノイズ推定アルゴリズムを以下の方法で実施することができる。
【0082】
1.特徴点検出器を用いて、バーコードバーの幅パラメータに応じた適切なスケールで垂直方向のエッジマップを構築する。
【0083】
2.アンカーポイントが与えられた後に、探索範囲内でいくつかのバウンディングボックスの配置を試し、最小のエッジ点を含む、アンカーポイント周辺のバーコードバウンディングボックスを見い出す。
【0084】
この最適化アルゴリズムにおいて、エッジ点の加算は全てのピクセルを経る必要があるため、バウンディングボックス探索処理は通常の探索範囲(例えば縦200ピクセル×横200ピクセル)に対して莫大な時間を用いてしまう。この問題を積分画像マップの使用によって解決することができる。
【0085】
図8は、画像800のキーポイント分布マップから計算したキーポイント積分画像マップ801の計算を示している。積分画像マップにおけるピクセルPの値NPは、長方形の囲みの中で画像の左上の隅とPとの間にある全ての元の画素値を加算することによって計算される。上記問題における各ピクセルの元のノイズ値を、ピクセルでの勾配値又はキーポイントあるいはエッジ点のカウント値(ピクセルがキーポイント又はエッジ点である場合は1、そうでない場合は0)とすることができる。このようにして積分画像マップ801を得ることができる。キーポイント分布マップをエッジ点分布マップ又は勾配値マップとしてもよい。
【0086】
図9は、積分画像マップを用いたノイズ推定の速度向上を示している。この図において、長方形の囲みABCD内の推定ノイズNABCDを下記式によって得ることができる。
【0087】
【数5】
【0088】
この式により、バウンディングボックス(EMBLチャネルである可能性があるもの)の中のノイズレベルを3つの演算を用いて推定することができる。これは、バウンディングボックス内の全てのピクセルを調べるよりも計算がはるかに安価である。また、これは一定の位置でブレンド係数を最適化するよりもはるかに計算負荷が低い。更に、EMBLの方向及びスケールがわかっている場合、囲みのサイズもわかる。既知のバウンディングボックスサイズを用いて各バウンディングボックス内のノイズ推定を予め計算し、オーサリングツールの更なる計算時間を減ずることができる。
【0089】
EMBLオーバーレイアルゴリズムのデザイン
積分画像マップを用いることにより、EMBLオーバーレイのための速度向上アルゴリズムを備えることができる。
【0090】
1.特徴点検出器を用い、バーコードラインの幅のパラメータに応じた適切なスケールで垂直方向におけるエッジマップを構築する。
【0091】
2.垂直方向のエッジ積分マップを構築する。
【0092】
3.アンカーポイントが与えられた後に、アンカーポイント周辺で、垂直方向に最小数のエッジ点を有する、バーコードバウンディングボックスの最適な配置箇所を見出す。バウンディングボックス内のエッジ点の数の加算を、エッジ積分マップを用いて行うことができる。
【0093】
4.バーコードブレンドパラメータを調節し、ブレンドしたドキュメントパッチを検証のためにバーコードデコーダに送る。ブレンド係数の二分探索を用いて最適なブレンドパラメータを見出すことができる。
【0094】
実験
【0095】
通常のドキュメントパッチによる通信は専用のバーコードパッチよりも小さなチャネル容量しか必要でないため、極度に大きなデータ符号化のセットはテストに用いなかった。代わりに、システムの生成したバーコード毎にCODE128の4つのキャラクタを実験に用いた。CODE128の定義によると、これら全ての実験におけるコードの総数は、開始及び停止コードを考慮しないで約100×100×100×100=1億である。これは、最初のEMBLの適用には妥当な大きさである。
【0096】
従来のバーコードとEMBLとの主な違いの1つは、ブレンド係数である。このブレンド係数は、最大のユーザ便益及びドキュメント便益のために知的エージェント(最適化アルゴリズム)がバーコードデコーダと「交渉する」機会を示す。この交渉により、EMBLをEMBLにより示される位置の近くに移動させることができ、なおもEMBLはバーコードの利点を全て得ることができる。また、この交渉のために、元のドキュメントのレイアウトやバーコード印刷のための余分な空間の割り当てを変更する必要はない。しかし、これらのEMBLの利益は全て、十分な利益をバーコードブレンド係数の調節から得ることができるという隠れた仮定によってもたらされる。更に具体的には、殆どのEMBLのための小さなバーコードブレンド係数は、EMBLが略透明で元のドキュメントへの妨害が殆どないように得ることができると推定される。ブレンド係数が1.0に近い場合、EMBLの位置における元のドキュメントパッチはバーコードによって略置き換え可能であり、このことはユーザの元のドキュメントについての理解に大いに影響を与える。
【0097】
ブレンド係数分布のテスト
ブレンド係数分布のテストに際し、EMBLのデザイン及び構築アルゴリズムの初期段階における性能評価のためにドキュメントを用いた。ドキュメントは、文、画像及び図を有する2188枚のレターサイズ(8.5インチ×11インチ(21.59cm×27.94cm))のドキュメントページである。ページ数が多くコンテンツのばらつきがあるものを実験に用いることで、テストの結果は通常の本に対する信頼性のあるEMBL性能評価になるはずである。EMBLは各ドキュメントページに小さなパッチを用いているだけであるため、各ページには多数の異なるEMBL通信チャネルがある。これらのチャネルを全てテストすることは略不可能であるが、多数のチャネルをランダムにサンプリングすると良好な係数分布評価を得ることができる。この考えに基づき、これらの2188ページにおいて33000のパッチ位置(x,y)をランダムに生成し、これらの位置に最適なブレンド係数を得る。これらのチャネルにおける本来の係数分布を調べるため、ランダムに選択したこれらの位置の近隣周辺ではEMBLの位置の最適化を行わなかった。図10は、これら33000のブレンド係数の分布ヒストグラムを示している。小さなブレンド係数よりも大きなブレンド係数の方がより良いバーコード識別をもたらす場合、図10の累積係数分布が得られる。
【0098】
図10の係数分布から、分布の最も高いピークは明らかにα=0.1であり、分布の高いピークは略全てα=0.25を下回る。約90%のチャネルは0.3未満のブレンド係数を有することが図11から明らかである。最適なブレンド係数を得るために二分探索アプローチを用いているため、ブレンド係数は0.1又は0.3に完全に等しくなくてもよい。
【0099】
図12は、0.0977のブレンド係数を用いてバーコード及びコンテンツをブレンドした例を示している。図13は、0.3008のブレンド係数を用いてバーコード及びコンテンツをブレンドした例で、左がバーコードがブレンドされた状態、右がその撮影画像にコードの識別結果がオーバーレイされている。これら2つの例からわかるように、これらのブレンド係数は、ユーザによる元のドキュメントの理解をさほど妨げていないことが明らかである。(なお、実際に作成した画像は、本図面の解像度よりも高い解像度で作成されているため、より目立たない。)これらの実験結果は、バーコードブレンド係数の隠れた仮定の正確さを強く支持している。これらは、ブレンド係数の最適化という考えも支持している。
【0100】
ブレンド係数の分布を更に調べることにより、最小のブレンド係数を0.0273程度とすることができる。また、この実験で最も大きなブレンド係数は0.9727である。図14は、この最大のブレンド係数を用いたブレンドの結果を示している。図14では、バーコードはランダムに選択したパッチ内のコンテンツの略全てを妨げている。これはユーザには受け入れられないであろう。従って、このような場合は、ノイズ推定をベースにしたEMBLの位置の最適化を用いてEMBLを配置する。
【0101】
ノイズ評価をベースにしたEMBLの位置の最適化により、アルゴリズムはわずか0.1523のバーコードブレンド係数を必要とするEMBLの混合位置を見出す。この最適化の結果を図15に示す。図15では、ブレンドをより軽くするために、EMBLを図14と比較して、ノイズのより少ない位置(コンテンツの垂直のエッジ)に動かしている。この結果は、EMBL位置の最適化という考えを裏付ける。
【0102】
実際のパッチの撮影を用いたEMBLの実験
異なるチャネルにおける最適なブレンド係数分布の系統的なテストのほかに、異なった仮想環境又は実環境における種々のEMBLのテストも実施した。図16(a)は、バーコード及びコンテンツを混合したものの識別結果を示している。混合したパッチの元のファイルをバーコードデコーダに送るため、この復号に関連する取得ノイズはない。EMBLを取得ノイズに対してロバストにするために、実際のEMBL印刷では通常わずかに大きなブレンド係数を用いる。図16(b)は、通常のオフィス照明で640×480ピクセルのカメラによって撮影した実際の写真におけるEMBLの識別を示している。この図から、奥行き方向のわずかな歪みと、でこぼこの表面による歪みが認められる。これらの歪みは、バーコード識別処理にさほど影響を与えなかったようである。
【0103】
EMBLを、バーコードの形態の代わりに既知の形の曲線又は他の幾何学形状にすることもできる。図17はこのようなEMBLの例である。この例では、CODE128バーコードの1Dプロファイルを用いて図17(a)に示すようないくつかの同心円を生成している。次に、円形のEMBLについて特徴の希薄なスポットを見出すアルゴリズムを用いる。撮影の際に円の中心を大まかに配置した後、撮影した画像を図17(b)に示すようなバーコード識別のための半径−角度ドメインに変換することができる。この種類のEMBLは、非常に正確で計算コストの高い円中心の位置決めを必要としない。円の中心が非常に正確に位置している場合、変換画像はバーコードを表すための一連の直線を備える。円の中心が正確に位置していない場合、変換画像は直線の代わりに一連の曲線を備える。これらの曲線は、通常はデコーダによって認識可能である。曲線の曲率が大きい場合、複数の画像プロファイルを用いてデコーダへの複数の提案を生成し、投票アプローチを用いて復号データを最終的に決定することができる。他の幾何学形状も可能である。バーコードは、EMBL内で正確に配置されるために、適切な幾何学形状に依存する領域に変換されていればよい。
【0104】
図18は、本発明の実施の形態による、コンピュータで実施されるデジタルメディア提供方法のフローチャートの例である。まず、コンピュータでは、受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信する(1800)。次に、抽出手段が、受信した埋込みメディアバーコードリンクから情報を抽出する(1801)。続いて、識別手段が、抽出した情報に対応する埋込みデジタルメディアを識別し(1802)、検索手段が、識別した埋込みデジタルメディアを検索し(1803)、これを提供する(1804)。
【0105】
図19は、埋込みメディアバーコードリンクを作成するための例示的なフローチャートを示している。まず、システムでは、受信手段が、視覚化されたコンテンツの位置の選択を受信する(1900)。決定手段が、受信した選択位置からEMBLの位置及びサイズを決定する(1901)。続いて、配置手段が、決定した位置及びサイズに基づいてEMBLを配置する(1902)。
【0106】
図20は、システムの例示的な機能図を示している。カメラ2001を備えたモバイルデバイス2000は、EMBLを含むドキュメント2002に焦点を合わせ、フィードバックをモバイルデバイスに提供する。モバイルデバイスは、EMBLを検出すると、バーコードに含まれるアドレス情報に基づいてデータベース2003を照会し、EMBLの参照先のメディアコンテンツの種類を決定する。データベースはメディアコンテンツについての情報をモバイルデバイスに戻し、モバイルデバイスはメディアコンテンツを実行することができる。
【0107】
図21は、本発明の方法の実施の形態を実施できるコンピュータ/サーバシステム2100の実施の形態を示すブロック図である。システム2100はコンピュータ/サーバプラットフォーム2101を含み、これは、当業者には既知であるように、命令を実行するよう動作するプロセッサ2102及びメモリ2103を含む。ここでいう「コンピュータ可読媒体」という用語は、実行のためにプロセッサ2102に命令を与えることに関与するあらゆる媒体を指す。また、コンピュータプラットフォーム2101は、キーボード、マウス、タッチ式デバイス又は言葉による指示など、複数の入力デバイス2104からの入力を受信する。また、携帯用ハードドライブ、光媒体(CD又はDVD)、ディスク媒体、又はコンピュータが実行可能なコードを読み取ることのできるあらゆる他の媒体など取り外し可能記憶装置2105にコンピュータプラットフォーム2101を接続することもできる。更に、インターネット、又はローカルなパブリックネットワークもしくはプライベートネットワークの他のコンポーネントに接続するネットワークリソース2106にコンピュータプラットフォームを接続することもできる。ネットワークリソース2106は、ネットワーク2107上の遠隔位置から命令及びデータをコンピュータプラットフォームに提供することができる。ネットワークリソース2106への接続は、802.11規格、Bluetooth(登録商標)又はセルラープロトコルなどの無線プロトコル経由でもよいし、ケーブル又は光ファイバーなどの物理的な伝送媒体経由でもよい。ネットワークリソースは、コンピュータプラットフォーム2101から離れた位置でデータ及び実行可能な命令を記憶する記憶装置を含むことができる。コンピュータはディスプレイ2108と対話し、データ及び他の情報をユーザに出力したり、追加の命令及び入力をユーザから要求したりする。従って、ディスプレイ2108はユーザと対話する入力デバイス2104として更に機能することができる。
【0108】
更に、本明細書に開示される本発明の明細書及び実施を考慮して、本発明の他の実施が当業者には明らかであろう。説明した実施の形態の種々の態様及び/又は構成要素は、埋込みメディアバーコードリンクシステムにおいて単独で又はいずれの組み合わせでも使用可能である。明細書及び例を単なる例示的なものとみなし、本発明の真の範囲及び趣意を以下の請求の範囲によって示すことが意図される。
【技術分野】
【0001】
本発明は概して、ドキュメントの一部に関連するメディアの存在を示す埋込みメディアマーカーに関し、より詳細には埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、物品、及びプログラムに関する。
【背景技術】
【0002】
紙は情報を見るために最も広く使用されている手段の1つであるが、ビデオやオーディオのような動的メディアを再生することはできない。一方、携帯電話はオーディオやビデオの再生にますます使用されるようになってきているが、紙のもつ解像度の高さ、表示サイズの大きさ、空間的構成の柔軟さ、戸外での読みやすさ、そして静的コンテンツに対するロバスト性には対抗できない。今日では、これら2つを画像認識技術を用いて組み合わせ、紙のドキュメントを動的メディアにリンクさせることが可能になった。携帯電話のカメラがドキュメントパッチ(一部分)の画像の撮影に用いられる。ドキュメントパッチは画像の特徴を用いて識別され、ドキュメントパッチの位置にリンクされたデジタルメディアが検索され、携帯電話で再生される。
【0003】
この種類のメディアリンクを紙のドキュメント上に生成するための方法に共通することは、ドキュメント上にマーカーを印刷することである。分かりやすい例の一つは、バーコードである(例えば、非特許文献1参照)。しかし、既存のバーコード印刷では独占的な空間が必要なため、ドキュメントのコンテンツのレイアウトを妨げる場合がある。この問題を解決する1つの方法は、データセルをユーザ指定の画像の背景と組み合わせることであるが、それでもなお、データセルの位置をデコーダが見つけるために、不透明な白黒の境界が必要となる。データグリフ(DataGlyph)(例えば、非特許文献2参照)は、略不可視のマシン認識可能なパターンを紙に印刷することによってこれらの問題を克服している。しかし、この種類のマーカーはドキュメントの位置を識別するために高解像度のプリンタやカメラを必要とする。RFIDのような電子マーカーを用いることもできる(例えば、非特許文献3参照)が、このアプローチは生産コストを上げてしまう。
【0004】
他のシステムは、ドキュメントパッチを識別してメディアリンクを生成するためにドキュメントコンテンツ自体の特徴を計算する。ホットペーパー(HotPaper)(例えば、非特許文献4参照)及びモバイル検索機(Mobile Retriever)(例えば、非特許文献5参照)は、単語の空間レイアウトなどドキュメントのテキストに基づいた特徴を用いている。Bookmarkr(例えば、非特許文献6参照)及びMapSnapper(例えば、非特許文献7参照)のような他のシステムは、SIFTアルゴリズム(例えば、非特許文献8参照)のようなピクセルレベルの画像特徴を用いて写真やグラフィック要素などの一般的なドキュメントコンテンツを認識している。これらのシステムを用いると、マーカー印刷のための独占的な空間は不要となる。
【0005】
マーカーベースの方法及びドキュメントの外観ベースの方法はいずれも、視覚的な案内(ガイダンス)をユーザに与えるには不十分である。バーコード及びデータグリフは可視であるが、これらに関連するメディアの存在や種類を直接的に示していない。外観ベースの特徴が用いられる場合、ユーザにドキュメントにリンクしたメディアがあることを示す紙上の表示が全くない。結果として、ホットペーパーのユーザは、カメラ付き携帯電話を紙のドキュメントにかざしてパンし、赤い点や振動などのフィードバックが携帯電話に示されるまでホットスポットを探さなければならない。
【0006】
この問題を解決するために、研究者はEMM(Embedded Media Marker)と呼ばれる意味をもつ認識マークを紙に付与しており(例えば、非特許文献9参照)、このマークはメディアリンクの存在、種類及び撮影案内を示す。ユーザは、EMMを見れば、関連するデジタルメディアを見るために、EMMによって示されたドキュメントパッチの画像を携帯電話で撮影するということが分かる。これは、リンクの存在を下線、異なるフォント又は画像タグを用いて示し、追加の情報を得るためにリンクをクリックするウェブページに類似している。EMMはバーコードとは違って殆ど見えないため、ドキュメントの外観を妨げない。EMMは、デジタルペーパーにみられる埋込みデータグリフやアノト(Anoto)パターンとは違って通常の低解像度プリンタで印刷でき、通常の携帯電話のカメラによって撮影された画像から識別することができる。EMMは、他の外観ベースのアプローチとは異なり、ドキュメントパッチ及びその位置を明確に指す。また、EMMのデザインは、EMMによって示されるドキュメントの位置にどの種類のメディア(例えば、オーディオ、ビデオ又は画像)が関連するかを示す。また、撮影される画像がマーク全体を含むことが必要であることにより、EMMシステムは、特徴構築精度、マッチング精度を向上させ、有効に資源を使用することができる。
【0007】
EMMは、過去の多くの問題を解決する。しかしながら、EMMのパッチは在来のバーコードよりも識別される速度が遅い。また、基礎となるドキュメントが、パッチ識別のために十分な特徴を有することが必要となる。更に、EMMに対する拡張性やエラー訂正能力のテストは未だに有効ではない。また、きれいなドキュメントパッチが関連メディアにリンクするための十分な情報を有するかどうかを不審に思うユーザがいる場合がある。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】レキモト(Rekimoto、J.)及びアヤツカ(Ayatsuka、Y.)、サイバーコード:ビジュアルタグを用いた拡張現実感環境のデザイン(CyberCode:designing augmented reality environments with visual tags)、ACM DARE 2000議事録、1−10頁
【非特許文献2】ヘクト(Hecht D.L.)、ハードコピーデジタルドキュメントのための埋込みデータグリフ技術(Embedded Data Glyph Technology for Hardcopy Digital Documents)、SPIE−Color Hard Copy And Graphics Arts III、第2171巻、341−352頁
【非特許文献3】ライリー(Reilly、D.)、ロジャーズ(M.Rodgers)、アーギュー(R.Argue)ら、マークアップされたマップ:紙のマップと電子情報資源の結合(Marked−up maps:combining paper maps and electronic information resources)、Personal and Ubiquitous Computing、2006.10(4)、215−226頁
【非特許文献4】イーロル(Erol,B.)、アントゥネス(Emilio Antunez)及びハル(J.J.Hull)、ホットペーパー:携帯電話を用いた紙とのマルチメディア相互作用(HOTPAPER:multimedia interaction with paper using mobile phones)、ACM Multimedia 08 議事録、399−408頁
【非特許文献5】リュウ(Liu,X)及びドアーマン(D.Doermann)、モバイル検索機:物理資源からデジタル文書へのアクセス(Mobile Retriever:access to digital documents from their physical source)、Int.J.Doc.Anal.Recognit.、2008.11(1)、19−27頁
【非特許文献6】ヘンツェ(Henze,N.)及びボール(S.Boll)、写真を撮ってフォトブックをシェアしよう(Snap and share your photobooks)、ACM Multimedia 08 議事録、409−418頁
【非特許文献7】ヘア(Hare,J.)、ルイス(P.Lewis)、ゴードン(L.Gordon)及びハート(G.Hart)、MapSnapper:携帯電話からの地図の画像を照合するための効率的アルゴリズムの設計(MapSnapper:Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones)、Multimedia Content Access 議事録:Algorithms and Systems II、2008年
【非特許文献8】ロウ(Lowe,D.G.)、スケール不変のキーポイントからの顕著な画像特徴(Distinctive Image Features from Scale−Invariant Keypoints)、Int.J.Comput.Vision、2004.60(2)、91−110頁
【非特許文献9】リュウ(Liu,Q.)、リャオ(Liao,C.)、ウィルコックス(Wilcox,L.)、ダニガン(Dunnigan,A.)及びリュウ(Liew,B.)、埋込みメディアマーカー:関連メディアを示す紙上のマーク(Embedded media markers:marks on paper that signify associated media))、14th international Conference on intelligent User interfaces 議事録(香港、中国、2010年2月7日−10日)、IUI’10、149−158頁、アメリカ ニューヨーク州ニューヨーク、2010年、ACM、
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明によれば、ドキュメントの一部に関連するデジタルメディアの存在を示す埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、物品、及びプログラムが提供される。
【課題を解決するための手段】
【0010】
本発明の第1の態様によれば、バーコードを含む埋込みメディアバーコードリンク及び物品を利用することによってデジタルメディアを提供するためのコンピュータで実施される方法であって、a.受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信することと、b.抽出手段が、前記受信手段が受信した埋込みメディアバーコードリンクから情報を抽出することと、c.識別手段が、前記抽出手段が抽出した情報に対応する埋込みデジタルメディアを識別することと、d.検索手段が、前記識別手段が識別した埋込みデジタルメディアを検索することと、を含む、方法が提供される。
【0011】
本発明の第2の態様によれば、第1の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、前記バーコードにアルファブレンドされていてもよい。
【0012】
本発明の第3の態様によれば、第1の態様において、前記埋込みメディアバーコードリンクは、前記埋込みデジタルメディアのメディアの種類を表すメディア種類アイコンを更に含んでもよく、前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されていてもよい。
【0013】
本発明の第4の態様によれば、第1〜第3の態様において、前記バーコードが前記埋込みデジタルメディアのデータベースアドレス情報を含んでもよい。
【0014】
本発明の第5の態様によれば、物品であって、a.物品の表面に視覚化されたコンテンツと、b.バーコードを含み、前記視覚化されたコンテンツにブレンドされた埋込みメディアバーコードリンクと、c.データベースに記憶された、前記埋込みメディアバーコードリンクに対応する埋込みデジタルメディアオブジェクトと、を含む、物品が提供される。
【0015】
本発明の第6の態様によれば、第5の態様において、前記物品は、2次元の平面の媒体であってもよい。
【0016】
本発明の第7の態様によれば、第5の態様において、前記埋込みメディアバーコードリンクは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記視覚化されたコンテンツにアルファブレンドされていてもよい。
【0017】
本発明の第8の態様によれば、第5〜第7の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされていてもよい。
【0018】
本発明の第9の態様によれば、第5〜第7の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表してもよく、前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されていてもよい。
【0019】
本発明の第10の態様によれば、第5〜第9の態様において、前記バーコードは、前記データベースにおける前記埋込みデジタルメディアオブジェクトにリンクする情報を含んでもよい。
【0020】
本発明の第11の態様によれば、第5の態様において、前記バーコードは、幾何学形状領域に変換されてもよく、前記変換されたバーコードは、前記埋込みメディアバーコードリンク内に配置されてもよい。
【0021】
本発明の第12の態様によれば、第11の態様において、前記埋込みメディアバーコードリンクは、前記メディア種類アイコンの中心、アンカーポイント、方向、又は幾何学形状のサイズのいずれかを更に表してもよい。
【0022】
本発明の第13の態様によれば、視覚化されたコンテンツと、該コンテンツ上にあると共にバーコードを含む埋込みメディアバーコードリンクとを含む物品を製造するためのコンピュータで実行させるためのコンピュータプログラムであって、a.受信手段が、物品の視覚化されたコンテンツ上の位置の選択を受信する工程と、b.決定手段が、前記受信手段が受信した選択位置付近にある前記視覚化されたコンテンツの複数の特徴量に基づいて、埋込みメディアバーコードリンクの位置、形状、バーコード種類またはサイズを決定する工程と、c.配置手段が、前記決定手段が決定した位置、形状、バーコード種類またはサイズに基づいて、前記視覚化されたコンテンツ上の位置に関連するデジタルメディアオブジェクトの利用を示す前記埋込みメディアバーコードリンクを前記物品上に配置する工程と、を含む、コンピュータプログラムが提供される。
【0023】
本発明の第14の態様によれば、第13の態様において、前記埋込みメディアバーコードリンクは、メディア種類アイコンを含むメディア種類の表示を更に含んでもよく、前記メディア種類の表示は、前記バーコード内に配置されてもよく、前記メディア種類アイコンは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされてもよい。
【0024】
本発明の第15の態様によれば、第13の態様において、前記埋込みメディアバーコードリンクは、メディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表してもよく、前記バーコードは、位置決めされ、サイズ決めされ、種類が調節され、または形状がつけられて、前記メディア種類アイコン内に配置されてもよい。
【0025】
本発明の第16の態様によれば、第13の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、前記メディア種類アイコンの幾何学形状に基づいて前記バーコードを所定の領域に変換し、前記変換したバーコードを前記メディア種類アイコン内に配置することを更に含んでもよい。
【0026】
本発明の第17の態様によれば、第13〜第16の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、前記物品の前記視覚化されたコンテンツに前記埋込みメディアバーコードリンクをアルファブレンドすることを更に含んでもよい。
【0027】
本発明の第18の態様によれば、第17の態様において、前記アルファブレンドはブレンド係数を利用し、前記ブレンド係数は前記埋込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されてもよい。
【0028】
本発明の第19の態様によれば、第13〜第18の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、前記選択された位置の周りで最も小さなノイズを有する領域を識別し、ブレンド係数を最適化することを更に含んでもよい。
【0029】
本発明に関連する更なる態様は、一部が以下の説明で説明され、一部が説明から明らかになり、又は本発明の実施によって知ることができる。本発明の態様は、要素によって、ならびに下記の詳細な説明及び添付の請求の範囲で特に指摘される種々の要素及び態様の組み合わせによって実現され、達成され得る。
【0030】
先の説明及び以下の説明はいずれも例示的で説明的なものにすぎず、主張される発明又は出願をいかなる方法によっても限定する目的ではないことを理解されたい。
【発明の効果】
【0031】
ドキュメントの一部に関連するデジタルメディアの存在を示す埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、物品、及びプログラムを提供することができる。
【図面の簡単な説明】
【0032】
本明細書の一部に組み込まれてこれを構成する添付の図面は本発明の実施の形態を具現するものであり、本発明の技術の原理を記述と共に説明し、これを示す役割を果たすものである。具体的には以下の通りである。
【0033】
【図1】埋込みメディアバーコードリンク(EMBL(Embedded Media Barcode Link))の1つの例示的な実施の形態を示す図である。
【図2】(a)、(b)は、本発明の実施の形態によるEMBLの例を示す図である。
【図3】本発明の実施の形態によるEMBLの輪郭の変更処理を示す図である。
【図4】本発明の実施の形態によるEMBLを生成するためにバーコードに直接アルファブレンドされたメディアアイコンを示す図である。
【図5】(a)、(b)、(c)、(d)は、本発明の実施の形態に従って考慮に入れることのできる他のEMBL形状の例を示す図である。
【図6】ドキュメントコンテンツ内のエッジがバーコードの復号に与える影響の例を示す図である。
【図7】テストしたEMBLチャネルにおけるノイズの推定の例を示す図である。
【図8】本発明の実施の形態による画像のキーポイント分布マップから計算したキーポイント積分画像マップの計算を示す図である。
【図9】積分画像マップを用いたノイズ評価の高速化を示す図である。
【図10】33000のブレンド係数の分布ヒストグラムの例を示している。
【図11】図10の累積されたブレンド係数の分布を示している。
【図12】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図13】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図14】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図15】バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。
【図16】(a)、(b)は、バーコード混合・写真設定におけるバーコードの識別を示している。
【図17】(a)、(b)は、バーコード形式の代わりに既知の形の曲線にした本発明の実施の形態によるEMBLの例を示している。
【図18】本発明の実施の形態のうちの1つに従って、データベース及び物品を使用することによってデジタルメディアを提供する方法を示すフローチャートである。
【図19】視覚化したコンテンツとコンテンツ上の埋込みメディアマーカーを含む物品の製造方法を示すフローチャートである。
【図20】本発明の実施の形態によるシステムの例示的な機能図である。
【図21】本発明のシステムを実施することのできる、モバイルプラットフォームなどの例示的な実施の形態を示す図である。
【発明を実施するための形態】
【0034】
以下の詳細な説明では、同一の機能要素が同様の番号で示される添付の図面を参照する。限定の目的ではなく例示の目的で示される前述の添付の図面、特定の実施の形態そして実施は本発明の原理と一致する。これらの実施は当業者が本発明を実施できるように十分詳しく説明されており、他の実施を用いることができ、種々の要素の構造上の変更及び/又は代用を本発明の範囲及び趣意から逸脱することなく行えることを理解されたい。従って、以下の詳細な説明を狭義で解釈してはならない。また、説明される本発明の種々の実施の形態を、汎用コンピュータで実行するソフトウェア、専用ハードウェア、又はソフトウェア及びハードウェアの組み合わせで実施することができる。
【0035】
既存のメディアリンク問題を補うために、本発明の一実施形態として、ここでは埋込みメディアバーコードリンク(EMBL)と名づけた新規のメディア認識マークを提案する。EMBLは、関連するメディアへリンクするために紙のドキュメントコンテンツ上に重畳配置されるメディアアイコンに基づいて変形された、半透明のバーコードである。
【0036】
図1は、本発明の実施の形態に従って認識されるEMBLの配置過程で使用するオーサリングツールのユーザインターフェースを示している。EMBLは従来のバーコードとは異なり半透明である(100)ため、ドキュメントの外観への妨害がより少ない。前述の埋込みデータグリフ又はアノトパターンとは異なり、EMBLは標準の低解像度プリンタでの印刷が可能であり、通常の携帯電話のカメラによって撮影された画像からでもコードが識別できる。EMBLによって、メディアリンクの存在、種類及び撮影案内を示すこともできる。ユーザはEMBLを見ると自然に従来のバーコードを連想するため、ユーザは容易にバーコードに対する情報取得手法をEMBLに適用することができる。EMBLはバーコードと同一の復号スキームを用いるため、拡張性及びエラー訂正能力もサポートされる。EMBLは、テキストが1、2行しかないような白紙領域の多いページといった十分な画像特徴をもたない、EMMの適用に困難が伴うドキュメントに対しても有効である。EMBLはなおEMMよりも視覚的に邪魔になることがあるが、特にEMMの使用が困難な状況では利点がこの問題を上回る。この例では、EMBLが識別された後、EMBLの識別されたバーコード情報が撮影画像102内の位置101の上に重ねられる。なお、図1は、EMBLを配置するためのオーサリングツールのユーザーインターフェースの一部を示したものであり、EMBLの配置位置となるドキュメント中の位置101が矩形で表示されるとともに、コード番号、座標等が表示されているが、編集後のドキュメント出力時には他の図面で示されるようにこれらは表示されない。
【0037】
EMBLの実施の形態は、関連メディアにリンクするために紙のドキュメントコンテンツ上に配置された、メディアアイコンを変更した半透明のバーコードオーバーレイを含む。この実施の形態は、「EMBLにより示されるドキュメントの位置」を通じてメディアに関連するドキュメント中の位置を設定する。EMBLは、ドキュメントコンテンツへの視覚的な妨害を低減し、EMBLにより示されるドキュメント内の位置のより近くに配置するために、半透明の形態を用いることができる。EMBLは、カメラでの取得(撮影)のために示されるドキュメントパッチを識別するために半透明のバーコードを更に用いることができ、また、関連するメディア情報を示すためにアイコン情報を用いることもできる。EMBLのバーコード配置方向は、水平、斜め、垂直又は円形のいずれでもよい。
【0038】
図2(a)及び図2(b)は2つのEMBLの例を示している。これらの例において、EMBLはリンクされたメディアの種類に関する情報を示すためにアイコンマーク200を使用している。また、EMBLは、メディアリンクのリンク先の正確な位置を示すために矢印形状部201を含んでいる。
【0039】
EMBLの構成例
既存のバーコードをアイコンマスクでマスクすることによってバーコードの輪郭の変更が実現できる。図3は、本発明の実施の形態によるEMBLの輪郭の変更処理を示している。この処理では、白黒のメディアアイコンに矢印形状部を加えた形状をメディアアイコンマスク300として生成する。この例ではビデオアイコンを使用する。次に、バーコードをアイコン301でマスキングし、バーコード拡張パターンがメディアアイコンに囲まれるよう変更する。必要に応じて、マスキングしたバーコードを更にバーコードデコーダ302で確認する。
【0040】
メディアアイコンをバーコードに直接アルファブレンドしてEMBLを生成することもできる。図4は、この種のEMBL400の生成を示している。(ドキュメントコンテンツのブレンドを行っていない)EMBLの基本形態はバーコードデコーダで確認できる(401)。図5(a)から図5(d)は、考えられる他のEMBL形状をいくつか示している。
【0041】
EMBLと従来のバーコードとの最も顕著な違いは、マーカーの透明度である。従来のバーコード規格はマシン指向の規格である。更に具体的には、従来のバーコード規格は、バーコード自体及びバーコードデバイスを考慮に入れただけである。EMBLのデザインは、ユーザ、ドキュメント及びバーコードをみな一緒に考慮に入れようとするものであり、どのEMBLマークも、バーコードとコンテンツを適切にブレンドしたものであり、バーコードの利点を失うことなく、ユーザ及びドキュメントに最も多く利益を与えることができる。
【0042】
リーダがドキュメントコンテンツ及びバーコードオーバーレイを容易に識別するために、バーコード信号とコンテンツ信号との間のクロストークを最小にする必要がある。過去の研究例では、受信信号に含まれるコンテンツ信号及びバーコード信号が異なる光スペクトルで得られるように、バーコードには不可視のトナーを用いていた。このアプローチは、バーコードの読取り及び復号には有効であるが、ユーザが紙との相互作用を始めるための視覚的な手がかりを完全に取り除いてしまう。更に、このアプローチは、この技術の応用をサポートするためにプリンタの修正や特殊な不可視のトナーを必要とする。
【0043】
マルチメディアをドキュメントの位置にリンクさせるためのEMBLの使用
マルチメディアデータを紙のドキュメントのある位置にリンクさせるには、この位置を全ての他の位置と区別するために、この位置にメディアマーカーがなくてはならない。メディアマーカーが以下の特性を有することがより効果的である。
【0044】
1.ユーザがマーカーの示すドキュメントの位置に興味をもった場合、マーカーは携帯電話での撮影のためのプロンプトとして機能すべきである。
【0045】
2.マーカーを見ることにより、ユーザがマーカーを撮影のガイドとして理解してマーカー撮影をすることが容易であるべきである。
【0046】
3.ユーザの興味を引くために、リンクしたマルチメディアデータに関する情報を提示することができる。
【0047】
4.ユーザが容易にマルチメディアがリンクされた先のコンテンツ位置を理解できるように、マーカーを紙のドキュメントのコンテンツの位置の近くに配置することができる。
【0048】
5.マーカーの識別速度は、待ち時間が短くなるよう高速でなければならない。
【0049】
6.マルチメディアの検索精度を保証するために、マーカーは十分に特徴的でなければならない。
【0050】
7.ドキュメントのページ内の大部分にマーカーを配置する必要がある場合、マーカーは拡大縮小可能でなければならない。
【0051】
8.略空白の領域を含むドキュメントの殆どの領域をマーカーを用いて処理できるように、マーカーはドキュメント自体の特徴に依存しすぎてはならない。更に、この特性により、異なるシナリオに用いられる同一の画像をマシンが区別することができる。
【0052】
9.マーカーは元のドキュメントコンテンツ及びレイアウトを著しく妨害してはならない。
【0053】
10.マーカーの識別処理に、あまりにも多くのディスク、メモリ及び計算コストを要求してはならない。
【0054】
このリストにおいて、1番目から7番目の要件はユーザの経験を向上させるために提案されており、8番目及び9番目の要件は元のドキュメントの可読性の利益を得るために提案されており、10番目の要件は大規模なシステムにかかるハードウェア及びエネルギーのコストを削減するために提案されている。これらの要件を考慮して、EMBLのデザインはこれらの要件の殆どを満たすように意図されている。多くのユーザはバーコードや携帯電話によるバーコードの撮影を熟知しているため、EMBLの半透明のバーコードの外観は、携帯電話での撮影のプロンプトとして適しており、一般大衆に使用に対して信頼性を与えるのに効果的な画像である。EMBLの形状は、メディアの種類情報をユーザに提供する。その半透明の形態のため、元のドキュメントレイアウトを変えることなく、メディアに関連するいずれの位置の近くにもEMBLを容易に移動させることができる。EMBLの復号はバーコードの復号に類似しているため、復号の精度、速度及び拡張性は、多くの初期のバーコードアプリケーションによって検証できる。また、半透明の形態のため、EMBLのマークは従来のバーコードよりも元のドキュメントのコンテンツ及びレイアウトへの妨害が少ない。そのハードウェアコストも周知であり、殆どのアプリケーションにとって手頃である。
【0055】
バーコードとコンテンツのブレンド
パッチ識別のために、ドキュメントコンテンツにブレンドした可視のバーコードをバーコード識別装置によって識別することができる。このバーコード印刷及び識別処理は、各ドキュメントパッチを通信チャネルとみなし、埋込みバーコードを伝送信号とみなし、ドキュメントコンテンツ及びアイコンマークを信号伝送のノイズとみなす伝送処理としてモデル化することができる。このモデルを考慮し、適切なコンテンツ−バーコードブレンドによるバーコード伝送のために、ユーザの選択した位置の近隣において適切なチャネルを見つけるように、アルゴリズムをデザインすることができる。バーコード−コンテンツブレンド処理によってドキュメントパッチのチャネル容量を調節することができる。適度に大きなチャネル容量を用いて高速のバーコード識別を確保することができる。このモデルは、適切なバーコード−コンテンツブレンド係数を有する適切な、バーコード印刷ドキュメントパッチを見出すためのEMBLオーサリングツールに用いられる。このモデルをバーコード種類のEMBL最適化に用いることもできる。
【0056】
EMBLオーサリングツール
ユーザの観点からすると、ドキュメントエディタで特定の位置でバーコード信号をドキュメントコンテンツとブレンドすることを望む場合、ドキュメントエディタが最適なブレンドを達成することは難しい。EMBLの生成を容易にするために、選択位置の近隣に、「ノイズ」分布に基づいてEMBLを半自動的に配置することのできるEMBLオーサリングツールを設計する。オーサリングツールに対して以下の3つの基準を設定する。
【0057】
オーサリングツールはドキュメントエディタの努力を最小にすべきである。更に具体的には、オーサリングツールは各EMBLの生成毎にEMBLオーサーポイント(author point)を要求するだけである。
【0058】
オーサリングツールはEMBLのドキュメントへの妨害を最小にすべきである。更に具体的には、オーサリングツールには、EMBLのバーコードブレンド係数を最小にする、即ち最良のバーコードブレンド係数を見出すことが望まれる。
【0059】
オーサリングツールはチャネルのノイズを最小にすべきである。更に具体的には、オーサリングツールは、信頼性のあるバーコード通信を行うために、アンカーポイント周辺で最小の「ノイズ」を有するドキュメントパッチを見出せなくてはならない。
【0060】
EMBLの最適化パラメータ及びメカニズム
EMBLの最適化は、ドキュメントエディタからのアンカーポイント(m,n)の入力で始まる。この入力は、編集インタフェースにマウスをクリックすることで行うことができる。アンカーポイントとは、リンクするメディアとの関連付けをエディタが望む点である。オーサリングツールは、アンカーポイントが入力されると、このアンカーポイントに対して最良のEMBLパラメータを見出すことを試みる。
【0061】
EMBLオーサリングは、元のドキュメントに対するEMBLの視覚的な妨害を最小にすべきである。バーコード画像をIB、元のドキュメント画像をIC、バーコードブレンド係数をα、そしてブレンドされた画像をIBCで示すと、バーコードブレンド処理を下記式で表すことができる。
【0062】
【数1】
【0063】
元のドキュメントICがユーザにとってより見やすくなるように、ブレンド係数αをできる限り小さくすべきである。しかし、αは信頼性のあるバーコード認識のために十分な大きさでなくてはならない。バーコード復号処理をDで示すと、下記式によって一定の位置でEMBL最適ブレンド係数α*を得ることができる。
【0064】
【数2】
【0065】
EMBL最適化のための更に多くの選択肢がオーサリングツールに与えられた場合、オーサリングツールはIC(バーコード伝送チャネルの選択に対応)及びIB(バーコード伝送信号のベースの選択に対応)を変更することもできる。EMBL配置パラメータは、用いるEMBLの種類に依存する。図2(a)に示すような線形バーコードを用いる場合、オーサリングツールはEMBLの配置に5つのパラメータが必要なだけである。これらの5つのパラメータは、EMBLの配置原点(x,y)に関する2つのパラメータと、EMBLのスケールλに関する1つのパラメータと、紙面上でのEMBLの配置の方向(u,v)に関する2つのパラメータを含む。システムが符号化データを自由に変更できない場合、IBの変更はバーコード種類の集合SBに依存する。これらのEMBL調節パラメータを用いて、式3は以下のように変えられる。
【0066】
【数3】
【0067】
更に簡潔にするため、ドキュメントの通常の行の方向に垂直なバーを用いて線形のバーコードの方向を固定し、バーコードサイズを固定することに加え、バーコードのベース集合SBをCODE128のみに固定することができる。これらのパラメータを用いてα、x及びyの最適化のみを行えばよい。α、x及びyの最適化を理解することによって、より多くのパラメータに最適化を行うことが困難ではなくなる。
【0068】
式2による固定位置でのブレンド係数の最適化は、式1によるバーコードブレンドパラメータを調節し、検証のためにブレンドしたドキュメントパッチをバーコードデコーダに送ることによって行うことができる。最適化の際に小さなステップを用いてブレンド係数を変更すると、最適化に時間がかかる。計算コストを削減するために、より大きなブレンド係数α(より濃いバーコードブレンド)がより良好なバーコード識別をもたらすと仮定することができる。この仮定を用いて、二分探索を最適なブレンド係数で構成することができ、探索間隔が予め定められた閾値よりも小さい場合は最適化をやめることができる。
【0069】
二分探索のメカニズムはブレンド係数の最適化のための計算を省くだけにすぎない。実行可能な各位置(x,y)でのブレンド係数の最適化は今なお時間がかかる。例えば、ブレンド係数の良好な精度を得るために、バーコードの検出時間が15msであり、二分探索の際に8つの間隔を試す必要がある場合、ブレンド係数の探索は位置毎に120msかかる。120msはアプリケーション全体に対しては長い時間ではない。
【0070】
しかし、近隣内の実行可能な各位置(x,y)でこの最適化を試す場合、120msは長い時間である。「右側のバーコードは左側のバーコードよりも常に良好である」ことを仮定できないため、EMBLの位置の最適化を速度向上させる二分探索を用いることができない。しかし、シャノン=ハートレーの定理からの指針及び適切なノイズモデルを用いてこの最適化を単純化することができる。
【0071】
式4は、シャノン=ハートレー定理の数式である。
【0072】
【数4】
【0073】
式中、Cはチャネル容量、Bはチャネルの帯域幅、Sは信号の大きさ、そしてNはノイズの大きさである。システムは、この定理によって導かれることで、通信チャネルの信号対ノイズ比(SNR)がある一定の限度を越えた場合に妥当なバーコード識別速度を得ることができる。これにより、最小の大きさ(最大の透明度、及びドキュメントへの最小の妨害)でのバーコード伝送のために、EMBLの示される位置周辺で最も小さいチャネルノイズを有するドキュメントパッチ(チャネル)を探索することができる。ドキュメントコンテンツ(チャネルノイズ)及びバーコード種類(信号伝送ベース)に関するバーコード伝送に対して最適化を更に行うことができる。
【0074】
ノイズモデル
最適化の問題における伝送信号(バーコード)は既知であるため、SNRの最適化はノイズの最適化の問題となる。ドキュメントコンテンツは、通常はバーコードとコンテンツのブレンド後にバーコード認識へ悪影響を与えるため、ドキュメントコンテンツはノイズ評価処理でノイズとみなされる。
【0075】
図6は、ドキュメントコンテンツ内のエッジがバーコードの復号に与える影響を示している。この例では、不適切なブレンドにより復号の誤りが生じている。ノイズの最適化を行うには、ノイズ推定のための適切なノイズモデルを備えるべきである。通常の線形バーコードはデータの符号化に主に高周波数域を用いるため、DC及び周波数の非常に低い信号はバーコードの伝送に殆ど影響を与えない。一方、多くのバーコードは紙の上で方向を有するため、SNRは方向によって変化する。従って、ノイズの最適化には方向性をもったノイズモデルが必要である。例えば3つのノイズモデルが考えられる。
【0076】
1.ノイズ推定のための第1のモデルは、ドキュメントコンテンツの勾配である。このモデルは、バーコード伝送にさほど影響を与えない低周波数のコンテンツ成分を抑制する。勾配ノイズモデルは方向性をもっていてもよいし(一定方向の勾配を計算)、全方向性(全ての方向の組み合わされた勾配)であってもよい。
【0077】
2.ノイズ推定のための第2のモデルは、SIFT特徴点などの特徴点に基づいたものである。理論上は、これらの特徴点は画像濃度の変化が顕著(勾配が急)な点である。このモデルも、システムが各特徴点の方向を考慮するかどうかによって方向性をもっていてもよいし、全方向性であってもよい。
【0078】
3.ノイズ推定のための第3のモデルは、ある一定のスケールでのエッジに基づいたものである(即ち、画像のバンドパスフィルタリング)。観察されるエッジは、ある所定方向における勾配の投影である。このモデルは方向性モデルである。このモデルの通常の方向は垂直、水平又は斜めである。
【0079】
EMBLチャネルにおけるノイズ推定を、EMBLチャネル内の全てのピクセルにおけるノイズレベルの合計によって実現することができる。
【0080】
図7は、テストしたEMBLチャネルにおいてノイズを推定する例を示している。この図において、左側の画像700は元のドキュメントを示しており、右側の画像701は原画像から計算した各ピクセルの垂直エッジのノイズレベルを示している。EMBLを右側画像701の長方形の囲み(ボックス)の中に配置した場合、長方形の囲みの中にある各ピクセルのノイズレベルを加算することによってノイズ推定を得ることができる。このノイズ推定を用いて、長方形の囲みを異なる位置に動かすことで、バーコード伝送にとって低ノイズとなるチャネルを選択することにより、あるチャネルのノイズを異なるチャネルのノイズと比較することができる。通常、同じバーコード認識率を達成するために、低ノイズチャネルは、高ノイズチャネルよりもバーコード信号の大きさは小さくてよく、バーコード信号の大きさが小さいことは通常は元のドキュメントへの妨害がより少ないことを意味する。エッジマップから明らかなように、アルゴリズムによれば、バーコードのオーバーレイは空白領域が好ましい。
【0081】
ノイズの推定例とアルゴリズムの速度向上
特徴点検出器ベースのノイズ推定アルゴリズムを以下の方法で実施することができる。
【0082】
1.特徴点検出器を用いて、バーコードバーの幅パラメータに応じた適切なスケールで垂直方向のエッジマップを構築する。
【0083】
2.アンカーポイントが与えられた後に、探索範囲内でいくつかのバウンディングボックスの配置を試し、最小のエッジ点を含む、アンカーポイント周辺のバーコードバウンディングボックスを見い出す。
【0084】
この最適化アルゴリズムにおいて、エッジ点の加算は全てのピクセルを経る必要があるため、バウンディングボックス探索処理は通常の探索範囲(例えば縦200ピクセル×横200ピクセル)に対して莫大な時間を用いてしまう。この問題を積分画像マップの使用によって解決することができる。
【0085】
図8は、画像800のキーポイント分布マップから計算したキーポイント積分画像マップ801の計算を示している。積分画像マップにおけるピクセルPの値NPは、長方形の囲みの中で画像の左上の隅とPとの間にある全ての元の画素値を加算することによって計算される。上記問題における各ピクセルの元のノイズ値を、ピクセルでの勾配値又はキーポイントあるいはエッジ点のカウント値(ピクセルがキーポイント又はエッジ点である場合は1、そうでない場合は0)とすることができる。このようにして積分画像マップ801を得ることができる。キーポイント分布マップをエッジ点分布マップ又は勾配値マップとしてもよい。
【0086】
図9は、積分画像マップを用いたノイズ推定の速度向上を示している。この図において、長方形の囲みABCD内の推定ノイズNABCDを下記式によって得ることができる。
【0087】
【数5】
【0088】
この式により、バウンディングボックス(EMBLチャネルである可能性があるもの)の中のノイズレベルを3つの演算を用いて推定することができる。これは、バウンディングボックス内の全てのピクセルを調べるよりも計算がはるかに安価である。また、これは一定の位置でブレンド係数を最適化するよりもはるかに計算負荷が低い。更に、EMBLの方向及びスケールがわかっている場合、囲みのサイズもわかる。既知のバウンディングボックスサイズを用いて各バウンディングボックス内のノイズ推定を予め計算し、オーサリングツールの更なる計算時間を減ずることができる。
【0089】
EMBLオーバーレイアルゴリズムのデザイン
積分画像マップを用いることにより、EMBLオーバーレイのための速度向上アルゴリズムを備えることができる。
【0090】
1.特徴点検出器を用い、バーコードラインの幅のパラメータに応じた適切なスケールで垂直方向におけるエッジマップを構築する。
【0091】
2.垂直方向のエッジ積分マップを構築する。
【0092】
3.アンカーポイントが与えられた後に、アンカーポイント周辺で、垂直方向に最小数のエッジ点を有する、バーコードバウンディングボックスの最適な配置箇所を見出す。バウンディングボックス内のエッジ点の数の加算を、エッジ積分マップを用いて行うことができる。
【0093】
4.バーコードブレンドパラメータを調節し、ブレンドしたドキュメントパッチを検証のためにバーコードデコーダに送る。ブレンド係数の二分探索を用いて最適なブレンドパラメータを見出すことができる。
【0094】
実験
【0095】
通常のドキュメントパッチによる通信は専用のバーコードパッチよりも小さなチャネル容量しか必要でないため、極度に大きなデータ符号化のセットはテストに用いなかった。代わりに、システムの生成したバーコード毎にCODE128の4つのキャラクタを実験に用いた。CODE128の定義によると、これら全ての実験におけるコードの総数は、開始及び停止コードを考慮しないで約100×100×100×100=1億である。これは、最初のEMBLの適用には妥当な大きさである。
【0096】
従来のバーコードとEMBLとの主な違いの1つは、ブレンド係数である。このブレンド係数は、最大のユーザ便益及びドキュメント便益のために知的エージェント(最適化アルゴリズム)がバーコードデコーダと「交渉する」機会を示す。この交渉により、EMBLをEMBLにより示される位置の近くに移動させることができ、なおもEMBLはバーコードの利点を全て得ることができる。また、この交渉のために、元のドキュメントのレイアウトやバーコード印刷のための余分な空間の割り当てを変更する必要はない。しかし、これらのEMBLの利益は全て、十分な利益をバーコードブレンド係数の調節から得ることができるという隠れた仮定によってもたらされる。更に具体的には、殆どのEMBLのための小さなバーコードブレンド係数は、EMBLが略透明で元のドキュメントへの妨害が殆どないように得ることができると推定される。ブレンド係数が1.0に近い場合、EMBLの位置における元のドキュメントパッチはバーコードによって略置き換え可能であり、このことはユーザの元のドキュメントについての理解に大いに影響を与える。
【0097】
ブレンド係数分布のテスト
ブレンド係数分布のテストに際し、EMBLのデザイン及び構築アルゴリズムの初期段階における性能評価のためにドキュメントを用いた。ドキュメントは、文、画像及び図を有する2188枚のレターサイズ(8.5インチ×11インチ(21.59cm×27.94cm))のドキュメントページである。ページ数が多くコンテンツのばらつきがあるものを実験に用いることで、テストの結果は通常の本に対する信頼性のあるEMBL性能評価になるはずである。EMBLは各ドキュメントページに小さなパッチを用いているだけであるため、各ページには多数の異なるEMBL通信チャネルがある。これらのチャネルを全てテストすることは略不可能であるが、多数のチャネルをランダムにサンプリングすると良好な係数分布評価を得ることができる。この考えに基づき、これらの2188ページにおいて33000のパッチ位置(x,y)をランダムに生成し、これらの位置に最適なブレンド係数を得る。これらのチャネルにおける本来の係数分布を調べるため、ランダムに選択したこれらの位置の近隣周辺ではEMBLの位置の最適化を行わなかった。図10は、これら33000のブレンド係数の分布ヒストグラムを示している。小さなブレンド係数よりも大きなブレンド係数の方がより良いバーコード識別をもたらす場合、図10の累積係数分布が得られる。
【0098】
図10の係数分布から、分布の最も高いピークは明らかにα=0.1であり、分布の高いピークは略全てα=0.25を下回る。約90%のチャネルは0.3未満のブレンド係数を有することが図11から明らかである。最適なブレンド係数を得るために二分探索アプローチを用いているため、ブレンド係数は0.1又は0.3に完全に等しくなくてもよい。
【0099】
図12は、0.0977のブレンド係数を用いてバーコード及びコンテンツをブレンドした例を示している。図13は、0.3008のブレンド係数を用いてバーコード及びコンテンツをブレンドした例で、左がバーコードがブレンドされた状態、右がその撮影画像にコードの識別結果がオーバーレイされている。これら2つの例からわかるように、これらのブレンド係数は、ユーザによる元のドキュメントの理解をさほど妨げていないことが明らかである。(なお、実際に作成した画像は、本図面の解像度よりも高い解像度で作成されているため、より目立たない。)これらの実験結果は、バーコードブレンド係数の隠れた仮定の正確さを強く支持している。これらは、ブレンド係数の最適化という考えも支持している。
【0100】
ブレンド係数の分布を更に調べることにより、最小のブレンド係数を0.0273程度とすることができる。また、この実験で最も大きなブレンド係数は0.9727である。図14は、この最大のブレンド係数を用いたブレンドの結果を示している。図14では、バーコードはランダムに選択したパッチ内のコンテンツの略全てを妨げている。これはユーザには受け入れられないであろう。従って、このような場合は、ノイズ推定をベースにしたEMBLの位置の最適化を用いてEMBLを配置する。
【0101】
ノイズ評価をベースにしたEMBLの位置の最適化により、アルゴリズムはわずか0.1523のバーコードブレンド係数を必要とするEMBLの混合位置を見出す。この最適化の結果を図15に示す。図15では、ブレンドをより軽くするために、EMBLを図14と比較して、ノイズのより少ない位置(コンテンツの垂直のエッジ)に動かしている。この結果は、EMBL位置の最適化という考えを裏付ける。
【0102】
実際のパッチの撮影を用いたEMBLの実験
異なるチャネルにおける最適なブレンド係数分布の系統的なテストのほかに、異なった仮想環境又は実環境における種々のEMBLのテストも実施した。図16(a)は、バーコード及びコンテンツを混合したものの識別結果を示している。混合したパッチの元のファイルをバーコードデコーダに送るため、この復号に関連する取得ノイズはない。EMBLを取得ノイズに対してロバストにするために、実際のEMBL印刷では通常わずかに大きなブレンド係数を用いる。図16(b)は、通常のオフィス照明で640×480ピクセルのカメラによって撮影した実際の写真におけるEMBLの識別を示している。この図から、奥行き方向のわずかな歪みと、でこぼこの表面による歪みが認められる。これらの歪みは、バーコード識別処理にさほど影響を与えなかったようである。
【0103】
EMBLを、バーコードの形態の代わりに既知の形の曲線又は他の幾何学形状にすることもできる。図17はこのようなEMBLの例である。この例では、CODE128バーコードの1Dプロファイルを用いて図17(a)に示すようないくつかの同心円を生成している。次に、円形のEMBLについて特徴の希薄なスポットを見出すアルゴリズムを用いる。撮影の際に円の中心を大まかに配置した後、撮影した画像を図17(b)に示すようなバーコード識別のための半径−角度ドメインに変換することができる。この種類のEMBLは、非常に正確で計算コストの高い円中心の位置決めを必要としない。円の中心が非常に正確に位置している場合、変換画像はバーコードを表すための一連の直線を備える。円の中心が正確に位置していない場合、変換画像は直線の代わりに一連の曲線を備える。これらの曲線は、通常はデコーダによって認識可能である。曲線の曲率が大きい場合、複数の画像プロファイルを用いてデコーダへの複数の提案を生成し、投票アプローチを用いて復号データを最終的に決定することができる。他の幾何学形状も可能である。バーコードは、EMBL内で正確に配置されるために、適切な幾何学形状に依存する領域に変換されていればよい。
【0104】
図18は、本発明の実施の形態による、コンピュータで実施されるデジタルメディア提供方法のフローチャートの例である。まず、コンピュータでは、受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信する(1800)。次に、抽出手段が、受信した埋込みメディアバーコードリンクから情報を抽出する(1801)。続いて、識別手段が、抽出した情報に対応する埋込みデジタルメディアを識別し(1802)、検索手段が、識別した埋込みデジタルメディアを検索し(1803)、これを提供する(1804)。
【0105】
図19は、埋込みメディアバーコードリンクを作成するための例示的なフローチャートを示している。まず、システムでは、受信手段が、視覚化されたコンテンツの位置の選択を受信する(1900)。決定手段が、受信した選択位置からEMBLの位置及びサイズを決定する(1901)。続いて、配置手段が、決定した位置及びサイズに基づいてEMBLを配置する(1902)。
【0106】
図20は、システムの例示的な機能図を示している。カメラ2001を備えたモバイルデバイス2000は、EMBLを含むドキュメント2002に焦点を合わせ、フィードバックをモバイルデバイスに提供する。モバイルデバイスは、EMBLを検出すると、バーコードに含まれるアドレス情報に基づいてデータベース2003を照会し、EMBLの参照先のメディアコンテンツの種類を決定する。データベースはメディアコンテンツについての情報をモバイルデバイスに戻し、モバイルデバイスはメディアコンテンツを実行することができる。
【0107】
図21は、本発明の方法の実施の形態を実施できるコンピュータ/サーバシステム2100の実施の形態を示すブロック図である。システム2100はコンピュータ/サーバプラットフォーム2101を含み、これは、当業者には既知であるように、命令を実行するよう動作するプロセッサ2102及びメモリ2103を含む。ここでいう「コンピュータ可読媒体」という用語は、実行のためにプロセッサ2102に命令を与えることに関与するあらゆる媒体を指す。また、コンピュータプラットフォーム2101は、キーボード、マウス、タッチ式デバイス又は言葉による指示など、複数の入力デバイス2104からの入力を受信する。また、携帯用ハードドライブ、光媒体(CD又はDVD)、ディスク媒体、又はコンピュータが実行可能なコードを読み取ることのできるあらゆる他の媒体など取り外し可能記憶装置2105にコンピュータプラットフォーム2101を接続することもできる。更に、インターネット、又はローカルなパブリックネットワークもしくはプライベートネットワークの他のコンポーネントに接続するネットワークリソース2106にコンピュータプラットフォームを接続することもできる。ネットワークリソース2106は、ネットワーク2107上の遠隔位置から命令及びデータをコンピュータプラットフォームに提供することができる。ネットワークリソース2106への接続は、802.11規格、Bluetooth(登録商標)又はセルラープロトコルなどの無線プロトコル経由でもよいし、ケーブル又は光ファイバーなどの物理的な伝送媒体経由でもよい。ネットワークリソースは、コンピュータプラットフォーム2101から離れた位置でデータ及び実行可能な命令を記憶する記憶装置を含むことができる。コンピュータはディスプレイ2108と対話し、データ及び他の情報をユーザに出力したり、追加の命令及び入力をユーザから要求したりする。従って、ディスプレイ2108はユーザと対話する入力デバイス2104として更に機能することができる。
【0108】
更に、本明細書に開示される本発明の明細書及び実施を考慮して、本発明の他の実施が当業者には明らかであろう。説明した実施の形態の種々の態様及び/又は構成要素は、埋込みメディアバーコードリンクシステムにおいて単独で又はいずれの組み合わせでも使用可能である。明細書及び例を単なる例示的なものとみなし、本発明の真の範囲及び趣意を以下の請求の範囲によって示すことが意図される。
【特許請求の範囲】
【請求項1】
バーコードを含む埋込みメディアバーコードリンク及び物品を利用することによってデジタルメディアを提供するためのコンピュータで実施される方法であって、
a.受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信することと、
b.抽出手段が、前記受信手段が受信した埋込みメディアバーコードリンクから情報を抽出することと、
c.識別手段が、前記抽出手段が抽出した情報に対応する埋込みデジタルメディアを識別することと、
d.検索手段が、前記識別手段が識別した埋込みデジタルメディアを検索することと、
を含む、前記方法。
【請求項2】
前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、前記バーコードにアルファブレンドされている、
請求項1に記載の方法。
【請求項3】
前記埋込みメディアバーコードリンクは、前記埋込みデジタルメディアのメディアの種類を表すメディア種類アイコンを更に含み、
前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されている、
請求項1に記載の方法。
【請求項4】
前記バーコードが前記埋込みデジタルメディアのデータベースアドレス情報を含む、請求項1〜3のいずれか1項に記載の方法。
【請求項5】
物品であって、
a.物品の表面に視覚化されたコンテンツと、
b.バーコードを含み、前記視覚化されたコンテンツにブレンドされた埋込みメディアバーコードリンクと、
c.データベースに記憶された、前記埋込みメディアバーコードリンクに対応する埋込みデジタルメディアオブジェクトと、
を含む、物品。
【請求項6】
前記物品は、2次元の平面の媒体である、請求項5に記載の物品。
【請求項7】
前記埋込みメディアバーコードリンクは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記視覚化されたコンテンツにアルファブレンドされている、請求項5に記載の物品。
【請求項8】
前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされている、
請求項5〜7のいずれか1項に記載の物品。
【請求項9】
前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、
前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されている、
請求項5〜7のいずれか1項に記載の物品。
【請求項10】
前記バーコードは、前記データベースにおける前記埋込みデジタルメディアオブジェクトにリンクする情報を含む、5〜9のいずれか1項に記載の物品。
【請求項11】
前記バーコードは、幾何学形状領域に変換され、
前記変換されたバーコードは、前記埋込みメディアバーコードリンク内に配置される、
請求項5に記載の物品。
【請求項12】
前記埋込みメディアバーコードリンクは、前記メディア種類アイコンの中心、アンカーポイント、方向、又は幾何学形状のサイズのいずれかを更に表す、請求項11に記載の物品。
【請求項13】
視覚化されたコンテンツと、該コンテンツ上にあると共にバーコードを含む埋込みメディアバーコードリンクとを含む物品を製造するためのコンピュータで実行させるためのコンピュータプログラムであって、
a.受信手段が、物品の視覚化されたコンテンツ上の位置の選択を受信する工程と、
b.決定手段が、前記受信手段が受信した選択位置付近にある前記視覚化されたコンテンツの複数の特徴量に基づいて、埋込みメディアバーコードリンクの位置、形状、バーコード種類またはサイズを決定する工程と、
c.配置手段が、前記決定手段が決定した位置、形状、バーコード種類またはサイズに基づいて、前記視覚化されたコンテンツ上の位置に関連するデジタルメディアオブジェクトの利用を示す前記埋込みメディアバーコードリンクを前記物品上に配置する工程と、
を含む、コンピュータプログラム。
【請求項14】
前記埋込みメディアバーコードリンクは、メディア種類アイコンを含むメディア種類の表示を更に含み、
前記メディア種類の表示は、前記バーコード内に配置されており、
前記メディア種類アイコンは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされる、
請求項13に記載のコンピュータプログラム。
【請求項15】
前記埋込みメディアバーコードリンクは、メディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、
前記バーコードは、位置決めされ、サイズ決めされ、種類が調節され、または形状がつけられて、前記メディア種類アイコン内に配置される、
請求項13に記載のコンピュータプログラム。
【請求項16】
前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、
前記メディア種類アイコンの幾何学形状に基づいて前記バーコードを所定の領域に変換し、前記変換したバーコードを前記メディア種類アイコン内に配置することを更に含む、請求項13に記載のコンピュータプログラム。
【請求項17】
前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、 前記物品の前記視覚化されたコンテンツに前記埋込みメディアバーコードリンクをアルファブレンドすることを更に含む、請求項13〜16のいずれか1項に記載のコンピュータプログラム。
【請求項18】
前記アルファブレンドはブレンド係数を利用し、前記ブレンド係数は前記埋込みメディアバーコードリンクの配置に関連したノイズの推定によって決定される、請求項17に記載のコンピュータプログラム。
【請求項19】
前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、
前記選択された位置の周りで最も小さなノイズを有する領域を識別し、ブレンド係数を最適化することを更に含む、請求項13〜18のいずれか1項に記載のコンピュータプログラム。
【請求項1】
バーコードを含む埋込みメディアバーコードリンク及び物品を利用することによってデジタルメディアを提供するためのコンピュータで実施される方法であって、
a.受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信することと、
b.抽出手段が、前記受信手段が受信した埋込みメディアバーコードリンクから情報を抽出することと、
c.識別手段が、前記抽出手段が抽出した情報に対応する埋込みデジタルメディアを識別することと、
d.検索手段が、前記識別手段が識別した埋込みデジタルメディアを検索することと、
を含む、前記方法。
【請求項2】
前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、前記バーコードにアルファブレンドされている、
請求項1に記載の方法。
【請求項3】
前記埋込みメディアバーコードリンクは、前記埋込みデジタルメディアのメディアの種類を表すメディア種類アイコンを更に含み、
前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されている、
請求項1に記載の方法。
【請求項4】
前記バーコードが前記埋込みデジタルメディアのデータベースアドレス情報を含む、請求項1〜3のいずれか1項に記載の方法。
【請求項5】
物品であって、
a.物品の表面に視覚化されたコンテンツと、
b.バーコードを含み、前記視覚化されたコンテンツにブレンドされた埋込みメディアバーコードリンクと、
c.データベースに記憶された、前記埋込みメディアバーコードリンクに対応する埋込みデジタルメディアオブジェクトと、
を含む、物品。
【請求項6】
前記物品は、2次元の平面の媒体である、請求項5に記載の物品。
【請求項7】
前記埋込みメディアバーコードリンクは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記視覚化されたコンテンツにアルファブレンドされている、請求項5に記載の物品。
【請求項8】
前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされている、
請求項5〜7のいずれか1項に記載の物品。
【請求項9】
前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、
前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されている、
請求項5〜7のいずれか1項に記載の物品。
【請求項10】
前記バーコードは、前記データベースにおける前記埋込みデジタルメディアオブジェクトにリンクする情報を含む、5〜9のいずれか1項に記載の物品。
【請求項11】
前記バーコードは、幾何学形状領域に変換され、
前記変換されたバーコードは、前記埋込みメディアバーコードリンク内に配置される、
請求項5に記載の物品。
【請求項12】
前記埋込みメディアバーコードリンクは、前記メディア種類アイコンの中心、アンカーポイント、方向、又は幾何学形状のサイズのいずれかを更に表す、請求項11に記載の物品。
【請求項13】
視覚化されたコンテンツと、該コンテンツ上にあると共にバーコードを含む埋込みメディアバーコードリンクとを含む物品を製造するためのコンピュータで実行させるためのコンピュータプログラムであって、
a.受信手段が、物品の視覚化されたコンテンツ上の位置の選択を受信する工程と、
b.決定手段が、前記受信手段が受信した選択位置付近にある前記視覚化されたコンテンツの複数の特徴量に基づいて、埋込みメディアバーコードリンクの位置、形状、バーコード種類またはサイズを決定する工程と、
c.配置手段が、前記決定手段が決定した位置、形状、バーコード種類またはサイズに基づいて、前記視覚化されたコンテンツ上の位置に関連するデジタルメディアオブジェクトの利用を示す前記埋込みメディアバーコードリンクを前記物品上に配置する工程と、
を含む、コンピュータプログラム。
【請求項14】
前記埋込みメディアバーコードリンクは、メディア種類アイコンを含むメディア種類の表示を更に含み、
前記メディア種類の表示は、前記バーコード内に配置されており、
前記メディア種類アイコンは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされる、
請求項13に記載のコンピュータプログラム。
【請求項15】
前記埋込みメディアバーコードリンクは、メディア種類アイコンを更に含み、
前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、
前記バーコードは、位置決めされ、サイズ決めされ、種類が調節され、または形状がつけられて、前記メディア種類アイコン内に配置される、
請求項13に記載のコンピュータプログラム。
【請求項16】
前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、
前記メディア種類アイコンの幾何学形状に基づいて前記バーコードを所定の領域に変換し、前記変換したバーコードを前記メディア種類アイコン内に配置することを更に含む、請求項13に記載のコンピュータプログラム。
【請求項17】
前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、 前記物品の前記視覚化されたコンテンツに前記埋込みメディアバーコードリンクをアルファブレンドすることを更に含む、請求項13〜16のいずれか1項に記載のコンピュータプログラム。
【請求項18】
前記アルファブレンドはブレンド係数を利用し、前記ブレンド係数は前記埋込みメディアバーコードリンクの配置に関連したノイズの推定によって決定される、請求項17に記載のコンピュータプログラム。
【請求項19】
前記配置手段が前記埋込みメディアバーコードリンクを前記物品上に配置することが、
前記選択された位置の周りで最も小さなノイズを有する領域を識別し、ブレンド係数を最適化することを更に含む、請求項13〜18のいずれか1項に記載のコンピュータプログラム。
【図1】
【図6】
【図10】
【図11】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図6】
【図10】
【図11】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−44634(P2012−44634A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2010−287119(P2010−287119)
【出願日】平成22年12月24日(2010.12.24)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願日】平成22年12月24日(2010.12.24)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]