ウェブベースのテキスト検出方法及びシステム
【課題】アプリケーション固有の認識/通信ソフトウエアを事前にクライアント装置にインストールせずに、ウェブベースのテキスト検出を行うこと。
【解決手段】ウェブベースの画像検出システムは、画像捕捉装置、ウェブブラウザ、プラグイン及び認識サーバを含む。捕捉された画像はプラグインにより処理され、所定のコンテンツタイプが画像中に含まれているか否かを突き止める。ブラウザプラグインによる初期の分析により、画像中に所定のコンテンツタイプが検出された場合、その画像は、認識サーバに送信され、そのコンテンツタイプの画像についてコンテンツ認識がなされる。本システムは、捕捉装置及びウェブブラウザのみを利用して、ユーザが文書又は他の画像タイプを電子データにリンクさせることを可能にする。
【解決手段】ウェブベースの画像検出システムは、画像捕捉装置、ウェブブラウザ、プラグイン及び認識サーバを含む。捕捉された画像はプラグインにより処理され、所定のコンテンツタイプが画像中に含まれているか否かを突き止める。ブラウザプラグインによる初期の分析により、画像中に所定のコンテンツタイプが検出された場合、その画像は、認識サーバに送信され、そのコンテンツタイプの画像についてコンテンツ認識がなされる。本システムは、捕捉装置及びウェブブラウザのみを利用して、ユーザが文書又は他の画像タイプを電子データにリンクさせることを可能にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の情報検出、抽出及び認識を行う技法に関する。特に、本発明は、ウェブブラウザプラグインを使用して、画像中の情報検出及び画像フレーム抽出を行い、情報認識用の入力を生成するシステム及び方法に関連する。
【背景技術】
【０００２】
電子文書が、コンピュータを使って処理され、そのコンピュータからプリンタに出力され、そして用紙に印刷される環境では、コンピュータ及び電子文書の利用は制限される。いったん電子文書が用紙に印刷されると、文書の紙形式での処理及び電子形式での処理は独立したものになる。印刷及び複写の技術は、静的な印刷媒体(すなわち、紙の文書)及び動的な電子媒体の間の溝を埋めるにはいたっておらず、その動的な電子媒体は、ディジタル通信、ネットワーキング、電子情報の拡布、電子広告、オンライン娯楽及び電子商取引のようなものを含む。
【０００３】
(パーソナルディジタルアシスタント(PDA)装置、携帯電話機(例えば、カメラ付き携帯電話機)及びディジタルカメラ等の)ここ数年の小型携帯コンピュータ装置及び個人電子装置の出現及び増進の一途を辿る普及は、電子的に読取可能で検索可能な形式で利用可能にすることで、及び双方向のマルチメディア機能を導入することで、文書の概念を文書の電子バージョンを含めるように拡張した(このような拡張は、従来の印刷媒体では例を見ないものである。)。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方の電子文書の世界と他方の紙文書の世界との間の隔たりを橋渡しする従来の問題は、引き続き存在する。特に、印刷文書を使って、その紙文書の生成元の電子文書にアクセスすること或いはそれを発見することさえ、依然として非常に困難である及び/又は演算負担が大きい。印刷文書に対応する電子文書を特定及び発見する際の主な障害は、紙文書と電子文書を照合するのに使用可能な電子形式に印刷文書を変換することである。カメラ付き携帯電話やスキャナの普及と共に、印刷文書の画像を捕捉することは容易になってきているが、そのような低品質の画像を電子文書抽出に活用する適切な手法は存在しない。画像が高品質であった場合でさえ、認識に要する演算は、負担が大きく且つ不正確である。
【０００５】
従来技術の主な問題の1つは、僅か数種類の利用可能な認識法が、アプリケーション固有の認識/通信ソフトウエアを、処理時点以前にクライアント装置にインストール済みであることを要することである。
【０００６】
従来技術の別の問題は、紙と通常のコンピュータ装置の組み合わせを使って電子世界と効果的にやりとりする方法(インターフェース)がないことである。コンピュータ画面に単独で表示可能であり且つマウス式のコントローラやキーボードのような入力装置と共に使用される、ツールバー、ボタン及び他のインターフェースのような様々な手段が存在する。しかしながら、用紙その他の触知可能な媒体及び電子文書と共に同時に機能するような適切なインターフェースは存在しない。
【課題を解決するための手段】
【０００７】
本発明は、ブラウザプラグイン(browser plug-in)により、ウェブでの画像中の情報の検出及び画像抽出を行うシステムにより、従来の問題を軽減又は克服する。本システムは、クライアントで初期画像処理を実行し、画像が認識プロセスに相応しいか否かを判断し、そして処理する画像フレームを抽出するので、本システムは有利である。有利なことに、クライアントでインストールを要しないウェブブラウザプラグイン又は他の簡易なプログラムが、クライアント側の処理に利用される。ここで使用されているように、インストールは、プラグイン又は他の軽いプログラムを永続的なストレージに格納すること及び/又はレジストリに対する修正を意味する。一実施例では、プラグイン(プログラム)は、検出用の初期画像分析及びフレーム抽出を実行し、サーバに対して、コンピュータによる認識プロセスを確保する。一実施例では、本発明によるシステムは:画像捕捉装置、ウェブブラウザ、プラグイン及び認識サーバを含む。プラグインは、画像捕捉、分析及び認識サーバへの送信を制御するモジュールを更に有する。捕捉された画像はプラグインにより処理され、所定のタイプの情報(コンテンツ)が画像に含まれているか否か、例えば、画像がテキスト文書であるか否か等を判断する。そして本システムは、捕捉装置及びウェブブラウザを使用して、ユーザが、文書又は他の画像タイプを電子データに結び付けることを可能にする。
【０００８】
本発明は、ウェブベースの画像情報タイプの検出を行う方法も含む。ブラウザプラグインにおける初期分析により、画像中に所定のタイプの情報が検出されると、その画像は、情報認識用の認識サーバに送られる。例えば、画像がテキスト文書であることが画像分析により確認された場合、その画像は、情報認識用の認識サーバに送られる。有利なことに、文書の認識は、文書サーバ又はローカルストレージ(例えば、クライアントのハードドライブ)のような様々な文書ソースと共に実行可能である。有利なことに、クライアント装置に如何なるソフトウエアもインストールする必要なしに、ユーザは、インターネットを利用可能な任意の装置と共に、文書認識の機能にアクセスできる。実行の際、プラグインはクライアントのパラメータに基づいて修正可能である。サーバの側では、文書サーバ等との簡易な統合が実行可能になり、品質保証及びソフトウエア更新が更に簡易になる。
【図面の簡単な説明】
【０００９】
【図１】ウェブ画像情報検出及び画像抽出を行う本発明によるシステム例の機能を示す図。
【図２】本発明の一実施例によるクライアント又は認識サーバを表す機能ブロック図。
【図３Ａ】本発明の一実施例によるクライアントのメモリユニットの一例を示す機能ブロック図。
【図３Ｂ】本発明の一実施例によるウェブサーバのメモリユニットの一例を示す機能ブロック図。
【図３Ｃ】本発明の一実施例による認識サーバのメモリユニットの一例を示す機能ブロック図。
【図４】本発明の一実施例により構築されたブラウザ又はプラグインのブロック図。
【図５Ａ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図５Ｂ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図５Ｃ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図５Ｄ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図６】ウェブに基づくコンテンツタイプ検出法の本発明の一実施例によるフローチャート。
【図７】ウェブに基づくコンテンツタイプ検出法の本発明の一実施例による動作例を示す図。
【図８】検出モジュールによるウェブでのテキスト検出法の本発明の一実施例によるフローチャート。
【図９】図8の方法に関してエッジ検出を行うスクリプト例を示す図。
【図１０Ａ】本発明の一実施例によるコンテンツタイプ検出方法で使用されるユーザインターフェースを示す図。
【図１０Ｂ】合致する文書が発見された場合の本発明の一実施例によるユーザインターフェースを示す図。
【図１１】文書サーバから受信した情報を示す本発明の一実施例によるユーザインターフェースを示す図。
【図１２】ブログ文書と共にウェブテキスト検出を行う本発明の一実施例によるシステム例の機能ブロック図。
【図１３】ブログ文書と共にウェブテキスト検出を行う本発明の一実施例による方法で生成されたユーザインターフェースを示す図。
【図１４】デスクトップ検索アプリケーションにより画像テキスト検出を行う本発明の別の実施例による方法で生成されたユーザインターフェースを示す図。
【図１５】デスクトップ検索アプリケーションによりウェブ画像テキスト検出を行う本発明の一実施例によるシステム及び方法の機能ブロック図。
【図１６】本発明の一実施例により、画像情報検出方法で生成された第2のユーザインターフェース例を示す図。
【図１７Ａ】本発明の一実施例により、画像情報タイプ検出方法で生成された第3のユーザインターフェース例を示す図。
【図１７Ｂ】本発明の一実施例により、捕捉されたQRコードに合致するビデオが発見された後の図17Aのユーザインターフェースを示す図。
【発明を実施するための形態】
【００１０】
本願で説明される特徴及び恩恵は全てを網羅するものではなく、特に、以下の詳細な説明及び添付図面を参照することで、多くのさらなる特徴及び恩恵が当業者には明らかになるであろう。さらに、本願で使用される言葉は、原則として読みやすさや説明の観点から選択されており、本発明の対象範囲を限定しようとするものではないことに、留意すべきである。
【００１１】
以下、添付図面と共に非限定的な実施例により本発明が説明される。図中、同様な参照番号は同様な要素を指すのに使用される。
【実施例１】
【００１２】
ブラウザプラグインを用いてウェブベースの画像コンテンツタイプ検出及び画像抽出を行うシステムが、説明される。以下の説明において、説明の便宜上、多くの具体的詳細が、本発明の十分な理解をもたらすように説明される。しかしながら、本発明はそのような具体的詳細によらず実施可能であることが、当業者には明らかであろう。また、発明を曖昧にするおそれを避けるため、構造や装置はブロック図で示される。本発明は、例えば、テキスト認識について主に説明されるが、当業者は、本発明が他の如何なるタイプの認識に適用されてもよいことを認めるであろう(例えば、指紋、顔、バーコード等の認識等に適用されてもよい。)。
【００１３】
本明細書における「一実施例」又は「形態」は、その実施例に関して説明される特定の特質、構造又は特徴が、本発明の少なくとも１つの実施例に含まれることを意味する。本明細書の様々な場所で「一実施例」なる用語が使用されているが、それらは全て同じ実施例であることを必ずしも意味しているわけではない。
【００１４】
以下の詳細な説明の一部は、コンピュータメモリ内のデータビットを処理するアルゴリズム及び記号表現で与えられる。これらのアルゴリズムの説明及び表現は、データ処理技術分野の当業者が他の当業者に彼らの仕事内容を最も効率的に伝えるのに使用される手段である。ここで、アルゴリズムは一般に所望の結果に導く首尾一貫した一連のステップと考えられる。そのステップは物理量の物理的処理を必要とするものである。必ずしもそうである必要はないが、通常それらの物理量は、格納、転送、結合、比較その他の処理を施すことの可能な電気的な又は磁気的な信号の形態をとる。原則的な一般的な用法の観点から、ビット、値、エレメント、シンボル、キャラクタ、期間、数等としてそれらの信号に言及することが折に触れて便利なことが分かる。
【００１５】
しかしながら、これらの及び類似の用語の全ては、適切な物理量に関連しており且つそれらの量に付された便宜的なラベルにすぎないことに留意を要する。特に断りのない限り、以下の説明から明らかなように、本説明を通じて、「処理」、「演算」、「計算」、「決定」又は「表示」等のような用語を用いる説明は、コンピュータシステム又は同様な電子コンピュータ装置の動作や処理に関連し、その動作や処理は、コンピュータシステムのレジスタ及びメモリの中で物理的な（電子的な）量として表現されるデータを、コンピュータシステムメモリやレジスタその他の情報ストレージ、伝送又は表示装置の中で物理量として同様に表現される他のデータに変換及び処理することが、理解されるであろう。
【００１６】
本発明はここで説明される処理を実行する装置にも関連している。その装置は、必要な目的に応じて特別に構築されてもよいし、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブにされる又は再構成される汎用コンピュータで構築されてもよい。そのようなコンピュータプログラムはコンピュータ読取可能な記憶媒体に格納されてもよく、その記憶媒体は、限定ではないが、フロッピディスク、光ディスク、CD-ROM、磁気光ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード等の如何なるタイプのディスクを含んでもよいし、或いは電子的な命令を格納するのに指摘した如何なるタイプの媒体を含んでもよく、ディスクも媒体もそれぞれコンピュータシステムバスに結合される。
【００１７】
最後に、ここで説明されるアルゴリズム及び表示は、特定のコンピュータその他の装置のどれにも固有に関連するものではない。ここで教示されるプログラムは様々な汎用システムと共に使用されてよく、或いは、必要な方法ステップを実行するために、さらに特化した装置を構築することが便利なことが分かるかもしれない。これら様々なシステムに必要な構造は以下の説明から明らかになるであろう。更に、本発明は特定のプログラミング言語のどれにも依存しない。ここで説明される本発明の教示内容を実現するのに様々なプログラミング言語が使用されてよいことが分かるであろう。
【００１８】
システム概要
図1を参照するに、ウェブベースの画像コンテンツタイプ検出を行う本発明によるシステム例100が示されている。ここで使用されているように、コンテンツタイプは、捕捉装置104で取得される画像がとり得る情報の様々な形式を指し、例えば、テキスト(文字)、バーコード、指紋及び顔の特徴等である。本発明は、ウェブブラウザプラグインを使用して、捕捉した画像を分析し、その画像の中の所定のコンテンツタイプを検出する。例えば、プラグインは、(例えば、テキストが所定のコンテンツタイプであった場合)画像がテキストのようであるか否かを判断するのに使用されてもよい。本実施例では、システム100は:クライアントに関連する画像捕捉装置104、認識サーバ108及びデータベース110を含み、それらは情報102の画像を取得し、その画像102からコンテンツタイプを特定するように構築される。いったん特定されると、認識サーバ108を用いて、対応する情報が抽出可能になる。ある実施例の場合、クライアント106及び認識サーバ108の間にサーバ107が含まれる。図1は、情報102の画像を捕捉するシステム100の例を示し、情報の画像は、例えば、文書又は文書の一部分102a、バーコード102b、指紋102c、顔又は顔の画像102d等の画像である。クライアント106は、ウェブベースのプラグインを使用して、捕捉した画像の中でコンテンツタイプを検出し、抽出して画像処理を行い、その画像を認識サーバ108に送り、抽出した画像がデータベース110に保存済みの情報と比較できるようにする。
【００１９】
画像捕捉装置104は、当該技術分野で既知の如何なるタイプのものでもよい。例えば、画像捕捉装置104は、ウェブカメラ、携帯電話に組み込まれたカメラ、ディジタルカメラ等でもよいし、ビデオストリーム又は電子画像を出力する他の如何なるカメラでもよい。画像捕捉装置104は、動画又は静止画の画像を捕捉できる。本発明は、低解像度の画像捕捉装置と共に使用可能である点で、特に有利である。画像捕捉装置104は、クライアント106と通信するように結合される。この通信は、有線又は無線のネットワークを介してもよい。別の例では、画像捕捉装置104は、複合機のスキャナ又は印刷書類を生成するソフトウエアでもよい。更に別の例の場合、画像捕捉装置104は、複合機で印刷された文書の画像を捕捉する印刷捕捉ソフトウエアでもよい。これらは、(不図示の)コンピュータで出力される又は既に印刷されている文書を索引付けするのに使用される。
【００２０】
クライアント106は、画像捕捉、コンテンツタイプ検出、画像抽出、及び画像を認識サーバへ送付すること等を実行し及び/又は制御する。別の例の場合、クライアント106は、特徴抽出も実行し、抽出した特徴を使ってデータベース110を検索する。クライアント106は、画像捕捉装置104に結合され、情報102の画像を受信する。クライアント106は、画像を認識サーバ108に送るサーバ107にも結合される。一実施例の場合、クライアント106は、パーソナルコンピュータ(図2参照)、ブラウザ308、及びプラグイン310(図3参照)を有する。別の例の場合、クライアント106は移動端末を形成し、移動端末は、パーソナルデータアシスタント(PDA)、携帯電話、モバイルウェブブラウザ、無線アクセスプロトコルブラウザ、その他のネットワーク装置等である。クライアント106の一例は、後に図2,3A及び4を参照しながら説明される。
【００２１】
認識サーバ108は、受信した画像に対応する電子文書を認識する機能を実行し及び/又は制御する。一実施例では、認識サーバ108は、特徴抽出及びデータベース110の検索を実行し、受信した画像に対応する1つ以上の電子文書を特定する。別の実施例では、認識サーバ108は、コンテンツタイプ検索及び画像抽出も実行する。認識サーバ108は、データベース110に結合され、クライアント106が用意した画像に対応する情報を抽出する。ある実施例では、データベース110は、認識サーバ108の中に含まれ、或いは認識サーバ108内の他のストレージがデータベース110の代わりになってもよい。認識サーバ108は、文書認識の際、混合メディア(MMR: Mixed Media Reality)インビジブルジャンクションアルゴリズムを使用してもよい。このアルゴリズムについては、2008年5月31日付けで出願された“Invisible Junction Feature Recognition for Document Security or Annotation”と題する米国特許出願第12/059,583号で議論されており、その出願の内容全体は本願のリファレンスに組み込まれる。或いは、MMR式でない文書認識アルゴリズムに基づく他の方法を使用してもよく、例えば、光学文字認識(OCR)の文書認識又はワード境界法(Word boundary technique)等であるが、これらに限定されない。文字認識については、例えば、非特許文献1に記載されており、非特許文献1の内容全体は本願のリファレンスに組み入れられる。別の例の場合、サーバ108は文書サーバを形成してもよく、例えば、日本国のリコー株式会社のドキュメントモール(Enterprise Content Management by Alfresco of Palo Alto, CA; Lotus Notes by IBM of Armonk, N.Y.)又はマイクロソフトのシェアポイント(Sharepoint by Microsoft of Redmond, Washington)に記載の文書サーバでもよいが、これに限定されない。認識サーバ108の一例は、後に図2及び３C を参照しながら説明される。
【００２２】
一実施例では、クライアント106及び認識サーバ108の間にサーバ107が結合される。サーバ107はクライアント106のブラウザ310から接続のリクエストを受信する。それに応じてサーバ107はプラグインをクライアント106に送る。プラグインが、ブラウザを有するどのクライアント装置にも提供可能な点は、特に有利である。一実施例では、サーバ107は通常のウェブプロキシサーバである。そして、サーバ107は、画像、データ及びコマンドをクライアント106から認識サーバ108へ転送し；及びデータ及びコマンドを認識サーバ108からクライアント106へ返す。一実施例では、これは、クライアント106から認識サーバ108へ送られるHTTPリクエスト、及び認識サーバ108からクライアント106へ送られるHTTP応答を通じて行われる。
【００２３】
データベース110は、通常のタイプのものであり、インデックス(索引)、電子文書その他の電子情報、特徴記述及び他の情報を保存し、それらはコンテンツタイプ比較及び抽出処理に使用される。データベースは、複数のデータベース群でもよい。一実施例では、データベース110は複合機(図示せず)内に設けられる。
【００２４】
本発明のシステム100は、多数の恩恵をもたらす点で、特に有利である。システム100は、クライアント106で初期画像処理を実行し、画像が認識サーバ108での認識処理に適切であるか否かを判断する。有利なことに、クライアント106にインストールを要しないウェブブラウザプラグイン又は他の軽いプログラムにより、ウェブベースでクライアント側の処理が行われる。プラグインは、初期分析のみを実行し、認識サーバ108に関し、認識処理演算を予約する。プラグインは、認識サーバ108に送る1つ以上の画像の群を抽出し、クライアント106から認識サーバ108へのデータ転送を効率化(最小化)する。文書の認識は、文書サーバのような文書ソースや、ローカルに保存されたデスクトップ検索項目のデスクトップ検索アプリケーションインターフェースと共に使用可能な点で、有利である。有利なことに、クライアント装置に如何なるソフトウエアもインストールする必要なしに、ユーザは、インターネットを利用可能な任意の装置と共に、文書認識の機能にアクセスできる。実行の際、プラグインはクライアントのパラメータに基づいて修正可能である。サーバの側では、文書サーバ等との簡易な統合が実行可能になり、品質保証及びソフトウエア更新が更に簡易になる。
【００２５】
システム例
図2を参照するに、本発明の一実施例により構築されたクライアント106又は認識サーバ108を表す機能ブロック図が示されている。クライアント106又は認識サーバ108は、好ましくは、制御部250、表示装置210、入力装置212、カーソル制御部214、通信装置216及び1つ以上の入力/出力装置(I/O)218を有する。
【００２６】
制御部250は、算術演算論理部、マイクロプロセッサ、汎用コンピュータ又は他の何らかの情報機器を有し、これらの要素は、表示装置210に電子ディスプレイ信号を提供するように装備される。一実施例では、制御部250はグラフィカルユーザインターフェース(GUI)を有する汎用コンピュータを有し、例えばGUIはウインドウズ(登録商標)又はユニックス(登録商標)のオペレーティングシステム等のようなオペレーティングシステム上で動作するジャバ(Java(登録商標))で書かれたプログラムにより生成される。一実施例では、1つ以上のアプリケーションプログラムが制御部250により実行され、例えば、描画アプリケーション、文書作成アプリケーション、電子メールアプリケーション、財務アプリケーション及びウェブブラウザアプリケーション等が実行されるがこれらに限定されない。
【００２７】
図2をさらに参照するに、制御部250は、プロセッサ202、メインメモリ204及びデータストレージ装置206を含むように描かれ、これらは総てシステムバス208に通信可能に結合される。
【００２８】
プロセッサ202は、データ信号を処理し、様々なコンピュータアーキテクチャを形成し、コンピュータアーキテクチャは、例えば、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、又は組み合わせによる命令セットを使用するアーキテクチャ等である。図2ではプロセッサは1つのみしか示されていないが、複数であってもよい。
【００２９】
メインメモリ204は、プロセッサ202で実行される命令及び/又はデータを記憶する。命令及び/又はデータは、本願で説明される技法の全部又は一部を実行するコードを含む。メインメモリ204は、ダイナミックランダムアクセスメモリ(DRAM)装置、スタティックランダムアクセスメモリ(SRAM)装置、又は当該技術分野で既知の他のメモリ装置でもよい。メモリ204については、後に図3ないし5を参照しながら説明される。
【００３０】
データストレージ装置206は、プロセッサ202用の命令及びデータを記憶し、1つ以上の装置を含み、その1つ以上の装置は、ハードディスクドライブ、フロッピディスクドライブ、CD-ROM装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、フラッシュメモリ装置、その他の当該技術分野で既知の他の何らかの大容量ストレージ装置等である。一実施例では、データストレージ装置206は、データベース110を含む。別の実施例では、データベースは、通常のネットワークを表す信号線220及び通信装置216を介して、認識サーバ108に結合される。
【００３１】
システムバス208は、制御部250を通じて情報及びデータを通信する共用バスを表す。システムバス208は、工業規格アーキテクチャ(ISA)バス、ペリフェラルコンポーネント相互接続(PCI)バス、ユニバーサルシリアルバス(USB)、又は同様な機能を提供する当該技術分野で既知の他の何らかのバス等を含む1つ以上のバスを表現する。システムバス208を介して制御部250に結合される追加的な要素(コンポーネント)は、表示装置210、入力装置212、カーソル制御部214、通信装置216及びI/O装置218を含む。
【００３２】
表示装置210は、本願で説明されるような電子画像及びデータを表示するように設けられた如何なる装置でもよい。一実施例では、表示装置210は、液晶ディスプレイ(LCD)や発光ダイオード(LED)等でもよく、ステータスのフィードバック、操作設定及び他の情報をユーザに提供する。他の実施例では、表示装置210は、例えば、陰極線管(CRT)、他の何らかの同様な表示装置、スクリーン又はモニタ等でもよい。一実施例では、表示装置210は、タッチスクリーンを装備し及び/又はデジタイザを含み、触知式の透明パネルが表示装置210の画面をカバーしている。表示装置210は、後に図10-17Bで説明されるようなユーザインターフェースを表示するように構築される。
【００３３】
一実施例では、入力装置212はキーボードである。キーボードは、クワーティ(QWERTY)キーボード、キーパッド、タッチスクリーン上でそのように作成された表現物等でもよい。カーソル制御部214は、位置データだけでなく命令の選択内容をプロセッサ202に通知するように設けられたユーザ入力装置を表す。カーソル制御部214は、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル方向キーその他のカーソルを動かす手段を含んでよい。
【００３４】
通信装置216は、複数の処理システムを含んでよいネットワーク220に制御部250を接続し、一実施例ではネットワークコントローラである。処理システムのネットワークは、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)(例えば、インターネット)、及び/又は複数の装置が通信する他の何らかの相互接続されたデータパス等を含んでよい。当業者には理解されているように、制御部250は、他のシステムに対する他の通常の接続も含み、他のシステムは、TCP/IP、http、https及びSMTPのような標準的なネットワークプロトコルを使用するファイルを分配するネットワーク等である。
【００３５】
1つ以上のI/O装置218がバス208に結合される。これらのI/O装置は(不図示の)他のシステムの一部分であってもよい。例えば、I/O装置218は、文書の画像を捕捉する画像スキャナを含んでいてもよい。I/O装置218は、文書を生成するプリンタを含んでいてもよい。マイクロフォンを介して音声入力を受信し、スピーカを介して音声信号を送信するように、I/O装置218はオーディオ入力/出力装置を含んでもよい。一実施例では、オーディオ装置は、汎用コンピュータシステム内で使用するように設計された汎用のオーディオアドイン/拡張カードである。或いは、I/O装置は、1つ以上のアナログトゥディジタル又はディジタルトゥアナログ変換器、及び/又はオーディオ処理を促す1つ以上のディジタル信号プロセッサを含んでもよい。図2がクライアント106を表す場合、I/O装置218は上記のウェブカメラ104を含む。
【００３６】
本発明の精神及び範囲から逸脱せずに、クライアント106又は認識サーバ108は、図2に示されるものより多くの又は少ない要素を含んでよいことは、当業者には明らかであろう。例えば、クライアント106及び/又は認識サーバ108は、例えば、第1又は第2レベルのキャッシュのような追加的なメモリ、又は1つ以上の特定用途向集積回路(ASIC)等を含んでもよい。更に、クライアント106又は認識サーバ108は、1つのデータバス208ではなく、複数のデータバスを含んでもよい。データバスを複数用意することは、クライアント106及び/又は認識サーバ108内の要素から及び要素間で画像データを高速に伝送することを可能にし、ユーザインターフェース情報を表示装置に高速データ転送することを可能にする。同様に、例えばRFIDタグリーダ、ディジタルスチルカメラ、ディジタルビデオカメラ又は他の装置等を含む追加的な入力/出力装置218が制御装置250に結合され、追加的な入力/出力装置218は、電子データを捕捉し及び/又は制御装置250に転送するように構築されていてもいなくてもよい。キーボードやカーソル制御部212のような1つ以上の要素が省略されてもよい。
【００３７】
図3A-3Cは、クライアント106、サーバ107及び認識サーバ108のメモリユニット204a,204b,204cの一例を示す機能ブロック図である。
【００３８】
図3Aを参照するに、クライアント106に関するメモリユニット204の一例が示されている。この例におけるメモリユニット204aは:オペレーティングシステム302、アプリケーション304、制御モジュール306、ブラウザ308及びプラグイン310を有する。コンテンツタイプ検出、画像抽出及び画像送信の処理の間、データ及び他の情報を一時的に記憶するバッファを、メモリ204aは含むことを、当業者は認識するであろう。上述したように、メモリ204aは、プロセッサ202で実行される命令及び/又はデータを格納する。命令及び/又はデータは、本願で説明される技法の全部又は一部を実行するコードを有する。これらのモジュール302-310は、システム100と通信及び協同するため、バス208によりプロセッサ202に結合される。
【００３９】
オペレーティングシステム302は、好ましくは、アプリケーションインターフェースを介してユーザがアクセス可能なカスタムオペレーティングシステムである。代替実施例では、オペレーティングシステム302は、ウインドウズ(登録商標)、マックOSX(登録商標)、ソラリス(登録商標)又はリナックス(登録商標)のオペレーティングシステム等のような通常のものである。
【００４０】
メモリ部204は、1つ以上のアプリケーションプログラム304を含み、それらに限定されないが、描画アプリケーション、ワードプロセッシングアプリケーション、電子メールアプリケーション、検索アプリケーション及び財務アプリケーション等を含んでもよい。一実施例では、アプリケーション304は、メモリ204aのユニット又は他のモジュールの特定の機能を用いて、電子文書及び紙文書間の溝を埋める。例えば、アプリケーションは、ブラウザ308及びプラグイン310と通信し、それらをインターフェースとして使用し、紙文書に対応する電子文書にアクセスする。より具体的には、アプリケーションは、紙面上の特定の場所に対する添付された/組み込まれた電子データ、及び紙面中の電子データにアクセスし、上記の操作のツールとしてカメラを使用して、ユーザが後に紙から電子データを抽出できるようにする。例えば、あるアプリケーション304は、ユーザが捕捉装置104を単に指図し、情報102や印刷紙面の画像を捕捉したことに応答して、印刷書類の電子ファイル(マイクロソフトワード、アドビPDF等)を取得する。このような技法は、例えば、2006年7月31日付で出願された“System and Methods for Creation and Use of a Mixed Media Environment”と題する米国特許出願番号第11/461,017号に開示されており、この米国出願の内容全体が本願のリファレンスに組み入れられる。
【００４１】
制御モジュール306は、メモリ204aの他のモジュールを制御するのに使用される。制御モジュール306は、アプリケーション304、ブラウザ308及びプラグイン310と通信し、それらを制御する。制御モジュール306の動作は、後述の説明からさらに明らかになるであろう。制御モジュール306はメモリ204a内の別個のモジュールとして図示されているが、当業者は、他の実施例における制御モジュール306は、他のモジュール内のルーチンとして配備されてもよいことを認識するであろう。
【００４２】
ブラウザ308は、マイクロソフト社のインターネットエクスプローラ(登録商標)、モジラ社のファイヤフォックス(登録商標)、アップル社のサファリ(登録商標)、移動電話その他の無線ブラウザ(製造者又は無線サービスプロバイダにより提供されるブラウザ)等のような通常のものでよい。ブラウザ308はあるソフトウエアアプリケーションであり、テキスト、画像及び他の情報(ウェブページ)をユーザが表示及び通信することを可能にし、ウェブページ等は、通常的には、ワールドワイドウェブのウェブサイト又はローカルエリアネットワークに存在する。ソフトウエアアプリケーションの場合、ブラウザ308は、アプリケーションインターフェースを用意し、プラグイン310のような他のプログラムとやり取りを行う。
【００４３】
プラグイン310は補助的な又は予備的なプログラムであり、ブラウザ308(例えば、ホストアプリケーション)とやり取りを行い、本願で説明されるウェブベースの画像情報検出機能をもたらす。一実施例の場合、プラグイン310は、クライアント106のブラウザ308が特定のウェブアドレス宛にリクエストを送信した場合に、サーバ107からクライアント106に(送信され)受信されるモジュールである。プラグイン310は、既知のブラウザプラグインで動作するスクリプト又はデータ及び/又はコマンドのファイル(例えば、アドビフラッシュプラグイン又はプレーヤで動作するswfファイル)で構成される。さらに、プラグイン310は、アクションスクリプトで書かれたファイルでもよい。一実施例によれば、プラグイン310は、.swfファイルであり、カリフォルニア州サンノゼのアドビコーポレーションのフラッシュ8.0以上を実行するフラッシュプレーヤで動作可能である。プラグイン310は、本願で様々な実施例により説明される、ウェブベースの画像コンテンツタイプ検出、抽出及び送信の機能の全部又は一部を実行する。プラグイン310は、一実施例ではクライアント106にインストールされないが(すなわち、クライアント106のディスクに書き込まれないが)、ブラウザ308に登録され、使用中、メモリ204a内に保存されている。プラグイン310は、捕捉した画像又はビデオストリームを分析し、画像中のコンテンツタイプを検出する。例えば、プラグインは、(コンテンツタイプがテキストであった場合)画像がテキストのようなものであるか否かを検出するよう構築される。プラグイン310の一例は、図4を参照しながらさらに説明される。
【００４４】
図3Bを参照しながら、サーバ107のメモリ部204bの一例を説明する。説明の簡明化を図るため、同一の又は類似の機能を有する要素について、同様な参照番号が使用される。一実施例では、サーバ107のメモリ部204bは、オペレーティングシステム302、選択的に1つ以上のアプリケーション304、制御モジュール306、配信モジュール320、転送モジュール322及びプラグインストレージ324を有する。オペレーティングシステム302、1つ以上のアプリケーション304及び制御モジュール306は説明済みであるので、重複的な説明は省略される。追加のモジュール320-324が、システム100で通信及び協同するためにバス208によりプロセッサ202に結合される。
【００４５】
配信モジュール320は、ブラウザ308からのリクエストに応答して、プラグイン310をクライアント106に送信するソフトウエア及びルーチンである。プラグインストレージ324及びクライアント106と通信するため、配信モジュール320はバス208に結合される。一実施例では、配信モジュール320は、プラグインストレージ324からプラグイン310を取り出し、プラグイン310を含むHTTPレスポンスを生成し、そのHTTPレスポンスをクライアント106に送信する。別の実施例の場合、配信モジュール320は、プラグイン310を要求しているブラウザの性能に合わせてプラグインを選択してもよい。
【００４６】
転送モジュール322は、クライアント106及び認識サーバ108間でデータ及びコマンドを送信するソフトウエア及びルーチンである。特に、プラグイン310がクライアント106に送信され、ブラウザ308に登録されると、プラグイン310は転送モジュール322と通信する。転送モジュール322は、クライアント106からリクエストを受信し、それらを認識サーバへ伝送する。同様に、転送モジュール322は、認識サーバ108からリクエストを受信し、それらをクライアント106に送信する。このように、転送モジュール322は、クライアント106のプラグイン310と認識サーバ108との間の通信を効果的に促す。このサーバ107は、リクエスト/レスポンス(要求/応答)プロトコルの観点から説明されてきたが、当業者は、適切な様々な他の如何なる通信プロトコルが使用可能であることを認識するであろう。当業者は、転送モジュール322が他のウェブサーバ又はプロキシの機能を提供してもよいことを認識するであろう(その機能は、例えば、転送すること、履歴をとること、認証すること、誤りを処理すること、暗号化すること及びセキュリティを高めること等を実行するものである。)。
【００４７】
プラグインストレージ324は、1つ以上のプラグイン310を格納するためのメモリ領域204bである。一実施例の場合、プラグインストレージ324は複数の異なるプラグインを格納し、各プラグインは、或る特定のブラウザ及びそのブラウザで動作する付属物(アドオン)に適合したものである。これは有利である。なぜなら、その特定のプラグインは、あるタイプのブラウザについて最適化され、そのブラウザでリクエストだけでなく他の機能も利用可能にできるからである。従って、ブラウザやアドオンの特定のバージョンやブランドにプラグインを合わせることができる。
【００４８】
サーバ107及びそのメモリ204bは個々のモジュールとして説明されてきたが、他の実施例において、その機能が認識サーバ108及びそのメモリ204cに組み込まれてもよく、認識サーバ108はクライアント106と直接的に通信可能であるようにしてもよいことを、当業者は認識するであろう。
【００４９】
図3Cを参照しながら、認識サーバ108のメモリ部204cの一例を説明する。再び、説明の簡明化を図るため、同一の又は類似の機能を有する要素について、同様な参照番号が使用される。一実施例では、認識サーバ108のメモリ部204cは、オペレーティングシステム302、選択的に1つ以上のアプリケーション304、制御モジュール306、通信モジュール330、特徴抽出モジュール332及び検索モジュール334を有する。オペレーティングシステム302、1つ以上のアプリケーション304及び制御モジュール306は説明済みであるので、重複的な説明は省略される。追加のモジュール330-334が、システム100で通信及び協同するためにバス208によりプロセッサ202に結合される。本発明は、コンピュータのメモリ部204のモジュール又は一部分として説明されるが、そのモジュール又は一部分は、永続的なデータストレージ装置206のような他の媒体に格納されてもよいこと、及びモジュール又は一部分は、クライアント/サーバ環境でのような複数の様々な要素を有するネットワーク220の中で分散されてもよいことを、当業者は認識するであろう。
【００５０】
通信モジュール330は、サーバ107及びデータベース110間でデータ及びコマンドを送信するソフトウエア及びルーチンである。通信モジュール330は、サーバ107と通信し、クライアント106のブラウザ308との間でデータ及びコマンドを送受信する。通信モジュール330は、データベース110と通信し、問い合わせ(query)を行い、ファイル、データ及びコマンドを含む問い合わせ結果を受信する。通信モジュール330は、特徴抽出モジュール332及び検索モジュール334とも通信する。例えば、通信モジュール330は、サーバ107から画像を受信し、それを特徴抽出モジュールに提供して分析する。同様に、通信モジュール330は、検索モジュール334からデータを受信し、それをサーバ107に送信し、クライアントに転送する。
【００５１】
特徴抽出モジュール332は、画像を分析し、検索に使用可能な判断基準を生成するソフトウエア及びルーチンである。一実施例では、特徴抽出モジュール332は、通信モジュールに結合され、抽出された画像を受信する。代替実施例では、抽出された画像が受信されると、特徴抽出モジュール332はその画像を個々の構成部分に分解する。例えば、画像はテキスト(文字)であることが判断された場合、特徴抽出モジュール332は、そのテキストを単語(又は文字若しくは文)に分解する。テキストの例の場合、画像特徴が抽出され、関連するxmlファイルが生成され、そのxmlファイルは、印刷されたテキスト及びテキスト枠の位置を含む。このような特徴抽出プロセスについては、米国特許出願第11/461,017号で説明されており、その内容全体が本願のリファレンスに組み入れられる。
【００５２】
メモリ部204cの場合、特徴抽出モジュール332は、クライアント106から受信した画像に基づいて、情報の認識を行うソフトウエアを有する。例えば、文書及びテキスト認識の場合、ソフトウエアは、様々なテキストに基づく認識を行うプログラムを含み、そのような認識は、例えば、MMRに基づく認識、OCRに基づく認識、言葉の境界に基づく認識等である。バーコードの場合、タスマン(Tasman)、クイックマーク(Quickmark)又は類似のソフトウエアが使用可能である。指紋又は顔を認識する場合、当該技術分野で既知の生体認証による照合アプリケーションが使用されてもよい。例えば、生体認証による認識については非特許文献2に説明されている。顔認識については非特許文献3に説明されている。顔検出については非特許文献4に説明されている。指紋認識については非特許文献5に説明されている。これらの文献の内容は本願のリファレンスに組み入れられる。
【００５３】
検索モジュール334は、データベース110を検索するソフトウエア及びルーチンである。検索モジュール334は、特徴抽出モジュール332に結合され、その特徴抽出モジュール332で用意された検索の基準を受信する。一実施例では、特徴抽出モジュール332は、検索モジュール334がキーワードとして使用するテキスト画像特徴(言葉)を生成又は特定し、例えばデータベース110に保存されている、合致する情報(コンテンツ)を、文書認識検索により発見する。別の実施例の場合、特徴抽出モジュール332はバーコード認識を実行し、検索モジュール334で使用される識別番号を生成し、検索を実行する。さらに別の実施例の場合、特徴抽出モジュール332は、顔認識を実行し、人の名前を生成し、検索モジュール334は、データベースやリンクトイン(Linkedin)のようなソーシャルネットワークで人捜しを実行するのに使用される。検索モジュール334は、データベース110に対して問い合わせを行い、認識結果を受信し、その認識結果は、通信モジュール330及びサーバ107を介してクライアントに返される。
【００５４】
メモリ部204cも、1つ以上のアプリケーションプログラム304を含み、限定ではないが、描画アプリケーション、ワードプロセッシングアプリケーション、電子メールアプリケーション、検索アプリケーション及び財務アプリケーション等を含む。別のアプリケーション304は、紙に基づくフォトウィキ(photo-wiki)であり、単に、物理的な地図紙面上で所望の場所でカメラを単に指図することで、撮影した写真を地図紙面(及びその電子バージョン)の特定の場所に付ける。多くの他のアプリケーションが存在し、例えば、文書データベースにアクセス又はブラウズするための新規なユーザインターフェース、ディジタイズペン及びペーパー、地図ナビゲータ、コピー及びスキャンのセキュリティ、カメラゲーム、及び著作権保護のための複製検出等である。
【００５５】
さらに、文書の場合、別のアプリケーション304は、注釈を付けること、付加情報、オーディオ又はビデオクリップをリンクすること、文書に関して電子商取引又はソーシャルネットワークを構築すること、認識した文書に教育的なマルチメディアを関連付けること等を可能にする。アプリケーション304の具体例については、2008年5月31日付けで出願された“Ad Hoc Paper-Based Networking with Mixed Media Reality”と題する米国特許出願12/060号に記載されており、その出願の内容全体は本願のリファレンスに組み入れられる。
【００５６】
プラグイン310
図4を参照するに、本発明の一実施例により構築されたブラウザ又はプラグインのブロック図が示されている。例えば、プラグイン310は、クライアント106で動作する.swfファイルとして実現され、画像中のテキストを検出する。一実施例では、プラグイン310は、ユーザインターフェースモジュール402、捕捉モジュール404、検出モジュール406及び送信モジュール408を有する。
【００５７】
ユーザインターフェースモジュール402は、図10-17Bを参照しながら後に図示及び説明されるユーザインターフェースを生成するソフトウエア及びルーチンである。一実施例では、ユーザインターフェースモジュール402は、ユーザに対する視覚的なフィードバックを生成するブラウザ308と共に動作し、ウェブに基づく画像情報検出プロセスを示す。ユーザインターフェースモジュール402は、ユーザインターフェースを介してユーザからコマンド及びデータを受信する。ユーザインターフェースモジュール402は、ウェブに基づくコンテンツタイプ検出プロセス及び文書認識結果の表示を提供し、ある実施例では複数のウェブページを生成する。一実施例では、ユーザインターフェースモジュールは図10Aに示されるユーザインターフェース1000を生成する。例えば、文書サーバが使用される例の場合、文書が認識されると、その文書に関する情報の集まりを含むもののウェブページが生成され、その情報は、例えば、マークされたセクション、印の付いた章、ユニフォームリソースロケータ(URL)によるリンク、他の文書に対するリンク、メディアクリップ等である。図11はこの例に対応するユーザインターフェース例1100を示す。
【００５８】
捕捉モジュール404は、情報102の1つ以上の画像を捕捉する捕捉装置104を制御するソフトウエア及びルーチンである。画像は、様々な実施例に応じて、ビデオフレームでもよいし、静止画等でもよい。捕捉モジュール404は、捕捉装置104から画像を受信し、その画像を一時的に保存し、検出モジュールによる分析に備える。捕捉モジュール404は、検出モジュール406及び送信モジュール408に結合される。実行される情報検出のタイプによらず、捕捉モジュール404は或る画像を生成し、その画像は、バーコード検出、テキスト検出、指紋検出、顔検出、又は他の任意のタイプの検出等であるか否かの更なる分析に使用可能である。
【００５９】
検出モジュール406は、画像を分析することで、1つ以上の画像から或るタイプの情報を検出するソフトウエア及びルーチンである。テキスト検出機能を発揮する形態におけるコンテンツタイプ検出例が、後に図8,9と共にさらに詳細に説明される。テキスト検出だけでなく、表情又はオブジェクト認識の場合、プラグイン310は、色の閾値化を行う分析(例えば、ライトウェイト顔検出−lightweight face detection)を行うこともできる。動作する際、プラグイン310は、日時、場所、クライアント装置の演算条件等のようなクライアントパラメータに基づいて修正可能である。一実施例では、検出モジュール406は予備的な分析を実行し、実際の認識ではなく簡易な分析を行い、画像がテキストを含んでいるか否か及びそれ故に完全な認識処理に備えて画像が送信されるべきか否かを判断する。検出モジュール406は、捕捉モジュール404に結合され、捕捉された画像を受信する。
【００６０】
送信モジュール408は或るソフトウエア及びルーチンであり、捕捉モジュール404により捕捉された画像を選別し、それらをビットマップに変換してサーバ107に送信する。送信モジュール408は捕捉モジュール404に結合され、画像を受信する。送信モジュール408は、検出モジュール406にも結合され、所望のタイプの情報が検出されたことの通知を受信する。一実施例では、送信モジュール408は、捕捉モジュール404で捕捉した画像を選別し、検出されたコンテンツタイプを含む1フレームのみを送信する。捕捉装置からの多数のビデオフレームを送信するのではなく、1つの画像フレームを認識用に送信できることは、特に有利である。これは、転送を非常に高速化し、しかもクライアント106のネットワーク接続遅延に影響を及ぼさない。上述したように、送信モジュール408は、捕捉モジュール404から受信したそのような画像を取得し、その画像をビットマップに変換し、サーバ107に対する(ひいては認識サーバ108に対する)HTTPリクエストの一部としてそのビットマップを送信する。代替実施例では、送信モジュール408は、複数のビットマップファイルを送信し、複数のビットマップファイルの各々が、捕捉モジュール404から受信した画像に対応していてもよいし、或いは、捕捉モジュール404から受信した総ての画像についてのビットマップファイルを送信してもよい。
【００６１】
代替的なコンフィギュレーション
図5A-5Dは、データベース110と共に使用される、クライアント106及びサーバ108のアーキテクチャに関する4つの異なる構成例を示し、これらのアーキテクチャではウェブに基づくコンテンツタイプ検出が行われる。これら4つの例が具体的に説明されるが、当業者は、本発明の精神から逸脱せずに構築可能な他のアーキテクチャを多数認識するであろう。簡明化の観点から、アーキテクチャは、捕捉モジュール404、検出モジュール406、特徴抽出モジュール332及び検索モジュール334のような主な要素と共に説明されるが、実現の際、図示されていない他のモジュールが必要になる。ある実施例の場合、クライアント106、サーバ107及び認識サーバ108のメモリユニット204a,204b,204cは、図5A-5Dのアーキテクチャにおいて、以下で説明されるモジュールを含んでもよい。
【００６２】
図5Aは第1アーキテクチャ502を示し、クライアント106は、捕捉モジュール404及び検出モジュール406を含み、認識サーバ108は、特徴抽出モジュール332及び検索モジュール334を含む。この形態は、サーバ108における豊富なリソースによる情報認識と共に、クライアント106における簡易な予備的判断を行う情報検出に有用である。
【００６３】
図5Bは第2アーキテクチャ504を示し、クライアント106は、捕捉モジュール404、検出モジュール406、特徴抽出モジュール332及び検索モジュール334を含む。この例の場合、モジュール404，406，332及び334は、クライアント106及びサーバ108があたかも1つの装置上に存在するかのように動作する。さらに、この例の場合、検索モジュール334はクライアント106のストレージを検索データベースとして使用し、デスクトップ検索機能を発揮する。この例の場合、デスクトップ検索機能は、別個のデスクトップ検索アプリケーションと共に使用され、例えば、アプリケーションプログラムインターフェース(API)を用いてその機能にアクセスすることで、検索が行われる。この例の場合、図10に示される標準的なインターフェース1000に加えて、追加的なインターフェースが、デスクトップ検索機能に関連して表示され、例えば、図12のユーザインターフェース1200のように表示される。
【００６４】
デスクトップ検索機能が使用される別の実施例の場合、文書が認識されると、文書に関連するウィキ(wiki)ページ又はブログページが用意され、これらのページは、ウィキ又はブログを編集することで、或いはMMR支援編集及び注釈技術を使用することで、編集可能である。このような技術については、2008年5月31日付けで出願された“Indexed Document Modification Sharing with Mixed Media Reality”と題する米国特許出願番号第12/060,206号にて説明されており、その出願の内容全体は本願のリファレンスに組み入れられる。図12は、この例に関するユーザインターフェース1200の一例を示す。
【００６５】
図5Cは第3アーキテクチャ506を示し、クライアント106は、非常に簡易なウェブプラグイン310しか含んでおらず、そのウェブプラグインは、捕捉モジュール404を含み、捕捉した画像総てをサーバ108に送信する。サーバは、モジュール406、332及び334を含む。この例では、サーバ108は検出モジュール406を含み、コンテンツタイプ検出機能を実行する。
【００６６】
図5Dは他の(第4)アーキテクチャ508を示し、クライアント106は、捕捉モジュール404、検出モジュール406及び特徴抽出モジュール332を含み、認識サーバ108は、検索モジュール334を含む。この形態は、大きな文書や他の大きなデータの集合の場合に有用であり、その場合、コンテンツタイプ(例えば、テキスト)の識別及び検索パラメータ(例えば、テキストの中で識別される検索の特徴や用語)の決定が、大きな集合(例えば、文書の大群)に対する検索を要求する前に(例えば、キーワード検索の問い合わせをする前に)、ブラウザプラグイン310を用いてクライアント106で実行可能である。この例の場合、図10に示される標準的なユーザインターフェース1000に加えて、追加的なインターフェースが、アルフレスコ(Alfresco)文書管理サーバのような大きな集合に関連して表示され、例えば、図11のユーザインターフェース1100に示されている。
【００６７】
様々なコンテンツタイプが、モジュール404、406、332及び334を介して検出され、例えば、テキスト検索の場合には文書/テキスト認識が、身元検索の場合にはバーコード認識が、人捜しの場合には顔認識が(例えば、ソーシャルネットワークソフトウエアを利用して)行われる。このように一実施例ではモジュール404、406、332及び334は、検索エンジンに対する入力として使用され、例えば、この例の場合データベース110は文書サーバその他の大きなデータコレクションである。
【００６８】
動作方法及びユーザインターフェース
図6は、本発明によるウェブでのコンテンツタイプ検出方法例のフローチャート600を示す。本方法はウェブブラウザをウェブページに接続することから始まり（ステップ０２）、そのウェブページはウェブブラウザ308を介して表示される。後述のステップ606ないし610で説明されるような様々なサービスを実行するため、ブラウザ308と共に使用されるプラグイン310が受信される（ステップ６０４）。一実施例では、プラグイン310は図4に関して説明されたように.swfファイルを構成する。しかしながら、プラグイン310は、ホストアプリケーション(ブラウザ308)とやり取りを行って本願で説明される機能を提供する如何なるコンピュータプログラムでもよい。
【００６９】
次に、プラグイン310の例えばサービスとして、関連する捕捉装置104を用いて画像が捕捉される（ステップ６０６）。捕捉装置104は例えば移動電話機であり、一実施例では、移動電話機のカメラを利用して画像の捕捉が実行される。しかしながら、他の実施例では他の捕捉方法及び装置が使用されてもよく；例えば、スキャナにより文書がスキャンされてもよいし、或いは印刷時にプリンタドライバにより文書が捕捉されてもよい。次に、捕捉された画像が分析され（ステップ６０８）、画像が含んでいるコンテンツタイプを、例えばプラグイン310のサービスとして突き止める。例えば分析は、捕捉画像がテキスト情報を含んでいるか否か、バーコード情報を含んでいるか否か、指紋情報を含んでいるか否か、顔その他の識別可能な対象物を含んでいるか否か等の判断を行う。一実施例の場合、様々なコンテンツタイプ判別のために異なるプラグインが使用される、例えば、あるプラグインがテキスト検出に使用され、別のプラグインがバーコード検出に使用される、等々である。ステップ608での分析が完了し、画像が所望のタイプであった場合、その画像はある識別子と共にマークされ、分析、認識及び/又は他の後の処理に備えて送信される。そして、画像及び識別子は、例えば、確認用の認識サーバ108に送信される。一実施例の場合、認識サーバ108は、本質的にはクライアント106上に存在し、それ故に事実上「送信」は不要である。
【００７０】
以後速やかに又は後のある時点において、(例えば、認識サーバによる)認識結果が、(例えば、認識サーバ108から)受信される（ステップ６１２）。その認識結果は、認識されたコンテンツ(情報)に至るリンクが提供されることを引き起こし、及び/又は判別された画像に関する認識情報が表示されることを引き起こす（ステップ６１４）。
【００７１】
図7は、画像コンテンツタイプ検出法の本発明の一実施例による動作例を示す。先ず、クライアント側のウェブブラウザ308は、サーバ107が提供するウェブページに接続する702。サーバ107はブラウザ308にプラグイン310を提供する。プラグイン310は、ステップ706-712,724-726の機能をもたらす。一実施例では、サーバ107はウェブサーバでもよい。
【００７２】
次に、プラグイン310は、上述したような画像捕捉706及び分析708を指図する。これらのプロセス706,708の間、プラグイン310は、インターフェースディスプレイ(例えば、1000)を提供し700、ユーザが進行中のプロセスを眺められるようにする。図8及び9では、分析例708がさらに詳細に説明される。
【００７３】
分析（708）が完了すると、画像に識別子が付けられる712。画像及び識別子はその後にサーバ107に送信され（714）、認識サーバ108へ発呼し(716)、宛先ロケーションに認識結果情報を提供する。認識サーバ108は画像コンテンツの認識を行い(718)、成功すると、コンテンツ識別子を出力し（720）、認識した画像を宛先ロケーションに保存する。一実施例の場合、認識の成功は、ある動作にも関連付けられ、画像コンテンツの認識が、ビデオクリップの再生、文書履歴の記録、文書の抽出等の処理を引き起こすようにする。例えば、画像はバーコードの場合、認識の成功がそのような処理を引き起こしてもよい。
【００７４】
サーバ107はプラグイン310に認識結果を通知する（722）。プラグイン310は、インターフェース(例えば、1000)を制御し、コンテンツのサムネイル表現を表示し（724）、認識されたコンテンツに至るリンクを更新する（726）。
【００７５】
図8は、テキスト検出モジュールによる画像テキスト検出法の本発明の一実施例によるフローチャート800を示す。
【００７６】
本方法はテキスト検出用の画像を受信することから始まる（ステップ８０２）。隣接する画素同士の勾配(gradient)が計算される（ステップ８０４）。一実施例の場合、計算は、「ステップ」毎の画素について行われ、オーバーヘッドを減らす。例えば、計算は10番目の画素毎に実行される。次に、計算された勾配がエッジ閾値を超える場合、エッジカウンタが増やされる(インクリメントされる) （ステップ８０６）。一実施例では、水平及び垂直方向(横方向及び縦方向)の勾配が算出され、各エッジカウンタが増やされる。次に、垂直及び水平方向のエッジカウント値が乗算され（ステップ８０８）、テキスト検出閾値と比較される（ステップ８１０）。乗算されたエッジカウント値が閾値を超える場合、画像はスタンプされ(画像に識別が付与され) （ステップ８１２）、サーバ108への送信に備える。図9は上記の方法に関するエッジ検出の実際のスクリプト例を示す。
【００７７】
図10Aは、本発明の一実施例による画像コンテンツタイプ検出法で使用されるユーザインターフェース1000を示す。一実施例によるインターフェース1000は、捕捉画像部1002、コンテンツタイプ識別部1004、検索画像表示部1006、及び認識コンテンツ部1008を含む。
【００７８】
図示の例の場合、コンテンツタイプはテキストである。捕捉画像部1002は、捕捉装置104が取得したような画像(目下の例では、テキスト文書の一部分)を表示する。コンテンツタイプ識別部1004は、所定のコンテンツタイプ(すなわち、テキスト)が画像の中で特定されていることをユーザに示す。インターフェース1000は、色及び棒グラフを使用して、画像が所望のコンテンツタイプであることの尤度(確からしさ)を表示してもよい。検索画像表示部1006は、合致するコンテンツを探すのに使用される画像の部分を示す。認識コンテンツ部1008は、確認されたコンテンツのサムネイル表現をユーザに表示する。この例の場合、認識プロセスは未完了であるので；認識コンテンツ部1008に何の情報も示されていない。
【００７９】
図10Bは、合致する文書が発見された場合のユーザインターフェース例を示す。図10Bは図10Aと同様であるが、認識されたコンテンツリンク1010として、認識コンテンツ部1008に文書が示されている点が異なる。この例における認識されたコンテンツリンク1010は、その認識された文書に至るPDFアイコンである。認識されたコンテンツリンク1010は、保存された合致するコンテンツに至る直接的なリンクをユーザに与える。
【００８０】
図10Bは結果ウインドウ1012も示している。一実施例の場合、認識されたコンテンツリンク1010をユーザがクリックすると、結果ウインドウ1012は認識した文書を表示する。別の実施例の場合、認識されたコンテンツリンク(アイコン)1010をユーザがクリックすることを必要とせずに、結果ウインドウ1012が認識文書と共に自動的に表示される。さらに別の実施例の場合、例えば、捕捉画像部1002に応じて1つより多くの文書を認識及び抽出するために、結果ウインドウ1012は文書のリストを表示する。
【００８１】
図11は、文書サーバを利用する画像テキスト検出法により生成された本発明の一実施例によるユーザインターフェース1100を示す。
【００８２】
ユーザインターフェース1100は、文書サーバ部1102及び画像識別部1104を有する。画像認識部1104は、図10Aに関して上述したユーザインターフェース1000と同様であり、捕捉画像部1002、コンテンツタイプ識別部1004、検索画像表示部1006、認識コンテンツ部1008及び認識コンテンツリンク1010を含む。
【００８３】
文書サーバ部1102は、リストのスペース(list of space)1106を有し、そのスペース内に関心のある文書が位置付けられる。文書サーバと共に使用される場合、画像テキストを検出する本方法は、文書サーバに収容されている文書を探す。文書サーバが使用される場合、いったん文書が認識されると、それに関するウェブページが用意され、例えばそのウェブページは図11に示されるようなユーザインターフェース1100を有する。
【００８４】
図12は、ブログ文書と共にウェブテキスト検出法を使用する本発明の一実施例によるシステム例の機能ブロック図を示す。図12に示されるブログ文書と共にウェブテキスト検出を行うシステムは、図示のブログ文書機能を伴う、図6のウェブ画像コンテンツタイプ検出法の一例である。
【００８５】
この例の場合、ユーザは、文書1202の一部を捕捉し（1210）、その文書に関連するオーディオ又はテキストのコメント（1212）、マーキングされたセクション1214、ユニフォームリソースロケータ(URL)へのリンク1216、他の文書へのリンク1218、メディアクリップ等の他の情報を関連付ける。この収集された情報は文書サーバ1220に送信され、そこでは例えばMMRを使って文書認識が行われる。認識され注釈が付いた文書1222は、図13に関して詳細に説明されるようなウェブページグラフィカルユーザインターフェース1300としてユーザに示される。
【００８６】
図13は、ブログ文書と共にウェブテキスト検出を行う本発明の一実施例による方法により生成されたウェブページユーザインターフェース1300を示す。ウェブページユーザインターフェース1300は、認識された文書1302(図12の捕捉文書1202に関連する)と、文書1302に関連する様々な追加的な情報項目1304(例えば、図12の1212-1218に対応するもの)と、視覚的に識別可能な表示1306を有する(追加的な情報項目各々は、文書1302内に存在している)。
【００８７】
図14は、デスクトップ検索アプリケーションにより画像テキスト検出を行う本発明の別の実施例による方法で生成されたユーザインターフェース1400を示す。
【００８８】
ユーザインターフェース1400は、デスクトップ検索部1402及び画像認識部1404を有する。画像認識部1404は、図10A-10Bに関して説明したようなユーザインターフェース1000を有し、捕捉画像部1002、コンテンツタイプ識別部1004、検索画像表示部1006、認識コンテンツ部1008及び認識コンテンツリンク1010を含む。デスクトップ検索部1402は、捕捉された画像から認識されたテキストに対応するデスクトップ検索結果1406の表示を含む。デスクトップ検索結果1406は、電子メール、ファイル及びクライアント106に記録されたウェブ履歴エントリを含んでもよい。一実施例の場合、デスクトップ検索結果1406の各々は、ファイル名や、ハイライトされた検索項目を伴う小さな断片記事(snippet)等を含む。本発明によるデスクトップ検索アプリケーションが使用される場合、いったん文書が認識されると、文書に関するウェブページが、ユーザインターフェース1400のように示される。
【００８９】
図15は、デスクトップ検索アプリケーションによりウェブ画像テキスト検出を行う本発明の一実施例によるシステム及び方法の機能ブロック図である。図15に示されるデスクトップ検索アプリケーションによる画像テキスト検出を行うシステムは、図示のデスクトップ検索機能と共に、図6のウェブ画像コンテンツタイプを検出する方法の一例である。
【００９０】
この例の場合、クライアント106はユーザコンピュータ(PC又は移動装置)であり、認識サーバ108は、デスクトップサーチアプリケーションであり、おそらくは、ユーザコンピュータ上にある。そして、クライアント106及び認識サーバ108は、破線枠内に示され、それらが実際は単体の装置内に含まれてもよいことを示す。
【００９１】
図示の例の場合、文書が印刷され1502、印刷が捕捉され1504、MMRを使って保存される。このような技術については上述した出願番号第11/461,017号にて説明されており、本願のリファレンスに組み入れられている。印刷捕捉1504は、図5A-6に関して説明された捕捉404,606の一例である。保存ステップは、MMRデータベース1334に保存することを含み、MMRデータベースは、画像に基づくテキスト特徴(例えば、インビジブルジャンクション(invisible junction))又は言葉の境界に基づく特徴を含み、且つ保存ステップはXML印刷捕捉データベースに保存することを含み、XML印刷捕捉データベースは、印刷されたテキストのXMLファイル及びテキスト枠の位置を含む(これらの情報は、例えば、ステップ1504で印刷ドライバから受信される。)。
【００９２】
デスクトップサーチアプリケーションと共にウェブ画像テキスト検出が始まると、ユーザは文書の一部分を捕捉する1512。文書1514及び文書内で捕捉する正確な位置が、MMRデータベース1508を利用することで突き止められる。その位置情報に基づいて、XML印刷捕捉ファイルが分析され、その位置及びページにおける正確なテキストを取得する、すなわちOCRプロセスを使用せずに取得できる。テキストから、キーワード又はNグラム(n-gram)が抽出可能である1516。これらのステップは、一実施例による図5A-5Dの分析504及び特徴抽出332の一例である。抽出されたキーワード又はNグラムは、デスクトップサーチアプリケーションインターフェース(API)を利用して、デスクトップサーチアプリケーションデータベース1520に送信される。デスクトップサーチの結果は、例えば図14のユーザインターフェース1400のように、ウェブページで表示される。
【００９３】
図16は、本発明の一実施例により、画像コンテンツタイプ検出方法により生成されたユーザインターフェース例を示す。この例の場合、所定のコンテンツタイプはQRコードであるが、図16-17Bはバーコードを利用する例にも対応する。一実施例によるユーザインターフェース1600は、捕捉画像部1602、コンテンツタイプ識別部1604及び進行表示部1606を含む。捕捉画像部1602は、カプリオR5ビデオツアー(CaplioR5-Video Tour)と題する画像とQRコードを含むことに留意を要する。
【００９４】
図示の例の場合、所定のコンテンツタイプはQRコードである。捕捉画像部1602は、捕捉装置104により捕捉された画像(ここでは、QRコードを伴う文書)を表示する。コンテンツタイプ識別部1604は、画像の中で所定のコンテンツタイプが確認されたか否か、及びそのコンテンツタイプがどの程度多く確認されたかを示す。進行表示部1606は、一致するコンテンツを探すのに使用される画像を送る進捗度合いを表示する。
【００９５】
図17Aは、本発明の一実施例により、画像コンテンツタイプ検出方法で生成されたユーザインターフェース1700を示す。ユーザインターフェース1700は、画像識別部1702及びコンテンツ部1704を有する。画像識別部1702は、図16に関して説明されたユーザインターフェース1600と同様であり、捕捉画像部1602、コンテンツタイプ識別部1604及び進行表示部1606を含む。コンテンツ部1704は、検索に関連するアプリケーションに対応し、目下の例の場合、ビデオ共有ウェブサイトである。
【００９６】
図17Bは、捕捉されたQRコード(1602)に合致するビデオが発見された後の図17Aのユーザインターフェースを示す。この例の場合、コンテンツ部1704は、捕捉されたQRコード(1602)に対応するビデオ1706「（公序良俗違反につき、不掲載）-ビデオツアー(（公序良俗違反につき、不掲載）−Video Tour)」を示す。QRコードはサーバで認識されており、そのQRコードのビデオ共有ウェブサイトURLが返され、コンテンツ部1704でビデオの再生を開始する。
【００９７】
QR検出は、テキスト認識に関して図8と共に説明されたプロセスと同様になされる。特に、勾配が算出され804、閾値を適用し、QRコードが画像中に存在するか否かを判断する(806-810)。QRコードの閾値は、多くの暗い画素から明るい画素への遷移の有無に対応する。その場合、画像はスタンプされ(識別子が付与され)、例えば上述したようなタスマンデコーダを利用して、デコード用にサーバに送信される。バーコード検出の場合については、非特許文献6に記載されている。
【００９８】
以上、本発明の実施例の記述が、例示及び説明を意図してなされてきた。その説明は余すところのないものであることを意図するものではないし、本発明を開示された詳細な形態に限定しようとするものでもない。多くの修正や変形が上記の教示に照らして可能である。本発明の範囲は詳細な説明に限定されず、原則として本願の特許請求の範囲によってしか限定されないことが意図される。当業者に理解されるように、本発明の精神や本質的特徴から逸脱せずに、本発明は他の特定の形態で実施されてもよい。同様に、モジュール、ルーチン、特質、属性、方法その他の態様についての特定のネーミングや区分けは、必須でもなく重要でもない。本発明又はその特徴を実現する手段は、名称、区分け及び／又はフォーマットを別様に持っていてもよい。
【００９９】
更に、関連技術分野で通常の知識を有する者に明らかなように、モジュール、ルーチン、特質、属性、方法その他の本発明の形態は、ソフトウエアとして、ハードウエアとして、ファームウエアとして、又はそれらの組み合わせとして実現可能である。本発明のコンポーネント（具体例は、モジュール）がソフトウエアとしてどこで実現されようとも、そのコンポーネントは、スタンドアローンプログラムとして、より大きなプログラムの一部として、個々の複数のプログラムとして、静的に又は動的にリンクしたライブラリとして、カーネルローダブルモジュールとして又はデバイスドライバとして実現可能であり、及び／又はコンピュータプログラミングの技術分野で通常の知識を有する者にとって現在既知の又は将来既知になる他の如何なる方法によっても実現可能である。更に本発明はどの特定のプログラミング言語にも限定されず、どの特定のオペレーティングシステムにも環境にも限定されない。従って本発明に関する開示内容は、例示であることが意図されており、特許請求の範囲で規定される本発明の範囲を限定しようとするものではない。
【先行技術文献】
【非特許文献】
【０１００】
【非特許文献１】Hull, Jonathan J. et al., Paper-Based Augmented Reality, icat, pp.205-209, 17th int’l. Conf. on Artificial Reality and Telexistence (ICAT 2007), 2007
【非特許文献２】A.K.Jain, et al., An Introduction to Biometric Recognition, IEEE Transactions on Circuits and Systems for Video Technology 14:1, 4-20(Jan.2004)
【非特許文献３】W.Zhao, et al., Face Recognition: A Literature Survey, ACM Computing Surveys(CSUR) 35:4, 399-458(2003)
【非特許文献４】E.Hjelmas and B.K,Low, Face Detection: A Survey, Computer Vision and Image Understanding 83, 236-274(2001)
【非特許文献５】D.Maltoni et al., Handbook of Fingerprint Recognition (2003)
【非特許文献６】Jamey Graham et al., The Video Paper Multimedia Playback System, MM’03(Nov. 2003)
【符号の説明】
【０１０１】
100 システム
102 コンテンツ
102a 文書画像
102b バーコード画像
102c 指紋画像
102d 顔画像
104 画像捕捉装置
106 クライアント
107 サーバ
108 認識サーバ
110 データベース
202 プロセッサ
204 メインメモリ
206 データストレージ装置
208 システムバス
210 表示装置
212 入力装置
214 カーソル制御部
216 通信装置
218 入力/出力装置(I/O)
220 信号線
250 制御部
302 オペレーティングシステム
304 アプリケーション
306 制御モジュール
308 ブラウザ
310 プラグイン
320 配信モジュール
322 転送モジュール
334 プラグインストレージ
330 通信モジュール
332 特徴抽出モジュール
334 検索モジュール
402 ユーザインターフェースモジュール
404 捕捉モジュール
406 検出モジュール
408 送信モジュール
【技術分野】
【０００１】
本発明は、画像中の情報検出、抽出及び認識を行う技法に関する。特に、本発明は、ウェブブラウザプラグインを使用して、画像中の情報検出及び画像フレーム抽出を行い、情報認識用の入力を生成するシステム及び方法に関連する。
【背景技術】
【０００２】
電子文書が、コンピュータを使って処理され、そのコンピュータからプリンタに出力され、そして用紙に印刷される環境では、コンピュータ及び電子文書の利用は制限される。いったん電子文書が用紙に印刷されると、文書の紙形式での処理及び電子形式での処理は独立したものになる。印刷及び複写の技術は、静的な印刷媒体(すなわち、紙の文書)及び動的な電子媒体の間の溝を埋めるにはいたっておらず、その動的な電子媒体は、ディジタル通信、ネットワーキング、電子情報の拡布、電子広告、オンライン娯楽及び電子商取引のようなものを含む。
【０００３】
(パーソナルディジタルアシスタント(PDA)装置、携帯電話機(例えば、カメラ付き携帯電話機)及びディジタルカメラ等の)ここ数年の小型携帯コンピュータ装置及び個人電子装置の出現及び増進の一途を辿る普及は、電子的に読取可能で検索可能な形式で利用可能にすることで、及び双方向のマルチメディア機能を導入することで、文書の概念を文書の電子バージョンを含めるように拡張した(このような拡張は、従来の印刷媒体では例を見ないものである。)。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方の電子文書の世界と他方の紙文書の世界との間の隔たりを橋渡しする従来の問題は、引き続き存在する。特に、印刷文書を使って、その紙文書の生成元の電子文書にアクセスすること或いはそれを発見することさえ、依然として非常に困難である及び/又は演算負担が大きい。印刷文書に対応する電子文書を特定及び発見する際の主な障害は、紙文書と電子文書を照合するのに使用可能な電子形式に印刷文書を変換することである。カメラ付き携帯電話やスキャナの普及と共に、印刷文書の画像を捕捉することは容易になってきているが、そのような低品質の画像を電子文書抽出に活用する適切な手法は存在しない。画像が高品質であった場合でさえ、認識に要する演算は、負担が大きく且つ不正確である。
【０００５】
従来技術の主な問題の1つは、僅か数種類の利用可能な認識法が、アプリケーション固有の認識/通信ソフトウエアを、処理時点以前にクライアント装置にインストール済みであることを要することである。
【０００６】
従来技術の別の問題は、紙と通常のコンピュータ装置の組み合わせを使って電子世界と効果的にやりとりする方法(インターフェース)がないことである。コンピュータ画面に単独で表示可能であり且つマウス式のコントローラやキーボードのような入力装置と共に使用される、ツールバー、ボタン及び他のインターフェースのような様々な手段が存在する。しかしながら、用紙その他の触知可能な媒体及び電子文書と共に同時に機能するような適切なインターフェースは存在しない。
【課題を解決するための手段】
【０００７】
本発明は、ブラウザプラグイン(browser plug-in)により、ウェブでの画像中の情報の検出及び画像抽出を行うシステムにより、従来の問題を軽減又は克服する。本システムは、クライアントで初期画像処理を実行し、画像が認識プロセスに相応しいか否かを判断し、そして処理する画像フレームを抽出するので、本システムは有利である。有利なことに、クライアントでインストールを要しないウェブブラウザプラグイン又は他の簡易なプログラムが、クライアント側の処理に利用される。ここで使用されているように、インストールは、プラグイン又は他の軽いプログラムを永続的なストレージに格納すること及び/又はレジストリに対する修正を意味する。一実施例では、プラグイン(プログラム)は、検出用の初期画像分析及びフレーム抽出を実行し、サーバに対して、コンピュータによる認識プロセスを確保する。一実施例では、本発明によるシステムは:画像捕捉装置、ウェブブラウザ、プラグイン及び認識サーバを含む。プラグインは、画像捕捉、分析及び認識サーバへの送信を制御するモジュールを更に有する。捕捉された画像はプラグインにより処理され、所定のタイプの情報(コンテンツ)が画像に含まれているか否か、例えば、画像がテキスト文書であるか否か等を判断する。そして本システムは、捕捉装置及びウェブブラウザを使用して、ユーザが、文書又は他の画像タイプを電子データに結び付けることを可能にする。
【０００８】
本発明は、ウェブベースの画像情報タイプの検出を行う方法も含む。ブラウザプラグインにおける初期分析により、画像中に所定のタイプの情報が検出されると、その画像は、情報認識用の認識サーバに送られる。例えば、画像がテキスト文書であることが画像分析により確認された場合、その画像は、情報認識用の認識サーバに送られる。有利なことに、文書の認識は、文書サーバ又はローカルストレージ(例えば、クライアントのハードドライブ)のような様々な文書ソースと共に実行可能である。有利なことに、クライアント装置に如何なるソフトウエアもインストールする必要なしに、ユーザは、インターネットを利用可能な任意の装置と共に、文書認識の機能にアクセスできる。実行の際、プラグインはクライアントのパラメータに基づいて修正可能である。サーバの側では、文書サーバ等との簡易な統合が実行可能になり、品質保証及びソフトウエア更新が更に簡易になる。
【図面の簡単な説明】
【０００９】
【図１】ウェブ画像情報検出及び画像抽出を行う本発明によるシステム例の機能を示す図。
【図２】本発明の一実施例によるクライアント又は認識サーバを表す機能ブロック図。
【図３Ａ】本発明の一実施例によるクライアントのメモリユニットの一例を示す機能ブロック図。
【図３Ｂ】本発明の一実施例によるウェブサーバのメモリユニットの一例を示す機能ブロック図。
【図３Ｃ】本発明の一実施例による認識サーバのメモリユニットの一例を示す機能ブロック図。
【図４】本発明の一実施例により構築されたブラウザ又はプラグインのブロック図。
【図５Ａ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図５Ｂ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図５Ｃ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図５Ｄ】捕捉モジュール、検出モジュール、特徴抽出モジュール及びサーチモジュールの本発明の一実施例による構成例を示すブロック図。
【図６】ウェブに基づくコンテンツタイプ検出法の本発明の一実施例によるフローチャート。
【図７】ウェブに基づくコンテンツタイプ検出法の本発明の一実施例による動作例を示す図。
【図８】検出モジュールによるウェブでのテキスト検出法の本発明の一実施例によるフローチャート。
【図９】図8の方法に関してエッジ検出を行うスクリプト例を示す図。
【図１０Ａ】本発明の一実施例によるコンテンツタイプ検出方法で使用されるユーザインターフェースを示す図。
【図１０Ｂ】合致する文書が発見された場合の本発明の一実施例によるユーザインターフェースを示す図。
【図１１】文書サーバから受信した情報を示す本発明の一実施例によるユーザインターフェースを示す図。
【図１２】ブログ文書と共にウェブテキスト検出を行う本発明の一実施例によるシステム例の機能ブロック図。
【図１３】ブログ文書と共にウェブテキスト検出を行う本発明の一実施例による方法で生成されたユーザインターフェースを示す図。
【図１４】デスクトップ検索アプリケーションにより画像テキスト検出を行う本発明の別の実施例による方法で生成されたユーザインターフェースを示す図。
【図１５】デスクトップ検索アプリケーションによりウェブ画像テキスト検出を行う本発明の一実施例によるシステム及び方法の機能ブロック図。
【図１６】本発明の一実施例により、画像情報検出方法で生成された第2のユーザインターフェース例を示す図。
【図１７Ａ】本発明の一実施例により、画像情報タイプ検出方法で生成された第3のユーザインターフェース例を示す図。
【図１７Ｂ】本発明の一実施例により、捕捉されたQRコードに合致するビデオが発見された後の図17Aのユーザインターフェースを示す図。
【発明を実施するための形態】
【００１０】
本願で説明される特徴及び恩恵は全てを網羅するものではなく、特に、以下の詳細な説明及び添付図面を参照することで、多くのさらなる特徴及び恩恵が当業者には明らかになるであろう。さらに、本願で使用される言葉は、原則として読みやすさや説明の観点から選択されており、本発明の対象範囲を限定しようとするものではないことに、留意すべきである。
【００１１】
以下、添付図面と共に非限定的な実施例により本発明が説明される。図中、同様な参照番号は同様な要素を指すのに使用される。
【実施例１】
【００１２】
ブラウザプラグインを用いてウェブベースの画像コンテンツタイプ検出及び画像抽出を行うシステムが、説明される。以下の説明において、説明の便宜上、多くの具体的詳細が、本発明の十分な理解をもたらすように説明される。しかしながら、本発明はそのような具体的詳細によらず実施可能であることが、当業者には明らかであろう。また、発明を曖昧にするおそれを避けるため、構造や装置はブロック図で示される。本発明は、例えば、テキスト認識について主に説明されるが、当業者は、本発明が他の如何なるタイプの認識に適用されてもよいことを認めるであろう(例えば、指紋、顔、バーコード等の認識等に適用されてもよい。)。
【００１３】
本明細書における「一実施例」又は「形態」は、その実施例に関して説明される特定の特質、構造又は特徴が、本発明の少なくとも１つの実施例に含まれることを意味する。本明細書の様々な場所で「一実施例」なる用語が使用されているが、それらは全て同じ実施例であることを必ずしも意味しているわけではない。
【００１４】
以下の詳細な説明の一部は、コンピュータメモリ内のデータビットを処理するアルゴリズム及び記号表現で与えられる。これらのアルゴリズムの説明及び表現は、データ処理技術分野の当業者が他の当業者に彼らの仕事内容を最も効率的に伝えるのに使用される手段である。ここで、アルゴリズムは一般に所望の結果に導く首尾一貫した一連のステップと考えられる。そのステップは物理量の物理的処理を必要とするものである。必ずしもそうである必要はないが、通常それらの物理量は、格納、転送、結合、比較その他の処理を施すことの可能な電気的な又は磁気的な信号の形態をとる。原則的な一般的な用法の観点から、ビット、値、エレメント、シンボル、キャラクタ、期間、数等としてそれらの信号に言及することが折に触れて便利なことが分かる。
【００１５】
しかしながら、これらの及び類似の用語の全ては、適切な物理量に関連しており且つそれらの量に付された便宜的なラベルにすぎないことに留意を要する。特に断りのない限り、以下の説明から明らかなように、本説明を通じて、「処理」、「演算」、「計算」、「決定」又は「表示」等のような用語を用いる説明は、コンピュータシステム又は同様な電子コンピュータ装置の動作や処理に関連し、その動作や処理は、コンピュータシステムのレジスタ及びメモリの中で物理的な（電子的な）量として表現されるデータを、コンピュータシステムメモリやレジスタその他の情報ストレージ、伝送又は表示装置の中で物理量として同様に表現される他のデータに変換及び処理することが、理解されるであろう。
【００１６】
本発明はここで説明される処理を実行する装置にも関連している。その装置は、必要な目的に応じて特別に構築されてもよいし、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブにされる又は再構成される汎用コンピュータで構築されてもよい。そのようなコンピュータプログラムはコンピュータ読取可能な記憶媒体に格納されてもよく、その記憶媒体は、限定ではないが、フロッピディスク、光ディスク、CD-ROM、磁気光ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード等の如何なるタイプのディスクを含んでもよいし、或いは電子的な命令を格納するのに指摘した如何なるタイプの媒体を含んでもよく、ディスクも媒体もそれぞれコンピュータシステムバスに結合される。
【００１７】
最後に、ここで説明されるアルゴリズム及び表示は、特定のコンピュータその他の装置のどれにも固有に関連するものではない。ここで教示されるプログラムは様々な汎用システムと共に使用されてよく、或いは、必要な方法ステップを実行するために、さらに特化した装置を構築することが便利なことが分かるかもしれない。これら様々なシステムに必要な構造は以下の説明から明らかになるであろう。更に、本発明は特定のプログラミング言語のどれにも依存しない。ここで説明される本発明の教示内容を実現するのに様々なプログラミング言語が使用されてよいことが分かるであろう。
【００１８】
システム概要
図1を参照するに、ウェブベースの画像コンテンツタイプ検出を行う本発明によるシステム例100が示されている。ここで使用されているように、コンテンツタイプは、捕捉装置104で取得される画像がとり得る情報の様々な形式を指し、例えば、テキスト(文字)、バーコード、指紋及び顔の特徴等である。本発明は、ウェブブラウザプラグインを使用して、捕捉した画像を分析し、その画像の中の所定のコンテンツタイプを検出する。例えば、プラグインは、(例えば、テキストが所定のコンテンツタイプであった場合)画像がテキストのようであるか否かを判断するのに使用されてもよい。本実施例では、システム100は:クライアントに関連する画像捕捉装置104、認識サーバ108及びデータベース110を含み、それらは情報102の画像を取得し、その画像102からコンテンツタイプを特定するように構築される。いったん特定されると、認識サーバ108を用いて、対応する情報が抽出可能になる。ある実施例の場合、クライアント106及び認識サーバ108の間にサーバ107が含まれる。図1は、情報102の画像を捕捉するシステム100の例を示し、情報の画像は、例えば、文書又は文書の一部分102a、バーコード102b、指紋102c、顔又は顔の画像102d等の画像である。クライアント106は、ウェブベースのプラグインを使用して、捕捉した画像の中でコンテンツタイプを検出し、抽出して画像処理を行い、その画像を認識サーバ108に送り、抽出した画像がデータベース110に保存済みの情報と比較できるようにする。
【００１９】
画像捕捉装置104は、当該技術分野で既知の如何なるタイプのものでもよい。例えば、画像捕捉装置104は、ウェブカメラ、携帯電話に組み込まれたカメラ、ディジタルカメラ等でもよいし、ビデオストリーム又は電子画像を出力する他の如何なるカメラでもよい。画像捕捉装置104は、動画又は静止画の画像を捕捉できる。本発明は、低解像度の画像捕捉装置と共に使用可能である点で、特に有利である。画像捕捉装置104は、クライアント106と通信するように結合される。この通信は、有線又は無線のネットワークを介してもよい。別の例では、画像捕捉装置104は、複合機のスキャナ又は印刷書類を生成するソフトウエアでもよい。更に別の例の場合、画像捕捉装置104は、複合機で印刷された文書の画像を捕捉する印刷捕捉ソフトウエアでもよい。これらは、(不図示の)コンピュータで出力される又は既に印刷されている文書を索引付けするのに使用される。
【００２０】
クライアント106は、画像捕捉、コンテンツタイプ検出、画像抽出、及び画像を認識サーバへ送付すること等を実行し及び/又は制御する。別の例の場合、クライアント106は、特徴抽出も実行し、抽出した特徴を使ってデータベース110を検索する。クライアント106は、画像捕捉装置104に結合され、情報102の画像を受信する。クライアント106は、画像を認識サーバ108に送るサーバ107にも結合される。一実施例の場合、クライアント106は、パーソナルコンピュータ(図2参照)、ブラウザ308、及びプラグイン310(図3参照)を有する。別の例の場合、クライアント106は移動端末を形成し、移動端末は、パーソナルデータアシスタント(PDA)、携帯電話、モバイルウェブブラウザ、無線アクセスプロトコルブラウザ、その他のネットワーク装置等である。クライアント106の一例は、後に図2,3A及び4を参照しながら説明される。
【００２１】
認識サーバ108は、受信した画像に対応する電子文書を認識する機能を実行し及び/又は制御する。一実施例では、認識サーバ108は、特徴抽出及びデータベース110の検索を実行し、受信した画像に対応する1つ以上の電子文書を特定する。別の実施例では、認識サーバ108は、コンテンツタイプ検索及び画像抽出も実行する。認識サーバ108は、データベース110に結合され、クライアント106が用意した画像に対応する情報を抽出する。ある実施例では、データベース110は、認識サーバ108の中に含まれ、或いは認識サーバ108内の他のストレージがデータベース110の代わりになってもよい。認識サーバ108は、文書認識の際、混合メディア(MMR: Mixed Media Reality)インビジブルジャンクションアルゴリズムを使用してもよい。このアルゴリズムについては、2008年5月31日付けで出願された“Invisible Junction Feature Recognition for Document Security or Annotation”と題する米国特許出願第12/059,583号で議論されており、その出願の内容全体は本願のリファレンスに組み込まれる。或いは、MMR式でない文書認識アルゴリズムに基づく他の方法を使用してもよく、例えば、光学文字認識(OCR)の文書認識又はワード境界法(Word boundary technique)等であるが、これらに限定されない。文字認識については、例えば、非特許文献1に記載されており、非特許文献1の内容全体は本願のリファレンスに組み入れられる。別の例の場合、サーバ108は文書サーバを形成してもよく、例えば、日本国のリコー株式会社のドキュメントモール(Enterprise Content Management by Alfresco of Palo Alto, CA; Lotus Notes by IBM of Armonk, N.Y.)又はマイクロソフトのシェアポイント(Sharepoint by Microsoft of Redmond, Washington)に記載の文書サーバでもよいが、これに限定されない。認識サーバ108の一例は、後に図2及び３C を参照しながら説明される。
【００２２】
一実施例では、クライアント106及び認識サーバ108の間にサーバ107が結合される。サーバ107はクライアント106のブラウザ310から接続のリクエストを受信する。それに応じてサーバ107はプラグインをクライアント106に送る。プラグインが、ブラウザを有するどのクライアント装置にも提供可能な点は、特に有利である。一実施例では、サーバ107は通常のウェブプロキシサーバである。そして、サーバ107は、画像、データ及びコマンドをクライアント106から認識サーバ108へ転送し；及びデータ及びコマンドを認識サーバ108からクライアント106へ返す。一実施例では、これは、クライアント106から認識サーバ108へ送られるHTTPリクエスト、及び認識サーバ108からクライアント106へ送られるHTTP応答を通じて行われる。
【００２３】
データベース110は、通常のタイプのものであり、インデックス(索引)、電子文書その他の電子情報、特徴記述及び他の情報を保存し、それらはコンテンツタイプ比較及び抽出処理に使用される。データベースは、複数のデータベース群でもよい。一実施例では、データベース110は複合機(図示せず)内に設けられる。
【００２４】
本発明のシステム100は、多数の恩恵をもたらす点で、特に有利である。システム100は、クライアント106で初期画像処理を実行し、画像が認識サーバ108での認識処理に適切であるか否かを判断する。有利なことに、クライアント106にインストールを要しないウェブブラウザプラグイン又は他の軽いプログラムにより、ウェブベースでクライアント側の処理が行われる。プラグインは、初期分析のみを実行し、認識サーバ108に関し、認識処理演算を予約する。プラグインは、認識サーバ108に送る1つ以上の画像の群を抽出し、クライアント106から認識サーバ108へのデータ転送を効率化(最小化)する。文書の認識は、文書サーバのような文書ソースや、ローカルに保存されたデスクトップ検索項目のデスクトップ検索アプリケーションインターフェースと共に使用可能な点で、有利である。有利なことに、クライアント装置に如何なるソフトウエアもインストールする必要なしに、ユーザは、インターネットを利用可能な任意の装置と共に、文書認識の機能にアクセスできる。実行の際、プラグインはクライアントのパラメータに基づいて修正可能である。サーバの側では、文書サーバ等との簡易な統合が実行可能になり、品質保証及びソフトウエア更新が更に簡易になる。
【００２５】
システム例
図2を参照するに、本発明の一実施例により構築されたクライアント106又は認識サーバ108を表す機能ブロック図が示されている。クライアント106又は認識サーバ108は、好ましくは、制御部250、表示装置210、入力装置212、カーソル制御部214、通信装置216及び1つ以上の入力/出力装置(I/O)218を有する。
【００２６】
制御部250は、算術演算論理部、マイクロプロセッサ、汎用コンピュータ又は他の何らかの情報機器を有し、これらの要素は、表示装置210に電子ディスプレイ信号を提供するように装備される。一実施例では、制御部250はグラフィカルユーザインターフェース(GUI)を有する汎用コンピュータを有し、例えばGUIはウインドウズ(登録商標)又はユニックス(登録商標)のオペレーティングシステム等のようなオペレーティングシステム上で動作するジャバ(Java(登録商標))で書かれたプログラムにより生成される。一実施例では、1つ以上のアプリケーションプログラムが制御部250により実行され、例えば、描画アプリケーション、文書作成アプリケーション、電子メールアプリケーション、財務アプリケーション及びウェブブラウザアプリケーション等が実行されるがこれらに限定されない。
【００２７】
図2をさらに参照するに、制御部250は、プロセッサ202、メインメモリ204及びデータストレージ装置206を含むように描かれ、これらは総てシステムバス208に通信可能に結合される。
【００２８】
プロセッサ202は、データ信号を処理し、様々なコンピュータアーキテクチャを形成し、コンピュータアーキテクチャは、例えば、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、又は組み合わせによる命令セットを使用するアーキテクチャ等である。図2ではプロセッサは1つのみしか示されていないが、複数であってもよい。
【００２９】
メインメモリ204は、プロセッサ202で実行される命令及び/又はデータを記憶する。命令及び/又はデータは、本願で説明される技法の全部又は一部を実行するコードを含む。メインメモリ204は、ダイナミックランダムアクセスメモリ(DRAM)装置、スタティックランダムアクセスメモリ(SRAM)装置、又は当該技術分野で既知の他のメモリ装置でもよい。メモリ204については、後に図3ないし5を参照しながら説明される。
【００３０】
データストレージ装置206は、プロセッサ202用の命令及びデータを記憶し、1つ以上の装置を含み、その1つ以上の装置は、ハードディスクドライブ、フロッピディスクドライブ、CD-ROM装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、フラッシュメモリ装置、その他の当該技術分野で既知の他の何らかの大容量ストレージ装置等である。一実施例では、データストレージ装置206は、データベース110を含む。別の実施例では、データベースは、通常のネットワークを表す信号線220及び通信装置216を介して、認識サーバ108に結合される。
【００３１】
システムバス208は、制御部250を通じて情報及びデータを通信する共用バスを表す。システムバス208は、工業規格アーキテクチャ(ISA)バス、ペリフェラルコンポーネント相互接続(PCI)バス、ユニバーサルシリアルバス(USB)、又は同様な機能を提供する当該技術分野で既知の他の何らかのバス等を含む1つ以上のバスを表現する。システムバス208を介して制御部250に結合される追加的な要素(コンポーネント)は、表示装置210、入力装置212、カーソル制御部214、通信装置216及びI/O装置218を含む。
【００３２】
表示装置210は、本願で説明されるような電子画像及びデータを表示するように設けられた如何なる装置でもよい。一実施例では、表示装置210は、液晶ディスプレイ(LCD)や発光ダイオード(LED)等でもよく、ステータスのフィードバック、操作設定及び他の情報をユーザに提供する。他の実施例では、表示装置210は、例えば、陰極線管(CRT)、他の何らかの同様な表示装置、スクリーン又はモニタ等でもよい。一実施例では、表示装置210は、タッチスクリーンを装備し及び/又はデジタイザを含み、触知式の透明パネルが表示装置210の画面をカバーしている。表示装置210は、後に図10-17Bで説明されるようなユーザインターフェースを表示するように構築される。
【００３３】
一実施例では、入力装置212はキーボードである。キーボードは、クワーティ(QWERTY)キーボード、キーパッド、タッチスクリーン上でそのように作成された表現物等でもよい。カーソル制御部214は、位置データだけでなく命令の選択内容をプロセッサ202に通知するように設けられたユーザ入力装置を表す。カーソル制御部214は、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル方向キーその他のカーソルを動かす手段を含んでよい。
【００３４】
通信装置216は、複数の処理システムを含んでよいネットワーク220に制御部250を接続し、一実施例ではネットワークコントローラである。処理システムのネットワークは、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)(例えば、インターネット)、及び/又は複数の装置が通信する他の何らかの相互接続されたデータパス等を含んでよい。当業者には理解されているように、制御部250は、他のシステムに対する他の通常の接続も含み、他のシステムは、TCP/IP、http、https及びSMTPのような標準的なネットワークプロトコルを使用するファイルを分配するネットワーク等である。
【００３５】
1つ以上のI/O装置218がバス208に結合される。これらのI/O装置は(不図示の)他のシステムの一部分であってもよい。例えば、I/O装置218は、文書の画像を捕捉する画像スキャナを含んでいてもよい。I/O装置218は、文書を生成するプリンタを含んでいてもよい。マイクロフォンを介して音声入力を受信し、スピーカを介して音声信号を送信するように、I/O装置218はオーディオ入力/出力装置を含んでもよい。一実施例では、オーディオ装置は、汎用コンピュータシステム内で使用するように設計された汎用のオーディオアドイン/拡張カードである。或いは、I/O装置は、1つ以上のアナログトゥディジタル又はディジタルトゥアナログ変換器、及び/又はオーディオ処理を促す1つ以上のディジタル信号プロセッサを含んでもよい。図2がクライアント106を表す場合、I/O装置218は上記のウェブカメラ104を含む。
【００３６】
本発明の精神及び範囲から逸脱せずに、クライアント106又は認識サーバ108は、図2に示されるものより多くの又は少ない要素を含んでよいことは、当業者には明らかであろう。例えば、クライアント106及び/又は認識サーバ108は、例えば、第1又は第2レベルのキャッシュのような追加的なメモリ、又は1つ以上の特定用途向集積回路(ASIC)等を含んでもよい。更に、クライアント106又は認識サーバ108は、1つのデータバス208ではなく、複数のデータバスを含んでもよい。データバスを複数用意することは、クライアント106及び/又は認識サーバ108内の要素から及び要素間で画像データを高速に伝送することを可能にし、ユーザインターフェース情報を表示装置に高速データ転送することを可能にする。同様に、例えばRFIDタグリーダ、ディジタルスチルカメラ、ディジタルビデオカメラ又は他の装置等を含む追加的な入力/出力装置218が制御装置250に結合され、追加的な入力/出力装置218は、電子データを捕捉し及び/又は制御装置250に転送するように構築されていてもいなくてもよい。キーボードやカーソル制御部212のような1つ以上の要素が省略されてもよい。
【００３７】
図3A-3Cは、クライアント106、サーバ107及び認識サーバ108のメモリユニット204a,204b,204cの一例を示す機能ブロック図である。
【００３８】
図3Aを参照するに、クライアント106に関するメモリユニット204の一例が示されている。この例におけるメモリユニット204aは:オペレーティングシステム302、アプリケーション304、制御モジュール306、ブラウザ308及びプラグイン310を有する。コンテンツタイプ検出、画像抽出及び画像送信の処理の間、データ及び他の情報を一時的に記憶するバッファを、メモリ204aは含むことを、当業者は認識するであろう。上述したように、メモリ204aは、プロセッサ202で実行される命令及び/又はデータを格納する。命令及び/又はデータは、本願で説明される技法の全部又は一部を実行するコードを有する。これらのモジュール302-310は、システム100と通信及び協同するため、バス208によりプロセッサ202に結合される。
【００３９】
オペレーティングシステム302は、好ましくは、アプリケーションインターフェースを介してユーザがアクセス可能なカスタムオペレーティングシステムである。代替実施例では、オペレーティングシステム302は、ウインドウズ(登録商標)、マックOSX(登録商標)、ソラリス(登録商標)又はリナックス(登録商標)のオペレーティングシステム等のような通常のものである。
【００４０】
メモリ部204は、1つ以上のアプリケーションプログラム304を含み、それらに限定されないが、描画アプリケーション、ワードプロセッシングアプリケーション、電子メールアプリケーション、検索アプリケーション及び財務アプリケーション等を含んでもよい。一実施例では、アプリケーション304は、メモリ204aのユニット又は他のモジュールの特定の機能を用いて、電子文書及び紙文書間の溝を埋める。例えば、アプリケーションは、ブラウザ308及びプラグイン310と通信し、それらをインターフェースとして使用し、紙文書に対応する電子文書にアクセスする。より具体的には、アプリケーションは、紙面上の特定の場所に対する添付された/組み込まれた電子データ、及び紙面中の電子データにアクセスし、上記の操作のツールとしてカメラを使用して、ユーザが後に紙から電子データを抽出できるようにする。例えば、あるアプリケーション304は、ユーザが捕捉装置104を単に指図し、情報102や印刷紙面の画像を捕捉したことに応答して、印刷書類の電子ファイル(マイクロソフトワード、アドビPDF等)を取得する。このような技法は、例えば、2006年7月31日付で出願された“System and Methods for Creation and Use of a Mixed Media Environment”と題する米国特許出願番号第11/461,017号に開示されており、この米国出願の内容全体が本願のリファレンスに組み入れられる。
【００４１】
制御モジュール306は、メモリ204aの他のモジュールを制御するのに使用される。制御モジュール306は、アプリケーション304、ブラウザ308及びプラグイン310と通信し、それらを制御する。制御モジュール306の動作は、後述の説明からさらに明らかになるであろう。制御モジュール306はメモリ204a内の別個のモジュールとして図示されているが、当業者は、他の実施例における制御モジュール306は、他のモジュール内のルーチンとして配備されてもよいことを認識するであろう。
【００４２】
ブラウザ308は、マイクロソフト社のインターネットエクスプローラ(登録商標)、モジラ社のファイヤフォックス(登録商標)、アップル社のサファリ(登録商標)、移動電話その他の無線ブラウザ(製造者又は無線サービスプロバイダにより提供されるブラウザ)等のような通常のものでよい。ブラウザ308はあるソフトウエアアプリケーションであり、テキスト、画像及び他の情報(ウェブページ)をユーザが表示及び通信することを可能にし、ウェブページ等は、通常的には、ワールドワイドウェブのウェブサイト又はローカルエリアネットワークに存在する。ソフトウエアアプリケーションの場合、ブラウザ308は、アプリケーションインターフェースを用意し、プラグイン310のような他のプログラムとやり取りを行う。
【００４３】
プラグイン310は補助的な又は予備的なプログラムであり、ブラウザ308(例えば、ホストアプリケーション)とやり取りを行い、本願で説明されるウェブベースの画像情報検出機能をもたらす。一実施例の場合、プラグイン310は、クライアント106のブラウザ308が特定のウェブアドレス宛にリクエストを送信した場合に、サーバ107からクライアント106に(送信され)受信されるモジュールである。プラグイン310は、既知のブラウザプラグインで動作するスクリプト又はデータ及び/又はコマンドのファイル(例えば、アドビフラッシュプラグイン又はプレーヤで動作するswfファイル)で構成される。さらに、プラグイン310は、アクションスクリプトで書かれたファイルでもよい。一実施例によれば、プラグイン310は、.swfファイルであり、カリフォルニア州サンノゼのアドビコーポレーションのフラッシュ8.0以上を実行するフラッシュプレーヤで動作可能である。プラグイン310は、本願で様々な実施例により説明される、ウェブベースの画像コンテンツタイプ検出、抽出及び送信の機能の全部又は一部を実行する。プラグイン310は、一実施例ではクライアント106にインストールされないが(すなわち、クライアント106のディスクに書き込まれないが)、ブラウザ308に登録され、使用中、メモリ204a内に保存されている。プラグイン310は、捕捉した画像又はビデオストリームを分析し、画像中のコンテンツタイプを検出する。例えば、プラグインは、(コンテンツタイプがテキストであった場合)画像がテキストのようなものであるか否かを検出するよう構築される。プラグイン310の一例は、図4を参照しながらさらに説明される。
【００４４】
図3Bを参照しながら、サーバ107のメモリ部204bの一例を説明する。説明の簡明化を図るため、同一の又は類似の機能を有する要素について、同様な参照番号が使用される。一実施例では、サーバ107のメモリ部204bは、オペレーティングシステム302、選択的に1つ以上のアプリケーション304、制御モジュール306、配信モジュール320、転送モジュール322及びプラグインストレージ324を有する。オペレーティングシステム302、1つ以上のアプリケーション304及び制御モジュール306は説明済みであるので、重複的な説明は省略される。追加のモジュール320-324が、システム100で通信及び協同するためにバス208によりプロセッサ202に結合される。
【００４５】
配信モジュール320は、ブラウザ308からのリクエストに応答して、プラグイン310をクライアント106に送信するソフトウエア及びルーチンである。プラグインストレージ324及びクライアント106と通信するため、配信モジュール320はバス208に結合される。一実施例では、配信モジュール320は、プラグインストレージ324からプラグイン310を取り出し、プラグイン310を含むHTTPレスポンスを生成し、そのHTTPレスポンスをクライアント106に送信する。別の実施例の場合、配信モジュール320は、プラグイン310を要求しているブラウザの性能に合わせてプラグインを選択してもよい。
【００４６】
転送モジュール322は、クライアント106及び認識サーバ108間でデータ及びコマンドを送信するソフトウエア及びルーチンである。特に、プラグイン310がクライアント106に送信され、ブラウザ308に登録されると、プラグイン310は転送モジュール322と通信する。転送モジュール322は、クライアント106からリクエストを受信し、それらを認識サーバへ伝送する。同様に、転送モジュール322は、認識サーバ108からリクエストを受信し、それらをクライアント106に送信する。このように、転送モジュール322は、クライアント106のプラグイン310と認識サーバ108との間の通信を効果的に促す。このサーバ107は、リクエスト/レスポンス(要求/応答)プロトコルの観点から説明されてきたが、当業者は、適切な様々な他の如何なる通信プロトコルが使用可能であることを認識するであろう。当業者は、転送モジュール322が他のウェブサーバ又はプロキシの機能を提供してもよいことを認識するであろう(その機能は、例えば、転送すること、履歴をとること、認証すること、誤りを処理すること、暗号化すること及びセキュリティを高めること等を実行するものである。)。
【００４７】
プラグインストレージ324は、1つ以上のプラグイン310を格納するためのメモリ領域204bである。一実施例の場合、プラグインストレージ324は複数の異なるプラグインを格納し、各プラグインは、或る特定のブラウザ及びそのブラウザで動作する付属物(アドオン)に適合したものである。これは有利である。なぜなら、その特定のプラグインは、あるタイプのブラウザについて最適化され、そのブラウザでリクエストだけでなく他の機能も利用可能にできるからである。従って、ブラウザやアドオンの特定のバージョンやブランドにプラグインを合わせることができる。
【００４８】
サーバ107及びそのメモリ204bは個々のモジュールとして説明されてきたが、他の実施例において、その機能が認識サーバ108及びそのメモリ204cに組み込まれてもよく、認識サーバ108はクライアント106と直接的に通信可能であるようにしてもよいことを、当業者は認識するであろう。
【００４９】
図3Cを参照しながら、認識サーバ108のメモリ部204cの一例を説明する。再び、説明の簡明化を図るため、同一の又は類似の機能を有する要素について、同様な参照番号が使用される。一実施例では、認識サーバ108のメモリ部204cは、オペレーティングシステム302、選択的に1つ以上のアプリケーション304、制御モジュール306、通信モジュール330、特徴抽出モジュール332及び検索モジュール334を有する。オペレーティングシステム302、1つ以上のアプリケーション304及び制御モジュール306は説明済みであるので、重複的な説明は省略される。追加のモジュール330-334が、システム100で通信及び協同するためにバス208によりプロセッサ202に結合される。本発明は、コンピュータのメモリ部204のモジュール又は一部分として説明されるが、そのモジュール又は一部分は、永続的なデータストレージ装置206のような他の媒体に格納されてもよいこと、及びモジュール又は一部分は、クライアント/サーバ環境でのような複数の様々な要素を有するネットワーク220の中で分散されてもよいことを、当業者は認識するであろう。
【００５０】
通信モジュール330は、サーバ107及びデータベース110間でデータ及びコマンドを送信するソフトウエア及びルーチンである。通信モジュール330は、サーバ107と通信し、クライアント106のブラウザ308との間でデータ及びコマンドを送受信する。通信モジュール330は、データベース110と通信し、問い合わせ(query)を行い、ファイル、データ及びコマンドを含む問い合わせ結果を受信する。通信モジュール330は、特徴抽出モジュール332及び検索モジュール334とも通信する。例えば、通信モジュール330は、サーバ107から画像を受信し、それを特徴抽出モジュールに提供して分析する。同様に、通信モジュール330は、検索モジュール334からデータを受信し、それをサーバ107に送信し、クライアントに転送する。
【００５１】
特徴抽出モジュール332は、画像を分析し、検索に使用可能な判断基準を生成するソフトウエア及びルーチンである。一実施例では、特徴抽出モジュール332は、通信モジュールに結合され、抽出された画像を受信する。代替実施例では、抽出された画像が受信されると、特徴抽出モジュール332はその画像を個々の構成部分に分解する。例えば、画像はテキスト(文字)であることが判断された場合、特徴抽出モジュール332は、そのテキストを単語(又は文字若しくは文)に分解する。テキストの例の場合、画像特徴が抽出され、関連するxmlファイルが生成され、そのxmlファイルは、印刷されたテキスト及びテキスト枠の位置を含む。このような特徴抽出プロセスについては、米国特許出願第11/461,017号で説明されており、その内容全体が本願のリファレンスに組み入れられる。
【００５２】
メモリ部204cの場合、特徴抽出モジュール332は、クライアント106から受信した画像に基づいて、情報の認識を行うソフトウエアを有する。例えば、文書及びテキスト認識の場合、ソフトウエアは、様々なテキストに基づく認識を行うプログラムを含み、そのような認識は、例えば、MMRに基づく認識、OCRに基づく認識、言葉の境界に基づく認識等である。バーコードの場合、タスマン(Tasman)、クイックマーク(Quickmark)又は類似のソフトウエアが使用可能である。指紋又は顔を認識する場合、当該技術分野で既知の生体認証による照合アプリケーションが使用されてもよい。例えば、生体認証による認識については非特許文献2に説明されている。顔認識については非特許文献3に説明されている。顔検出については非特許文献4に説明されている。指紋認識については非特許文献5に説明されている。これらの文献の内容は本願のリファレンスに組み入れられる。
【００５３】
検索モジュール334は、データベース110を検索するソフトウエア及びルーチンである。検索モジュール334は、特徴抽出モジュール332に結合され、その特徴抽出モジュール332で用意された検索の基準を受信する。一実施例では、特徴抽出モジュール332は、検索モジュール334がキーワードとして使用するテキスト画像特徴(言葉)を生成又は特定し、例えばデータベース110に保存されている、合致する情報(コンテンツ)を、文書認識検索により発見する。別の実施例の場合、特徴抽出モジュール332はバーコード認識を実行し、検索モジュール334で使用される識別番号を生成し、検索を実行する。さらに別の実施例の場合、特徴抽出モジュール332は、顔認識を実行し、人の名前を生成し、検索モジュール334は、データベースやリンクトイン(Linkedin)のようなソーシャルネットワークで人捜しを実行するのに使用される。検索モジュール334は、データベース110に対して問い合わせを行い、認識結果を受信し、その認識結果は、通信モジュール330及びサーバ107を介してクライアントに返される。
【００５４】
メモリ部204cも、1つ以上のアプリケーションプログラム304を含み、限定ではないが、描画アプリケーション、ワードプロセッシングアプリケーション、電子メールアプリケーション、検索アプリケーション及び財務アプリケーション等を含む。別のアプリケーション304は、紙に基づくフォトウィキ(photo-wiki)であり、単に、物理的な地図紙面上で所望の場所でカメラを単に指図することで、撮影した写真を地図紙面(及びその電子バージョン)の特定の場所に付ける。多くの他のアプリケーションが存在し、例えば、文書データベースにアクセス又はブラウズするための新規なユーザインターフェース、ディジタイズペン及びペーパー、地図ナビゲータ、コピー及びスキャンのセキュリティ、カメラゲーム、及び著作権保護のための複製検出等である。
【００５５】
さらに、文書の場合、別のアプリケーション304は、注釈を付けること、付加情報、オーディオ又はビデオクリップをリンクすること、文書に関して電子商取引又はソーシャルネットワークを構築すること、認識した文書に教育的なマルチメディアを関連付けること等を可能にする。アプリケーション304の具体例については、2008年5月31日付けで出願された“Ad Hoc Paper-Based Networking with Mixed Media Reality”と題する米国特許出願12/060号に記載されており、その出願の内容全体は本願のリファレンスに組み入れられる。
【００５６】
プラグイン310
図4を参照するに、本発明の一実施例により構築されたブラウザ又はプラグインのブロック図が示されている。例えば、プラグイン310は、クライアント106で動作する.swfファイルとして実現され、画像中のテキストを検出する。一実施例では、プラグイン310は、ユーザインターフェースモジュール402、捕捉モジュール404、検出モジュール406及び送信モジュール408を有する。
【００５７】
ユーザインターフェースモジュール402は、図10-17Bを参照しながら後に図示及び説明されるユーザインターフェースを生成するソフトウエア及びルーチンである。一実施例では、ユーザインターフェースモジュール402は、ユーザに対する視覚的なフィードバックを生成するブラウザ308と共に動作し、ウェブに基づく画像情報検出プロセスを示す。ユーザインターフェースモジュール402は、ユーザインターフェースを介してユーザからコマンド及びデータを受信する。ユーザインターフェースモジュール402は、ウェブに基づくコンテンツタイプ検出プロセス及び文書認識結果の表示を提供し、ある実施例では複数のウェブページを生成する。一実施例では、ユーザインターフェースモジュールは図10Aに示されるユーザインターフェース1000を生成する。例えば、文書サーバが使用される例の場合、文書が認識されると、その文書に関する情報の集まりを含むもののウェブページが生成され、その情報は、例えば、マークされたセクション、印の付いた章、ユニフォームリソースロケータ(URL)によるリンク、他の文書に対するリンク、メディアクリップ等である。図11はこの例に対応するユーザインターフェース例1100を示す。
【００５８】
捕捉モジュール404は、情報102の1つ以上の画像を捕捉する捕捉装置104を制御するソフトウエア及びルーチンである。画像は、様々な実施例に応じて、ビデオフレームでもよいし、静止画等でもよい。捕捉モジュール404は、捕捉装置104から画像を受信し、その画像を一時的に保存し、検出モジュールによる分析に備える。捕捉モジュール404は、検出モジュール406及び送信モジュール408に結合される。実行される情報検出のタイプによらず、捕捉モジュール404は或る画像を生成し、その画像は、バーコード検出、テキスト検出、指紋検出、顔検出、又は他の任意のタイプの検出等であるか否かの更なる分析に使用可能である。
【００５９】
検出モジュール406は、画像を分析することで、1つ以上の画像から或るタイプの情報を検出するソフトウエア及びルーチンである。テキスト検出機能を発揮する形態におけるコンテンツタイプ検出例が、後に図8,9と共にさらに詳細に説明される。テキスト検出だけでなく、表情又はオブジェクト認識の場合、プラグイン310は、色の閾値化を行う分析(例えば、ライトウェイト顔検出−lightweight face detection)を行うこともできる。動作する際、プラグイン310は、日時、場所、クライアント装置の演算条件等のようなクライアントパラメータに基づいて修正可能である。一実施例では、検出モジュール406は予備的な分析を実行し、実際の認識ではなく簡易な分析を行い、画像がテキストを含んでいるか否か及びそれ故に完全な認識処理に備えて画像が送信されるべきか否かを判断する。検出モジュール406は、捕捉モジュール404に結合され、捕捉された画像を受信する。
【００６０】
送信モジュール408は或るソフトウエア及びルーチンであり、捕捉モジュール404により捕捉された画像を選別し、それらをビットマップに変換してサーバ107に送信する。送信モジュール408は捕捉モジュール404に結合され、画像を受信する。送信モジュール408は、検出モジュール406にも結合され、所望のタイプの情報が検出されたことの通知を受信する。一実施例では、送信モジュール408は、捕捉モジュール404で捕捉した画像を選別し、検出されたコンテンツタイプを含む1フレームのみを送信する。捕捉装置からの多数のビデオフレームを送信するのではなく、1つの画像フレームを認識用に送信できることは、特に有利である。これは、転送を非常に高速化し、しかもクライアント106のネットワーク接続遅延に影響を及ぼさない。上述したように、送信モジュール408は、捕捉モジュール404から受信したそのような画像を取得し、その画像をビットマップに変換し、サーバ107に対する(ひいては認識サーバ108に対する)HTTPリクエストの一部としてそのビットマップを送信する。代替実施例では、送信モジュール408は、複数のビットマップファイルを送信し、複数のビットマップファイルの各々が、捕捉モジュール404から受信した画像に対応していてもよいし、或いは、捕捉モジュール404から受信した総ての画像についてのビットマップファイルを送信してもよい。
【００６１】
代替的なコンフィギュレーション
図5A-5Dは、データベース110と共に使用される、クライアント106及びサーバ108のアーキテクチャに関する4つの異なる構成例を示し、これらのアーキテクチャではウェブに基づくコンテンツタイプ検出が行われる。これら4つの例が具体的に説明されるが、当業者は、本発明の精神から逸脱せずに構築可能な他のアーキテクチャを多数認識するであろう。簡明化の観点から、アーキテクチャは、捕捉モジュール404、検出モジュール406、特徴抽出モジュール332及び検索モジュール334のような主な要素と共に説明されるが、実現の際、図示されていない他のモジュールが必要になる。ある実施例の場合、クライアント106、サーバ107及び認識サーバ108のメモリユニット204a,204b,204cは、図5A-5Dのアーキテクチャにおいて、以下で説明されるモジュールを含んでもよい。
【００６２】
図5Aは第1アーキテクチャ502を示し、クライアント106は、捕捉モジュール404及び検出モジュール406を含み、認識サーバ108は、特徴抽出モジュール332及び検索モジュール334を含む。この形態は、サーバ108における豊富なリソースによる情報認識と共に、クライアント106における簡易な予備的判断を行う情報検出に有用である。
【００６３】
図5Bは第2アーキテクチャ504を示し、クライアント106は、捕捉モジュール404、検出モジュール406、特徴抽出モジュール332及び検索モジュール334を含む。この例の場合、モジュール404，406，332及び334は、クライアント106及びサーバ108があたかも1つの装置上に存在するかのように動作する。さらに、この例の場合、検索モジュール334はクライアント106のストレージを検索データベースとして使用し、デスクトップ検索機能を発揮する。この例の場合、デスクトップ検索機能は、別個のデスクトップ検索アプリケーションと共に使用され、例えば、アプリケーションプログラムインターフェース(API)を用いてその機能にアクセスすることで、検索が行われる。この例の場合、図10に示される標準的なインターフェース1000に加えて、追加的なインターフェースが、デスクトップ検索機能に関連して表示され、例えば、図12のユーザインターフェース1200のように表示される。
【００６４】
デスクトップ検索機能が使用される別の実施例の場合、文書が認識されると、文書に関連するウィキ(wiki)ページ又はブログページが用意され、これらのページは、ウィキ又はブログを編集することで、或いはMMR支援編集及び注釈技術を使用することで、編集可能である。このような技術については、2008年5月31日付けで出願された“Indexed Document Modification Sharing with Mixed Media Reality”と題する米国特許出願番号第12/060,206号にて説明されており、その出願の内容全体は本願のリファレンスに組み入れられる。図12は、この例に関するユーザインターフェース1200の一例を示す。
【００６５】
図5Cは第3アーキテクチャ506を示し、クライアント106は、非常に簡易なウェブプラグイン310しか含んでおらず、そのウェブプラグインは、捕捉モジュール404を含み、捕捉した画像総てをサーバ108に送信する。サーバは、モジュール406、332及び334を含む。この例では、サーバ108は検出モジュール406を含み、コンテンツタイプ検出機能を実行する。
【００６６】
図5Dは他の(第4)アーキテクチャ508を示し、クライアント106は、捕捉モジュール404、検出モジュール406及び特徴抽出モジュール332を含み、認識サーバ108は、検索モジュール334を含む。この形態は、大きな文書や他の大きなデータの集合の場合に有用であり、その場合、コンテンツタイプ(例えば、テキスト)の識別及び検索パラメータ(例えば、テキストの中で識別される検索の特徴や用語)の決定が、大きな集合(例えば、文書の大群)に対する検索を要求する前に(例えば、キーワード検索の問い合わせをする前に)、ブラウザプラグイン310を用いてクライアント106で実行可能である。この例の場合、図10に示される標準的なユーザインターフェース1000に加えて、追加的なインターフェースが、アルフレスコ(Alfresco)文書管理サーバのような大きな集合に関連して表示され、例えば、図11のユーザインターフェース1100に示されている。
【００６７】
様々なコンテンツタイプが、モジュール404、406、332及び334を介して検出され、例えば、テキスト検索の場合には文書/テキスト認識が、身元検索の場合にはバーコード認識が、人捜しの場合には顔認識が(例えば、ソーシャルネットワークソフトウエアを利用して)行われる。このように一実施例ではモジュール404、406、332及び334は、検索エンジンに対する入力として使用され、例えば、この例の場合データベース110は文書サーバその他の大きなデータコレクションである。
【００６８】
動作方法及びユーザインターフェース
図6は、本発明によるウェブでのコンテンツタイプ検出方法例のフローチャート600を示す。本方法はウェブブラウザをウェブページに接続することから始まり（ステップ０２）、そのウェブページはウェブブラウザ308を介して表示される。後述のステップ606ないし610で説明されるような様々なサービスを実行するため、ブラウザ308と共に使用されるプラグイン310が受信される（ステップ６０４）。一実施例では、プラグイン310は図4に関して説明されたように.swfファイルを構成する。しかしながら、プラグイン310は、ホストアプリケーション(ブラウザ308)とやり取りを行って本願で説明される機能を提供する如何なるコンピュータプログラムでもよい。
【００６９】
次に、プラグイン310の例えばサービスとして、関連する捕捉装置104を用いて画像が捕捉される（ステップ６０６）。捕捉装置104は例えば移動電話機であり、一実施例では、移動電話機のカメラを利用して画像の捕捉が実行される。しかしながら、他の実施例では他の捕捉方法及び装置が使用されてもよく；例えば、スキャナにより文書がスキャンされてもよいし、或いは印刷時にプリンタドライバにより文書が捕捉されてもよい。次に、捕捉された画像が分析され（ステップ６０８）、画像が含んでいるコンテンツタイプを、例えばプラグイン310のサービスとして突き止める。例えば分析は、捕捉画像がテキスト情報を含んでいるか否か、バーコード情報を含んでいるか否か、指紋情報を含んでいるか否か、顔その他の識別可能な対象物を含んでいるか否か等の判断を行う。一実施例の場合、様々なコンテンツタイプ判別のために異なるプラグインが使用される、例えば、あるプラグインがテキスト検出に使用され、別のプラグインがバーコード検出に使用される、等々である。ステップ608での分析が完了し、画像が所望のタイプであった場合、その画像はある識別子と共にマークされ、分析、認識及び/又は他の後の処理に備えて送信される。そして、画像及び識別子は、例えば、確認用の認識サーバ108に送信される。一実施例の場合、認識サーバ108は、本質的にはクライアント106上に存在し、それ故に事実上「送信」は不要である。
【００７０】
以後速やかに又は後のある時点において、(例えば、認識サーバによる)認識結果が、(例えば、認識サーバ108から)受信される（ステップ６１２）。その認識結果は、認識されたコンテンツ(情報)に至るリンクが提供されることを引き起こし、及び/又は判別された画像に関する認識情報が表示されることを引き起こす（ステップ６１４）。
【００７１】
図7は、画像コンテンツタイプ検出法の本発明の一実施例による動作例を示す。先ず、クライアント側のウェブブラウザ308は、サーバ107が提供するウェブページに接続する702。サーバ107はブラウザ308にプラグイン310を提供する。プラグイン310は、ステップ706-712,724-726の機能をもたらす。一実施例では、サーバ107はウェブサーバでもよい。
【００７２】
次に、プラグイン310は、上述したような画像捕捉706及び分析708を指図する。これらのプロセス706,708の間、プラグイン310は、インターフェースディスプレイ(例えば、1000)を提供し700、ユーザが進行中のプロセスを眺められるようにする。図8及び9では、分析例708がさらに詳細に説明される。
【００７３】
分析（708）が完了すると、画像に識別子が付けられる712。画像及び識別子はその後にサーバ107に送信され（714）、認識サーバ108へ発呼し(716)、宛先ロケーションに認識結果情報を提供する。認識サーバ108は画像コンテンツの認識を行い(718)、成功すると、コンテンツ識別子を出力し（720）、認識した画像を宛先ロケーションに保存する。一実施例の場合、認識の成功は、ある動作にも関連付けられ、画像コンテンツの認識が、ビデオクリップの再生、文書履歴の記録、文書の抽出等の処理を引き起こすようにする。例えば、画像はバーコードの場合、認識の成功がそのような処理を引き起こしてもよい。
【００７４】
サーバ107はプラグイン310に認識結果を通知する（722）。プラグイン310は、インターフェース(例えば、1000)を制御し、コンテンツのサムネイル表現を表示し（724）、認識されたコンテンツに至るリンクを更新する（726）。
【００７５】
図8は、テキスト検出モジュールによる画像テキスト検出法の本発明の一実施例によるフローチャート800を示す。
【００７６】
本方法はテキスト検出用の画像を受信することから始まる（ステップ８０２）。隣接する画素同士の勾配(gradient)が計算される（ステップ８０４）。一実施例の場合、計算は、「ステップ」毎の画素について行われ、オーバーヘッドを減らす。例えば、計算は10番目の画素毎に実行される。次に、計算された勾配がエッジ閾値を超える場合、エッジカウンタが増やされる(インクリメントされる) （ステップ８０６）。一実施例では、水平及び垂直方向(横方向及び縦方向)の勾配が算出され、各エッジカウンタが増やされる。次に、垂直及び水平方向のエッジカウント値が乗算され（ステップ８０８）、テキスト検出閾値と比較される（ステップ８１０）。乗算されたエッジカウント値が閾値を超える場合、画像はスタンプされ(画像に識別が付与され) （ステップ８１２）、サーバ108への送信に備える。図9は上記の方法に関するエッジ検出の実際のスクリプト例を示す。
【００７７】
図10Aは、本発明の一実施例による画像コンテンツタイプ検出法で使用されるユーザインターフェース1000を示す。一実施例によるインターフェース1000は、捕捉画像部1002、コンテンツタイプ識別部1004、検索画像表示部1006、及び認識コンテンツ部1008を含む。
【００７８】
図示の例の場合、コンテンツタイプはテキストである。捕捉画像部1002は、捕捉装置104が取得したような画像(目下の例では、テキスト文書の一部分)を表示する。コンテンツタイプ識別部1004は、所定のコンテンツタイプ(すなわち、テキスト)が画像の中で特定されていることをユーザに示す。インターフェース1000は、色及び棒グラフを使用して、画像が所望のコンテンツタイプであることの尤度(確からしさ)を表示してもよい。検索画像表示部1006は、合致するコンテンツを探すのに使用される画像の部分を示す。認識コンテンツ部1008は、確認されたコンテンツのサムネイル表現をユーザに表示する。この例の場合、認識プロセスは未完了であるので；認識コンテンツ部1008に何の情報も示されていない。
【００７９】
図10Bは、合致する文書が発見された場合のユーザインターフェース例を示す。図10Bは図10Aと同様であるが、認識されたコンテンツリンク1010として、認識コンテンツ部1008に文書が示されている点が異なる。この例における認識されたコンテンツリンク1010は、その認識された文書に至るPDFアイコンである。認識されたコンテンツリンク1010は、保存された合致するコンテンツに至る直接的なリンクをユーザに与える。
【００８０】
図10Bは結果ウインドウ1012も示している。一実施例の場合、認識されたコンテンツリンク1010をユーザがクリックすると、結果ウインドウ1012は認識した文書を表示する。別の実施例の場合、認識されたコンテンツリンク(アイコン)1010をユーザがクリックすることを必要とせずに、結果ウインドウ1012が認識文書と共に自動的に表示される。さらに別の実施例の場合、例えば、捕捉画像部1002に応じて1つより多くの文書を認識及び抽出するために、結果ウインドウ1012は文書のリストを表示する。
【００８１】
図11は、文書サーバを利用する画像テキスト検出法により生成された本発明の一実施例によるユーザインターフェース1100を示す。
【００８２】
ユーザインターフェース1100は、文書サーバ部1102及び画像識別部1104を有する。画像認識部1104は、図10Aに関して上述したユーザインターフェース1000と同様であり、捕捉画像部1002、コンテンツタイプ識別部1004、検索画像表示部1006、認識コンテンツ部1008及び認識コンテンツリンク1010を含む。
【００８３】
文書サーバ部1102は、リストのスペース(list of space)1106を有し、そのスペース内に関心のある文書が位置付けられる。文書サーバと共に使用される場合、画像テキストを検出する本方法は、文書サーバに収容されている文書を探す。文書サーバが使用される場合、いったん文書が認識されると、それに関するウェブページが用意され、例えばそのウェブページは図11に示されるようなユーザインターフェース1100を有する。
【００８４】
図12は、ブログ文書と共にウェブテキスト検出法を使用する本発明の一実施例によるシステム例の機能ブロック図を示す。図12に示されるブログ文書と共にウェブテキスト検出を行うシステムは、図示のブログ文書機能を伴う、図6のウェブ画像コンテンツタイプ検出法の一例である。
【００８５】
この例の場合、ユーザは、文書1202の一部を捕捉し（1210）、その文書に関連するオーディオ又はテキストのコメント（1212）、マーキングされたセクション1214、ユニフォームリソースロケータ(URL)へのリンク1216、他の文書へのリンク1218、メディアクリップ等の他の情報を関連付ける。この収集された情報は文書サーバ1220に送信され、そこでは例えばMMRを使って文書認識が行われる。認識され注釈が付いた文書1222は、図13に関して詳細に説明されるようなウェブページグラフィカルユーザインターフェース1300としてユーザに示される。
【００８６】
図13は、ブログ文書と共にウェブテキスト検出を行う本発明の一実施例による方法により生成されたウェブページユーザインターフェース1300を示す。ウェブページユーザインターフェース1300は、認識された文書1302(図12の捕捉文書1202に関連する)と、文書1302に関連する様々な追加的な情報項目1304(例えば、図12の1212-1218に対応するもの)と、視覚的に識別可能な表示1306を有する(追加的な情報項目各々は、文書1302内に存在している)。
【００８７】
図14は、デスクトップ検索アプリケーションにより画像テキスト検出を行う本発明の別の実施例による方法で生成されたユーザインターフェース1400を示す。
【００８８】
ユーザインターフェース1400は、デスクトップ検索部1402及び画像認識部1404を有する。画像認識部1404は、図10A-10Bに関して説明したようなユーザインターフェース1000を有し、捕捉画像部1002、コンテンツタイプ識別部1004、検索画像表示部1006、認識コンテンツ部1008及び認識コンテンツリンク1010を含む。デスクトップ検索部1402は、捕捉された画像から認識されたテキストに対応するデスクトップ検索結果1406の表示を含む。デスクトップ検索結果1406は、電子メール、ファイル及びクライアント106に記録されたウェブ履歴エントリを含んでもよい。一実施例の場合、デスクトップ検索結果1406の各々は、ファイル名や、ハイライトされた検索項目を伴う小さな断片記事(snippet)等を含む。本発明によるデスクトップ検索アプリケーションが使用される場合、いったん文書が認識されると、文書に関するウェブページが、ユーザインターフェース1400のように示される。
【００８９】
図15は、デスクトップ検索アプリケーションによりウェブ画像テキスト検出を行う本発明の一実施例によるシステム及び方法の機能ブロック図である。図15に示されるデスクトップ検索アプリケーションによる画像テキスト検出を行うシステムは、図示のデスクトップ検索機能と共に、図6のウェブ画像コンテンツタイプを検出する方法の一例である。
【００９０】
この例の場合、クライアント106はユーザコンピュータ(PC又は移動装置)であり、認識サーバ108は、デスクトップサーチアプリケーションであり、おそらくは、ユーザコンピュータ上にある。そして、クライアント106及び認識サーバ108は、破線枠内に示され、それらが実際は単体の装置内に含まれてもよいことを示す。
【００９１】
図示の例の場合、文書が印刷され1502、印刷が捕捉され1504、MMRを使って保存される。このような技術については上述した出願番号第11/461,017号にて説明されており、本願のリファレンスに組み入れられている。印刷捕捉1504は、図5A-6に関して説明された捕捉404,606の一例である。保存ステップは、MMRデータベース1334に保存することを含み、MMRデータベースは、画像に基づくテキスト特徴(例えば、インビジブルジャンクション(invisible junction))又は言葉の境界に基づく特徴を含み、且つ保存ステップはXML印刷捕捉データベースに保存することを含み、XML印刷捕捉データベースは、印刷されたテキストのXMLファイル及びテキスト枠の位置を含む(これらの情報は、例えば、ステップ1504で印刷ドライバから受信される。)。
【００９２】
デスクトップサーチアプリケーションと共にウェブ画像テキスト検出が始まると、ユーザは文書の一部分を捕捉する1512。文書1514及び文書内で捕捉する正確な位置が、MMRデータベース1508を利用することで突き止められる。その位置情報に基づいて、XML印刷捕捉ファイルが分析され、その位置及びページにおける正確なテキストを取得する、すなわちOCRプロセスを使用せずに取得できる。テキストから、キーワード又はNグラム(n-gram)が抽出可能である1516。これらのステップは、一実施例による図5A-5Dの分析504及び特徴抽出332の一例である。抽出されたキーワード又はNグラムは、デスクトップサーチアプリケーションインターフェース(API)を利用して、デスクトップサーチアプリケーションデータベース1520に送信される。デスクトップサーチの結果は、例えば図14のユーザインターフェース1400のように、ウェブページで表示される。
【００９３】
図16は、本発明の一実施例により、画像コンテンツタイプ検出方法により生成されたユーザインターフェース例を示す。この例の場合、所定のコンテンツタイプはQRコードであるが、図16-17Bはバーコードを利用する例にも対応する。一実施例によるユーザインターフェース1600は、捕捉画像部1602、コンテンツタイプ識別部1604及び進行表示部1606を含む。捕捉画像部1602は、カプリオR5ビデオツアー(CaplioR5-Video Tour)と題する画像とQRコードを含むことに留意を要する。
【００９４】
図示の例の場合、所定のコンテンツタイプはQRコードである。捕捉画像部1602は、捕捉装置104により捕捉された画像(ここでは、QRコードを伴う文書)を表示する。コンテンツタイプ識別部1604は、画像の中で所定のコンテンツタイプが確認されたか否か、及びそのコンテンツタイプがどの程度多く確認されたかを示す。進行表示部1606は、一致するコンテンツを探すのに使用される画像を送る進捗度合いを表示する。
【００９５】
図17Aは、本発明の一実施例により、画像コンテンツタイプ検出方法で生成されたユーザインターフェース1700を示す。ユーザインターフェース1700は、画像識別部1702及びコンテンツ部1704を有する。画像識別部1702は、図16に関して説明されたユーザインターフェース1600と同様であり、捕捉画像部1602、コンテンツタイプ識別部1604及び進行表示部1606を含む。コンテンツ部1704は、検索に関連するアプリケーションに対応し、目下の例の場合、ビデオ共有ウェブサイトである。
【００９６】
図17Bは、捕捉されたQRコード(1602)に合致するビデオが発見された後の図17Aのユーザインターフェースを示す。この例の場合、コンテンツ部1704は、捕捉されたQRコード(1602)に対応するビデオ1706「（公序良俗違反につき、不掲載）-ビデオツアー(（公序良俗違反につき、不掲載）−Video Tour)」を示す。QRコードはサーバで認識されており、そのQRコードのビデオ共有ウェブサイトURLが返され、コンテンツ部1704でビデオの再生を開始する。
【００９７】
QR検出は、テキスト認識に関して図8と共に説明されたプロセスと同様になされる。特に、勾配が算出され804、閾値を適用し、QRコードが画像中に存在するか否かを判断する(806-810)。QRコードの閾値は、多くの暗い画素から明るい画素への遷移の有無に対応する。その場合、画像はスタンプされ(識別子が付与され)、例えば上述したようなタスマンデコーダを利用して、デコード用にサーバに送信される。バーコード検出の場合については、非特許文献6に記載されている。
【００９８】
以上、本発明の実施例の記述が、例示及び説明を意図してなされてきた。その説明は余すところのないものであることを意図するものではないし、本発明を開示された詳細な形態に限定しようとするものでもない。多くの修正や変形が上記の教示に照らして可能である。本発明の範囲は詳細な説明に限定されず、原則として本願の特許請求の範囲によってしか限定されないことが意図される。当業者に理解されるように、本発明の精神や本質的特徴から逸脱せずに、本発明は他の特定の形態で実施されてもよい。同様に、モジュール、ルーチン、特質、属性、方法その他の態様についての特定のネーミングや区分けは、必須でもなく重要でもない。本発明又はその特徴を実現する手段は、名称、区分け及び／又はフォーマットを別様に持っていてもよい。
【００９９】
更に、関連技術分野で通常の知識を有する者に明らかなように、モジュール、ルーチン、特質、属性、方法その他の本発明の形態は、ソフトウエアとして、ハードウエアとして、ファームウエアとして、又はそれらの組み合わせとして実現可能である。本発明のコンポーネント（具体例は、モジュール）がソフトウエアとしてどこで実現されようとも、そのコンポーネントは、スタンドアローンプログラムとして、より大きなプログラムの一部として、個々の複数のプログラムとして、静的に又は動的にリンクしたライブラリとして、カーネルローダブルモジュールとして又はデバイスドライバとして実現可能であり、及び／又はコンピュータプログラミングの技術分野で通常の知識を有する者にとって現在既知の又は将来既知になる他の如何なる方法によっても実現可能である。更に本発明はどの特定のプログラミング言語にも限定されず、どの特定のオペレーティングシステムにも環境にも限定されない。従って本発明に関する開示内容は、例示であることが意図されており、特許請求の範囲で規定される本発明の範囲を限定しようとするものではない。
【先行技術文献】
【非特許文献】
【０１００】
【非特許文献１】Hull, Jonathan J. et al., Paper-Based Augmented Reality, icat, pp.205-209, 17th int’l. Conf. on Artificial Reality and Telexistence (ICAT 2007), 2007
【非特許文献２】A.K.Jain, et al., An Introduction to Biometric Recognition, IEEE Transactions on Circuits and Systems for Video Technology 14:1, 4-20(Jan.2004)
【非特許文献３】W.Zhao, et al., Face Recognition: A Literature Survey, ACM Computing Surveys(CSUR) 35:4, 399-458(2003)
【非特許文献４】E.Hjelmas and B.K,Low, Face Detection: A Survey, Computer Vision and Image Understanding 83, 236-274(2001)
【非特許文献５】D.Maltoni et al., Handbook of Fingerprint Recognition (2003)
【非特許文献６】Jamey Graham et al., The Video Paper Multimedia Playback System, MM’03(Nov. 2003)
【符号の説明】
【０１０１】
100 システム
102 コンテンツ
102a 文書画像
102b バーコード画像
102c 指紋画像
102d 顔画像
104 画像捕捉装置
106 クライアント
107 サーバ
108 認識サーバ
110 データベース
202 プロセッサ
204 メインメモリ
206 データストレージ装置
208 システムバス
210 表示装置
212 入力装置
214 カーソル制御部
216 通信装置
218 入力/出力装置(I/O)
220 信号線
250 制御部
302 オペレーティングシステム
304 アプリケーション
306 制御モジュール
308 ブラウザ
310 プラグイン
320 配信モジュール
322 転送モジュール
334 プラグインストレージ
330 通信モジュール
332 特徴抽出モジュール
334 検索モジュール
402 ユーザインターフェースモジュール
404 捕捉モジュール
406 検出モジュール
408 送信モジュール
【特許請求の範囲】
【請求項１】
クライアントに関連付けられた捕捉装置により画像を捕捉するステップと、
テキストを検出するために、前記クライアントで捕捉された画像を分析するステップと、
前記捕捉された画像中のテキストを分析及び検出したことに応じて、検索するテキスト画像特徴を前記クライアントで特定するステップと、
検索する前記テキスト画像特徴を前記クライアントから文書サーバへ送信するステップと
を有するウェブベースのテキスト検出方法。
【請求項２】
前記テキスト画像特徴が言葉を表す、請求項1記載のテキスト検出方法。
【請求項３】
前記テキスト画像特徴に合致する文書を含む認識結果を、前記文書サーバから受信するステップをさらに有する、請求項1記載のテキスト検出方法。
【請求項４】
前記テキスト画像特徴に合致する文書のサムネイル表現、及び前記テキスト画像特徴に合致する文書に至るリンクを表示するステップをさらに有する、請求項3記載のテキスト検出方法。
【請求項５】
前記の分析が、エッジ検出を含む、請求項1記載のテキスト検出方法。
【請求項６】
クライアントに関連付けられた捕捉装置により画像を捕捉するステップと、
テキストを検出するために、前記クライアントで捕捉された画像を分析するステップと、
前記捕捉された画像中のテキストを分析及び検出したことに応じて、検索するテキスト画像特徴を前記クライアントで特定するステップと、
前記テキスト画像特徴をキーワードとしてデスクトップ検索を実行するステップと
を有するウェブベースのテキスト検出方法。
【請求項７】
前記テキスト画像特徴に合致する文書を含む認識結果を受信するステップをさらに有する、請求項6記載のテキスト検出方法。
【請求項８】
前記文書は、ファイル、電子メール及びウェブ履歴エントリを含む群から選択されたものである、請求項7記載のテキスト検出方法。
【請求項９】
前記テキスト画像特徴に合致する文書のサムネイル表現、及び前記テキスト画像特徴に合致する文書に至るリンクを表示するステップをさらに有する、請求項7記載のテキスト検出方法。
【請求項１０】
前記の分析が、エッジ検出を含む、請求項6記載のテキスト検出方法。
【請求項１１】
クライアントに関連付けられ、画像を捕捉する捕捉装置と、
前記クライアントで捕捉された画像を分析し、該分析に応じて、前記捕捉された画像中のテキストを検出し、検索するテキスト画像特徴を前記クライアントで特定するブラウザプラグインと、
前記テキスト画像特徴をキーワードとして使用してデスクトップ検索を実行するデスクトップサーチアプリケーションインターフェースと
を有するウェブベースのテキスト検出システム。
【請求項１２】
前記ブラウザプラグインは、前記テキスト画像特徴に合致する文書を含む認識結果を受信する、請求項11記載のテキスト検出システム。
【請求項１３】
前記文書は、ファイル、電子メール及びウェブ履歴エントリを含む群から選択されたものである、請求項12記載のテキスト検出システム。
【請求項１４】
前記ブラウザプラグインは、前記テキスト画像特徴に合致する文書のサムネイル表現、及び前記テキスト画像特徴に合致する文書に至るリンクを表示する、請求項12記載のテキスト検出システム。
【請求項１５】
前記の分析が、エッジ検出を含む、請求項11記載のテキスト検出システム。
【請求項１６】
クライアントで動作する前記ブラウザプラグインを提供するサーバをさらに有する請求項11記載のテキスト検出システムであって、
前記ブラウザプラグインは、前記クライアントに関連付けられた捕捉装置により画像を捕捉し、
捕捉された画像が、前記サーバに送信され、
前記ブラウザプラグインが、前記捕捉された画像を前記サーバで分析し、該分析に応じて、前記捕捉された画像中のテキストを検出し、検索するテキスト画像特徴を前記サーバで特定し、
前記サーバが、前記テキスト画像特徴を使用して文書認識検索を実行する、テキスト検出システム。
【請求項１】
クライアントに関連付けられた捕捉装置により画像を捕捉するステップと、
テキストを検出するために、前記クライアントで捕捉された画像を分析するステップと、
前記捕捉された画像中のテキストを分析及び検出したことに応じて、検索するテキスト画像特徴を前記クライアントで特定するステップと、
検索する前記テキスト画像特徴を前記クライアントから文書サーバへ送信するステップと
を有するウェブベースのテキスト検出方法。
【請求項２】
前記テキスト画像特徴が言葉を表す、請求項1記載のテキスト検出方法。
【請求項３】
前記テキスト画像特徴に合致する文書を含む認識結果を、前記文書サーバから受信するステップをさらに有する、請求項1記載のテキスト検出方法。
【請求項４】
前記テキスト画像特徴に合致する文書のサムネイル表現、及び前記テキスト画像特徴に合致する文書に至るリンクを表示するステップをさらに有する、請求項3記載のテキスト検出方法。
【請求項５】
前記の分析が、エッジ検出を含む、請求項1記載のテキスト検出方法。
【請求項６】
クライアントに関連付けられた捕捉装置により画像を捕捉するステップと、
テキストを検出するために、前記クライアントで捕捉された画像を分析するステップと、
前記捕捉された画像中のテキストを分析及び検出したことに応じて、検索するテキスト画像特徴を前記クライアントで特定するステップと、
前記テキスト画像特徴をキーワードとしてデスクトップ検索を実行するステップと
を有するウェブベースのテキスト検出方法。
【請求項７】
前記テキスト画像特徴に合致する文書を含む認識結果を受信するステップをさらに有する、請求項6記載のテキスト検出方法。
【請求項８】
前記文書は、ファイル、電子メール及びウェブ履歴エントリを含む群から選択されたものである、請求項7記載のテキスト検出方法。
【請求項９】
前記テキスト画像特徴に合致する文書のサムネイル表現、及び前記テキスト画像特徴に合致する文書に至るリンクを表示するステップをさらに有する、請求項7記載のテキスト検出方法。
【請求項１０】
前記の分析が、エッジ検出を含む、請求項6記載のテキスト検出方法。
【請求項１１】
クライアントに関連付けられ、画像を捕捉する捕捉装置と、
前記クライアントで捕捉された画像を分析し、該分析に応じて、前記捕捉された画像中のテキストを検出し、検索するテキスト画像特徴を前記クライアントで特定するブラウザプラグインと、
前記テキスト画像特徴をキーワードとして使用してデスクトップ検索を実行するデスクトップサーチアプリケーションインターフェースと
を有するウェブベースのテキスト検出システム。
【請求項１２】
前記ブラウザプラグインは、前記テキスト画像特徴に合致する文書を含む認識結果を受信する、請求項11記載のテキスト検出システム。
【請求項１３】
前記文書は、ファイル、電子メール及びウェブ履歴エントリを含む群から選択されたものである、請求項12記載のテキスト検出システム。
【請求項１４】
前記ブラウザプラグインは、前記テキスト画像特徴に合致する文書のサムネイル表現、及び前記テキスト画像特徴に合致する文書に至るリンクを表示する、請求項12記載のテキスト検出システム。
【請求項１５】
前記の分析が、エッジ検出を含む、請求項11記載のテキスト検出システム。
【請求項１６】
クライアントで動作する前記ブラウザプラグインを提供するサーバをさらに有する請求項11記載のテキスト検出システムであって、
前記ブラウザプラグインは、前記クライアントに関連付けられた捕捉装置により画像を捕捉し、
捕捉された画像が、前記サーバに送信され、
前記ブラウザプラグインが、前記捕捉された画像を前記サーバで分析し、該分析に応じて、前記捕捉された画像中のテキストを検出し、検索するテキスト画像特徴を前記サーバで特定し、
前記サーバが、前記テキスト画像特徴を使用して文書認識検索を実行する、テキスト検出システム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図２】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【公開番号】特開２００９−２９５１５３（Ｐ２００９−２９５１５３Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００９−１１９２０５（Ｐ２００９−１１９２０５）
【出願日】平成２１年５月１５日（２００９．５．１５）
【公序良俗違反の表示】
特許法第６４条第２項第４号の規定により明細書の一部または全部を不掲載とする。
特許法第６４条第２項第４号の規定により図面の一部または全部を不掲載とする。
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２１年５月１５日（２００９．５．１５）
【公序良俗違反の表示】
特許法第６４条第２項第４号の規定により明細書の一部または全部を不掲載とする。
特許法第６４条第２項第４号の規定により図面の一部または全部を不掲載とする。
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]