キーワードを取得する方法及び装置
【課題】画像に基づいて、画像に対応する更に正確なキーワードを取得することができる、キーワードを取得する方法及び装置を提供する。
【解決手段】本発明に係るキーワードを取得する方法は、画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識し、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチし、サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する。本発明の実施の形態によれば、OCRとウェブページのサーチとの両者が組み合わされ、キーワードの収束を保証するためにOCRを通して認識及び選択された第一のクラスのキーワードに基づいてウェブページがサーチされ、次いでキーワードの正確性を保証するためにサーチされたウェブページから第二のクラスの保留のキーワードが選択される。
【解決手段】本発明に係るキーワードを取得する方法は、画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識し、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチし、サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する。本発明の実施の形態によれば、OCRとウェブページのサーチとの両者が組み合わされ、キーワードの収束を保証するためにOCRを通して認識及び選択された第一のクラスのキーワードに基づいてウェブページがサーチされ、次いでキーワードの正確性を保証するためにサーチされたウェブページから第二のクラスの保留のキーワードが選択される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、より詳細には、キーワードを取得する方法及び装置に関するものである。
【背景技術】
【０００２】
科学及び技術の絶えず続く発展に従い、増加する様々なやり方で人々は日常生活の中で情報を公開し、取得している。例えば、広告を公開するため、広告の公にされた画像に対応する屋外広告の詳細な導入は、従来に掲示された公にされた画像に加えて、インターネット上の文書等で公開することができ、多少制限された量の情報を含む広告の画像をユーザが見たとき、広告に関心をもったユーザは、画像にテキストを記録し、次いでコンピュータ又は携帯電話を通してインターネットにログオンし、画像における記録されたテキストをサーチエンジンに入力して、広告の詳細をサーチする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、ユーザは、サーチを実行するとき、サーチキーワードとして画像にテキストを入力する必要があるが、入力のプロセスは手動的に実行され、従って誤りが生じる傾向があり、面倒且つ非効率的である一方、他方で、画像に含まれるテキストの情報が制限されており、画像から決定されたキーワードが十分に正確でない。従って、画像に対応する正確なキーワードの自動的且つ効率的な取得がその後の操作のために重要であり、これらのキーワードは、データ（画像又はウェブページ）のサーチに適用され、製品情報や、需要分布統計サービス及び他のサービスを含む様々なサービスに関して調べることができる。
【０００４】
従来技術において、ある画像に対応するキーワードを自動的に取得する方法は、例えばOCR（Optical Character Recognition）等といった文字認識及びテキスト抽出を通して実行することができ、画像に対応するキーワードはこの方法において自動的に抽出されるが、抽出されたキーワードは、文字の制限された認識精度及び画像におけるテキスト情報の量のために、認識エラー又は不正確さの問題に苦しむ場合がある。
【課題を解決するための手段】
【０００５】
このような状況に鑑みて、本発明の実施の形態は、画像に基づいて、画像に対応する更に正確なキーワードを取得することができる、キーワードを取得する方法及び装置を提供する。
【０００６】
本発明の実施の形態の態様によれば、キーワードを取得する方法が提供され、本方法は、画像におけるテキスト領域を探し、光学式文字認識（OCR）を通してテキスト領域におけるテキストコンテンツを認識し、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択してウェブページをサーチし、サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、少なくとも第二のクラスの保留のキーワードから画像に対応する１以上のキーワードを決定する。
【０００７】
本発明の実施の形態の別の態様によれば、キーワードを取得する装置が提供され、本装置は、画像におけるテキスト領域を探し、光学式文字認識（OCR）を通してテキスト領域におけるテキストコンテンツを認識する認識手段と、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択してウェブページをサーチするサーチ手段と、サーチされたウェブページから第二のクラスの保留のキーワードを抽出する抽出手段と、少なくとも第二のクラスの保留のキーワードから画像に対応する１以上のキーワードを決定する決定手段とを備える。
【０００８】
さらに、本発明の別の態様によれば、情報処理装置で実行されたときに、情報処理装置に、本発明に係るキーワードを取得する上述した方法を実行させるコンピュータ読み取り可能なコードを記憶した記憶媒体が更に提供される。
【０００９】
さらに、本発明の更なる態様によれば、情報処理装置で実行されたときに、情報処理装置に、本発明に係るキーワードを取得する上述した方法を実行させるコンピュータ実行可能な命令を含むコンピュータプログラムが更に提供される。
【００１０】
本発明の実施の形態の上述した解決手段によれば、OCRを通して抽出されたキーワードは、非常に収束性があるが、認識率が悪く、認識精度が低く、サーチされたウェブページから抽出されたキーワードは、比較的正確であるが、冗長なコンテンツ及び多数の関係のない単語を含む場合があるが（すなわち収束性が悪い）、キーワードの収束を保証するためにOCRを通して認識及び選択された第一のクラスの保留のキーワードい基づいてウェーブページがサーチされ、キーワードの正しさを保証するためにサーチされたウェブページから第二のクラスの保留のキーワードが選択され、これにより画像に対応する最終的に決定されたキーワードの精度が改善されるように、OCRとウェブページのサーチの両者が結合される。これらのキーワードは、データ（画像又はウェブページ）をサーチして、製品情報や、需要分布統計サービス及び他のサービスを含む様々なサービスに関する問合せに適用することができる。
【００１１】
本発明の実施の形態の他の態様は、本発明を限定するものではないが、本発明の好適な実施の形態を十分に開示することに役立つ以下の詳細な説明において提供される。
【図面の簡単な説明】
【００１２】
本発明の実施の形態の上述の目的及び利点、並びに他の目的及び利点は、添付図面を参照して特定の実施の形態と共に以下に更に記載される。添付図面では、同一又は対応する技術的特徴又は構成要素は、同一又は対応する参照符号と共に示される。
【図１】本発明の実施の形態に係る方法を例示するフローチャートである。
【図２Ａ】本発明の実施の形態における画像を例示する図である。
【図２Ｂ】本発明の実施の形態における別の画像を例示する図である。
【図３】本発明の実施の形態に係る方法における、第一のクラスの保留のキーワードを選択してウェブページをサーチすることを例示するフローチャートである。
【図４】本発明の実施の形態に係る方法における、サーチされたウェブページから第二のクラスの保留のキーワードを抽出することを例示するフローチャートである。
【図５Ａ】本発明の実施の形態に係るウェブページのサーチ結果を例示する図である。
【図５Ｂ】本発明の実施の形態に係るウェブページのサーチ結果を例示する図である。
【図６Ａ】本発明の実施の形態に係る代表的なウェブページを例示する図である。
【図６Ｂ】本発明の実施の形態に係る代表的なウェブページを例示する図である。
【図７】本発明の実施の形態に係る装置を例示する図である。
【図８】本発明の実施の形態に係る装置におけるサーチユニットを例示する図である。
【図９】本発明の実施の形態に係る装置における抽出ユニットを例示する図である。
【図１０】本発明の実施の形態で使用される情報処理装置としてパーソナルコンピュータの例示的な構造を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を添付図面を参照しながら説明する。
本発明者は、従来技術の方法における画像に対するキーワードの取得は少なくとも以下の問題に苦しむ場合があることを、本発明の創作の間に認識している。
従来技術において画像に対応するキーワードを抽出するため、採用される方法は、文字を認識し、画像におけるテキスト情報からダイレクトにテキストを抽出し、更に画像に対応するキーワードを取得することである。この方法では、画像に含まれるテキスト情報の制限された量及び画像の認識精度のため、誤って認識されたキーワードが容易に生じる場合があり、結果として画像に対応する情報を記述している取得されたキーワードは、十分に正確ではない場合がある。
従って、本発明は、はじめに、この問題に対処する対応する方法を提供する。図１を参照して、本発明の実施の形態に係るキーワードを取得する方法は、以下のステップを含む。
S101：画像におけるテキスト領域は探され、OCRを通して、テキスト領域におけるテキストコンテンツが認識される。
【００１４】
ユーザが携帯電話等で捕捉した画像を取得した後、はじめに、画像におけるテキスト領域は、例えば図２Ａ及び図２Ｂに示されるような領域に基づく（area-based）方法、連結性のコンポーネントに基づく（connectivity component-based）方法等といった、既存のテキスト検出方法で探される。次いで、テキストストロークは、例えばカラークラスタリング方法、グレイスケール２値化方法等といった既存のストローク抽出方法で抽出される。
【００１５】
テキスト領域が探され、テキストストロークが抽出された後、テキスト領域におけるテキストコンテンツは、テキスト認識を通して認識され、単語の単位で結合される。上述のプロセスは、電子装置（例えばスキャナ、デジタルカメラ等）が、例えば明暗及び明るさのパターンを判定してそれらの形状を決定することで、紙又は別の媒体に印刷された文字をチェックし、次いで、テキスト文書がスキャンされ、画像ファイルが分析されてテキスト及びページ情報が取得されるプロセスである文字認識を通して、その形状をコンピュータテキストに変換するプロセスであるOCRを通して実行される。
【００１６】
テキスト領域を探し、テキストコンテンツを認識するプロセスは、従来技術におけるように実行することができ、その詳細な説明は、ここでは繰り返されない。このステップでは、認識されたテキストコンテンツは、以下の表１及び表２に示される。
【００１７】
【表１】
【００１８】
【表２】
特に、認識された単語は、制限された認識精度のために、複数の候補となる単語を含む場合がある。例えば、
【００１９】
（外１）
から認識された単語は、候補となる単語
【００２０】
（外２）
を含み、“On Sale”から認識された単語は、候補となる単語“On Sole”を含む。認識された単語は、例えばそれらの信頼度、画像における位置、サイズ等、或いはこれらの組み合わせによる特定のルールの下で更にソートされる。
【００２１】
S102：第一のクラスの保留のキーワードは、ウェブページをサーチするために、認識されたテキストコンテンツから選択される。
【００２２】
テキストコンテンツが認識された後、認識されたテキストコンテンツは、ウェブページをサーチするために第一のクラスの保留のキーワードとしてダイレクトに使用されるか、認識されたテキストコンテンツの一部は、ウェブページをその後にサーチするために第一のクラスの保留のキーワードとして選択される。認識されたテキストコンテンツの一部を選択する特定のプロセスは、実施の形態において以下に記載される。
【００２３】
特に、サーチエンジンは、ウェブページのサーチキーワードとして、決定された第一のクラスの保留のキーワードでウェブページをサーチするために始動される。このウェブページのサーチのプロセスは、従来技術におけるように実行することができ、その詳細な説明は、ここでは繰り返されない。
【００２４】
S103：第二のクラスの保留のキーワードは、サーチされたウェブページから抽出される。
ウェブページがサーチされた後、第二のクラスの保留のキーワードは、例えば、ある条件を満たすサーチされたウェブページのうちで再現される数、又はある条件を満たすサーチされたウェブページのうちで発生する位置といった、特定のルールの下でのサーチされたウェブページからダイレクトに抽出される。代替的に、上述したルールの組み合わせは、第二のクラスの保留のキーワードを選択する基準として使用される。
【００２５】
第二のクラスの保留のキーワードが選択される前に、はじめに、サーチされたウェブページがフィルタリングされ、次いで、第二のクラスの保留のキーワードは、上述したルールの下でフィルタリングされたウェブページから抽出される。特に、ウェブページは、例えば、ウェブページに含まれる単語が第一のクラスの保留のキーワードに整合する程度、第一のクラスの保留のキーワードがウェブページで生じる頻度といった特定の予め設定されたルールの下でフィルタリングされるか、又は第一のクラスの保留のキーワードとは独立の別のルールの下でフィルタリングされる。その特定のプロセスは、実施の形態で後に記載される。
【００２６】
S104：画像に対応するキーワードは、少なくとも第二のクラスの保留のキーワードから決定される。
第二のクラスの保留のキーワードがサーチされたウェブページから抽出された後、画像に対応するキーワードは、第二のクラスの保留のキーワードから更に決定され、例えば特定の閾値を超える信頼度、又は特定の閾値を超えるウェブページ文書のタイトルにおける発生の頻度、或いは特定の閾値を超えるテキストの重要な位置での発生の頻度といった、特定のルールの下で第二のクラスの保留のキーワードから直接に選択される。代替的に、例えば時間、位置、オブジェクト等といった音声の幾つかの重要な部分は、経験的に決定されるか、又は、上述したルールの組み合わせは、画像に対応するキーワードを選択する基準として使用される。
【００２７】
代替的に、画像に対応するキーワードは、第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから選択される。その詳細は、実施の形態において後に記載される。
【００２８】
本発明の実施の形態では、OCRから抽出されたキーワードは、高い収束性を有するが、認識率が悪く、認識精度が低く、サーチされたウェブページから抽出されたキーワードは、比較的精度が高いが、冗長なコンテンツ及び多数の無関係の単語を含み（すなわち収束が悪い）、キーワードの収束性を保証するためにOCRを通して認識及び選択された第一のクラスの保留のキーワードに基づいてウェブページがサーチされ、次いで、キーワードの正確さを保証するためにサーチされたウェブページから第二のクラスの保留のキーワードが選択され、これにより画像に対応する最終的に決定されたキーワードの正確さが保証されるように、OCRとウェブページのサーチの両者が組み合わされる。これらのキーワードは、データ（画像又はウェブページ）をサーチして、製品情報や、需要分布の統計サービス及び他のサービスを含む様々なサービスに関する問合せのために適用される。
【００２９】
図２Ａ及び図２Ｂに例示される画像の取得を例として取り挙げ、本発明の例示的な実施の形態において説明が提供された。この例示的な実施の形態では、画像におけるテキスト領域が探され、テキスト領域におけるテキストコンテンツは、OCRを通して認識され、これにより、認識されたテキストコンテンツの信頼度の降順で配置される候補となるフレーズを含む表１及び表２に示される認識されたテキストコンテンツが取得される。
【００３０】
ウェブページをサーチするために認識されたテキストコンテンツから第一のクラスの保留のキーワードを更に選択するステップは、図３に例示されるように、２つのサブステップを更に含む。
S301：第一の閾値を超える信頼度をもつ１以上のテキストコンテンツは、第一のクラスの保留のキーワードとして、それぞれのテキスト領域における認識されたテキストコンテンツから選択される。
【００３１】
この実施の形態では、第一の閾値を超える信頼度をもつテキストコンテンツは、第一のクラスの保留のキーワードとして、表１及び表２においてダイレクトに選択され、例えば、表１及び表２における１〜３で番号付けされたテキストコンテンツは、候補となるフレーズを更に含む第一のクラスの保留のキーワードとして選択される。
【００３２】
勿論、別の実施の形態では、第一のクラスの保留のキーワードは、画像の重要なゾーン（例えば中央等）に位置し、特定の閾値を超えるテキストサイズ（又は最小のテキストサイズに対するその割合が特定の閾値を超えるサイズ）をもつテキストコンテンツを代替となる単語としてはじめに決定し、次いで代替となる単語から第一の閾値を超える信頼度をもつ単語を第一のクラスの保留のキーワードとして選択することで、代替的に選択される。このルールは、さもなければ設定することができ、その繰り返される説明はここでは省略される。
【００３３】
S302：あるキーワードは、それぞれのテキスト領域について選択された第一のクラスの保留のキーワードからそれぞれのテキスト領域において選択され、選択されたキーワードは、それぞれの組み合わせの結果に従って、ウェブページをサーチするために組み合わされる。
【００３４】
上述のステップで選択された第一のクラスの保留のキーワードは、表１及び表２において１〜３で番号付けされたテキストコンテンツを含み、これらのテキストコンテンツは、異なるテキスト領域からそれぞれ認識され、すなわち
【００３５】
（外３）
であり、この場合
【００３６】
（外４）
は、同じテキスト領域からの２つの候補となる単語のセットであり、
【００３７】
（外５）
は、同じテキスト領域からの２つの候補となる単語のセットであり、“On Sale”及び“On Sole”は、同じテキスト領域からの２つの候補となる単語のセットであり、“Abundant Goods”及び“Abundant Gods”は、同じテキスト領域の２つの候補となる単語のセットである。OCR認識にとって、何れかが正しい場合に複数の候補となる単語のセットのうちの１つを決定することは不可能であるので、それぞれのテキスト領域で認識されたテキストコンテンツに基づいてそれぞれのテキスト領域において１つのキーワードが選択され、次いで、選択されたキーワードは、ウェブページのサーチキーワードとして、それぞれの組み合わせの結果でサーチするために組み合わされる。
【００３８】
例えば、図２Ａについて、
【００３９】
（外６）
は、ウェブページのサーチのためにキーワードのセットとして使用され、
【００４０】
（外７）
は、ウェブページのサーチのためにキーワードの別のセットとして使用される一方、図２Ｂについて、“Good News”，“On Sale”及び“Abundant Goods”は、ウェブページをサーチするためにキーワードのセットとして使用され、“Good News”，“On Sole”及び“Abundant Gods”は、ウェブページをサーチするためにキーワードの別のセットとして使用される。勿論、他のキーワードの組み合わせも可能であるが、ここでは列挙されない。
【００４１】
本発明の例示的な実施の形態では、ウェブページのサーチ後に、サーチされたウェブページから第二のクラスの保留のキーワードを抽出するステップは、図４に例示されるように、２つのサブステップを更に含む。
【００４２】
S401：代表的なウェブページは、予め決定されたルールの下でサーチされたウェブページから選択される。上述された組み合わされたキーワードによるウェブページのサーチの後、複数の結果は、キーワードのそれぞれのセットで検索され、このステップでは、検索されたページは、その後に決定された第二のクラスの保留のキーワードを更にリファインするため、代表的なウェブページを選択するためにフィルタリングされる。
【００４３】
代表的なウェブページは、様々なルールの下で選択される。例えば、はじめに、幾つかの上位ランクのウェブページは、キーワードのそれぞれのセットに対応するウェブページから選択され、次いで、組み合わせにおける対応するキーワードに対するウェブページのそれぞれのセットの類似性が比較され、最も高い類似性をもつウェブページのセットは、代表的なウェブページとして選択されるか、又は、キーワードのそれぞれのセットに対応する最初の３つのウェブページが選択され、次いで、ウェブページのそれぞれのセットにおけるウェブページ間の類似性が比較され、最も高い類似性をもつウェブページのセットは、代表的なウェブページとして選択される。勿論、代表的なウェブページは、例えば、Gerard Salton, A. Wong, C. S. Yang による“A Vector Space Model for Automatic Indexing”, Commun. ACM 18(11): 613-620 (1975)、及びScott C. Deerwester, Susan T. Dumais, Thomas K. Landauer, George W. Funas, Richrad A. Harshmanによる"Indexing by Latent Semantic Analysis", JASIS 41(6): 391-407 (1990)等により引用されるストリングマッチング方法といった従来技術におけるように選択することができる。
【００４４】
この実施の形態では、キーワード
【００４５】
（外８）
の組み合わせでサーチされるウェブページから明らかであるように、キーワード
【００４６】
（外９）
に対するこれらのウェブページの類似度は、ウェブページにおけるテキストコンテンツの高い精度のため、キーワード
【００４７】
（外１０）
の組み合わせでサーチされるウェブページのキーワードに対する類似度よりも明らかに低い。従って、最終的に選択される代表的なウェブページは、図５Ａ及び図６Ａに示されるように、必然的に、キーワード
【００４８】
（外１１）
の組み合わせで検索された３つの上位にランクされるウェブページである。さらに、キーワード“Good News”, “On Sole”及び“Abundant Gods”の組み合わせで検索されたウェブページから明らかなように、これらのウェブページのキーワード“Good News”，“On Sole”及び“Abundant Gods”に対する類似度は、ウェブページにおけるテキストコンテンツの高い精度におため、キーワード“Good News”，“On Sale”及び“Abundant Goods”の組み合わせで検索されたウェブページのキーワードに対する類似度よりも明らかに低い。従って、最終的に選択された代表的なウェブページは、必然的に、図５Ｂ及び図６Ｂに示されるように、キーワード“Good News”，“On Sale”及び“Abundant Goods”の組み合わせで検索された３つの上位にランクされるウェブページである。
【００４９】
S402：第二のクラスの保留のキーワードは、選択された代表的なウェブページから抽出される。
第二のクラスの保留のキーワードを選択するプロセスは、上述の実施の形態においてステップS103に類似しており、その繰り返される説明は、ここでは省略される。第一のケースでは、決定された第二のクラスの保留のキーワードは、
【００５０】
（外１２）
等を含み、第二のケースでは、決定された第二のクラスの保留のキーワードは、“On Sale”，“May 1 to May 10”，“***Supermarket”，“Lower Discount”，“Gifts”等を含む。
【００５１】
第二のクラスの保留のキーワードが抽出された後、画像に対応するキーワードは、第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから選択される。
【００５２】
本実施の形態では、代表的なウェブページから抽出された第二のクラスの保留のキーワードは、OCRの認識結果から抽出された第一のクラスの保留のキーワードに対して検証される。特定の検証ルールの下で、OCRの認識結果における第二のクラスの保留のキーワードの信頼度が検証されるか、又は、画像における第二のクラスの保留のキーワードのサイズ及び位置に関する情報が確認される。特に、第一のクラスの保留のキーワードが高い信頼度或いは準拠したサイズ又は位置のテキストコンテンツをもつ選択されたキーワードを含む場合、第一のセットの保留のキーワードで生じる単語は、画像に対応するキーワードとして、第二のクラスの保留のキーワードで選択される。
【００５３】
勿論、別の実施の形態では、画像に対応するキーワードは、例えば第二の閾値を超える信頼度、又は特定の閾値を超えるウェブページの文書のタイトルにおける発生の頻度、或いは特定の閾値を超えるテキストの重要な位置での発生の頻度といった、特定のルールの下で第二のクラスの保留のキーワードにおいてダイレクトに選択される。代替的に、例えば時間、場所、オブジェクト等の音声の幾つかの重要な部分が経験的に決定されるか、又は、画像に対応するキーワードを選択する基準としてルールの組み合わせが使用される。
【００５４】
勿論、上述した２つのアプローチを組み合わせて、画像に対応するキーワードを、第一のクラスの保留のキーワードと第二のアプローチで選択された単語とに対する検証の結果の合計として決定することができる。例えば、第一のケースでは、画像に対応するキーワードが
【００５５】
（外１３）
を含み、第二のケースでは、画像に対応するキーワードは、“On Sale”，“***Supermarket”及び“May 1 to May 10”を含む。
【００５６】
画像に対応する最終的に決定されるキーワードの精度は、OCRをウェブページのサーチと組み合わせることで保証される。第一のクラスの保留のキーワードは、代表的なウェブページは、データ処理の負荷を低減し、キーワードを選択する効率を改善するためにフィルタリングされ、無関係なコンテンツが除かれ、これにより最終的に取得されるキーワードを更に正確にする。
【００５７】
本発明の実施の形態に係るキーワードを取得する第一の方法と関係して、本発明の実施の形態は、キーワードを取得する装置を更に提供し、図７を参照して、本装置は、以下の構成要素を備えている。認識ユニット７０１は、画像におけるテキスト領域を探し、光学式文字認識OCRを通して、テキスト領域におけるテキストコンテンツを認識する。サーチユニット７０２は、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチする。抽出ユニット７０３は、サーチされたウェブページから第二のクラスの保留のキーワードを抽出する。決定ユニット７０４は、少なくとも第二のクラスの保留のキーワードから画像に対応するキーワードを決定する。
【００５８】
ユーザが携帯電話等での捕捉を通して画像を取得した後、認識ユニット７０１は、既存のテキスト検出方法において画像におけるテキスト領域を探し、既存のストローク抽出方法においてテキストのストロークを抽出し、次いで、テキスト認識を通してテキスト領域におけるテキストコンテンツを認識し、それらを単語の単位で結合する。サーチユニット７０２は、第一のクラスの保留のキーワードとしてダイレクトに認識されたテキストコンテンツを使用してウェブページをサーチするか、又はウェブページをその後にサーチするために、第一のクラスの保留のキーワードとして認識されたテキストコンテンツの一部を選択する。抽出ユニット７０３は、特定のルールの下でサーチされたウェブページからダイレクトに第二のクラスの保留のキーワードを抽出するか、又は、サーチされたウェブページをはじめにフィルタリングし、次いで、上述したルールの下で選択されたウェブページから第二のクラスの保留のキーワードを抽出する。決定ユニット７０４は、特に特定のルールの下で第二のクラスの保留のキーワードからダイレクトに選択するか、又は第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから画像に対応するキーワードを選択することで、第二のクラスの保留のキーワードから画像に対応するキーワードを更に決定する。
【００５９】
本発明の実施の形態に係る上述したユニットにおいて、キーワードの収束を保証するためにOCRを通して認識及び選択された第一のクラスの保留のキーワードに基づいてウェブページがサーチされ、次いで、キーワードの正確性を保証するため、サーチされたウェブページから第二のクラスの保留のキーワードが選択され、これにより画像に対応する最終的に決定されたキーワードの精度が保証されるように、OCRとウェブページのサーチの両者が組み合わされる。これらのキーワードは、データ（画像又はウェブページ）をサーチし、製品情報、需要分布の統計サービス及び他のサービスを含む様々なサービスに関して問い合わせるために適用される。
【００６０】
本発明の例示的な実施の形態によれば、サーチユニットは、図８に例示される２つのサブユニットを更に含む。
第一の選択サブユニット８１０は、第一のクラスの保留のキーワードとして、認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツをそれぞれのテキスト領域において選択する。
【００６１】
サーチサブユニット８０２は、それぞれのテキスト領域について選択された第一のクラスの保留のキーワードから１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチする。
【００６２】
本発明の例示的な実施の形態によれば、抽出ユニットは、図９に例示される２つのサブユニットを更に含む。
第二の選択サブユニット９０１は、予め決定されたルールの下で、サーチされたウェブページから選択された代表的なウェブページを選択する。
抽出サブユニット９０２は、選択された代表的なウェブページから第二のクラスの保留のキーワードを抽出する。
【００６３】
本発明の例示的な実施の形態によれば、決定ユニットは、第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから、画像に対応するキーワードを選択する。本発明の別の実施の形態によれば、決定ユニットは、画像に対応するキーワードとして、第二のクラスの保留のキーワードから、第二の閾値を超える信頼度をもつキーワードを選択する。
【００６４】
上述したユニットでは、画像に対応する最終的に決定されたキーワードの精度は、OCRをウェブページのサーチと組み合わせることで保証される。また、上述したユニットでは、第一のクラスの保留のキーワードと代表的なウェブページは、データ処理の負荷を低減して、キーワードを選択する効率を改善するためにフィルタリングされ、無関係のコンテンツを除いて、これにより最終的に取得されるキーワードを更に正確にする。
【００６５】
さらに、上述した一連のプロセス及び装置は、ソフトウェア及び／又はファームウェアで実施することもできる。ソフトウェア及び／又はファームウェアで実施される場合、ソフトウェアを構成するプログラムは、様々なプログラムがインストールされたときに、様々な機能を実行する、例えば図１０に例示される汎用パーソナルコンピュータといった、専用のハードウェア構造をもつコンピュータに記憶媒体又はネットワークからインストールされる。
【００６６】
図１０では、中央処理装置（CPU）１００１は、リードオンリメモリ（ROM）１００２に記憶されるプログラム、又は記憶部分１００８から、CPU１００１が様々な処理を実行するときに必要とされるデータも必要に応じて記憶されるランダムアクセスメモリ（RAM）１００３にロードされるプログラムに従って、様々な処理を実行する。
【００６７】
CPU１００１、ROM１００２及びRAM１００３は、入力／出力インタフェース１００５が接続されるバス１００４を介して互いに接続される。
【００６８】
以下のコンポーネントは、入力／出力インタフェース１００５に接続される。キーボード、マウス等を含む入力部分１００６、例えば陰極線管（CRT）、液晶ディスプレイ（LCD）等のディスプレイ、スピーカ等を含む出力部分１００７、例えばLANカード、モデム等といったネットワークインタフェースカードを含む通信部分１００９。通信部分１００９は、例えばインターネットといったネットワークを通して通信プロセスを実行する。
【００６９】
また、ドライブ１０１０は、必要に応じて入力／出力インタフェース１００５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の取り外し可能な媒体１０１１は、そこからフェッチされるコンピュータプログラムが必要に応じて記憶部分１００８にインストールすることができるように、必要に応じてドライブ１０１０にインストールされる。
【００７０】
上述した一連の処理がソフトウェアで実施される場合、ソフトウェアを構成するプログラムは、例えばインターネット等のネットワークから、例えば取り外し可能な媒体１０１１等の記憶媒体からインストールされる。
【００７１】
当業者であれば、係る記憶媒体は、プログラムが記録され、装置から個別に配信されてユーザにプログラムを提供する図１０に例示される取り外し可能な記録媒体１０１１に限定されないことを理解されるであろう。取り外し可能な媒体１０１１の例は、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（コンパクトディスク−リードオンリメモリ（CD-ROM）及びデジタルバーサティルディスク（DVD）を含む）、光磁気ディスク（ミニディスク（MD）（登録商標）を含む）、及び半導体メモリを含む。代替的に、記録媒体は、ROM１００２、プログラムが記憶され、記憶部分を含む装置と共にユーザに配信される記憶部分１００８に含まれるハードディスク等である。
【００７２】
上述した一連の処理のステップは、必須ではないが、記載された順序で順次に実行される場合がある。幾つかのステップは、互いに同時又は独立して実行される場合がある。
【００７３】
本発明及び本発明の利点が詳細に記載されたが、様々な変更、置換及び変形は、特許請求の範囲に定義されるように、本発明の精神及び範囲から逸脱することなしに行われることを理解されたい。更に、本発明の実施に形態における用語「含む“include”、“contain”」及びその変形は、非排他的な包含を含むことが意図され、一連のエレメントを含むプロセス、方法、製品又は装置がエレメントを含むだけでなく、明示的に列挙しない１以上の他のエレメント又はプロセス、方法、製品又は装置に固有のエレメントを含む。更に多くの制限なしに、文「a(n) ．．．を含む／備える」に定義されるエレメントは、エレメントを含むプロセス、方法、製品又は装置における更なる同一のエレメントの存在を排除しない。
【００７４】
以下に付記する。
（付記）
（付記１）
コンピュータが、
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識し、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチし、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する、
キーワードを取得する方法。
（付記２）
前記認識されたテキストコンテンツから前記第一のクラスの保留のキーワードを選択して、ウェブページをサーチすることは、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択し、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチする、
付記１記載の方法。
（付記３）
前記サーチされたウェブページから前記第二のクラスの保留のキーワードを抽出することは、
予め決定されたルールの下で前記サーチされたウェブページから１以上の代表的なウェブページを選択し、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出する、
付記１記載の方法。
（付記４）
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
付記１乃至３の何れか記載の方法。
（付記５）
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
付記１乃至３の何れか記載の方法。
（付記６）
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識しり認識手段と、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチするサーチ手段と、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出する抽出手段と、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する決定手段と、
を備えるキーワードを取得する装置。
（付記７）
前記サーチ手段は、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択する第一のサブ選択手段と、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチするサブサーチ手段と、
を有する付記６記載の装置。
（付記８）
前記抽出手段は、
予め決定されたルールの下で前記サーチされたウェブページから代表的なウェブページを選択する第二のサブ選択手段と、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出するサブ抽出手段と、
を有する付記６記載の装置。
（付記９）
前記決定手段は、前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
付記６乃至８の何れか記載の装置。
（付記１０）
前記決定手段は、前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
付記６乃至８の何れか記載の装置。
【符号の説明】
【００７５】
７０１：認識ユニット
７０２：サーチユニット
７０３：抽出ユニット
７０４：決定ユニット
８０１：第一選択サブユニット
８０２：サーチサブユニット
９０１：第二選択サブユニット
９０２：抽出サブユニット
【技術分野】
【０００１】
本発明は、画像処理に関し、より詳細には、キーワードを取得する方法及び装置に関するものである。
【背景技術】
【０００２】
科学及び技術の絶えず続く発展に従い、増加する様々なやり方で人々は日常生活の中で情報を公開し、取得している。例えば、広告を公開するため、広告の公にされた画像に対応する屋外広告の詳細な導入は、従来に掲示された公にされた画像に加えて、インターネット上の文書等で公開することができ、多少制限された量の情報を含む広告の画像をユーザが見たとき、広告に関心をもったユーザは、画像にテキストを記録し、次いでコンピュータ又は携帯電話を通してインターネットにログオンし、画像における記録されたテキストをサーチエンジンに入力して、広告の詳細をサーチする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、ユーザは、サーチを実行するとき、サーチキーワードとして画像にテキストを入力する必要があるが、入力のプロセスは手動的に実行され、従って誤りが生じる傾向があり、面倒且つ非効率的である一方、他方で、画像に含まれるテキストの情報が制限されており、画像から決定されたキーワードが十分に正確でない。従って、画像に対応する正確なキーワードの自動的且つ効率的な取得がその後の操作のために重要であり、これらのキーワードは、データ（画像又はウェブページ）のサーチに適用され、製品情報や、需要分布統計サービス及び他のサービスを含む様々なサービスに関して調べることができる。
【０００４】
従来技術において、ある画像に対応するキーワードを自動的に取得する方法は、例えばOCR（Optical Character Recognition）等といった文字認識及びテキスト抽出を通して実行することができ、画像に対応するキーワードはこの方法において自動的に抽出されるが、抽出されたキーワードは、文字の制限された認識精度及び画像におけるテキスト情報の量のために、認識エラー又は不正確さの問題に苦しむ場合がある。
【課題を解決するための手段】
【０００５】
このような状況に鑑みて、本発明の実施の形態は、画像に基づいて、画像に対応する更に正確なキーワードを取得することができる、キーワードを取得する方法及び装置を提供する。
【０００６】
本発明の実施の形態の態様によれば、キーワードを取得する方法が提供され、本方法は、画像におけるテキスト領域を探し、光学式文字認識（OCR）を通してテキスト領域におけるテキストコンテンツを認識し、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択してウェブページをサーチし、サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、少なくとも第二のクラスの保留のキーワードから画像に対応する１以上のキーワードを決定する。
【０００７】
本発明の実施の形態の別の態様によれば、キーワードを取得する装置が提供され、本装置は、画像におけるテキスト領域を探し、光学式文字認識（OCR）を通してテキスト領域におけるテキストコンテンツを認識する認識手段と、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択してウェブページをサーチするサーチ手段と、サーチされたウェブページから第二のクラスの保留のキーワードを抽出する抽出手段と、少なくとも第二のクラスの保留のキーワードから画像に対応する１以上のキーワードを決定する決定手段とを備える。
【０００８】
さらに、本発明の別の態様によれば、情報処理装置で実行されたときに、情報処理装置に、本発明に係るキーワードを取得する上述した方法を実行させるコンピュータ読み取り可能なコードを記憶した記憶媒体が更に提供される。
【０００９】
さらに、本発明の更なる態様によれば、情報処理装置で実行されたときに、情報処理装置に、本発明に係るキーワードを取得する上述した方法を実行させるコンピュータ実行可能な命令を含むコンピュータプログラムが更に提供される。
【００１０】
本発明の実施の形態の上述した解決手段によれば、OCRを通して抽出されたキーワードは、非常に収束性があるが、認識率が悪く、認識精度が低く、サーチされたウェブページから抽出されたキーワードは、比較的正確であるが、冗長なコンテンツ及び多数の関係のない単語を含む場合があるが（すなわち収束性が悪い）、キーワードの収束を保証するためにOCRを通して認識及び選択された第一のクラスの保留のキーワードい基づいてウェーブページがサーチされ、キーワードの正しさを保証するためにサーチされたウェブページから第二のクラスの保留のキーワードが選択され、これにより画像に対応する最終的に決定されたキーワードの精度が改善されるように、OCRとウェブページのサーチの両者が結合される。これらのキーワードは、データ（画像又はウェブページ）をサーチして、製品情報や、需要分布統計サービス及び他のサービスを含む様々なサービスに関する問合せに適用することができる。
【００１１】
本発明の実施の形態の他の態様は、本発明を限定するものではないが、本発明の好適な実施の形態を十分に開示することに役立つ以下の詳細な説明において提供される。
【図面の簡単な説明】
【００１２】
本発明の実施の形態の上述の目的及び利点、並びに他の目的及び利点は、添付図面を参照して特定の実施の形態と共に以下に更に記載される。添付図面では、同一又は対応する技術的特徴又は構成要素は、同一又は対応する参照符号と共に示される。
【図１】本発明の実施の形態に係る方法を例示するフローチャートである。
【図２Ａ】本発明の実施の形態における画像を例示する図である。
【図２Ｂ】本発明の実施の形態における別の画像を例示する図である。
【図３】本発明の実施の形態に係る方法における、第一のクラスの保留のキーワードを選択してウェブページをサーチすることを例示するフローチャートである。
【図４】本発明の実施の形態に係る方法における、サーチされたウェブページから第二のクラスの保留のキーワードを抽出することを例示するフローチャートである。
【図５Ａ】本発明の実施の形態に係るウェブページのサーチ結果を例示する図である。
【図５Ｂ】本発明の実施の形態に係るウェブページのサーチ結果を例示する図である。
【図６Ａ】本発明の実施の形態に係る代表的なウェブページを例示する図である。
【図６Ｂ】本発明の実施の形態に係る代表的なウェブページを例示する図である。
【図７】本発明の実施の形態に係る装置を例示する図である。
【図８】本発明の実施の形態に係る装置におけるサーチユニットを例示する図である。
【図９】本発明の実施の形態に係る装置における抽出ユニットを例示する図である。
【図１０】本発明の実施の形態で使用される情報処理装置としてパーソナルコンピュータの例示的な構造を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を添付図面を参照しながら説明する。
本発明者は、従来技術の方法における画像に対するキーワードの取得は少なくとも以下の問題に苦しむ場合があることを、本発明の創作の間に認識している。
従来技術において画像に対応するキーワードを抽出するため、採用される方法は、文字を認識し、画像におけるテキスト情報からダイレクトにテキストを抽出し、更に画像に対応するキーワードを取得することである。この方法では、画像に含まれるテキスト情報の制限された量及び画像の認識精度のため、誤って認識されたキーワードが容易に生じる場合があり、結果として画像に対応する情報を記述している取得されたキーワードは、十分に正確ではない場合がある。
従って、本発明は、はじめに、この問題に対処する対応する方法を提供する。図１を参照して、本発明の実施の形態に係るキーワードを取得する方法は、以下のステップを含む。
S101：画像におけるテキスト領域は探され、OCRを通して、テキスト領域におけるテキストコンテンツが認識される。
【００１４】
ユーザが携帯電話等で捕捉した画像を取得した後、はじめに、画像におけるテキスト領域は、例えば図２Ａ及び図２Ｂに示されるような領域に基づく（area-based）方法、連結性のコンポーネントに基づく（connectivity component-based）方法等といった、既存のテキスト検出方法で探される。次いで、テキストストロークは、例えばカラークラスタリング方法、グレイスケール２値化方法等といった既存のストローク抽出方法で抽出される。
【００１５】
テキスト領域が探され、テキストストロークが抽出された後、テキスト領域におけるテキストコンテンツは、テキスト認識を通して認識され、単語の単位で結合される。上述のプロセスは、電子装置（例えばスキャナ、デジタルカメラ等）が、例えば明暗及び明るさのパターンを判定してそれらの形状を決定することで、紙又は別の媒体に印刷された文字をチェックし、次いで、テキスト文書がスキャンされ、画像ファイルが分析されてテキスト及びページ情報が取得されるプロセスである文字認識を通して、その形状をコンピュータテキストに変換するプロセスであるOCRを通して実行される。
【００１６】
テキスト領域を探し、テキストコンテンツを認識するプロセスは、従来技術におけるように実行することができ、その詳細な説明は、ここでは繰り返されない。このステップでは、認識されたテキストコンテンツは、以下の表１及び表２に示される。
【００１７】
【表１】
【００１８】
【表２】
特に、認識された単語は、制限された認識精度のために、複数の候補となる単語を含む場合がある。例えば、
【００１９】
（外１）
から認識された単語は、候補となる単語
【００２０】
（外２）
を含み、“On Sale”から認識された単語は、候補となる単語“On Sole”を含む。認識された単語は、例えばそれらの信頼度、画像における位置、サイズ等、或いはこれらの組み合わせによる特定のルールの下で更にソートされる。
【００２１】
S102：第一のクラスの保留のキーワードは、ウェブページをサーチするために、認識されたテキストコンテンツから選択される。
【００２２】
テキストコンテンツが認識された後、認識されたテキストコンテンツは、ウェブページをサーチするために第一のクラスの保留のキーワードとしてダイレクトに使用されるか、認識されたテキストコンテンツの一部は、ウェブページをその後にサーチするために第一のクラスの保留のキーワードとして選択される。認識されたテキストコンテンツの一部を選択する特定のプロセスは、実施の形態において以下に記載される。
【００２３】
特に、サーチエンジンは、ウェブページのサーチキーワードとして、決定された第一のクラスの保留のキーワードでウェブページをサーチするために始動される。このウェブページのサーチのプロセスは、従来技術におけるように実行することができ、その詳細な説明は、ここでは繰り返されない。
【００２４】
S103：第二のクラスの保留のキーワードは、サーチされたウェブページから抽出される。
ウェブページがサーチされた後、第二のクラスの保留のキーワードは、例えば、ある条件を満たすサーチされたウェブページのうちで再現される数、又はある条件を満たすサーチされたウェブページのうちで発生する位置といった、特定のルールの下でのサーチされたウェブページからダイレクトに抽出される。代替的に、上述したルールの組み合わせは、第二のクラスの保留のキーワードを選択する基準として使用される。
【００２５】
第二のクラスの保留のキーワードが選択される前に、はじめに、サーチされたウェブページがフィルタリングされ、次いで、第二のクラスの保留のキーワードは、上述したルールの下でフィルタリングされたウェブページから抽出される。特に、ウェブページは、例えば、ウェブページに含まれる単語が第一のクラスの保留のキーワードに整合する程度、第一のクラスの保留のキーワードがウェブページで生じる頻度といった特定の予め設定されたルールの下でフィルタリングされるか、又は第一のクラスの保留のキーワードとは独立の別のルールの下でフィルタリングされる。その特定のプロセスは、実施の形態で後に記載される。
【００２６】
S104：画像に対応するキーワードは、少なくとも第二のクラスの保留のキーワードから決定される。
第二のクラスの保留のキーワードがサーチされたウェブページから抽出された後、画像に対応するキーワードは、第二のクラスの保留のキーワードから更に決定され、例えば特定の閾値を超える信頼度、又は特定の閾値を超えるウェブページ文書のタイトルにおける発生の頻度、或いは特定の閾値を超えるテキストの重要な位置での発生の頻度といった、特定のルールの下で第二のクラスの保留のキーワードから直接に選択される。代替的に、例えば時間、位置、オブジェクト等といった音声の幾つかの重要な部分は、経験的に決定されるか、又は、上述したルールの組み合わせは、画像に対応するキーワードを選択する基準として使用される。
【００２７】
代替的に、画像に対応するキーワードは、第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから選択される。その詳細は、実施の形態において後に記載される。
【００２８】
本発明の実施の形態では、OCRから抽出されたキーワードは、高い収束性を有するが、認識率が悪く、認識精度が低く、サーチされたウェブページから抽出されたキーワードは、比較的精度が高いが、冗長なコンテンツ及び多数の無関係の単語を含み（すなわち収束が悪い）、キーワードの収束性を保証するためにOCRを通して認識及び選択された第一のクラスの保留のキーワードに基づいてウェブページがサーチされ、次いで、キーワードの正確さを保証するためにサーチされたウェブページから第二のクラスの保留のキーワードが選択され、これにより画像に対応する最終的に決定されたキーワードの正確さが保証されるように、OCRとウェブページのサーチの両者が組み合わされる。これらのキーワードは、データ（画像又はウェブページ）をサーチして、製品情報や、需要分布の統計サービス及び他のサービスを含む様々なサービスに関する問合せのために適用される。
【００２９】
図２Ａ及び図２Ｂに例示される画像の取得を例として取り挙げ、本発明の例示的な実施の形態において説明が提供された。この例示的な実施の形態では、画像におけるテキスト領域が探され、テキスト領域におけるテキストコンテンツは、OCRを通して認識され、これにより、認識されたテキストコンテンツの信頼度の降順で配置される候補となるフレーズを含む表１及び表２に示される認識されたテキストコンテンツが取得される。
【００３０】
ウェブページをサーチするために認識されたテキストコンテンツから第一のクラスの保留のキーワードを更に選択するステップは、図３に例示されるように、２つのサブステップを更に含む。
S301：第一の閾値を超える信頼度をもつ１以上のテキストコンテンツは、第一のクラスの保留のキーワードとして、それぞれのテキスト領域における認識されたテキストコンテンツから選択される。
【００３１】
この実施の形態では、第一の閾値を超える信頼度をもつテキストコンテンツは、第一のクラスの保留のキーワードとして、表１及び表２においてダイレクトに選択され、例えば、表１及び表２における１〜３で番号付けされたテキストコンテンツは、候補となるフレーズを更に含む第一のクラスの保留のキーワードとして選択される。
【００３２】
勿論、別の実施の形態では、第一のクラスの保留のキーワードは、画像の重要なゾーン（例えば中央等）に位置し、特定の閾値を超えるテキストサイズ（又は最小のテキストサイズに対するその割合が特定の閾値を超えるサイズ）をもつテキストコンテンツを代替となる単語としてはじめに決定し、次いで代替となる単語から第一の閾値を超える信頼度をもつ単語を第一のクラスの保留のキーワードとして選択することで、代替的に選択される。このルールは、さもなければ設定することができ、その繰り返される説明はここでは省略される。
【００３３】
S302：あるキーワードは、それぞれのテキスト領域について選択された第一のクラスの保留のキーワードからそれぞれのテキスト領域において選択され、選択されたキーワードは、それぞれの組み合わせの結果に従って、ウェブページをサーチするために組み合わされる。
【００３４】
上述のステップで選択された第一のクラスの保留のキーワードは、表１及び表２において１〜３で番号付けされたテキストコンテンツを含み、これらのテキストコンテンツは、異なるテキスト領域からそれぞれ認識され、すなわち
【００３５】
（外３）
であり、この場合
【００３６】
（外４）
は、同じテキスト領域からの２つの候補となる単語のセットであり、
【００３７】
（外５）
は、同じテキスト領域からの２つの候補となる単語のセットであり、“On Sale”及び“On Sole”は、同じテキスト領域からの２つの候補となる単語のセットであり、“Abundant Goods”及び“Abundant Gods”は、同じテキスト領域の２つの候補となる単語のセットである。OCR認識にとって、何れかが正しい場合に複数の候補となる単語のセットのうちの１つを決定することは不可能であるので、それぞれのテキスト領域で認識されたテキストコンテンツに基づいてそれぞれのテキスト領域において１つのキーワードが選択され、次いで、選択されたキーワードは、ウェブページのサーチキーワードとして、それぞれの組み合わせの結果でサーチするために組み合わされる。
【００３８】
例えば、図２Ａについて、
【００３９】
（外６）
は、ウェブページのサーチのためにキーワードのセットとして使用され、
【００４０】
（外７）
は、ウェブページのサーチのためにキーワードの別のセットとして使用される一方、図２Ｂについて、“Good News”，“On Sale”及び“Abundant Goods”は、ウェブページをサーチするためにキーワードのセットとして使用され、“Good News”，“On Sole”及び“Abundant Gods”は、ウェブページをサーチするためにキーワードの別のセットとして使用される。勿論、他のキーワードの組み合わせも可能であるが、ここでは列挙されない。
【００４１】
本発明の例示的な実施の形態では、ウェブページのサーチ後に、サーチされたウェブページから第二のクラスの保留のキーワードを抽出するステップは、図４に例示されるように、２つのサブステップを更に含む。
【００４２】
S401：代表的なウェブページは、予め決定されたルールの下でサーチされたウェブページから選択される。上述された組み合わされたキーワードによるウェブページのサーチの後、複数の結果は、キーワードのそれぞれのセットで検索され、このステップでは、検索されたページは、その後に決定された第二のクラスの保留のキーワードを更にリファインするため、代表的なウェブページを選択するためにフィルタリングされる。
【００４３】
代表的なウェブページは、様々なルールの下で選択される。例えば、はじめに、幾つかの上位ランクのウェブページは、キーワードのそれぞれのセットに対応するウェブページから選択され、次いで、組み合わせにおける対応するキーワードに対するウェブページのそれぞれのセットの類似性が比較され、最も高い類似性をもつウェブページのセットは、代表的なウェブページとして選択されるか、又は、キーワードのそれぞれのセットに対応する最初の３つのウェブページが選択され、次いで、ウェブページのそれぞれのセットにおけるウェブページ間の類似性が比較され、最も高い類似性をもつウェブページのセットは、代表的なウェブページとして選択される。勿論、代表的なウェブページは、例えば、Gerard Salton, A. Wong, C. S. Yang による“A Vector Space Model for Automatic Indexing”, Commun. ACM 18(11): 613-620 (1975)、及びScott C. Deerwester, Susan T. Dumais, Thomas K. Landauer, George W. Funas, Richrad A. Harshmanによる"Indexing by Latent Semantic Analysis", JASIS 41(6): 391-407 (1990)等により引用されるストリングマッチング方法といった従来技術におけるように選択することができる。
【００４４】
この実施の形態では、キーワード
【００４５】
（外８）
の組み合わせでサーチされるウェブページから明らかであるように、キーワード
【００４６】
（外９）
に対するこれらのウェブページの類似度は、ウェブページにおけるテキストコンテンツの高い精度のため、キーワード
【００４７】
（外１０）
の組み合わせでサーチされるウェブページのキーワードに対する類似度よりも明らかに低い。従って、最終的に選択される代表的なウェブページは、図５Ａ及び図６Ａに示されるように、必然的に、キーワード
【００４８】
（外１１）
の組み合わせで検索された３つの上位にランクされるウェブページである。さらに、キーワード“Good News”, “On Sole”及び“Abundant Gods”の組み合わせで検索されたウェブページから明らかなように、これらのウェブページのキーワード“Good News”，“On Sole”及び“Abundant Gods”に対する類似度は、ウェブページにおけるテキストコンテンツの高い精度におため、キーワード“Good News”，“On Sale”及び“Abundant Goods”の組み合わせで検索されたウェブページのキーワードに対する類似度よりも明らかに低い。従って、最終的に選択された代表的なウェブページは、必然的に、図５Ｂ及び図６Ｂに示されるように、キーワード“Good News”，“On Sale”及び“Abundant Goods”の組み合わせで検索された３つの上位にランクされるウェブページである。
【００４９】
S402：第二のクラスの保留のキーワードは、選択された代表的なウェブページから抽出される。
第二のクラスの保留のキーワードを選択するプロセスは、上述の実施の形態においてステップS103に類似しており、その繰り返される説明は、ここでは省略される。第一のケースでは、決定された第二のクラスの保留のキーワードは、
【００５０】
（外１２）
等を含み、第二のケースでは、決定された第二のクラスの保留のキーワードは、“On Sale”，“May 1 to May 10”，“***Supermarket”，“Lower Discount”，“Gifts”等を含む。
【００５１】
第二のクラスの保留のキーワードが抽出された後、画像に対応するキーワードは、第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから選択される。
【００５２】
本実施の形態では、代表的なウェブページから抽出された第二のクラスの保留のキーワードは、OCRの認識結果から抽出された第一のクラスの保留のキーワードに対して検証される。特定の検証ルールの下で、OCRの認識結果における第二のクラスの保留のキーワードの信頼度が検証されるか、又は、画像における第二のクラスの保留のキーワードのサイズ及び位置に関する情報が確認される。特に、第一のクラスの保留のキーワードが高い信頼度或いは準拠したサイズ又は位置のテキストコンテンツをもつ選択されたキーワードを含む場合、第一のセットの保留のキーワードで生じる単語は、画像に対応するキーワードとして、第二のクラスの保留のキーワードで選択される。
【００５３】
勿論、別の実施の形態では、画像に対応するキーワードは、例えば第二の閾値を超える信頼度、又は特定の閾値を超えるウェブページの文書のタイトルにおける発生の頻度、或いは特定の閾値を超えるテキストの重要な位置での発生の頻度といった、特定のルールの下で第二のクラスの保留のキーワードにおいてダイレクトに選択される。代替的に、例えば時間、場所、オブジェクト等の音声の幾つかの重要な部分が経験的に決定されるか、又は、画像に対応するキーワードを選択する基準としてルールの組み合わせが使用される。
【００５４】
勿論、上述した２つのアプローチを組み合わせて、画像に対応するキーワードを、第一のクラスの保留のキーワードと第二のアプローチで選択された単語とに対する検証の結果の合計として決定することができる。例えば、第一のケースでは、画像に対応するキーワードが
【００５５】
（外１３）
を含み、第二のケースでは、画像に対応するキーワードは、“On Sale”，“***Supermarket”及び“May 1 to May 10”を含む。
【００５６】
画像に対応する最終的に決定されるキーワードの精度は、OCRをウェブページのサーチと組み合わせることで保証される。第一のクラスの保留のキーワードは、代表的なウェブページは、データ処理の負荷を低減し、キーワードを選択する効率を改善するためにフィルタリングされ、無関係なコンテンツが除かれ、これにより最終的に取得されるキーワードを更に正確にする。
【００５７】
本発明の実施の形態に係るキーワードを取得する第一の方法と関係して、本発明の実施の形態は、キーワードを取得する装置を更に提供し、図７を参照して、本装置は、以下の構成要素を備えている。認識ユニット７０１は、画像におけるテキスト領域を探し、光学式文字認識OCRを通して、テキスト領域におけるテキストコンテンツを認識する。サーチユニット７０２は、認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチする。抽出ユニット７０３は、サーチされたウェブページから第二のクラスの保留のキーワードを抽出する。決定ユニット７０４は、少なくとも第二のクラスの保留のキーワードから画像に対応するキーワードを決定する。
【００５８】
ユーザが携帯電話等での捕捉を通して画像を取得した後、認識ユニット７０１は、既存のテキスト検出方法において画像におけるテキスト領域を探し、既存のストローク抽出方法においてテキストのストロークを抽出し、次いで、テキスト認識を通してテキスト領域におけるテキストコンテンツを認識し、それらを単語の単位で結合する。サーチユニット７０２は、第一のクラスの保留のキーワードとしてダイレクトに認識されたテキストコンテンツを使用してウェブページをサーチするか、又はウェブページをその後にサーチするために、第一のクラスの保留のキーワードとして認識されたテキストコンテンツの一部を選択する。抽出ユニット７０３は、特定のルールの下でサーチされたウェブページからダイレクトに第二のクラスの保留のキーワードを抽出するか、又は、サーチされたウェブページをはじめにフィルタリングし、次いで、上述したルールの下で選択されたウェブページから第二のクラスの保留のキーワードを抽出する。決定ユニット７０４は、特に特定のルールの下で第二のクラスの保留のキーワードからダイレクトに選択するか、又は第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから画像に対応するキーワードを選択することで、第二のクラスの保留のキーワードから画像に対応するキーワードを更に決定する。
【００５９】
本発明の実施の形態に係る上述したユニットにおいて、キーワードの収束を保証するためにOCRを通して認識及び選択された第一のクラスの保留のキーワードに基づいてウェブページがサーチされ、次いで、キーワードの正確性を保証するため、サーチされたウェブページから第二のクラスの保留のキーワードが選択され、これにより画像に対応する最終的に決定されたキーワードの精度が保証されるように、OCRとウェブページのサーチの両者が組み合わされる。これらのキーワードは、データ（画像又はウェブページ）をサーチし、製品情報、需要分布の統計サービス及び他のサービスを含む様々なサービスに関して問い合わせるために適用される。
【００６０】
本発明の例示的な実施の形態によれば、サーチユニットは、図８に例示される２つのサブユニットを更に含む。
第一の選択サブユニット８１０は、第一のクラスの保留のキーワードとして、認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツをそれぞれのテキスト領域において選択する。
【００６１】
サーチサブユニット８０２は、それぞれのテキスト領域について選択された第一のクラスの保留のキーワードから１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチする。
【００６２】
本発明の例示的な実施の形態によれば、抽出ユニットは、図９に例示される２つのサブユニットを更に含む。
第二の選択サブユニット９０１は、予め決定されたルールの下で、サーチされたウェブページから選択された代表的なウェブページを選択する。
抽出サブユニット９０２は、選択された代表的なウェブページから第二のクラスの保留のキーワードを抽出する。
【００６３】
本発明の例示的な実施の形態によれば、決定ユニットは、第一のクラスの保留のキーワードに対して第二のクラスの保留のキーワードを検証した結果に従って、第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから、画像に対応するキーワードを選択する。本発明の別の実施の形態によれば、決定ユニットは、画像に対応するキーワードとして、第二のクラスの保留のキーワードから、第二の閾値を超える信頼度をもつキーワードを選択する。
【００６４】
上述したユニットでは、画像に対応する最終的に決定されたキーワードの精度は、OCRをウェブページのサーチと組み合わせることで保証される。また、上述したユニットでは、第一のクラスの保留のキーワードと代表的なウェブページは、データ処理の負荷を低減して、キーワードを選択する効率を改善するためにフィルタリングされ、無関係のコンテンツを除いて、これにより最終的に取得されるキーワードを更に正確にする。
【００６５】
さらに、上述した一連のプロセス及び装置は、ソフトウェア及び／又はファームウェアで実施することもできる。ソフトウェア及び／又はファームウェアで実施される場合、ソフトウェアを構成するプログラムは、様々なプログラムがインストールされたときに、様々な機能を実行する、例えば図１０に例示される汎用パーソナルコンピュータといった、専用のハードウェア構造をもつコンピュータに記憶媒体又はネットワークからインストールされる。
【００６６】
図１０では、中央処理装置（CPU）１００１は、リードオンリメモリ（ROM）１００２に記憶されるプログラム、又は記憶部分１００８から、CPU１００１が様々な処理を実行するときに必要とされるデータも必要に応じて記憶されるランダムアクセスメモリ（RAM）１００３にロードされるプログラムに従って、様々な処理を実行する。
【００６７】
CPU１００１、ROM１００２及びRAM１００３は、入力／出力インタフェース１００５が接続されるバス１００４を介して互いに接続される。
【００６８】
以下のコンポーネントは、入力／出力インタフェース１００５に接続される。キーボード、マウス等を含む入力部分１００６、例えば陰極線管（CRT）、液晶ディスプレイ（LCD）等のディスプレイ、スピーカ等を含む出力部分１００７、例えばLANカード、モデム等といったネットワークインタフェースカードを含む通信部分１００９。通信部分１００９は、例えばインターネットといったネットワークを通して通信プロセスを実行する。
【００６９】
また、ドライブ１０１０は、必要に応じて入力／出力インタフェース１００５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の取り外し可能な媒体１０１１は、そこからフェッチされるコンピュータプログラムが必要に応じて記憶部分１００８にインストールすることができるように、必要に応じてドライブ１０１０にインストールされる。
【００７０】
上述した一連の処理がソフトウェアで実施される場合、ソフトウェアを構成するプログラムは、例えばインターネット等のネットワークから、例えば取り外し可能な媒体１０１１等の記憶媒体からインストールされる。
【００７１】
当業者であれば、係る記憶媒体は、プログラムが記録され、装置から個別に配信されてユーザにプログラムを提供する図１０に例示される取り外し可能な記録媒体１０１１に限定されないことを理解されるであろう。取り外し可能な媒体１０１１の例は、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（コンパクトディスク−リードオンリメモリ（CD-ROM）及びデジタルバーサティルディスク（DVD）を含む）、光磁気ディスク（ミニディスク（MD）（登録商標）を含む）、及び半導体メモリを含む。代替的に、記録媒体は、ROM１００２、プログラムが記憶され、記憶部分を含む装置と共にユーザに配信される記憶部分１００８に含まれるハードディスク等である。
【００７２】
上述した一連の処理のステップは、必須ではないが、記載された順序で順次に実行される場合がある。幾つかのステップは、互いに同時又は独立して実行される場合がある。
【００７３】
本発明及び本発明の利点が詳細に記載されたが、様々な変更、置換及び変形は、特許請求の範囲に定義されるように、本発明の精神及び範囲から逸脱することなしに行われることを理解されたい。更に、本発明の実施に形態における用語「含む“include”、“contain”」及びその変形は、非排他的な包含を含むことが意図され、一連のエレメントを含むプロセス、方法、製品又は装置がエレメントを含むだけでなく、明示的に列挙しない１以上の他のエレメント又はプロセス、方法、製品又は装置に固有のエレメントを含む。更に多くの制限なしに、文「a(n) ．．．を含む／備える」に定義されるエレメントは、エレメントを含むプロセス、方法、製品又は装置における更なる同一のエレメントの存在を排除しない。
【００７４】
以下に付記する。
（付記）
（付記１）
コンピュータが、
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識し、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチし、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する、
キーワードを取得する方法。
（付記２）
前記認識されたテキストコンテンツから前記第一のクラスの保留のキーワードを選択して、ウェブページをサーチすることは、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択し、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチする、
付記１記載の方法。
（付記３）
前記サーチされたウェブページから前記第二のクラスの保留のキーワードを抽出することは、
予め決定されたルールの下で前記サーチされたウェブページから１以上の代表的なウェブページを選択し、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出する、
付記１記載の方法。
（付記４）
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
付記１乃至３の何れか記載の方法。
（付記５）
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
付記１乃至３の何れか記載の方法。
（付記６）
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識しり認識手段と、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチするサーチ手段と、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出する抽出手段と、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する決定手段と、
を備えるキーワードを取得する装置。
（付記７）
前記サーチ手段は、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択する第一のサブ選択手段と、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチするサブサーチ手段と、
を有する付記６記載の装置。
（付記８）
前記抽出手段は、
予め決定されたルールの下で前記サーチされたウェブページから代表的なウェブページを選択する第二のサブ選択手段と、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出するサブ抽出手段と、
を有する付記６記載の装置。
（付記９）
前記決定手段は、前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
付記６乃至８の何れか記載の装置。
（付記１０）
前記決定手段は、前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
付記６乃至８の何れか記載の装置。
【符号の説明】
【００７５】
７０１：認識ユニット
７０２：サーチユニット
７０３：抽出ユニット
７０４：決定ユニット
８０１：第一選択サブユニット
８０２：サーチサブユニット
９０１：第二選択サブユニット
９０２：抽出サブユニット
【特許請求の範囲】
【請求項１】
コンピュータが、
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識し、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチし、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する、
キーワードを取得する方法。
【請求項２】
前記認識されたテキストコンテンツから前記第一のクラスの保留のキーワードを選択して、ウェブページをサーチすることは、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択し、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチする、
請求項１記載の方法。
【請求項３】
前記サーチされたウェブページから前記第二のクラスの保留のキーワードを抽出することは、
予め決定されたルールの下で前記サーチされたウェブページから１以上の代表的なウェブページを選択し、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出する、
請求項１記載の方法。
【請求項４】
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
請求項１乃至３の何れか記載の方法。
【請求項５】
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
請求項１乃至３の何れか記載の方法。
【請求項６】
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識する認識手段と、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチするサーチ手段と、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出する抽出手段と、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する決定手段と、
を備えるキーワードを取得する装置。
【請求項７】
前記サーチ手段は、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択する第一のサブ選択手段と、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチするサブサーチ手段と、
を有する請求項６記載の装置。
【請求項８】
前記抽出手段は、
予め決定されたルールの下で前記サーチされたウェブページから代表的なウェブページを選択する第二のサブ選択手段と、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出するサブ抽出手段と、
を有する請求項６記載の装置。
【請求項９】
前記決定手段は、前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
請求項６乃至８の何れか記載の装置。
【請求項１０】
前記決定手段は、前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
請求項６乃至８の何れか記載の装置。
【請求項１】
コンピュータが、
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識し、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチし、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出し、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する、
キーワードを取得する方法。
【請求項２】
前記認識されたテキストコンテンツから前記第一のクラスの保留のキーワードを選択して、ウェブページをサーチすることは、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択し、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチする、
請求項１記載の方法。
【請求項３】
前記サーチされたウェブページから前記第二のクラスの保留のキーワードを抽出することは、
予め決定されたルールの下で前記サーチされたウェブページから１以上の代表的なウェブページを選択し、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出する、
請求項１記載の方法。
【請求項４】
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
請求項１乃至３の何れか記載の方法。
【請求項５】
少なくとも前記抽出された第二のクラスの保留のキーワードから前記画像に対応する前記１以上のキーワードを決定することは、
前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
請求項１乃至３の何れか記載の方法。
【請求項６】
画像におけるテキスト領域を探し、光学式文字認識を通して前記テキスト領域におけるテキストコンテンツを認識する認識手段と、
認識されたテキストコンテンツから第一のクラスの保留のキーワードを選択して、ウェブページをサーチするサーチ手段と、
サーチされたウェブページから第二のクラスの保留のキーワードを抽出する抽出手段と、
少なくとも抽出された第二のクラスの保留のキーワードから前記画像に対応する１以上のキーワードを決定する決定手段と、
を備えるキーワードを取得する装置。
【請求項７】
前記サーチ手段は、
前記第一のクラスの保留のキーワードとして、前記認識されたテキストコンテンツから、第一の閾値を超える信頼度をもつ１以上のテキストコンテンツを、それぞれのテキスト領域において選択する第一のサブ選択手段と、
前記それぞれのテキスト領域について選択された前記第一のクラスの保留のキーワードから、１つのキーワードをそれぞれのテキスト領域において選択し、選択されたキーワードを組み合わせて、それぞれの組み合わせの結果に従ってウェブページをサーチするサブサーチ手段と、
を有する請求項６記載の装置。
【請求項８】
前記抽出手段は、
予め決定されたルールの下で前記サーチされたウェブページから代表的なウェブページを選択する第二のサブ選択手段と、
選択された代表的なウェブページから前記第二のクラスの保留のキーワードを抽出するサブ抽出手段と、
を有する請求項６記載の装置。
【請求項９】
前記決定手段は、前記画像に対応するキーワードとして、前記第二のクラスの保留のキーワードから第二の閾値を超える信頼度をもつ１以上のキーワードを選択する、
請求項６乃至８の何れか記載の装置。
【請求項１０】
前記決定手段は、前記第一のクラスの保留のキーワードに対して前記第二のクラスの保留のキーワードを検証した結果に従って、前記第一のクラスの保留のキーワード及び／又は第二のクラスの保留のキーワードから前記画像に対応するキーワードを選択する、
請求項６乃至８の何れか記載の装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４３３０９（Ｐ２０１２−２４３３０９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１２−１０５９５７（Ｐ２０１２−１０５９５７）
【出願日】平成２４年５月７日（２０１２．５．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２４年５月７日（２０１２．５．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]