説明

処理装置、処理方法及び処理プログラム

【課題】テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上する。
【解決手段】処理装置1は、第1データのうち第2データを表示部に表示させる表示制御部35と、表示される第2データに含まれるテキスト情報を、第1データのうち第2データ以外のテキスト情報で補正し、第2データに含まれるデータ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出部33と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本件は、表示機能を有する処理装置、処理方法及び処理プログラムに関する。
【背景技術】
【0002】
従来、例えば携帯電話装置やパーソナルコンピュータ等の、表示機能を有する処理装置が知られている。このような携帯電話装置等では、例えば、撮像手段により撮像した画像データや、インターネット経由で取得したデータが、表示機能により表示部に画面表示される。
【0003】
このような携帯電話装置等に関して、撮像手段で撮像した撮像画像を拡大して画面に表示すると共に、撮像画像の画像データから該画像データに含まれる文字情報を抽出し文字データに変換する技術が提案されている。取得された文字データは、文字データの中に存在するキーワードに関連する情報を検索する検索機能等に利用される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−60535号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
これに対して、例えば、テキスト情報を含む画像データ等のデータが画面に拡大表示されることにより、表示されているテキスト情報を視認可能となったユーザーが、視認したテキスト情報に含まれるキーワードに関連する情報を得ようとする状況が考えられる。このとき、拡大表示の際に、例えば、単語等の所定の文字列が当該文字列の一部のみ画面に表示されている場合がある。この場合、表示されているテキスト情報から単語等の所定の文字列を抽出する処理を行うと、一部が表示されている文字列について、文字列が適切に抽出されないことがある。
【0006】
本件の目的の一つは、このような課題に鑑み創案されたもので、テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上させることである。
【0007】
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けることができる。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本件開示の処理装置は、第1データのうち第2データを表示部に表示させる表示制御部と、表示される前記第2データのテキスト情報を、前記第1データのうち前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出部と、を有する。
【0009】
また、本開示の処理方法は、表示機能を有する処理装置における処理方法であって、第1データのうち第2データを表示部に表示させる表示制御を行い、表示される前記第2データのテキスト情報を、前記第1データのうち前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する。
【0010】
また、本開示の処理プログラムは、第1データのうち第2データを表示部に表示させる表示制御処理と、表示される前記第2データに含まれるテキスト情報を、前記第1データのうち前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出処理と、をプロセッサに実行させる。
【発明の効果】
【0011】
本件開示の処理装置、処理方法又は処理プログラムによれば、テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上することができる。
【図面の簡単な説明】
【0012】
【図1】第1実施形態の携帯電話装置における外観図である。
【図2】第1実施形態の携帯電話装置におけるハードウェア構成図である。
【図3】第1実施形態の携帯電話装置における機能ブロック図である。
【図4】第1実施形態の携帯電話装置と検索サーバとを含む処理システムのシステム構成図である。
【図5】第1実施形態の携帯電話装置における単語抽出処理の抽出用語テーブルの一例である。
【図6】第1実施形態の携帯電話装置における表示制御処理・検索処理を示すフローチャートである。
【図7】第1実施形態の携帯電話装置における表示制御処理・検索処理の説明図である。
【図8】第1実施形態の携帯電話装置における単語抽出処理を示すフローチャートである。
【図9】第1実施形態の携帯電話装置における単語抽出処理の説明図である。
【図10】第2実施形態の携帯電話装置における単語抽出処理を示すフローチャートである。
【図11】第2実施形態の携帯電話装置における単語抽出処理の説明図である。
【図12】第3実施形態の携帯電話装置における単語抽出処理を示すフローチャートである。
【図13】第3実施形態の携帯電話装置における単語抽出処理の説明図である。
【図14】第4実施形態の携帯電話装置における単語抽出処理を示すフローチャートである。
【図15】第4実施形態の携帯電話装置における単語抽出処理の説明図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、開示の処理装置、処理方法及び処理プログラムに係る実施形態を説明する。以下の実施形態の図面に示す構成は一例であって、斯かる構成に本件発明が限定されるものではない。
【0014】
<第1実施形態>
図1〜図9を用いて第1実施形態について説明する。第1実施形態の携帯電話装置1は、開示の処理装置の一例であり、外部との無線通信による電話機能、及びインターネットを経由したデータ取得機能等を備えている。また、携帯電話装置1は、被写体の画像を取得するカメラ機能や、画像データ、及びインターネットを経由して取得したデータ等を画面表示する表示機能を備えている。そして、携帯電話装置1は、画面表示されたデータから単語等の所定の文字列を抽出し、抽出された文字列に関する情報を検索する機能を備えている(後述の図6及び図7を参照)。
【0015】
図1は、携帯電話装置1の外観図である。図1に示すように、携帯電話装置1は、第1の筐体部6と、第2の筐体部18と、第1の筐体部6と第2の筐体部18とを開閉可能に連結するヒンジ部7と、を有する。第1の筐体部6には、レシーバ3と、スピーカ5と、カメラ2と、表示部4と、が配置される。第2の筐体部18には、マイク17と、キー部8と、が配置される。
【0016】
カメラ2は、被写体から画像を取得する機能部であり、被写体から画像を取得するための光学系、フォーカス機構、撮像素子、その他の機能部等を備える。カメラ2は、被写体に対し光学系をフォーカス状態に制御し、被写体から画像を取得する。カメラ2はデジタルカメラ等を含む。撮像素子として例えばCCD(Charge Coupled Device)等が用いられる。
【0017】
表示部4は、各種情報を出力する機能部であり、カメラ2を介して取得した画像データ、及びインターネットを経由して取得したデータ等を画面表示する。表示部4は、例えば液晶ディスプレイ等を含む。
【0018】
キー部8は、ユーザーにより情報等の入力や選択等の操作に使用される機能部であり、各種機能が割り当てられたハードキーが配置されている。このハードキーには、例えば電話帳キー、メニューキー、カーソルキー、決定キー、終了/電源キー、開始キー、クリアキー、記号キー等が含まれる。
【0019】
図2は、第1実施形態に係る携帯電話装置1のハードウェア構成図である。図2に示すように、携帯電話装置1は、マイク17と、レシーバ3と、スピーカ5と、カメラ2と、表示部4と、キー部8と、アンテナ24と、無線通信部20と、音声入出力部21と、プロセッサ22と、メモリ23と、を有する。
【0020】
音声入出力部21は、携帯電話装置1の電話機能により通話を行うための音声の入出力インターフェイスであり、マイク17、レシーバ3及びスピーカ5が接続され、マイク17からの音声信号の入力や、レシーバ3及びスピーカ5への音声データの出力を制御する。レシーバ3及びスピーカ5は、音声データ(電気信号)を音声信号に変換して出力し、マイク17は、音声信号を音声データ(電気信号)に変換して入力する。
【0021】
無線通信部20は、外部の基地局50(後述の図5を参照)等と電波を媒体として通信するための通信インターフェイスであり、アンテナ24が接続され、アンテナ24を介して基地局50との間でデータを送受信する。アンテナ24は、無線通信部20から出力される送信信号を基地局50に電波を媒体として発信し、また、基地局50から電波を媒体として送信される信号を受信して、受信信号を無線通信部20に出力する。
【0022】
メモリ23は、記録媒体で構成され、ROM(Read-Only Memory)23aとRAM(Random-Access Memory)23bとを備える。ROM23aは、OS(Operating System)や各種処理のためのアプリケーションプログラム等を記録する。ROM23aに記録されるプログラムは、開示の処理プログラムを含む。また、ROM23aは、携帯電話装置1で使用される設定データや辞書データベース等を記録する。RAM23bは、OSやアプリケーションプログラムを展開するワークエリアを構成する。また、RAM23bは、携帯電話装置1で使用されるデータを記録する。メモリ23は、後述のデータ記録部40、辞書記録部38等を構成する。
【0023】
プロセッサ22は、各種機能部の制御を行う制御部の一例であって、メモリ23に記録されるOSやアプリケーションプログラムを実行することにより、各種機能部の制御やメモリ23へのデータの読込み・書込み等を行う。プロセッサ22は、無線通信部20、音声入出力部21、カメラ2、表示部4、及びキー部8が接続される。プロセッサ22は、後述の無線制御部30、呼制御部31、入力制御部36、カメラ制御部34、表示制御部35、文字列抽出部33、及び検索部32等を構成する。
【0024】
図3は、携帯電話装置1の機能ブロック図である。図3に示すように、携帯電話装置1は、無線制御部30と、呼制御部31と、入力制御部36と、カメラ制御部34と、データ記録部40と、辞書記録部38と、辞書管理部37と、表示制御部35と、文字列抽出部33と、検索部32と、を有する。
【0025】
無線制御部30は、無線通信の制御を行う。無線制御部30は、例えば、呼の接続やハンドオーバー等を制御する。また、呼制御部31は、無線通信による音声通信の制御を行う。呼制御部31は、例えば、着信電話番号情報をやり取りしてユーザー間に通話チャネルの確立を行う。
【0026】
入力制御部36は、各種情報や操作指示の入力の制御を行う。入力制御部36は、例えば、ユーザーによるキー部8を介したメニュー選択等の操作入力に応じて、対応する処理を実行する制御を行う。
【0027】
カメラ制御部34は、カメラ2を介した被写体の撮影の制御を行う。カメラ制御部34は、例えば、ユーザーによるキー部8を介した操作入力に応じて、カメラ2の光学系やフォーカス機構を制御し、フレーム毎に被写体の画像の取得を行う。この取得画像は、表示制御部35により表示部4に表示される。また、カメラ制御部34は、例えば、ユーザーによるキー部8を介した操作入力のタイミングで、当該タイミングのフレームに取得された被写体の画像を撮影画像としてメモリ23に記録する。
【0028】
データ記録部40は、携帯電話装置1で使用されるデータを記録する。記録されるデータは、例えば、カメラ2を介して取得された画像や、撮影画像や、携帯電話機1の各種機能に用いられる設定データ等のデータを含む。設定データには、表示部2に画像データを画面表示する際の表示パラメータが含まれている。表示パラメータには、表示倍率、表示基準位置、表示エリアサイズ、文字サイズ等が含まれている。また、データ記録部40は、文字列抽出部33により抽出された単語を記録する抽出用語テーブル60(後述の図6を参照)を含む。
【0029】
辞書記録部38は、1以上の単語に関する情報を予め登録している。辞書記録部29は、例えば国語辞書のデータベース等である。
【0030】
辞書管理部37は、辞書記録部38に関する管理を行う。辞書管理部37は、例えば、文字列抽出部33の処理により抽出された単語と、辞書記録部38に登録された単語とを比較し、該抽出された単語と一致する単語を辞書記録部38から特定する。
【0031】
表示制御部35は、表示部4に表示するデータの制御を行う。表示制御部35は、例えば、ユーザーによるキー部8を介した操作入力に応じて、データから表示部4に表示する画面のデータを作成し、作成した画面を表示部4に表示させる。このとき、表示制御部35は、表示パラメータを用いてデータをレンダリングし、表示部4に表示する画面のデータを作成する。
【0032】
表示制御部35は、例えば、第1データを第1の表示パラメータを用いて表示部4に表示させる。また、表示制御部35は、キー部8を介した操作入力に応じて、第1の表示パラメータで表示される第1データのうち第2データを、第2の表示パラメータを用いて表示させる。具体的には、表示制御部35は、第1データのうち第2データを表示部4に拡大して表示させる。すなわち、表示制御部35は、第1データを第1の表示倍率で表示させ、第1のデータのうち拡大表示エリアの部分を第2データとする。そして、表示制御部35は、第1の表示倍率より大きい第2の表示倍率を用いて、画像処理等のデータ処理により第2データの拡大データを作成し、この拡大データを表示部4に表示させる。
【0033】
文字列抽出部33は、表示されるデータ内から1つ以上の所定の文字列を抽出する処理を行う。所定の文字列は、例えば、意味や機能を有する言語の構成単位であり、単語や、複数の単語が結び付いた慣用句等を含む。以下では、文字列抽出部33が、所定の文字列として単語(複数の単語が結合して1つの単語となった複合語を含む)を抽出する単語抽出処理を行うものとして説明する。また、第1実施形態では、単語抽出処理の対象とする表示データとして、カメラ2を介して取得された画像データが用いられる。
【0034】
文字列抽出部33は、データに含まれるテキスト情報から単語の抽出を行う。このとき、文字列抽出部33は、表示制御部35により表示部4に表示される第2データのテキスト情報を、第1データのうち第2データ以外のテキスト情報で補正(補完)し、第2データ内から1つ以上の単語を抽出する。詳細には、文字列抽出部33は、第2データに対して単語を抽出する処理を行う。そして、文字列抽出部33は、処理により所定の条件を満たさない単語が抽出された場合、第2データのうち単語が抽出された部分を、第1データのうち該部分の周辺部分で補正する(周辺補正)。そして、文字列抽出部33は、補正した第2データに対して単語を抽出する処理を行う。文字列抽出部33は、周辺補正しない第2データおよび周辺補正した第2データに対する単語を抽出する処理により、所定の条件を満たす単語が抽出された場合、この抽出された単語を、抽出結果としてデータ記録部40の抽出用語テーブル60に記録する。抽出された単語は、抽出条件等に対応付けて抽出用語テーブル60に記録される。
【0035】
文字列抽出部33は、単語を抽出する処理による抽出された単語が、辞書記録部38に記録されている単語のうちのいずれかと一致する場合に、所定の条件を満たすと判断する。所定の条件は、例えば、単語が適切に抽出されている条件に相当する。
【0036】
検索部32は、文字列抽出部33によって抽出された単語をキーワードとして、抽出された単語に関する情報の検索を行う検索処理を実行する。
【0037】
図4は、第1実施形態の携帯電話装置1と検索サーバ52とを含む処理システム54のシステム構成図である。図4に示すように、処理システム54は、携帯電話装置1、基地局50、ゲートウェイサーバ51、検索サーバ52、及び検索辞書データベース53を有する。携帯電話装置1は、無線制御部30及び呼制御部31の制御処理により、基地局50及びゲートウェイサーバ51を介して、無線通信およびインターネットを経由して、検索サーバ52にアクセスする。そして、検索部32は、無線通信及びインターネットを経由して、抽出された単語をキーワードとする検索処理の実行を検索サーバ52に指示し、検索サーバ52による検索結果を取得する。検索サーバ52は、インターネット上のデータから、抽出された単語に関する情報を検索する。
【0038】
図5を用いて、第1実施形態に係る抽出用語テーブル60の説明をする。図5は、抽出用語テーブル60の一例を示す図である。
【0039】
抽出用語テーブル60は、「抽出条件」「抽出単語」「連結識別」の3つの項目を含む。
【0040】
「抽出条件」の項目には、「完全表示」と「周辺補正」のいずれかが記録される。「完全表示」は、単語が抽出された部分の領域が、第2データの領域(拡大表示エリア)に全部含まれていることを示す。すなわち、拡大表示エリア内に単語の全体が表示されている状態を示す。第1実施形態では、「完全表示」は単語抽出の際に周辺補正が行われなかった場合に相当する。また、「周辺補正」は、単語が抽出された部分の領域が、第2データの領域(拡大表示エリア)と一部重なることを示す。すなわち、拡大表示エリア内に単語が入り切らず、単語の一部が表示されている状態を示す。第1実施形態では、「周辺補正」は単語抽出の際に周辺補正が行われたことに相当する。
【0041】
「抽出単語」の項目には、抽出された単語が記録される。
【0042】
「連結識別」の項目には、「連結なし」と「連結あり」のいずれかが記録される。「連結なし」は、抽出された単語がそのまま処理結果として取得された場合を示す。また、「連結あり」は、抽出された単語が複合語であり、抽出された複数の単語を連結して取得された場合を示す。
【0043】
以下の説明では、抽出用語テーブル6のうち、「抽出条件」の項目の内容が「完全表示」のデータからなる部分テーブルを、レベル1用語テーブルとし、「抽出条件」の項目の内容が「周辺補正」のデータからなる部分テーブルをレベル2用語テーブルとする。このように、携帯電話装置1によれば、文字列抽出部33により「完全表示」と「周辺補正」を区別可能に抽出し、抽出した単語について「完全表示」と「周辺補正」を区別して記録することができる。
【0044】
図6及び図7を用いて、第1実施形態に係る表示制御処理・検索処理について説明する。図6は、表示制御処理・検索処理の動作を示すフローチャートである。図7は、表示制御処理・検索処理の説明図である。
【0045】
表示制御処理・検索処理を行う際の表示部4の初期状態は、カメラ2を介して取得された画像データ全体が、表示部4の表示エリアに表示された状態である。画像データはテキスト情報を含む。このときの表示部4の画面表示例を図7(a)に示す。図7(a)に示すように、初期状態では、表示部4の右下に拡大ボタン90が表示される。
【0046】
初期状態で、拡大ボタン90が押下される(拡大ボタン90に対応付けられているキー部8のハードキーが押下される)と(S71)、表示部4に表示されていた画像データのうち拡大表示エリア92の画像データが、デジタルズームにより表示エリアに拡大して表示される(S72)。拡大表示エリア92は、表示部4に画面表示はされないが、図7(a)で破線にて図示するエリアに相当する。これにより、画像データに含まれるテキスト情報が表示部4に拡大して表示されるので、ユーザーはテキスト情報を容易に視認可能となる。このときの表示部4の画面表示例を図7(b)に示す。図7(b)に示すように、拡大表示状態では、表示部4の右下に検索ボタン91が表示される。
【0047】
拡大表示状態で、検索ボタン91が押下される(検索ボタン91に対応付けられているキー部8のハードキーが押下される)と(S73)、表示制御部35は、初期状態で表示されていた画像データ全体を、データ記録部40に記録する(S74)。また、表示制御部35は、画像データ全体における拡大表示エリア92の設定データ(例えば、基準表示位置、表示エリアサイズ等)を、データ記録部40に記録する(S75)。
【0048】
文字列抽出部33は、データ記録部40に記録された画像データと拡大表示エリア92の設定データを用いて、画像データ全体のうち拡大表示エリア92の画像データ内から単語を抽出する単語抽出処理を実行する(S76)。これにより、カメラ2を介して取得した任意の被写体の画像について、拡大表示されている画像データ内の単語が抽出される。単語抽出処理については後述する。
【0049】
検索部32は、文字列抽出部33により抽出された単語数の確認を行う(S77)。S77において、抽出された単語数が0だった場合、表示制御処理・検索処理が終了される。
【0050】
S77において、文字列抽出部33により抽出された単語数が1以上だった場合、検索部32は、抽出された各単語について、各単語に関する情報を検索する処理を実行する(S78)。具体的には、携帯電話装置1がインターネット上の検索サーバ52にアクセスし、検索部32は、各単語をキーワードとする検索処理の実行を検索サーバ52に指示する。検索サーバ52は、インターネット上のデータを用いて検索処理を実行し、検索結果を検索部32に通知する(S79)。このようにインターネットを利用した検索を行うことにより、検索部32は、単語に関する適時な情報を取得することができる。
【0051】
検索部32は、検索サーバ52からの検索結果が適切であるか判断をする(S80)。例えば、検索部32は、取得された検索結果のデータ量が表示部4の表示サイズ等に鑑みて定まる妥当なデータ量内である場合に検索結果が適切であると判断したり、単語と取得された検索結果との関連の度合が所定レベル以上である場合に検索結果が適切であると判断したりすることが可能である。S80において、検索結果が適切であると判断された場合、検索部32は検索結果を保持する(S81)。
【0052】
検索部32は、抽出された全ての単語の検索が終了しているかを確認する(S82)。S82において、抽出された全ての単語の検索が終了していない場合、検索部32は、次の単語の検索を実行し、全ての単語の検索が終了するまでS78〜S81の処理を繰り返す。
【0053】
S82において、抽出された全ての単語の検索が終了した場合、表示制御部35は検索部32が保持していた検索結果を表示部4に一括表示する(S83)。図7(c)に、このときの表示部4の画面表示例を示す。そして、表示制御処理・検索処理が終了される。
【0054】
以上が表示制御処理・検索処理の説明である。この表示制御処理・検索処理によれば、携帯電話装置1は、カメラ2を介して取得した任意の被写体の画像について、拡大表示によりテキスト情報を容易に視認可能な状態で、テキスト情報に含まれる単語に関する情報を、検索ボタン91の操作入力で簡易に検索することができる。
【0055】
図8及び図9を用いて、第1実施形態に係る単語抽出処理について説明する。図8は、単語抽出処理のフローチャートである。図9は、単語抽出処理の説明図である。
【0056】
携帯電話装置1の単語抽出処理の初期状態は、図6の表示制御処理・検索処理におけるS76の状態である。ここで、図9(a)は、図6(a)の例示と同様、画像データ全体が表示部4の表示エリアに表示された状態(表示制御処理・検索処理の初期状態)を示す。また、図9(b)は、図6(b)の例示と同様、表示部4に表示されていた画像データのうち拡大表示エリア92の画像データが、デジタルズームにより表示エリアに拡大して表示された状態(表示制御処理・検索処理の拡大表示状態)を示す。初期状態での表示部4の画面表示例は、図9(b)に示すようになる。
【0057】
単語抽出処理において、文字列抽出部33は、データ記録部40に記録された画像データと拡大表示エリア92の設定データを用いて、画像データ全体のうち拡大表示エリア92の画像データを取得する(S101)。
【0058】
文字列抽出部33は、画像データ全体のうち拡大表示エリア92の画像データに対して、単語を抽出する処理を実行する(S102)。具体的には、文字列抽出部33は、例えば、拡大表示エリア92の画像データに対して、OCR(Optical Character Reader)機能を用いてテキスト情報を認識する処理を実行する。そして、文字列抽出部33は、例えば、認識されたテキスト情報に対して、自然言語処理の一技術である形態素解析を行い、文法データや辞書データを用いて、自然言語で記載された文を形態素の列に分割し、それぞれの形態素の品詞を判別して、単語を抽出する。
【0059】
文字列抽出部33は、抽出された単語数の確認を行う(S103)。S103において、抽出された単語数が0だった場合、単語抽出処理が終了される。
【0060】
S103において、抽出された単語数が1以上だった場合、文字列抽出部33は、抽出された各単語について、予め単語に関する情報が登録されている辞書記録部38を管理している辞書管理部37を用いて、当該単語が辞書記録部38に登録済みの単語であるか否かを確認する(S104)。S104において、登録済みの単語であると判断された場合、文字列抽出部33は、抽出された単語をレベル1用語テーブルに記録する(S105)。
【0061】
例えば、図9(b)の画面表示例で説明すると、S102で、拡大表示エリア92の画像データに含まれる「コントラスト」という単語が抽出される。辞書記録部38には、「コントラスト」という単語に関する情報が予め登録されている。よって、S104で、抽出された「コントラスト」という単語は、辞書記録部38に登録済みの単語であると判断される。そして、S105で、「コントラスト」という単語は、抽出された単語としてレベル1用語テーブルに記録される。このように、画像データ全体のうち拡大表示エリア92の画像データを表示部4に拡大表示する際に、表示されている画像データから、表示部4に全体が表示されている単語が適切に抽出される。
【0062】
S104において、登録済みの単語でないと判断された場合は、単語が適切に抽出されていない場合に相当し、例えば、単語が一部のみ表示されていて、一部が欠けた状態で単語が抽出されることで、抽出結果が単語に該当しない状況を含む。このとき、文字列抽出部33は、当該単語が抽出された部分の画像データと周辺部分の画像データとを併せた補正画像データを取得する(S106)。文字列抽出部33は、例えば、登録済みの単語でないと判断された単語が抽出された部分の画像データや、画像データ全体や、拡大表示エリア92や、表示パラメータ等から、当該単語の周辺部分を特定する。
【0063】
文字列抽出部33は、S106で取得された補正画像データに対して、S102と同様に、単語を抽出する処理を実行する(S107)。文字列抽出部33は、S107で抽出された単語について、S104と同様に、当該単語が辞書記録部38に登録済みの単語であるか否かを確認する(S108)。S108において、登録済みの単語であると判断された場合、文字列抽出部33は、抽出された単語をレベル2用語テーブルに記録する(S109)。
【0064】
例えば、図9(b)の画面表示例で説明すると、S102で、拡大表示エリア92の画像データに含まれる「るさ」という単語が抽出される。辞書記録部38には、「るさ」という単語に関する情報は登録されていない。よって、S104で、抽出された「るさ」という単語は、辞書記録部38に登録済みの単語でないと判断される。S106で、図9(c)に示すように、文字列抽出部33は、画像データ全体のうち、拡大表示エリア92を幅方向について所定値ずつ左右に延長したエリアを補正エリアとして設定する。また、文字列抽出部33は、「るさ」という単語が抽出された部分の位置、方向、サイズや、文字サイズ、行間、段組等の表示パラメータから、「るさ」という単語が抽出された部分を補正エリア内で行方向に延長した部分として、「るさ」と言う単語の周辺部分を特定する。そして、文字列抽出部33は、「るさ」という単語の抽出された部分の画像データと、周辺部分の画像データとを併せた、補正画像データ120を取得する。
【0065】
S107で、補正画像データ120に含まれる「明るさ」という単語が抽出される。辞書記録部38には、「明るさ」という単語に関する情報が予め登録されている。よって、S108で、抽出された「明るさ」という単語は、辞書記録部38に登録済みの単語であると判断される。そして、S109で、「明るさ」という単語は、抽出された単語としてレベル2用語テーブルに記録される。このように、文字列抽出部33は、表示されている画像データから単語が適切に抽出されていない場合、単語の抽出部分の画像データを、当該単語の周辺部分の表示されていない画像データで補正した補正画像データを取得し、この補正画像データに対して単語を抽出する処理を行う。これにより、例えば、拡大表示の際に表示部4の画面内に入り切らず表示部4に一部のみ表示されている単語が適切に抽出される。
【0066】
文字列抽出部33は、抽出された全ての単語の処理が終了しているかを確認する(S110)。S110において、抽出された全ての単語の処理が終了していない場合、文字列抽出部33は、次の単語の処理を実行し、全ての単語の処理が終了するまでS104〜109の処理を繰り返す。
【0067】
S110において、抽出された全ての単語の処理が終了した場合、単語抽出処理が終了される。単語抽出処理が終了した状態で、レベル1用語テーブル、レベル2用語テーブルにはそれぞれ、図9(d)に例示するように抽出された単語が記録される。以上が単語抽出処理の説明である。この単語抽出処理によれば、画像データ全体のうち拡大表示エリア92の画像データを表示部4に拡大表示する際に、表示されている画像データから、表示部4に全体が表示されている単語と、例えば表示部4の画面に入り切らず、表示部4に一部のみ表示されている単語が、それぞれ適切に抽出される。そして、このように抽出された単語について上述の検出処理で検出対象とされるので、拡大表示されているテキスト情報に含まれる単語に関する情報を簡易に検索することができる。例えば、表示部4の画面のサイズが限定される携帯装置や、多様な環境での操作が要求される携帯装置に有用である。
【0068】
第1実施形態によれば、カメラ2により取得された画像の拡大表示エリア92を表示部4に拡大表示して、表示されている画像データから単語を抽出する際に、例えば表示部4の画面に入り切らず、一部が表示されている単語も抽出可能とし、表示されているデータから単語を抽出する際の利便性を高めることができる。よって、第1実施形態によれば、テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上することができる。
【0069】
<第2実施形態>
図10及び図11を用いて第2実施形態の説明をする。第2実施形態に係る携帯電話装置は、開示の処理装置の一例であり、第1実施形態と、単語抽出処理に係る構成が相違する。第2実施形態の携帯電話装置の外観図、ハードウェア構成図、機能ブロック図、システム構成図、抽出用語テーブル、表示制御処理・検索処理のフローチャートは、図1〜6に示した第1実施形態の図と同じである。以下の説明では、第1実施形態と同じ構成については、同じ符号を付して説明を省略する。
【0070】
第2実施形態において、文字列抽出部33は、表示制御部35により表示される第2データに含まれるテキスト情報を、第1データに含まれるテキスト情報で補正し、第2データ内から1つ以上の単語を抽出する。このとき、第2実施形態では、文字列抽出部33は、第1データのうち第2データの周辺部分を特定し、第2データと第2データの周辺部分とを併せた補正データを取得する。そして、文字列抽出部33は、取得した補正データに対して単語を抽出する処理を行う。文字列抽出部33は、抽出された単語のうち所定の条件を満たす単語を抽出する。所定の条件を満たす単語が抽出された場合、この抽出された単語を、抽出結果としてデータ記録部40の抽出用語テーブル60に記録する。抽出された単語は、抽出条件等に対応付けて抽出用語テーブル60に記録される。
【0071】
文字列抽出部33は、単語が抽出された部分の領域が第2データの領域と重なり、且つ抽出された単語が、辞書記録部38に記録されている単語のうちのいずれかと一致する場合に、所定の条件を満たすと判断する。所定の条件は、例えば、単語が適切に抽出されている条件に相当する。このとき、文字列抽出部33は、単語が抽出された部分の領域が、第2データの領域(拡大表示エリア)に全部含まれている場合、「完全表示」に対応付けて、抽出された単語をレベル1用語テーブルに記録する。また、文字列抽出部33は、単語が抽出された部分の領域が、第2データの領域(拡大表示エリア)と一部重なる場合、「周辺補正」に対応付けて、抽出された単語をレベル2用語テーブルに記録する。このように、携帯電話装置1によれば、文字列抽出部33により「完全表示」と「周辺補正」を区別可能に抽出し、抽出した単語について「完全表示」と「周辺補正」を区別して記録することができる。
【0072】
図10及び図11を用いて、第2実施形態に係る単語抽出処理について説明する。図10は、第2実施形態に係る単語抽出処理を示すフローチャートである。図11は、第2実施形態に係る単語補正処理の説明図である。
【0073】
第2実施形態の単語抽出処理の初期状態は、第1実施形態と同様、図6の表示制御処理・検索処理におけるS76の状態である。ここで、図11(a)は、図6(a)の例示と同様、画像データ全体が表示部4の表示エリアに表示された状態(表示制御処理・検索処理の初期状態)を示す。また、図11(b)は、図6(b)の例示と同様、表示部4に表示されていた画像データのうち拡大表示エリア92の画像データが、デジタルズームにより表示エリアに拡大して表示された状態(表示制御処理・検索処理の拡大表示状態)を示す。初期状態での表示部4の画面表示例は、図11(b)に示すようになる。
【0074】
文字列抽出部33は、データ記録部40に記録された画像データ、拡大表示エリア92の設定データ、その他の表示パラメータ等を用いて、拡大表示エリア92の周辺エリアを特定し、拡大表示エリア92とその周辺エリアとを併せた補正エリアの画像データ(補正画像データ120)を取得する(S131)。図11(c)に、補正画像データ120を例示する。
【0075】
文字列抽出部33は、補正画像データ120に対して、S102と同様に、単語を抽出する処理を実行する(S132)。このように、画像データ全体のうち拡大表示エリア92の画像データを表示部4に拡大表示する際に、表示されている画像データを、表示されていない周辺部分の画像データで補正した補正画像データを取得し、この補正画像データに対して単語を抽出する処理が行われる。
【0076】
文字列抽出部33は、抽出された単語数の確認を行う(S133)。S133において、抽出された単語数が0だった場合、単語抽出処理が終了される。
【0077】
S133において、抽出された単語数が1以上だった場合、文字列抽出部33は、抽出された各単語について、予め単語に関する情報が登録されている辞書記録部38を管理している辞書管理部37を用いて、当該単語が辞書記録部38に登録済みの単語であるか否かを確認する(S134)。S134において、登録済みの単語であると判断された場合、文字列抽出部33は、単語が抽出された部分の領域が拡大表示エリア92に全部含まれているか否かを確認する(S135)。例えば、文字列抽出部33は、単語が抽出された部分の領域の位置やサイズを特定し、拡大表示エリア92の設定データと比較して、拡大表示エリア92に全部含まれているか判断する。S135において、拡大表示エリア92に全部含まれていると判断された場合、文字列抽出部33は、抽出された単語をレベル1用語テーブルに記録する(S136)。これにより、拡大表示の際に、表示部4に全体が表示されている単語が適切に抽出される。
【0078】
S135において、拡大表示エリア92に全部含まれていないと判断された場合、文字列抽出部33は、単語が抽出された部分の領域が、拡大表示エリア92と一部重なっているか否かを確認する(S137)。例えば、文字列抽出部33は、単語が抽出された部分の領域の位置やサイズを特定し、拡大表示エリア92の設定データと比較して、拡大表示エリア92に一部重なっているか判断する。S137において、拡大表示エリア92と一部重なっていると判断された場合、文字列抽出部33は、抽出された単語をレベル2用語テーブルに記録する(S138)。これにより、例えば、拡大表示の際に表示部4の画面内に入り切らず表示部4に一部のみ表示されている単語が適切に抽出される。
【0079】
例えば、図11(c)を用いて説明すると、S132で、補正画像データ120に含まれる「コントラスト」「あげ」「明るさ」「メニュー」等の単語が抽出される。辞書記録部38には、「コントラスト」「明るさ」「メニュー」という単語に関する情報が予め登録されている。よって、S134で、抽出された「コントラスト」「明るさ」「メニュー」という単語は、辞書記録部38に登録済みの単語であると判断される。「コントラスト」という単語は、S135で、拡大表示エリア92に全部含まれていると判断され、S136で、抽出された単語としてレベル1用語テーブルに記録される。「明るさ」という単語は、S135で、拡大表示エリア92に全部含まれていないと判断され、S137で、拡大表示エリア92に一部重なっていると判断され、S138で、抽出された単語としてレベル2用語テーブルに記録される。「メニュー」という単語は、S135で、拡大表示エリア92に全部含まれていないと判断され、S137で、拡大表示エリア92に一部重なっていないと判断される。よって、抽出用語テーブルには記録されない。一方、辞書記録部38には、「あげ」という単語に関する情報は登録されていない。よって、S134で、抽出された「あげ」という単語は、辞書記録部38に登録済みの単語でないと判断される。よって、抽出用語テーブルには記録されない。
【0080】
文字列抽出部33は、抽出された全ての単語の処理が終了しているかを確認する(S139)。S139において、抽出された全ての単語の処理が終了していない場合、文字列抽出部33は、次の単語の処理を実行し、全ての単語の処理が終了するまでS134〜138の処理を繰り返す。
【0081】
S139において、抽出された全ての単語の処理が終了した場合、単語抽出処理が終了される。以上が単語抽出処理の説明である。この単語抽出処理によれば、画像データ全体のうち拡大表示エリア92の画像データを表示部4に拡大表示する際に、表示されている画像データから、表示部4に全体が表示されている単語と、例えば表示部4の画面に入り切らず、表示部4に一部のみ表示されている単語が、それぞれ適切に抽出される。このとき、表示されている画像データを、表示されていない周辺部分の画像データで一括して補正して補正画像データを取得し、この補正画像データに対して単語を抽出する処理を行うことで、処理手順を低減して処理を効率良く行うことができる。そして、このように抽出された単語について上述の検出処理で検出対象とされるので、拡大表示されているテキスト情報に含まれる単語に関する情報を簡易に検索することができる。
【0082】
第2実施形態によれば、カメラ2により取得された画像の拡大表示エリア92を表示部4に拡大表示して、表示されている画像データから単語を抽出する際に、例えば表示部4の画面に入り切らず、一部が表示されている単語も抽出可能とし、表示されているデータから単語を抽出する際の利便性を高めることができる。よって、第2実施形態によれば、テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上することができる。
【0083】
<第3実施形態>
図12及び図13を用いて第3実施形態の説明をする。第3実施形態に係る携帯電話装置は、開示の処理装置の一例であり、第1実施形態と、単語抽出処理に係る構成が相違する。第3実施形態の携帯電話装置の外観図、ハードウェア構成図、機能ブロック図、システム構成図、抽出用語テーブル、表示制御処理・検索処理のフローチャートは、図1〜6に示した第1実施形態の図と同じである。以下の説明では、第1実施形態と同じ構成については、同じ符号を付して説明を省略する。
【0084】
第3実施形態において、文字列抽出部33は、表示制御部35により表示される第2データに含まれるテキスト情報を、第1データに含まれるテキスト情報で補正し、第2データ内から1つ以上の単語を抽出する。このとき、第3実施形態では、文字列抽出部33は、第1データのうち第2データの関連部分を特定し、第2データと第2データの関連部分とを併せた補正データを取得する。文字列抽出部33は、データ記録部40に記録された画像データ、拡大表示エリア92の設定データ、その他の表示パラメータ等を用いて、画像データ全体のうち拡大表示エリア92の関連部分を特定する。関連部分は、例えば、改行により分断表示された部分のように、拡大表示エリア92と位置は離れているが、拡大表示エリア92に含まれる文字列が連続して表示され得る部分に相当する。
【0085】
そして、第2実施形態と同様に、文字列抽出部33は、取得した補正データに対して単語を抽出する処理を行う。文字列抽出部33は、抽出された単語のうち所定の条件を満たす単語を抽出する。所定の条件を満たす単語が抽出された場合、この抽出された単語を、抽出結果としてデータ記録部40の抽出用語テーブル60に記録する。抽出された単語は、抽出条件等に対応付けて抽出用語テーブル60に記録される。
【0086】
文字列抽出部33は、第2実施形態と同様に、単語が抽出された部分の領域が第2データの領域と重なり、且つ抽出された単語が、辞書記録部38に記録されている単語のうちのいずれかと一致する場合に、所定の条件を満たすと判断する。所定の条件は、例えば、単語が適切に抽出されている条件に相当する。このとき、文字列抽出部33は、単語が抽出された部分の領域が、第2データの領域(拡大表示エリア)に全部含まれている場合、「完全表示」に対応付けて、抽出された単語をレベル1用語テーブルに記録する。また、文字列抽出部33は、単語が抽出された部分の領域が、第2データの領域(拡大表示エリア)と一部重なる場合、「周辺補正」に対応付けて、抽出された単語をレベル2用語テーブルに記録する。このように、携帯電話装置1によれば、文字列抽出部33により「完全表示」と「周辺補正」を区別可能に抽出し、抽出した単語について「完全表示」と「周辺補正」を区別して記録することができる。
【0087】
図12及び図13を用いて、第3実施形態に係る単語抽出処理について説明する。図12は、第3実施形態に係る単語抽出処理を示すフローチャートである。図13は、第3実施形態に係る単語補正処理の説明図である。
【0088】
第3実施形態の単語抽出処理の初期状態は、第1実施形態と同様、図6の表示制御処理・検索処理におけるS76の状態である。ここで、図13(a)は、図6(a)の例示と同様、画像データ全体が表示部4の表示エリアに表示された状態(表示制御処理・検索処理の初期状態)を示す。また、図13(b)は、図6(b)の例示と同様、表示部4に表示されていた画像データのうち拡大表示エリア92の画像データが、デジタルズームにより表示エリアに拡大して表示された状態(表示制御処理・検索処理の拡大表示状態)を示す。初期状態での表示部4の画面表示例は、図13(b)に示すようになる。
【0089】
単語抽出処理において、文字列抽出部33は、データ記録部40に記録された画像データ、拡大表示エリア92の設定データ、その他の表示パラメータ等を用いて、拡大表示エリア92の関連エリアを確認する(S151)。例えば、文字列抽出部33は、図13(a)に示すように、拡大表示エリア92が、画像データ全体のうちテキスト情報が表示されたブロック領域の右端を含むエリアである場合、ブロック領域の右端が改行部分であることを想定し、当該ブロック領域の左端を含むエリアが関連エリアであるものとする。
【0090】
文字列抽出部33は、データ記録部40に記録された画像データ、拡大表示エリア92の設定データ、その他の表示パラメータ等を用いて、拡大表示エリア92の関連エリア190を特定する(S152)。例えば、文字列抽出部33は、拡大表示エリア92に含まれるテキスト情報から、文字サイズや行間等の表示パラメータを取得し、図13(a)に示すように、画像データ全体のうち拡大表示エリア92を一行改行した左端の関連エリア190を特定する。
【0091】
文字列抽出部33は、拡大表示エリア92とその関連エリア190とを併せた補正エリアの画像データ(補正画像データ191)を取得する(S153)。図13(c)に、補正画像データ191を例示する。
【0092】
以下のS154〜S160の処理は、第2実施形態のS133〜S139と同様に実行される。文字列抽出部33は、補正画像データ191に対して、単語を抽出する処理を実行する(S154)。このように、画像データ全体のうち拡大表示エリア92の画像データを表示部4に拡大表示する際に、表示されている画像データを、表示されていない関連部分の画像データで補正した補正画像データを取得し、この補正画像データに対して単語を抽出する処理が行われる。
【0093】
文字列抽出部33は、抽出された単語数の確認を行う(S155)。S155において、抽出された単語数が0だった場合、単語抽出処理が終了される。
【0094】
S155において、抽出された単語数が1以上だった場合、文字列抽出部33は、抽出された各単語について、予め単語に関する情報が登録されている辞書記録部38を管理している辞書管理部37を用いて、当該単語が辞書記録部38に登録済みの単語であるか否かを確認する(S156)。S156において、登録済みの単語であると判断された場合、文字列抽出部33は、単語が抽出された部分の領域が拡大表示エリア92に全部含まれているか否かを確認する(S157)。S157において、拡大表示エリア92に全部含まれていると判断された場合、文字列抽出部33は、抽出された単語をレベル1用語テーブルに記録する(S158)。これにより、拡大表示の際に、表示部4に全体が表示されている単語が適切に抽出される。
【0095】
S157において、拡大表示エリア92に全部含まれていないと判断された場合、文字列抽出部33は、単語が抽出された部分の領域が、拡大表示エリア92と一部重なっているか否かを確認する(S159)。S159において、拡大表示エリア92と一部重なっていると判断された場合、文字列抽出部33は、抽出された単語をレベル2用語テーブルに記録する(S160)。これにより、例えば、例えば改行等の表示態様により分断表示され、拡大表示の際に表示部4に一部のみ表示されている単語が、適切に抽出される。
【0096】
例えば、図13(c)を用いて説明すると、S154で、補正画像データ120に含まれる「接写モード」等の単語が抽出される。辞書記録部38には、「接写モード」という単語に関する情報が予め登録されている。よって、S156で、抽出された「接写モード」という単語は、辞書記録部38に登録済みの単語であると判断される。「接写モード」という単語は、S157で、拡大表示エリア92に全部含まれていないと判断され、S159で、拡大表示エリア92に一部重なっていると判断され、S160で、抽出された単語としてレベル2用語テーブルに記録される。
【0097】
文字列抽出部33は、抽出された全ての単語の処理が終了しているかを確認する(S161)。S161において、抽出された全ての単語の処理が終了していない場合、文字列抽出部33は、次の単語の処理を実行し、全ての単語の処理が終了するまでS156〜160の処理を繰り返す。
【0098】
S161において、抽出された全ての単語の処理が終了した場合、単語抽出処理が終了される。以上が単語抽出処理の説明である。この単語抽出処理によれば、画像データ全体のうち拡大表示エリア92の画像データを表示部4に拡大表示する際に、表示されている画像データから、表示部4に全体が表示されている単語と、表示部4に一部のみ表示されている単語が、それぞれ適切に抽出される。このとき、表示されている画像データについて、例えば改行等の表示態様に応じて関連部分を特定し、関連部分の画像データで補正して補正画像データを取得して、この補正画像データに対して単語を抽出する処理を行うことで、例えば改行等の表示態様により分断表示され、表示部4に一部のみ表示されている単語を、適切に抽出することができる。そして、このように抽出された単語について上述の検出処理で検出対象とされるので、拡大表示されているテキスト情報に含まれる単語に関する情報を簡易に検索することができる。
【0099】
第3実施形態によれば、カメラ2により取得された画像の拡大表示エリア92を表示部4に拡大表示して、表示されている画像データから単語を抽出する際に、表示部4に一部が表示されている単語も抽出可能とし、表示されているデータから単語を抽出する際の利便性を高めることができる。よって、第3実施形態によれば、テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上することができる。
【0100】
<第4実施形態>
図14及び図15を用いて第4実施形態について説明をする。第4実施形態に係る携帯電話装置は、開示の処理装置の一例であり、第1実施形態と、表示制御処理、検索処理、及び単語抽出処理に係る構成が相違する。第2実施形態の携帯電話装置の外観図、ハードウェア構成図、機能ブロック図、システム構成図、抽出用語テーブルは、図1〜5に示した第1実施形態の図と同じである。以下の説明では、第1実施形態と同じ構成については、同じ符号を付して説明を省略する。
【0101】
第4実施形態の携帯電話装置1は、インターネット上のウェブサイトのウェブページを画面表示するブラウザ機能を備えている。第4実施形態において、表示制御部35は、ブラウザ機能の実行時に、インターネットを介して取得したウェブサイトのページデータと、設定された表示パラメータとに基づいて、ウェブページをレンダリングして作成したブラウザ画面を表示部4に表示させる。そして、文字列抽出部33は、単語抽出処理の対象とする表示データとして、ブラウザ画面データが用いられる。その他の構成は、第1実施形態と同じである。
【0102】
図14及び図15を用いて、第4実施形態に係る表示制御処理・検索処理及び単語抽出処理について説明する。図14は、第4実施形態に係る表示制御処理・検索処理を示すフローチャートである。図15は、第4実施形態に係る単語補正処理の説明図である。
【0103】
第4実施形態において、表示制御処理・検索処理を行う際の表示部4の初期状態は、ウェブページをレンダリングして作成したブラウザ画面データ全体が、表示部4の表示エリアに表示された状態である。ブラウザ画面データはテキスト情報を含む。このときの表示部4の画面表示例を図15(a)に示す。図15(a)に示すように、初期状態では、第1実施形態と同様、表示部4の右下に拡大ボタン90が表示される。
【0104】
初期状態で、拡大ボタン90が押下される(拡大ボタン90に対応付けられているキー部8のハードキーが押下される)と(S171)、表示部4に表示されていたブラウザ画面データのうち拡大表示エリア92のブラウザ画面データが、デジタルズームにより表示エリアに拡大して表示される(S172)。拡大表示エリア92は、表示部4に画面表示はされないが、図15(a)で破線にて図示するエリアに相当する。これにより、ブラウザ画面に含まれるテキスト情報が表示エリアに拡大して表示されるので、ユーザーはテキスト情報を容易に視認可能となる。このときの表示部4の画面表示例を図15(b)に示す。図15(b)に示すように、拡大表示状態では、第1実施形態と同様、表示部4の右下に検索ボタン91が表示される。
【0105】
拡大表示状態で、検索ボタン91が押下される(検索ボタン91に対応付けられているキー部8のハードキーが押下される)と(S173)、表示制御部35は、初期状態で表示されていたブラウザ画面データ全体を、データ記録部40に記録する(S174)。また、表示制御部35は、ブラウザ画面データ全体における拡大表示エリア92の設定データ(例えば、基準表示位置、表示エリアサイズ等)を、データ記録部40に記録する(S175)。
【0106】
文字列抽出部33は、データ記録部40に記録されたブラウザ画面データと拡大表示エリア92の設定データを用いて、ブラウザ画面データ全体のうち拡大表示エリア92のデータ内から単語を抽出する単語抽出処理を実行する(S176)。これにより、インターネットを経由して取得した任意のウェブページについて、拡大表示されているブラウザ画面データ内の単語が抽出される。
【0107】
第4実施形態の単語抽出処理は、第2実施形態の単語抽出処理と同じである。文字列抽出部33は、データ記録部40に記録された画像データ、拡大表示エリア92の設定データ、その他の表示パラメータ等を用いて、拡大表示エリア92の周辺エリアを特定し、拡大表示エリア92とその周辺エリアとを併せた補正エリアの画像データ(補正画像データ120)を取得する。図15(c)に、補正画像データ120を例示する。そして、文字列抽出部33は、補正画像データ120に対して、単語を抽出する処理を実行する。これにより、拡大表示の際に、表示部4に全体が表示されている単語や、例えば表示部4の画面内に入り切らず表示部4に一部のみ表示されている単語が、適切に抽出される。例えば、図15(c)に例示した補正画像データ120内から、第2実施形態と同様に、「コントラスト」という単語が、抽出された単語としてレベル1用語テーブルに記録され、「明るさ」という単語が、抽出された単語としてレベル2用語テーブルに記録される。
【0108】
以下のS177〜S183の処理は、第1実施形態のS77〜S83と同様に実行される。検索部32は、文字列抽出部33により抽出された単語数の確認を行う(S177)。S177において、抽出された単語数が0だった場合、表示制御処理・検索処理が終了される。
【0109】
S177において、文字列抽出部33により抽出された単語数が1以上だった場合、検索部32は、抽出された各単語について、各単語に関する情報を検索する処理を実行する(S178)。検索サーバ52は、インターネット上のデータを用いて検索処理を実行し、検索結果を検索部32に通知する(S179)。このようにインターネットを利用した検索を行うことにより、検索部32は、単語に関する適時な情報を取得することができる。
【0110】
検索部32は、検索サーバ52からの検索結果が適切であるか判断をする(S180)。S180において、検索結果が適切であると判断された場合、検索部32は検索結果を保持する(S181)。
【0111】
検索部32は、抽出された全ての単語の検索が終了しているかを確認する(S182)。S182において、抽出された全ての単語の検索が終了していない場合、検索部32は、次の単語の検索を実行し、全ての単語の検索が終了するまでS178〜S181の処理を繰り返す。
【0112】
S182において、抽出された全ての単語の検索が終了した場合、表示制御部35は検索部32が保持していた検索結果を表示部4に一括表示する(S183)。そして、表示制御処理・検索処理が終了される。
【0113】
以上が表示制御処理・検索処理の説明である。この表示制御処理・検索処理によれば、携帯電話装置1は、インターネットを経由して取得した任意のウェブページについて、拡大表示によりテキスト情報を容易に視認可能な状態で、テキスト情報に含まれる単語に関する情報を、検索ボタン91の操作入力で簡易に検索することができる。
【0114】
第4実施形態によれば、インターネットを経由して取得されたウェブページのブラウザ画面の拡大表示エリア92を表示部4に拡大表示して、表示されているブラウザ画面データから単語を抽出する際に、例えば表示部4に一部が表示されている単語も抽出可能とし、表示されているデータから単語を抽出する際の利便性を高めることができる。よって、第4実施形態によれば、テキスト情報を含む表示データ内から単語等の所定の文字列を抽出する処理に係る利便性を向上することができる。
【0115】
なお、第4実施形態では、単語抽出処理として、第2実施形態と同じ処理を用いたが、他の実施形態として、例えば、第1又は第3実施形態と同じ処理を用いてもよい。
【0116】
また、第4実施形態では、携帯電話装置1はカメラ2およびカメラ制御部34を備えなくともよい。
【0117】
また、第4実施形態では、ブラウザ画面に適用し、ブラウザ画面データを単語抽出処理の対象としたが、例えば、携帯電話装置1が外部との無線通信によるメール送受信機能を備え、送受信したメールデータのプレビュー表示画面等に適用してもよい。また、携帯電話装置1の電話機能で使用する電話番号やメール送受信機能で使用するメールアドレス等を登録したアドレス帳の表示画面等に適用してもよい。
【0118】
また、第1,2,4実施形態では、拡大表示したデータを周辺部分のデータを用いて補正し、第3実施形態では、関連部分のデータを用いて補正するものとしたが、例えば、周辺部分と関連部分のデータを組み合わせて用いて補正するものとしてもよい。
【0119】
また、第1〜第4実施形態では、処理装置として携帯電話装置を用いたが、処理装置として、例えば、PDA(Personal Digital Assistants)等の携帯端末装置、パーソナルコンピュータ等の端末装置を用いてもよい。
【0120】
また、第1〜第4実施形態では、処理装置である携帯電話装置1が表示部4を搭載するものとしたが、例えば、処理装置は外部の表示部に対して信号を出力するものとしてもよい。
【0121】
また、第1〜第4実施形態では、処理装置である携帯電話装置1がインターネット経由でアクセスした外部の検索サーバ52のデータベースを用いて検索処理を行うものとしたが、例えば、処理装置が内蔵するデータベースを用いて検索処理を行うものとしてもよい。
【0122】
また、第1〜第4実施形態では、表示制御部35は、第1データのうち第2データを等倍以上に拡大して表示部4に表示させるものとしたが、拡大表示には限られない。表示制御部35は、例えば表示位置等の、表示倍率以外の表示態様を変更して第2データを表示させてもよく、あるいは表示態様を変更せずに第2データを表示させてもよい。
【0123】
また、第1〜第4実施形態では、キー部8を介して操作入力がなされるものとしたが、例えば、タッチパネル機能を有する表示部4を介しての操作入力や、音声による操作入力としてもよい。
【0124】
また、他の実施形態として、表示機能を有する処理システムにおいて、第1データのうち第2データを表示部に表示させる表示制御部と、前記第2データに含まれるテキスト情報を、前記第1データに含まれるテキスト情報で補正し、前記第2データから1つ以上の所定の文字列を抽出する文字列抽出部と、を有するものとしてもよい。この場合、例えば、処理システムに含まれる複数の装置に分散して表示制御部と文字列抽出部とが備えられる。
【0125】
以上の第1〜第4実施形態に関し、さらに以下の付記を開示する。
【0126】
(付記1)
第1データのうち第2データを表示部に表示させる表示制御部と、
表示される前記第2データのテキスト情報を、前記第1データのうち前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出部と、を有する処理装置。
【0127】
(付記2)
前記文字列抽出部は、前記表示される第2データに対して前記所定の文字列を抽出する処理を行い、該処理により所定の条件を満たさない文字列が抽出された場合、前記第2データのうち該文字列が抽出された部分を、前記第1データのうち該部分の周辺部分又は関連部分で補正し、該補正した第2データに対して前記所定の文字列を抽出する処理を行う、ことを特徴とする付記1記載の処理装置。
【0128】
(付記3)
前記文字列抽出部は、前記第2データと、前記第1データのうち前記第2データの周辺部分又は関連部分のデータと、を併せた補正データに対して、前記所定の文字列を抽出する処理を行い、該処理により抽出された文字列のうち所定の条件を満たす文字列を抽出する、ことを特徴とする付記1記載の処理装置。
【0129】
(付記4)
前記文字列抽出部は、前記処理により抽出された文字列のうち、該文字列が抽出された部分の領域が前記第2データの領域と重なる文字列を抽出する、ことを特徴とする付記3記載の処理装置。
【0130】
(付記5)
1つ以上の所定の文字列を予め記録する記録部、を備え、
前記文字列抽出部は、前記所定の文字列を抽出する際、前記記録部に記録されている所定の文字列と一致する文字列を抽出する、ことを特徴とする付記1〜4のいずれかに記載の処理装置。
【0131】
(付記6)
前記文字抽出部は、前記第2データの領域に一部重なる文字列を抽出することを特徴とする付記1〜5のいずれかに記載の処理装置。
【0132】
(付記7)
前記文字列抽出部は、前記第2データの領域に全部含まれる文字列を抽出することを特徴とする付記6に記載の処理装置。
【0133】
(付記8)
前記文字列抽出部は、前記所定の文字列を抽出する際、抽出された部分の領域が前記第2データの領域に全部含まれる文字列と、抽出された部分の領域が前記第2データの領域と一部重なる文字列と、を区別可能に抽出する、ことを特徴とする付記7に記載の処理装置。
【0134】
(付記9)
前記単語抽出部によって抽出された文字列を基に、該文字列に関する情報の検索を行う検索部を有する、ことを特徴とする付記1〜8のいずれかに記載の処理装置。
【0135】
(付記10)
被写体の画像を取得する撮影手段を有し、該撮影手段により取得された画像データを前記第1データとする、ことを特徴とする付記1〜9のいずれかに記載の処理装置。
【0136】
(付記11)
前記表示制御部は、前記第1データのうち前記第2データを拡大して前記表示部に表示させる、ことを特徴とする付記1〜10のいずれかに記載の処理装置。
【0137】
(付記12)
表示機能を有する処理装置における処理方法であって、
第1データのうち第2データを表示部に表示させる表示制御を行い、
表示される前記第2データのテキスト情報を、前記第1データの前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する、ことを特徴とする処理方法。
【0138】
(付記13)
第1データのうち第2データを表示部に表示させる表示制御処理と、
表示される前記第2データのテキスト情報を、前記第1データの前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出処理と、をプロセッサに実行させることを特徴とする処理プログラム。
【0139】
(付記14)
表示機能を有する処理システムであって、
第1データのうち第2データを表示部に表示させる表示制御部と、
表示される前記第2データのテキスト情報を、前記第1データのうち前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出部と、を有することを特徴とする処理システム。
【符号の説明】
【0140】
1 携帯電話装置
2 カメラ
3 レシーバ
4 表示部
5 スピーカ
8 キー部
17 マイク
20 無線通信部
21 音声入出力部
22 プロセッサ
23 メモリ
24 アンテナ
30 無線制御部
31 呼制御部
32 検索部
33 文字列抽出部
34 カメラ制御部
35 表示制御部
36 入力制御部
37 辞書管理部
38 辞書記録部
40 データ記録部
50 基地局
51 ゲートウェイサーバ
52 検索サーバ
53 検索辞書データベース
60 抽出用語テーブル


【特許請求の範囲】
【請求項1】
第1データのうち第2データを表示部に表示させる表示制御部と、
表示される前記第2データのテキスト情報を、前記第1データのうち前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出部と、を有する処理装置。
【請求項2】
前記文字列抽出部は、前記表示される第2データに対して前記所定の文字列を抽出する処理を行い、該処理により所定の条件を満たさない文字列が抽出された場合、前記第2データのうち該文字列が抽出された部分を、前記第1データのうち該部分の周辺部分又は関連部分で補正し、該補正した第2データに対して前記所定の文字列を抽出する処理を行う、ことを特徴とする請求項1記載の処理装置。
【請求項3】
前記文字列抽出部は、前記第2データと、前記第1データのうち前記第2データの周辺部分又は関連部分のデータと、を併せた補正データに対して、前記所定の文字列を抽出する処理を行い、該処理により抽出された文字列のうち所定の条件を満たす文字列を抽出する、ことを特徴とする請求項1記載の処理装置。
【請求項4】
前記文字列抽出部は、前記処理により抽出された文字列のうち、該文字列が抽出された部分の領域が前記第2データの領域と重なる文字列を抽出する、ことを特徴とする請求項3記載の処理装置。
【請求項5】
1つ以上の所定の文字列を予め記録する記録部、を備え、
前記文字列抽出部は、前記所定の文字列を抽出する際、前記記録部に記録されている所定の文字列と一致する文字列を抽出する、ことを特徴とする請求項1乃至4のいずれかに記載の処理装置。
【請求項6】
前記文字抽出部は、前記第2データの領域に一部重なる文字列を抽出することを特徴とする請求項1乃至5のいずれかに記載の処理装置。
【請求項7】
前記文字列抽出部は、前記第2データの領域に全部含まれる文字列を抽出することを特徴とする請求項6に記載の処理装置。
【請求項8】
前記文字列抽出部は、前記所定の文字列を抽出する際、抽出された部分の領域が前記第2データの領域に全部含まれる文字列と、抽出された部分の領域が前記第2データの領域と一部重なる文字列と、を区別可能に抽出する、ことを特徴とする請求項7に記載の処理装置。
【請求項9】
表示機能を有する処理装置における処理方法であって、
第1データのうち第2データを表示部に表示させる表示制御を行い、
表示される前記第2データのテキスト情報を、前記第1データの前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する、ことを特徴とする処理方法。
【請求項10】
第1データのうち第2データを表示部に表示させる表示制御処理と、
表示される前記第2データのテキスト情報を、前記第1データの前記第2データ以外のテキスト情報で補正し、前記第2データ及び補正したデータから1つ以上の所定の文字列を抽出する文字列抽出処理と、をプロセッサに実行させることを特徴とする処理プログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate